CN110333773B - 用于提供沉浸式图形界面的系统和方法 - Google Patents

用于提供沉浸式图形界面的系统和方法 Download PDF

Info

Publication number
CN110333773B
CN110333773B CN201811624864.5A CN201811624864A CN110333773B CN 110333773 B CN110333773 B CN 110333773B CN 201811624864 A CN201811624864 A CN 201811624864A CN 110333773 B CN110333773 B CN 110333773B
Authority
CN
China
Prior art keywords
virtual environment
virtual
environment
plane element
alternative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811624864.5A
Other languages
English (en)
Other versions
CN110333773A (zh
Inventor
阿加萨·易克·俊·于
马修·阿兰·斯科特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Meta Platforms Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meta Platforms Technologies LLC filed Critical Meta Platforms Technologies LLC
Priority to CN202410344473.7A priority Critical patent/CN118210380A/zh
Publication of CN110333773A publication Critical patent/CN110333773A/zh
Application granted granted Critical
Publication of CN110333773B publication Critical patent/CN110333773B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及用于提供沉浸式图形界面的系统和方法。所公开的计算机实现的方法可以包括，(i)将虚拟环境内的平面元素与替代虚拟环境相关联，和(ii)渲染虚拟环境，使得(A)替代虚拟环境被构建在平面元素内，(B)替代虚拟环境的至少一个渲染元素在虚拟环境内的平面元素的近端深度之外的远端深度处渲染，以及(C)相对于虚拟环境内的平面元素的位置改变虚拟环境内的视点在虚拟环境与替代虚拟环境的渲染元素之间产生视差效应，这至少部分是由于替代虚拟环境的渲染元素在虚拟环境内的平面元素的近端深度之外的远端深度处被渲染。还公开了各种其他方法、系统和计算机可读介质。

Description

用于提供沉浸式图形界面的系统和方法
技术领域
本发明涉及用于提供沉浸式图形界面的系统和方法。
背景技术
打开一个虚拟现实系统可能是一个令人兴奋的体验的开始，虚拟现实系统可能比当今可用的几乎任何其他数字娱乐或模拟体验更具沉浸感的体验。虚拟现实系统可以使用户能够穿越空间和时间，与三维世界中的朋友交互，或者以一种彻底重新定义的方式玩视频游戏。虚拟现实系统还可以用于娱乐以外的目的——政府可以将它们用于军事训练模拟，医生可以使用它们练习外科手术，并且工程师可以将它们用作可视化辅助工具。
在虚拟现实系统的任何使用中，使体验尽可能具有沉浸感对于用户参与度可能是至关重要的。同时，清晰且直观的界面对于有效地导航任何计算环境很重要，并且对于该规则虚拟现实环境也不例外。
发明内容
如下面将更详细地描述的，本公开描述了用于提供沉浸式图形界面的系统和方法。如下面将更详细地说明的，虚拟现实系统的图形界面可以经由图块(例如，充当用户界面元素)提供具有进入替代三维环境的明显视图的沉浸式三维环境，从而在沉浸式三维环境和替代三维环境之间产生视差效应，如经由图块所示。
在一个示例中，一种用于提供沉浸式图形界面的计算机实现的方法可以包括，(i)将虚拟环境内的平面元素与替代虚拟环境相关联，和(ii)渲染虚拟环境，使得(A)替代虚拟环境被构建在平面元素内，(B)替代虚拟环境的至少一个渲染元素在虚拟环境内的平面元素的近端深度之外的远端深度处渲染，以及(C)相对于虚拟环境内的平面元素的位置改变虚拟环境内的视点在虚拟环境与替代虚拟环境的渲染元素之间产生视差效应，这至少部分是由于替代虚拟环境的渲染元素在虚拟环境内的平面元素的近端深度之外的远端深度处被渲染。
在一些示例中，计算机实现的方法可以在虚拟现实系统内渲染虚拟环境。
在一些实施方式中，虚拟环境可以包括图形用户界面。在这些实施方式中，平面元素可以包括图形用户界面的元素。因此，在一些示例中，该方法还可以包括，(i)经由图形用户界面接收指向平面元素的输入，和(ii)执行与包括替代虚拟环境的虚拟现实应用相关的动作，其中该动作响应于(A)识别平面元素和替代虚拟环境之间的关联，以及(B)指向平面元素的输入。此外，在一些示例中，该动作可以用替代虚拟环境替换虚拟环境。
尽管替代虚拟环境可以被构建在平面元素内，但是平面元素可以位于虚拟环境内，使得虚拟环境的元素可以被平面元素遮蔽。因此，在一些示例中，相对于虚拟环境内的平面元素的位置改变虚拟环境内的视点可以披露虚拟环境的否则被平面元素遮蔽的一部分。
在一些示例中，相对于虚拟环境内的平面元素的位置改变虚拟环境内的视点可以包括改变虚拟环境内的视点。附加地或可替代地，相对于虚拟环境内的平面元素的位置改变虚拟环境内的视点可以包括改变虚拟环境内的平面元素的位置。
在一些实施方式中，计算机实现的方法还可以包括经由虚拟现实界面接收用于操纵平面元素的输入。在这些实施方式中，相对于虚拟环境内的平面元素的位置改变虚拟环境内的视点可以包括响应于输入操纵平面元素。在一些示例中，输入可以包括用于手动抓取平面元素的输入。附加地或可替代地，输入可以包括在手动抓取平面元素之后的手部运动。
此外，用于提供沉浸式图形界面的相应系统可以包括存储在存储器中的若干模块，包括关联模块和渲染模块，以及执行这些模块的一个或多个物理处理器。例如，关联模块可以将虚拟环境内的平面元素与替代虚拟环境相关联。渲染模块可以渲染虚拟环境，使得(i)替代虚拟环境被构建在平面元素内，(ii)替代虚拟环境的至少一个渲染元素在虚拟环境内的平面元素的近端深度之外的远端深度处渲染，以及(iii)相对于虚拟环境内的平面元素的位置改变虚拟环境内的视点在虚拟环境与替代虚拟环境的渲染元素之间产生视差效应，这至少部分是由于替代虚拟环境的渲染元素在虚拟环境内的平面元素的近端深度之外的远端深度处渲染。
在一些示例中，上述方法可以被编码为计算机可读介质上的计算机可读指令。例如，计算机可读介质可以包括一个或多个计算机可执行指令，当由计算设备的至少一个处理器执行时，可以使得计算设备(i)将虚拟环境内的平面元素与替代虚拟环境相关联，以及(ii)渲染虚拟环境，使得(A)替代虚拟环境被构建在平面元素内，(B)替代虚拟环境的至少一个渲染元素在虚拟环境内的平面元素的近端深度之外的远端深度处渲染，以及(C)相对于虚拟环境内的平面元素的位置改变虚拟环境内的视点在虚拟环境与替代虚拟环境的渲染元素之间产生视差效应，这至少部分是由于替代虚拟环境的渲染元素在虚拟环境内的平面元素的近端深度之外的远端深度处渲染。
根据本文中描述的一般原理，来自任何上述实施方式的特征可以彼此结合使用。在结合附图和权利要求阅读以下详细描述后，将更充分地理解这些和其它实施方式、特征和优点。
附图说明
附图示出了多个示例性实施方式并且是说明书的一部分。结合以下描述，这些附图示出并说明了本公开的各种原理。
图1是用于提供沉浸式图形界面的示例性方法的流程图。
图2是示出替代虚拟环境的示例性沉浸式图形环境的图示。
图3提供了沉浸式图形环境的另一视图。
图4提供了沉浸式图形环境的附加视图。
图5提供了沉浸式图形环境的又一视图。
图6提供了沉浸式图形环境的另一视图。
图7是示出替代虚拟环境的示例性沉浸式图形环境的图示。
图8示出了被图7的替代虚拟环境替换的过程中的图7的沉浸式图形环境。
图9示出了用图7中所示的替代虚拟环境替换的图7的沉浸式图形环境。
图10是示出替代虚拟环境的示例性沉浸式图形环境的图示。
图11示出了具有图10的替代虚拟环境的不同视图的图10的沉浸式图形环境。
图12是用于提供沉浸式图形界面的示例性系统的框图。
贯穿所有附图，相同的参考字符和描述指示相似的但不一定相同的元件。虽然本文中描述的示例性实施方式可以容许各种修改和替代形式，但是在附图中已经以示例的方式示出了具体的实施方式，并且将在本文中详细描述具体的实施方式。然而，本文中描述的示例性实施方式并不旨在限于所公开的特定形式。相反，本公开涵盖落入所附权利要求的范围内的所有修改、等同物和替代。
具体实施方式
本公开总体上旨在提供沉浸式图形界面。如下面将更详细地说明的，一种用于虚拟现实系统的图形界面，其提供具有进入替代三维环境的明显视图的沉浸式三维环境。在沉浸式三维环境内设置平面元素(例如，充当用户界面元素的图块)。不是显示静态平面图像，而是图块构建替代虚拟环境的视图。替代虚拟环境的视图根据用户的视点和/或根据图块的位置而改变。因为通过图块看到的替代虚拟环境的有效深度大于图块相对于用户的深度，因此视点的改变在沉浸式三维环境和经由图块看到的替代虚拟环境之间产生视差效应。
通过提供嵌入在沉浸式三维内的二维图形界面元素，本文中描述的系统和方法可以提供直观且易于导航的界面，同时保持沉浸感和与虚拟环境的参与度。此外，通过经由界面元素示出替代虚拟环境，这些系统和方法可以同时改善沉浸感，同时传递关于界面元素的信息。通过显示具有视差效应的替代虚拟环境，这些系统和方法可以进一步改善沉浸感，并且使得用户能够通过自然运动(例如，从不同角度观看替代虚拟环境的头部运动和/或移动界面元素以提供替代虚拟环境的不同视图的手部运动)直观地收集附加信息(例如，以替代虚拟环境的不同视图的形式)。
此外，本文中描述的系统和方法可以改进计算设备的功能。例如，本文中描述的系统和方法可以通过改进用于操作计算设备的图形用户界面来改进计算设备的功能。具体地，这些系统和方法可以通过使其对于用户更容易、更直观和/或更积极地发现、定位和/或导航到相关功能和/或应用，同时在试图操作计算设备时最小化用户的挫折、困惑和/或不感兴趣来改进计算设备。在一些示例中，这些系统和方法可以通过提供帮助用户在需要时访问功能和/或应用的图形用户界面来更有效地解锁用户的计算设备的优点。类似地，本文中描述的系统和方法可以通过为虚拟现实系统提供有效、直观和/或沉浸式界面来改进虚拟现实系统(例如，虚拟现实头盔)的功能。
下面将参考图1提供用于提供沉浸式图形界面的计算机实现的方法的详细描述。此外，将结合图2至图11提供示例性虚拟环境(及其视图)的详细描述。此外，将结合图12提供用于提供沉浸式图形界面的示例性系统的详细描述。
图1是用于提供沉浸式图形界面的示例性计算机实现方法100的流程图。图1中所示的步骤可以由任何合适的计算机可执行代码和/或计算系统(包括图12中所示系统)执行。在一个示例中，图1所示的每个步骤可以表示其结构包括多个子步骤和/或由多个子步骤表示的算法，下面将更详细地提供其示例。
如图1所示，在步骤110处，本文中描述的一个或多个系统可以将虚拟环境内的平面元素与替代虚拟环境相关联。
在一些实施方式中，术语“虚拟环境”可以指三维模型。例如，虚拟现实系统可以通过将三维模型内的视点分配给用户来向用户呈现虚拟环境的视图。在一些示例中，虚拟现实系统可以响应于来自用户的输入(包括，例如，在现实世界中自然地和类似地修改用户的视点的头部运动和/或其他身体运动)来修改视点。在一些示例中，用户可以通过对虚拟现实系统的输入来与虚拟环境的元素交互和/或操纵虚拟环境的元素。
虚拟环境可以表示各种类型的环境中的任一种。在一些示例中，虚拟环境可以表示虚拟现实应用(例如，游戏和/或仿真应用)的环境。在一些示例中，虚拟环境可以包括图形用户界面。例如，虚拟环境可以表示界面环境和/或菜单环境，虚拟现实系统的用户可以从该界面环境和/或菜单环境中选择虚拟现实系统的一个或多个应用和/或功能。
在一些实施方式中，术语“平面元素”可以指(例如，在三维模型内的)二维元素。附加地或可替代地，术语“平面元素”可以指近似二维的元素(例如，深度相对较小的三维元素)。在一些示例中，三维元素的表面的一面和/或一部分可以包括平面元素。在一些示例中，平面元素可以表示为较大模型内的独立元素。
平面元素可以表示各种类型的图形和/或虚拟元素中的任一种。在一些示例中，平面元素可以表示图形用户界面的元素。例如，平面元素可以表示图块，用户可以选择该图块作为界面元素来激活虚拟现实系统的一个或多个功能和/或应用。
本文中描述的一个或多个系统可以在各种环境中的任一种中且以各种方式中的任一种将虚拟环境内的平面元素与替代虚拟环境相关联。例如，本文中描述的系统可以通过识别附接到平面元素的元数据来将平面元素与替代虚拟环境相关联，该元数据将替代虚拟环境指定为属于平面元素。在一些示例中，替代虚拟环境可以表示和/或包括在虚拟现实应用内。因此，在一些示例中，平面元素可以用作与虚拟现实应用相关的界面元素。因此，本文中所描述的系统可以基于平面元素与虚拟现实应用之间的关联将替代虚拟环境与平面元素相关联。
如上所述，在一些示例中，虚拟环境可以包括图形用户界面，并且平面元素可以表示图形用户界面的元素。在这些示例中，本文中描述的系统可以经由图形用户界面接收指向平面元素的输入。例如，用户可以虚拟地触摸、瞄准、抓取、移动和/或以其他方式与虚拟环境内的平面元素交互。然后，响应于已经识别了平面元素与替代虚拟环境之间的关联并且已经检测到指向平面元素的输入，本文中描述的系统可以执行与包括替代虚拟环境的虚拟现实应用相关的动作。例如，本文中描述的系统可以加载虚拟现实应用、激活虚拟现实应用的功能、显示虚拟现实应用的演示、评级虚拟现实应用、与另一用户共享虚拟现实应用、和/或发起虚拟现实应用的购买、下载和/或安装。在一些示例中，如下面将更详细地说明的，本文中描述的系统可以用替代虚拟环境替换虚拟环境。
如图1所示，在步骤120处，本文中描述的系统中的一个或多个可以根据特征120(a)、120(b)和120(c)来渲染虚拟环境。
本文中描述的系统可以渲染虚拟环境，使得替代虚拟环境被构建在平面元素内。例如，尽管虚拟现实系统可以通过在元素的表面上显示纹理来渲染虚拟环境内的各种元素，但是本文中描述的系统可以动态地在平面元素的表面上显示替代虚拟环境的视图。附加地或可替代地，本文中描述的系统可以使用光线投射技术来渲染虚拟环境的部分，并且可以将与平面元素相交的光线沿着替代虚拟环境传播，以确定经由平面元素投影到用户视点上的内容。
此外，本文中描述的系统可以在虚拟环境内的平面元素的近端深度之外的远端深度处渲染替代虚拟环境的至少一个渲染元素。例如，尽管平面元素可以离用户的视点为给定距离，但是替代虚拟环境内的元素可以渲染为离用户的视点更远距离。
本文中描述的系统可以渲染具有各种复杂度和/或维度中的任一种的替代虚拟环境。例如，可以在单个平面上(例如，在平面元素的深度之外的深度处)渲染替代虚拟环境。在一些示例中，可以在平面元素的深度之外的不同深度处的多个平行平面上渲染替代虚拟环境(例如，当用户的视点改变时，不同深度处的平面由此展示相对于彼此的视差效应)。在一些示例中，可以将替代虚拟环境渲染为三维模型(例如，具有任意深度和任意定向的元素)。
从前面的讨论可以理解，由于替代虚拟环境的渲染元素被渲染成与虚拟环境内的平面元素的深度相比不同的、更远的深度，因此相对于虚拟环境内的平面元素的位置改变用户在虚拟环境内的视点可以在虚拟环境与替代虚拟环境的渲染元素之间产生视差效应。因此，当用户的视点在虚拟环境内改变(例如，相对于平面元素的面横向地改变)时，用户视野中的平面元素的明显偏移可以大于用户视野中的替代虚拟环境中的渲染元素的明显偏移。此外，作为前述的结果，当用户的视点改变时，用户可以从不同的角度看到替代虚拟环境的不同区域和/或看到替代虚拟环境内的元素。
在一些示例中，相对于虚拟环境内的平面元素的位置改变虚拟环境内的视点可以包括改变虚拟环境内的视点。因此，用户可以经由平面元素通过视点的改变(无论是编程地、通过用户输入、还是两者)来获得替代虚拟环境的不同视图。
附加地或可替代地，相对于虚拟环境内的平面元素的位置改变虚拟环境内的视点可以包括改变虚拟环境内的平面元素的位置。因此，当平面元素移动时(无论是通过编程、用户输入、还是通过两者)，用户可以经由平面元素获得替代虚拟环境的不同视图。
尽管本文中描述的系统可以渲染虚拟环境，如同替代虚拟环境在平面元素之外一样，但是当用户的视点改变时(例如，通过围绕平面元素移动和/或通过从斜角观看虚拟环境的先前在平面元素后面的元素)，这些系统仍然可以渲染虚拟环境的在平面元素后面的元素。作为另一示例，当平面元素移动、收缩和/或消失时，这些系统可以渲染虚拟环境的在平面元素后面的元素。因此，本文中描述的系统可以渲染虚拟环境，使得相对于虚拟环境内的平面元素的位置改变虚拟环境内的用户的视点披露虚拟环境的否则被平面元素遮蔽的一部分。
图2示出了虚拟现实视图200。如图2所示，视图200可以包括虚拟环境210。虚拟环境210可以包括图块220。图块220可以示出替代虚拟环境230。此外，在一些示例中，图块220还可以示出标题元素232。虚拟环境210还可以包括图块240、242、244和246。此外，虚拟环境210可以包括图标250、252和254。在一些示例中，虚拟环境210可以表示用户可以在其中导航虚拟现实系统(例如，以浏览可用的虚拟现实应用)的菜单环境。因此，图块220、240、242、244和246以及图标250、252和254可以表示虚拟环境210内的二维用户界面元素。
图3示出了虚拟现实视图300。视图300可以表示与图2所示的虚拟环境210不同的视图。例如，用户可能已经转向右侧(例如，在虚拟环境210内没有以其他方式显著地改变她的视点)。因此，用户可以看到在图块220的框架内的替代虚拟环境230的基本相同的方面。
图4示出了虚拟现实视图400。视图400可以表示与图2至图3所示的虚拟环境210不同的视图。例如，用户可能已经将她的头向左倾斜并且将她的头横向地向右移动。因此，由于图块220与替代虚拟环境230的元素之间的视差效应(例如，因为替代虚拟环境230的可视元素相比图块220渲染的深度更深)，经由图块220的替代虚拟环境230的用户视图可能已经改变。此外，如可以理解的，标题元素232可以在虚拟环境210内以与图块220相同的深度渲染，并且因此可以看起来没有相对于图块220的框架移动。
图5示出了虚拟现实视图500。视图500可以表示与图2至图4所示的虚拟环境210不同的视图。例如，用户可能已经将她的头向右倾斜并且将她的头横向地向左移动。因此，由于图块220与替代虚拟环境230的元素之间的视差效应，经由图块220的替代虚拟环境230的用户视图可能再次改变。
图6示出了虚拟现实视图600。视图600可以表示与图2至图5所示的虚拟环境210不同的视图。例如，用户可能已经将她的头向右倾斜并且将她的头横向地向右移动。因此，由于图块220与替代虚拟环境230的元素之间的视差效应，经由图块220的替代虚拟环境230的用户视图可能再次改变。例如，替代虚拟环境230的元素可能看起来已经相对于用户视野中的图块220在用户视野中向右偏移(例如，因为当用户的头部横向向右移动时，处于较小深度的图块220比处于较大深度的替代虚拟环境230的元素更快地在用户视野中向左偏移)。
在一些示例中，如前所述，替代虚拟环境可以(例如，经由与平面元素的交互)替换用户视图中的虚拟环境。作为示例，图7示出了虚拟现实视图700。视图700可以包括虚拟环境710。在一些示例中，虚拟环境710内的图块720可以表示图形用户界面元素。此外，图块720可显示替代虚拟环境730。如下面将进一步讨论的，当用户与图块720交互(例如，选择)时，本文中描述的系统可以用替代虚拟环境730替换虚拟环境710，使用户沉浸在替代虚拟环境730内。
图8示出了虚拟现实视图800。视图800可以跟随视图700并且可以示出处于与图7中所示的状态不同的状态的虚拟环境710。例如，用户可能已经选择了图块720，使得图块逐渐移动地更接近用户的视点，从而使得替代虚拟环境730消耗更大比例的用户视野。
图9示出了虚拟现实视图900。视图900跟随视图800并且可以示出替代虚拟环境730(例如，在图块720到达用户的视点之后，由此使得替代虚拟环境730消耗用户的整个视场)。在一些示例中，一旦图块720到达用户的视点，图块720可以消失(例如，因为图块720是虚拟环境710内的元素，并且用户已经沉浸在替代虚拟环境730中。
在一些示例中，用户可以通过使平面元素在虚拟环境内移动来与平面元素交互。作为示例，图10示出了虚拟现实视图1000。视图1000可以包括虚拟环境1010。虚拟环境1010可以包括示出替代虚拟环境1030(例如，对应于图2至图6中所示的虚拟环境210和/或图7至图9中的虚拟环境710)的图块1020。在一些示例中，虚拟手1040(例如，由用户的手部运动控制)可以伸出并抓取图块1020。
图11示出了虚拟现实视图1100。视图1100可以示出处于与图10中所示的状态不同的状态的虚拟环境1010。例如，用户可能已经使她的手向内并将她的手朝向她的右侧旋转，使得虚拟手1040在虚拟环境1010内进行类似的运动。因为虚拟手1040正在抓取图块1020，所以图块1020也在虚拟环境1010内移动。因此，用户具有虚拟环境1030的不同视图(例如，在虚拟环境1010内没有改变她的视点)。在一些示例中，通过以这种方式调查替代虚拟环境1030，用户可以决定是否和/或如何与图块1020交互。
图12示出了用于提供沉浸式图形界面的系统1200。如图12所示，系统1200可以包括与虚拟现实显示器1204通信的计算设备1202。在一个示例中，关联模块1210和/或渲染模块1220可以在计算设备1202上执行。关联模块1210可以将虚拟环境1230内的平面元素1232与替代虚拟环境1240关联。渲染模块1220可以渲染虚拟环境1230，使得(i)替代虚拟环境1240被构建在平面元素1232内，(ii)替代虚拟环境1240的至少一个渲染元素1242在虚拟环境1230内的平面元素1232的近端深度1236之外的远端深度1244处渲染，以及(iii)相对于虚拟环境1230内的平面元素1232的位置1234改变虚拟环境1230内的视点1238，在虚拟环境1230与替代虚拟环境1240的渲染元素1242之间产生视差效应，这至少部分是由于替代虚拟环境1240的渲染元素1242在虚拟环境1230内的平面元素1232的近端深度1236之外的远端深度1244处被渲染。
如上所述，通过提供嵌入在沉浸式三维内的二维图形界面元素，本文中描述的系统和方法可以提供直观且易于导航的界面，同时保持沉浸感和与虚拟环境的参与度。此外，通过经由界面元素示出替代虚拟环境，这些系统和方法可以同时改善沉浸感，同时传递关于界面元素的信息。通过示出具有视差效应的替代虚拟环境，这些系统和方法可以进一步改善沉浸感，并且使得用户能够通过自然运动(例如，从不同角度观看替代虚拟环境的头部运动和/或移动界面元素以提供替代虚拟环境的不同视图的手部运动)直观地收集附加信息(例如，以替代虚拟环境的不同视图的形式)。
如上所述，本文中描述和/或示出的计算设备和系统广泛地表示能够执行计算机可读指令的任何类型或形式的计算设备或系统，例如包含在本文中描述的模块内的那些。在其最基本的配置中，这些计算设备可以各自包括至少一个存储器设备和至少一个物理处理器。
在一些示例中，术语“存储器设备”通常指任何类型或形式的易失性或非易失性存储设备或能够存储数据和/或计算机可读指令的介质。在一个示例中，存储器设备可以存储、加载和/或维护本文中描述的一个或多个模块。存储器设备的示例包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、闪存、硬盘驱动器(HDD)、固态驱动器(SSD)、光盘驱动器、高速缓存、这些中的一项或多项的变体或组合、或任何其他合适的存储存储器。
在一些示例中，术语“物理处理器”通常指能够解释和/或执行计算机可读指令的任何类型或形式的硬件实现的处理单元。在一个示例中，物理处理器可以访问和/或修改存储在上述存储器设备中的一个或多个模块。物理处理器的示例包括但不限于微处理器、微控制器、中央处理单元(CPU)、实现软核处理器的现场可编程门阵列(FPGA)、专用集成电路(ASIC)、这些中的一项或多项的部分、这些中的一项或多项的变体或组合、或任何其他合适的物理处理器。
尽管示出为单独的元件，但是本文中描述和/或示出的模块可以表示单个模块或应用的部分。此外，在某些实施方式中，这些模块中的一个或多个可以表示当由计算设备执行时可以使计算设备执行一个或多个任务的一个或多个软件应用或程序。例如，本文中描述和/或示出的一个或多个模块可以表示存储和被配置为在本文中描述和/或示出的一个或多个计算设备或系统上运行的模块。这些模块中的一个或多个还可以表示被配置为执行一个或多个任务的一个或多个专用计算机的全部或部分。
此外，本文中描述的一个或多个模块可以将数据、物理设备和/或物理设备的表示从一种形式转换到另一种形式。例如，本文中描述的一个或多个模块可以接收要转换的虚拟环境模型、转换虚拟环境模型、将转换的结果输出到虚拟现实显示器、使用转换的结果来提供图形界面，并且存储转换的结果以提供虚拟环境内的替代虚拟环境的视图。附加地或可替代地，本文中描述的模块中的一个或多个可以通过在计算设备上执行、在计算设备上存储数据和/或以其他方式与计算设备交互，来将处理器、易失性存储器、非易失性存储器和/或物理计算设备的任何其他部分从一种形式转换到另一种形式。
在一些实施方式中，术语“计算机可读介质”通常指能够存储或携带计算机可读指令的任何形式的设备、载体或介质。计算机可读介质的示例包括但不限于传输型介质(例如载波)和非瞬时型介质(例如，磁存储介质(例如硬盘驱动器、磁带驱动器和软盘)、光存储介质(例如，压缩盘(CD)、数字视频盘(DVD)和蓝光盘)、电子存储介质(例如，固态驱动器和闪存介质)以及其他分发系统)。
本公开的实施方式可以包括或结合人工现实系统来实现。人工现实是在呈现给用户之前已经以某种方式调整的现实形式，其可以包括例如，虚拟现实(VR)、增强现实(AR)、混合现实(MR)、混合式现实、或其一些组合和/或衍生物。人工现实内容可以包括完全生成的内容或与捕获的(例如，现实世界)内容组合的生成的内容。人工现实内容可以包括视频、音频、触觉反馈或其某种组合，其中的任何一个可以在单声道或多声道中(例如向观看者产生三维效果的立体视频)呈现。此外，在一些实施方式中，人工现实还可以与应用、产品、附件、服务或其某种组合相关联，应用、产品、附件、服务或其某种组合用于例如在人工现实中创建内容和/或以其他方式在人工现实中使用(例如，在人工现实中执行活动)。提供人工现实内容的人工现实系统可以在各种平台上实现，该平台包括连接到主机系统的头戴式显示器(HMD)、独立的HMD、移动设备或计算系统、或能够向一个或多个观看者提供人工现实内容的任何其他硬件平台。
本文中描述和/或示出的步骤的工艺参数和顺序仅作为示例给出，并且可以根据需要改变。例如，尽管本文中示出和/或描述的步骤可以以特定顺序示出或讨论，但这些步骤不一定需要以示出或讨论的顺序执行。本文中描述和/或示出的各种示例性方法还可以省略本文中描述或示出的步骤中的一个或多个，或者包括除了所公开的步骤之外的附加步骤。
提供前述描述是为了使本领域技术人员能够最佳地利用本文中公开的示例性实施方式的各个方面。该示例性描述并不旨在是穷尽的或限于所公开的任何精确形式。在不背离本公开的精神和范围的情况下，许多修改和变化是可能的。本文中公开的实施方式应在所有方面被认为是说明性的而非限制性的。在确定本公开的范围时，应当参考所附权利要求书及其等同物。
除非另有说明，否则如说明书和权利要求书中所使用的术语“连接到”和“耦接到”(及其派生词)应被解释为允许直接和间接(即，经由其他元件或组件)连接。此外，如说明书和权利要求书中所使用的术语“一”或“一个”应解释为意指“至少一个”。最后，为了便于使用，如说明书和权利要求书中所使用的术语“包括”和“具有”(及其派生词)可以与词“包含”互换并且具有与词“包含”相同的含义。

Claims (20)

1.一种计算机实现的方法，包括：
将虚拟环境内的虚拟平面元素与替代虚拟环境相关联，其中：
所述虚拟环境包括三维模型，所述三维模型包括一组虚拟元素；
所述替代虚拟环境包括不同的三维模型，所述不同的三维模型包括与包括在所述虚拟环境的所述三维模型中的所述一组虚拟元素不同的一组虚拟元素；以及
所述虚拟平面元素表示所述虚拟环境的虚拟界面元素；以及
相对于用户的视点渲染所述虚拟环境的视图和所述替代虚拟环境的视图，使得：
所述替代虚拟环境的所述视图被构建在所述虚拟环境的所述视图内的所述虚拟平面元素内，使得所述虚拟环境内的所述虚拟平面元素显示所述替代虚拟环境的所述视图；
所述替代虚拟环境的至少一个渲染元素在所述虚拟环境内的所述虚拟平面元素的近端深度之外的远端深度处渲染；以及
相对于所述虚拟环境内的所述虚拟平面元素的位置改变所述虚拟环境内的视点在所述虚拟环境与所述替代虚拟环境的所述渲染元素之间产生视差效应，这至少部分是由于所述替代虚拟环境的所述渲染元素在所述虚拟环境内的所述虚拟平面元素的所述近端深度之外的所述远端深度处被渲染。
2.根据权利要求1所述的计算机实现的方法，其中，渲染所述虚拟环境包括在虚拟现实系统内渲染所述虚拟环境。
3. 根据权利要求1所述的计算机实现的方法，其中：
所述虚拟环境包括图形用户界面；以及
所述虚拟平面元素包括所述图形用户界面的元素。
4. 根据权利要求3所述的计算机实现的方法，还包括：
经由所述图形用户界面接收指向所述虚拟平面元素的输入；以及
执行与包括所述替代虚拟环境的虚拟现实应用相关的动作，其中，所述动作响应于：
识别所述虚拟平面元素与所述替代虚拟环境之间的关联；以及
指向所述虚拟平面元素的所述输入。
5.根据权利要求4所述的计算机实现的方法，其中，执行所述动作包括用所述替代虚拟环境替换所述虚拟环境。
6.根据权利要求1所述的计算机实现的方法，其中，渲染所述虚拟环境还包括：渲染所述虚拟环境使得相对于所述虚拟环境内的所述虚拟平面元素的位置改变所述虚拟环境内的所述视点披露所述虚拟环境的否则被所述虚拟平面元素遮蔽的一部分。
7.根据权利要求1所述的计算机实现的方法，其中，相对于所述虚拟环境内的所述虚拟平面元素的位置改变所述虚拟环境内的所述视点包括改变所述虚拟环境内的所述视点。
8.根据权利要求1所述的计算机实现的方法，其中，相对于所述虚拟环境内的所述虚拟平面元素的位置改变所述虚拟环境内的所述视点包括改变所述虚拟环境内的所述虚拟平面元素的位置。
9. 根据权利要求1所述的计算机实现的方法，还包括：
经由虚拟现实界面接收用于操纵所述虚拟平面元素的输入；以及
通过响应于所述输入操纵所述虚拟平面元素，来相对于所述虚拟环境内的所述虚拟平面元素的位置改变所述虚拟环境内的所述视点。
10. 根据权利要求9所述的计算机实现的方法，其中，接收用于操纵所述虚拟平面元素的所述输入包括以下中的至少一项：
用于手动抓取所述虚拟平面元素的输入；以及
手动抓取所述虚拟平面元素后的手部运动。
11.一种用于提供沉浸式图形界面的系统，包括：
存储在存储器中的关联模块，所述关联模块将虚拟环境内的虚拟平面元素与替代虚拟环境相关联，其中：
所述虚拟环境包括三维模型，所述三维模型包括一组虚拟元素；
所述替代虚拟环境包括不同的三维模型，所述不同的三维模型包括与包括在所述虚拟环境的所述三维模型中的所述一组虚拟元素不同的一组虚拟元素；以及
所述虚拟平面元素表示所述虚拟环境的虚拟界面元素；
存储在存储器中的渲染模块，所述渲染模块相对于用户的视点渲染所述虚拟环境的视图和所述替代虚拟环境的视图，使得：
所述替代虚拟环境的所述视图被构建在所述虚拟环境内的所述虚拟平面元素内，使得所述虚拟平面元素显示所述替代虚拟环境的所述视图；
所述替代虚拟环境的至少一个渲染元素在所述虚拟环境内的所述虚拟平面元素的近端深度之外的远端深度处渲染；以及
相对于所述虚拟环境内的所述虚拟平面元素的位置改变所述虚拟环境内的视点在所述虚拟环境与所述替代虚拟环境的所述渲染元素之间产生视差效应，这至少部分是由于所述替代虚拟环境的所述渲染元素在所述虚拟环境内的所述虚拟平面元素的所述近端深度之外的所述远端深度处被渲染；以及
执行所述关联模块和所述渲染模块的至少一个物理处理器。
12.根据权利要求11所述的系统，其中，所述渲染模块在虚拟现实系统内渲染所述虚拟环境。
13. 根据权利要求11所述的系统，其中：
所述虚拟环境包括图形用户界面；以及
所述虚拟平面元素包括所述图形用户界面的元素。
14. 根据权利要求13所述的系统，还包括界面模块，所述界面模块：
经由所述图形用户界面接收指向所述虚拟平面元素的输入；以及
执行与包括所述替代虚拟环境的虚拟现实应用相关的动作，其中，所述动作响应于：
识别所述虚拟平面元素与所述替代虚拟环境之间的关联；以及
指向所述虚拟平面元素的输入。
15.根据权利要求14所述的系统，其中，所述界面模块通过用所述替代虚拟环境替换所述虚拟环境来执行所述动作。
16.根据权利要求11所述的系统，其中，所述渲染模块还渲染所述虚拟环境，使得相对于所述虚拟环境内的所述虚拟平面元素的所述位置改变所述虚拟环境内的所述视点披露所述虚拟环境的否则被所述虚拟平面元素遮蔽的一部分。
17.根据权利要求11所述的系统，其中，相对于所述虚拟环境内的所述虚拟平面元素的位置改变所述虚拟环境内的所述视点包括改变所述虚拟环境内的所述视点。
18.根据权利要求11所述的系统，其中，相对于所述虚拟环境内的所述虚拟平面元素的位置改变所述虚拟环境内的所述视点包括改变所述虚拟环境内的所述虚拟平面元素的位置。
19. 根据权利要求11所述的系统，还包括界面模块，所述界面模块：
经由虚拟现实界面接收用于操纵所述虚拟平面元素的输入；以及
通过响应于所述输入操纵所述虚拟平面元素来相对于所述虚拟环境内的所述虚拟平面元素的位置改变所述虚拟环境内的所述视点。
20.一种非瞬时型计算机可读介质，包括：
计算机可读指令，当由计算设备的至少一个处理器执行时，所述计算机可读指令使所述计算设备：
将虚拟环境内的虚拟平面元素与替代虚拟环境相关联，其中：
所述虚拟环境包括三维模型，所述三维模型包括一组虚拟元素；
所述替代虚拟环境包括不同的三维模型，所述不同的三维模型包括与包括在所述虚拟环境的所述三维模型中的所述一组虚拟元素不同的一组虚拟元素；以及
所述虚拟平面元素表示所述虚拟环境的虚拟界面元素；以及
相对于用户的视点渲染虚拟环境的视图和所述替代虚拟环境的视图，使得：
所述替代虚拟环境的所述视图被构建在所述虚拟环境的所述视图内的所述虚拟平面元素内，使得所述虚拟环境内的所述虚拟平面元素显示所述替代虚拟环境的所述视图；
所述替代虚拟环境的至少一个渲染元素在所述虚拟环境内的所述虚拟平面元素的近端深度之外的远端深度处渲染；以及
相对于所述虚拟环境内的所述虚拟平面元素的位置改变所述虚拟环境内的视点在所述虚拟环境与所述替代虚拟环境的所述渲染元素之间产生视差效应，这至少部分是由于所述替代虚拟环境的所述渲染元素在所述虚拟环境内的所述虚拟平面元素的所述近端深度之外的所述远端深度处被渲染。
CN201811624864.5A 2018-03-28 2018-12-28 用于提供沉浸式图形界面的系统和方法 Active CN110333773B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410344473.7A CN118210380A (zh) 2018-03-28 2018-12-28 用于提供沉浸式图形界面的系统和方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/938,317 2018-03-28
US15/938,317 US10909747B2 (en) 2018-03-28 2018-03-28 Systems and methods for providing immersive graphical interfaces

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202410344473.7A Division CN118210380A (zh) 2018-03-28 2018-12-28 用于提供沉浸式图形界面的系统和方法

Publications (2)

Publication Number Publication Date
CN110333773A CN110333773A (zh) 2019-10-15
CN110333773B true CN110333773B (zh) 2024-03-19

Family

ID=68056450

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201811624864.5A Active CN110333773B (zh) 2018-03-28 2018-12-28 用于提供沉浸式图形界面的系统和方法
CN202410344473.7A Pending CN118210380A (zh) 2018-03-28 2018-12-28 用于提供沉浸式图形界面的系统和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202410344473.7A Pending CN118210380A (zh) 2018-03-28 2018-12-28 用于提供沉浸式图形界面的系统和方法

Country Status (2)

Country Link
US (2) US10909747B2 (zh)
CN (2) CN110333773B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9132352B1 (en) 2010-06-24 2015-09-15 Gregory S. Rabin Interactive system and method for rendering an object
US11245889B1 (en) * 2018-11-08 2022-02-08 Tanzle, Inc. Perspective based green screening
US11288733B2 (en) * 2018-11-14 2022-03-29 Mastercard International Incorporated Interactive 3D image projection systems and methods
US11145113B1 (en) * 2021-02-19 2021-10-12 Tanzle, Inc. Nested stereoscopic projections
CN113327316A (zh) * 2021-06-30 2021-08-31 联想(北京)有限公司 一种图像处理方法、装置、设备及存储介质
US20230419617A1 (en) * 2022-06-22 2023-12-28 Meta Platforms Technologies, Llc Virtual Personal Interface for Control and Travel Between Virtual Worlds
WO2023249918A1 (en) * 2022-06-22 2023-12-28 Meta Platforms Technologies, Llc Virtual personal interface for control and travel between virtual worlds
US11755180B1 (en) 2022-06-22 2023-09-12 Meta Platforms Technologies, Llc Browser enabled switching between virtual worlds in artificial reality

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103797443A (zh) * 2011-07-12 2014-05-14 亚马逊技术公司 模拟三维特征
CN107408146A (zh) * 2014-12-24 2017-11-28 诺基亚技术有限公司 监控
CN107852573A (zh) * 2015-08-07 2018-03-27 微软技术许可有限责任公司 混合现实社交交互

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8693731B2 (en) * 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US20140002492A1 (en) * 2012-06-29 2014-01-02 Mathew J. Lamb Propagation of real world properties into augmented reality images
US10318101B2 (en) * 2014-01-30 2019-06-11 Mental Canvas LLC Gesture-based user interface and method for navigating in three-dimensional space
EP3329484A4 (en) * 2015-07-29 2019-06-05 Sensel Inc. SYSTEMS AND METHODS FOR HANDLING A VIRTUAL ENVIRONMENT
US10412438B2 (en) * 2016-03-14 2019-09-10 The Directv Group, Inc. Method and system for viewing sports content within a virtual reality environment
US10218793B2 (en) * 2016-06-13 2019-02-26 Disney Enterprises, Inc. System and method for rendering views of a virtual space

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103797443A (zh) * 2011-07-12 2014-05-14 亚马逊技术公司 模拟三维特征
CN107408146A (zh) * 2014-12-24 2017-11-28 诺基亚技术有限公司 监控
CN107852573A (zh) * 2015-08-07 2018-03-27 微软技术许可有限责任公司 混合现实社交交互

Also Published As

Publication number Publication date
US11568594B1 (en) 2023-01-31
CN118210380A (zh) 2024-06-18
US10909747B2 (en) 2021-02-02
CN110333773A (zh) 2019-10-15
US20190304166A1 (en) 2019-10-03

Similar Documents

Publication Publication Date Title
CN110333773B (zh) 用于提供沉浸式图形界面的系统和方法
EP3607418B1 (en) Virtual object user interface display
US10423234B2 (en) Facilitate user manipulation of a virtual reality environment
US10055888B2 (en) Producing and consuming metadata within multi-dimensional data
US10409443B2 (en) Contextual cursor display based on hand tracking
US9886102B2 (en) Three dimensional display system and use
US8788973B2 (en) Three-dimensional gesture controlled avatar configuration interface
US8717360B2 (en) Presenting a view within a three dimensional scene
CN107590771A (zh) 具有用于在建模3d空间中投影观看的选项的2d视频
KR20130043663A (ko) 3-d 모델 뷰 조작 장치
CN109189302B (zh) Ar虚拟模型的控制方法及装置
US20190311548A1 (en) Apparatus for sharing objects of interest and associated methods
US20240127546A1 (en) Overlay Placement For Virtual Reality And Augmented Reality
US6025838A (en) Interactive display interface for media presentation with direct access to media sequences
EP2902998A1 (en) Display device, control system, and control programme
KR20140081840A (ko) 모션으로 제어되는 리스트 스크롤 방법
US20210352348A1 (en) Methods, systems, and media for object grouping and manipulation in immersive environments
WO2010121945A2 (en) Method and system for interaction with unmodified 3d graphics applications
US20120182286A1 (en) Systems and methods for converting 2d data files into 3d data files
US10878618B2 (en) First-person perspective-mediated reality
Tsang et al. Game-like navigation and responsiveness in non-game applications
US11034092B2 (en) 3D-printed object with dynamic augmented-reality textures
JP5767371B1 (ja) 仮想空間平面上に配置したオブジェクトを表示制御するゲーム・プログラム
US20190130633A1 (en) Systems and methods for using a cutting volume to determine how to display portions of a virtual object to a user
Chen et al. Global scene filtering, exploration, and pointing in occluded virtual space

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: California, USA

Applicant after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Applicant before: Facebook Technologies, LLC

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant