CN114245888A - 与web内容的3d交互 - Google Patents

与web内容的3d交互 Download PDF

Info

Publication number
CN114245888A
CN114245888A CN202080057590.5A CN202080057590A CN114245888A CN 114245888 A CN114245888 A CN 114245888A CN 202080057590 A CN202080057590 A CN 202080057590A CN 114245888 A CN114245888 A CN 114245888A
Authority
CN
China
Prior art keywords
web
browser
content item
artificial reality
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080057590.5A
Other languages
English (en)
Inventor
J·英奇
R·多诺万
D·廖
J·罗杰斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Facebook Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Technologies LLC filed Critical Facebook Technologies LLC
Publication of CN114245888A publication Critical patent/CN114245888A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G02F1/13338—Input devices, e.g. touch panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K59/00—Integrated devices, or assemblies of multiple devices, comprising at least one organic light-emitting element covered by group H10K50/00
    • H10K59/40—OLEDs integrated with touch screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas

Abstract

公开了3D web交互系统的实施例，该3D web交互系统允许用户从浏览器中选择在人工现实环境中显示的内容项，并在人工现实环境中呈现内容项的对应版本。3D web交互系统可以根据所选内容项是否与3D内容相关联以不同的方式创建所选内容项的版本，以及如果与3D内容相关联，则根据相关联的3D内容的类型，创建所选内容项的版本。例如，3D web交互系统可以根据所选内容项是否(a)不与3D内容相关联，(b)与“环境内容”相关联，或(c)与一个或多个3D模型相关联，来创建和呈现所选内容项的不同版本。

Description

与WEB内容的3D交互
技术领域
本公开涉及人工现实环境中的交互。
背景技术
人工现实环境中的各种对象是“虚拟对象”，即由计算系统生成的在环境中出现的对象的表示。人工现实环境中的虚拟对象可以通过头戴式显示器、移动设备、投影系统或另一计算系统呈现给用户。一些人工现实环境可以呈现虚拟网站浏览器(在此称为“浏览器”)，其允许用户在人工现实环境中查看传统网站并与之交互。例如，在人工现实环境中，浏览器可以作为平板电脑或2D窗口呈现，带有传统web浏览器控件，如URL栏、前进和后退按钮、书签等。
附图说明
图1是示出本技术的一些实现可以在其上操作的设备的概述的框图。
图2A是示出可用于本技术的一些实现中的虚拟现实耳机的线图。
图2B是示出可用于本技术的一些实现中的混合现实耳机的线图。
图3是示出当前技术的一些实现可以在其中操作的环境的概述的框图。
图4是示出组件的框图，在一些实现中，这些组件可用于采用所公开技术的系统中。
图5(包括图5、图5续-1、图5续-2和图5续-3)是示出用于在人工现实环境中呈现基于web内容项的版本的在本技术的一些实现中使用的过程的流程图。
图6是示出组件的框图，该组件执行用于在人工现实环境中呈现基于web内容项的交互式3D版本的在本技术的一些实现中使用的过程。
图7A至图7C是示出和不与3D内容相关联的基于web内容项的示例交互的概念图。
图8A至图8D是示出和与包括环境内容的3D内容相关联的基于web内容项的示例交互的概念图。
图9A至图9C是示出和与包括3D模型的3D内容相关联的基于web内容项的示例交互的概念图。
通过结合附图参考下面的具体实施方式，可以更好地理解这里介绍的技术，其中相同的参考数字表示相同或功能相似的元件。
具体实施方式
公开了一种3D web交互系统的实施例，其允许用户从浏览器中选择在人工现实(artificial reality)环境中显示的内容项，并在浏览器外部的人工现实环境中呈现该内容项的相应交互版本。3D web交互系统可以根据所选内容项是否与3D内容相关联以不同的方式创建所选内容项的交互版本，以及如果与3D内容相关联，则根据相关联的3D内容的类型，创建所选内容项的交互版本。例如，3D web交互系统可以根据所选内容项是A)不与3D内容相关联，B)与“环境内容”相关联，或者C)与一个或多个3D模型相关联，来创建和呈现所选内容项的不同交互版本。如本文所使用的，“环境内容”指的是可由人工现实系统呈现为至少部分沉浸式的内容。例如，3D图像、全景图像或视频以及人工现实环境(例如，3D“世界”)都是环境内容，因为它们可以由人工现实系统显示，允许用户体验内容的不同部分并随着用户视角的改变而改变视点。
在操作中，3D web交互系统可以允许用户在查看网页时选择(例如，用“抓取”手势)显示的图像或其他内容项，并且根据相关联的内容，可以以几种方式与其交互。如果所选内容是没有其他相关联的3D内容的平面图像，则3D web交互系统可以在浏览器外部呈现所选图像的二维版本，允许用户体验将图像“拉出”浏览器。在浏览器之外，用户可以查看图像、调整其尺寸、在VR空间中旋转它等。当用户释放所选图像的二维版本、将其返回到浏览器或以其他方式关闭时，图像可以快速返回到网页中的原始位置。
如果所选内容与3D模型相关联，则3D web交互系统可以检索3D模型并呈现它，允许用户体验将3D对象从网页中拉出。然后，3Dweb交互系统向用户提供用于与模型交互的所有可用选项，例如移动、旋转、调整尺寸、激活控件等。当用户释放3D模型、将其返回到浏览器或以其他方式关闭时，3D模型可以对齐到浏览器中，在其在网页中的原始位置处作为原始内容重新出现。
如果所选内容项是环境内容或与环境内容相关联，则3D web交互系统可以检索环境内容并呈现它，允许用户体验将部分视图从网页拉入环境中。部分视图可以是显示环境图像的平面或曲面。在一些实现中，平面或曲面可以是进入环境的视图的静止图像。在其他实现中，面可以充当“窗口”，允许用户在移动或调整窗口尺寸时查看进入环境的不同视图。3D web交互系统可以允许用户操纵部分视图，例如，改变其相对于用户的形状、尺寸和方向。
当用户操纵部分视图以占据她的更多视场时，例如，通过使部分视图变大或使其更靠近她的脸，部分视图可以开始包含人工现实环境。当部分视图所占的用户视野的量超过阈值时(例如，当部分视图超过阈值尺寸和/或在用户面部的阈值距离内时)，人工现实环境可以被与部分视图相关联的环境所取代。如果环境是全景图像或视频，用户可以环顾四周，并在三个自由度上看到环境的不同视点。如果环境是3D图像或完整的其他环境，用户可以移动并环顾四周，以在六个自由度上看到环境的不同视点。
在某些实现中，用户可以执行手势或选择控件以退出新环境并返回原始环境。在某些实现中，返回到原始人工现实环境可以导致部分视图返回到浏览器中其在网页中的原始位置。在其他实现中，返回到原始的人工现实环境可以将部分视图重新显示为用户可以继续操作的面。当用户释放部分视图、将其返回到浏览器或以其他方式关闭该视图时，该部分视图可以迅速返回到其在网页中的原始位置。
所公开的技术的实施例可以包括人工现实系统或结合人工现实系统来实现。人工现实或额外现实(XR)是在呈现给用户之前已经以某种方式调整的现实的形式，其可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(mixed reality,MR)、混合现实(hybridreality)或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或与捕获的内容(例如，真实世界的照片)组合的生成的内容。人工现实内容可以包括视频、音频、触觉反馈或其某些组合，其中任何一个都可以在单通道或多通道中呈现(例如向观看者产生三维效果的立体声视频)。此外，在一些实施例中，人工现实可以与例如用于在人工现实中创建内容和/或用于在人工现实中(例如，在人工现实中执行活动)的应用、产品、附件、服务或其某些组合相关联。提供人工现实内容的人工现实系统可以在各种平台上实现，包括连接到主计算机系统的头戴式显示器(HMD)、独立HMD、移动设备或计算系统、“洞穴”环境或其他投影系统、或能够向一个或多个观看者提供人工现实内容的任何其他硬件平台。
本文所使用的“虚拟现实”或“VR”指的是沉浸式体验，其中用户的视觉输入由计算系统控制。“增强现实”或“AR”指的是用户在通过计算系统后查看现实世界图像的系统。例如，背面带有相机的平板电脑可以捕捉现实世界的图像，然后从相机将图像显示在平板电脑对面的屏幕上。当图像通过系统时，平板电脑可以处理和调整或“增强”图像，比如通过添加虚拟对象。“混合现实”或“MR”指的是这样的系统，其中进入用户眼睛的光部分地由计算系统产生，并部分地合成从现实世界中的对象反射的光。例如，MR耳机可以被塑造成一副带有直通显示器的眼镜，允许来自现实世界的光穿过波导，该波导同时从MR耳机中的投影仪发射光，允许MR耳机呈现与用户可以看到的真实对象混合的虚拟对象。本文所用的“人工现实”、“额外现实”或“XR”指的是VR、AR、MR中的任何一个，或其任何组合或混合。
一些现有的XR系统包括用于查看web内容并与web内容交互的浏览器(例如，人工现实环境中的2D面板)。然而，这些XR系统提供了有限的功能--只是模仿传统的用户观看屏幕浏览互联网的体验。用户与这些浏览器的交互需要将三维的富有表现力的输入解释为简单的点击输入，这严重限制了用户与web内容进行充分交互的能力。即使web内容与3D内容相关联(例如，当web内容是全景图像时)，现有的XR系统也只允许在平板浏览器中进行交互。本文描述的3Dweb交互系统和过程克服了与传统XR交互技术相关联的这些问题，并且期望为用户提供对与web内容的交互的更大控制，提供更多的功能，并且比现有XR系统中的交互更自然和直观。尽管是自然和直观的，这里描述的3D web交互系统和过程植根于计算机化的人工现实系统，而不是传统web交互的模拟。例如，在传统浏览器中与web内容的现有交互，甚至在3D环境中与浏览器的交互，都不包括从浏览器界面将内容提取到3D空间的方法，更不用说提供web内容和3D内容之间的技术链接、这种内容的按需检索以及与浏览器之外的内容的交互。例如，现有系统不允许用户从浏览器中提取3D模型或新环境的部分视图，并将它们自己拉入其中，用新环境取代当前的人工现实环境。此外，现有XR系统没有提供用于在浏览器外的3D环境中与web内容进行交互的方法，该web内容尚未通过自动将web内容转换为3D内容或提供可在浏览器外操作的2D表示而与3D内容链接。
下面将参考附图更详细地讨论几种实现。图1是示出所公开的技术的一些实现可在其上操作的设备的概述的框图。这些设备可以包括计算系统100的硬件组件，计算系统允许用户将在虚拟环境中显示的内容拉出浏览器，并在浏览器外的3D空间中操纵内容。例如，这样的操作可以包括移动、调整尺寸或扭曲图像；透过窗口观察另一个环境，甚至进入它以取代当前的环境；或者查看和操纵3D对象；同时，允许用户按需返回内容到浏览器，并继续他们的web浏览体验。在各种实现中，计算系统100可包括单个计算设备103或多个计算设备(例如，计算设备101、计算设备102和计算设备103)，其通过有线或无线信道通信以分配处理和共享输入数据。在一些实现中，计算系统100可以包括独立耳机，该耳机能够在不需要外部处理或传感器的情况下为用户提供计算机创建或增强的体验。在其他实现中，计算系统100可以包括多个计算设备，例如耳机和核心处理组件(例如控制台、移动设备或服务器系统)，其中一些处理操作在耳机上执行，而其他处理操作被卸载到核心处理组件。下面结合图2A和图2B描述示例耳机。在一些实现中，位置和环境数据可以仅由并入耳机设备中的传感器收集，而在其他实现中，一个或多个非耳机计算设备可以包括能够跟踪环境或位置数据的传感器组件。
计算系统100可以包括一个或多个处理器110(例如，中央处理单元、图形处理单元(GPU)、全息处理单元(HPU)等)。处理器110可以是设备中的单个处理单元或多个处理单元，或者分布在多个设备上(例如，分布在计算设备101-103中的两个或更多个上)。
计算系统100可以包括一个或多个输入设备120，该输入设备向处理器110提供输入，并通知它们动作。动作可以由硬件控制器来调解(mediate)，硬件控制器解释从输入设备接收的信号并使用通信协议将信息传送到处理器110。例如，每个输入设备120可以包括鼠标、键盘、触摸屏、触摸板、可穿戴输入设备(例如，触觉手套、手镯、戒指、耳环、项链、手表等)、相机(或其他基于光的输入设备，例如，红外传感器)、麦克风或其他用户输入设备。
例如，处理器110可以使用内部或外部总线，例如PCI总线、SCSI总线或无线连接，耦合到其他硬件设备。处理器110可以与用于诸如用于显示器130的设备的硬件控制器通信。显示器130可用于显示文本和图形。在一些实现中，显示器130包括作为显示器的一部分的输入设备，例如当输入设备是触摸屏或配备有眼睛方向监视系统时。在一些实现中，显示器与输入设备分离。显示设备的例子有：LCD显示屏、LED显示屏、投影的、全息的或增强现实的显示器(例如平视(heads-up)显示设备或头戴设备)等。其他I/O设备140也可以耦合到处理器，例如网络芯片或卡、视频芯片或卡、音频芯片或卡、USB、火线或其他外部设备、相机、打印机、扬声器、CD-ROM驱动器、DVD驱动器、磁盘驱动器等。
计算系统100可以包括能够与其它本地计算设备或网络节点进行无线通信或基于有线通信的通信设备。该通信设备可以通过使用例如TCP/IP协议的网络与另一设备或服务器通信。计算系统100可以利用通信设备在多个网络设备上分配操作。
处理器110可以访问存储器150，存储器150可以包含在计算系统100的计算设备之一上，或者可以分布在计算系统100的多个计算设备或其他外部设备上。存储器包括用于易失性或非易失性存储器的一个或多个硬件设备，并且可以包括只读和可写存储器两者。例如，存储器可以包括随机存取存储器(RAM)、各种高速缓存器、CPU寄存器、只读存储器(ROM)和可写非易失性存储器(例如闪存、硬盘驱动器、软盘、CD、DVD、磁存储设备、磁带驱动器等)中的一个或多个。存储器不是脱离底层硬件的传播信号；因此，存储器是非暂时性的。存储器150可以包括存储程序和软件的程序存储器160，例如操作系统162、3D web交互系统164和其他应用程序166。存储器150还可以包括数据存储器170，数据存储器170可以包括例如浏览器内容(具有到3D内容的标签或其他链接)、检索的3D内容、2D图像到3D图像的转换、手势标识符、环境数据、配置数据、设置、用户选项或偏好等，这些可以被提供给程序存储器160或计算系统100的任何元件。
一些实现可以与许多其他计算系统环境或配置一起操作。可适合与该技术一起使用的计算系统、环境和/或配置的示例包括但不限于XR耳机、个人计算机、服务器计算机、手持或膝上型设备、蜂窝电话、可穿戴电子设备、游戏机、平板设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费者电子设备、网络PC、小型机、大型计算机、包括上述系统或设备中的任何一个的分布式计算环境等。
图2A是根据一些实施例的虚拟现实头戴式显示器(HMD)200的线图。HMD 200包括前刚体205和带210。前刚体205包括电子显示器245的一个或多个电子显示元件、惯性运动单元(IMU)215、一个或多个位置传感器220、定位器225和一个或多个计算单元230。位置传感器220、IMU 215和计算单元230可以在HMD200的内部并且可以对用户不可见。在各种实现中，IMU215、位置传感器220和定位器225可以在三个自由度(3DoF)或六个自由度(6DoF)中跟踪HMD200在真实世界和虚拟环境中的移动和位置。例如，定位器225可以发射红外光束，该红外光束在HMD200周围的真实对象上创建光点。与HMD200集成的一个或多个相机(未示出)可以检测光点。HMD200中的计算单元230可以使用检测到的光点来外推HMD200的位置和移动，以及识别围绕HMD200的真实对象的形状和位置。
电子显示器245可以与前刚体205集成，并且可以根据计算单元230的指示向用户提供图像光。在各种实施例中，电子显示器245可以是单个电子显示器或多个电子显示器(例如，用于每个用户眼睛的显示器)。电子显示器245的示例包括：液晶显示器(LCD)、有机发光二极管(OLED)显示器、有源矩阵有机发光二极管显示器(AMOLED)、包括一个或多个量子点发光二极管(QOLED)子像素的显示器、投影仪单元(例如，微LED、激光器等)、一些其他显示器或它们的一些组合。
在一些实现中，HMD200可以耦合到核心处理组件，例如个人计算机(PC)(未示出)和/或一个或多个外部传感器(未示出)。外部传感器可以监视HMD200(例如，通过从HMD200发射的光)，PC可以结合来自IMU215和位置传感器220的输出，使用该光，来确定HMD200的位置和移动。
在一些实现中，HMD200可以与一个或多个其他外部设备通信，例如用户可以用一只手或双手握持的控制器(未示出)。控制器可以具有它们自己的IMU单元、位置传感器和/或可以发射进一步的光点。HMD200或外部传感器可以跟踪这些控制器光点。HMD200中的计算单元230或核心处理组件可结合IMU和位置输出使用该跟踪来监视用户的手位置和运动。控制器还可以包括用户可以致动以提供输入并与虚拟对象交互的各种按钮。在各种实现中，HMD200还可以包括附加子系统，例如眼睛跟踪单元、音频系统、各种网络组件等。在一些实现中，代替控制器或除了控制器之外，包括在HMD200中或在其外部的一个或多个相机可以监视用户手的位置和姿势，以确定手势以及其他的手和身体运动。
图2B是包括混合现实HMD252和核心处理组件254的混合现实HMD系统250的线图。混合现实HMD252和核心处理组件254可以经由由链路256指示的无线连接(例如，60GHz链路)进行通信。在其他实现中，混合现实系统250仅包括耳机，而不包括外部计算设备，或者包括混合现实HMD 252和核心处理组件254之间的其他有线或无线连接。混合现实HMD252包括直通显示器258和框架260。框架260可以容纳各种电子组件(未示出)，诸如投影仪(例如，激光器、L3D网络交互系统等)、相机、眼睛跟踪传感器、MEMS组件、网络组件等。
投影仪可以例如经由光学元件耦合到直通显示器258，以向用户显示媒体。光学元件可以包括一个或多个波导组件、反射器、透镜、反射镜、准直器、光栅等，用于将光从投影仪导向到用户的眼睛。图像数据可以经由链路256从核心处理组件254发送到HMD252。HMD252中的控制器可以将图像数据转换成来自投影仪的光脉冲，光脉冲可以通过光学元件作为输出光传输到用户的眼睛。输出光可以与穿过显示器258的光混合，允许输出光呈现看起来好像存在于现实世界中的虚拟对象。
类似于HMD200，HMD系统250还可以包括运动和位置跟踪单元、相机、光源等，其允许HMD系统250例如以3DoF或6DoF跟踪自身，跟踪用户的部位(例如，手、脚、头或其他身体部位)，映射虚拟对象以在HMD252移动时显示为静止，并使虚拟对象对手势和其他真实世界对象做出反应。
图3是示出所公开的技术的一些实现可以在其中操作的环境300的概述的框图。环境300可以包括一个或多个客户端计算设备305A-305D，其示例可以包括计算系统100。在一些实现中，一些客户端计算设备(例如，客户端计算设备305B)可以是HMD 200或HMD系统250。客户端计算设备305可以使用通过网络330到诸如服务器计算设备的一个或多个远程计算机的逻辑连接，在网络环境中操作。
在一些实现中，服务器310可以是边缘服务器，其接收客户端请求并通过诸如服务器320A-320C的其他服务器协调这些请求的实现。服务器计算设备310和320可以包括计算系统，例如计算系统100。尽管每个服务器计算设备310和320在逻辑上被显示为单个服务器，但服务器计算设备每个可以是包含位于相同或地理上分离物理位置的多个计算设备的分布式计算环境。
客户端计算设备305和服务器计算设备310和320可以各自充当其他服务器/客户端设备的服务器或客户端。服务器310可以连接到数据库315。服务器320A-320C可以各自连接到相应的数据库325A-325C。如上所述，每个服务器310或320可以对应于一组服务器，并且这些服务器中的每个可以共享数据库或可以具有它们自己的数据库。尽管数据库315和325在逻辑上显示为单个单元，但数据库315和325可以各自是包含多个计算设备的分布式计算环境，可以位于它们相应的服务器内，或者可以位于相同或地理上分离的物理位置。
网络330可以是局域网(LAN)、广域网(WAN)、网状网络、混合网络或其他有线或无线网络。网络330可以是互联网或某个其他公共或专用网络。客户端计算设备305可以通过网络接口，例如通过有线或无线通信连接到网络330。虽然服务器310和服务器320之间的连接被示为单独的连接，但这些连接可以是任何类型的局域、广域、有线或无线网络，包括网络330或单独的公共或专用网络。
图4是示出组件400的框图，在一些实现中，组件400可用于采用所公开技术的系统中。组件400可以包括在计算系统100的一个设备中，或者可以分布在计算系统100的多个设备中。组件400包括硬件410、调解器420和专用组件430。如上所述，实现所公开技术的系统可以使用各种硬件，包括处理单元412、工作存储器414、输入和输出设备416(例如，相机、显示器、IMU单元、网络连接等)和存储存储器418。在各种实现中，存储存储器418可以是本地设备、到远程存储设备的接口或其组合中的一个或多个。例如，存储存储器418可以是通过系统总线可访问的一个或多个硬盘驱动器或闪存驱动器，或者可以是云存储提供商(例如在存储装置315或325中)或通过一个或多个通信网络可访问的其他网络存储装置。在各种实现中，组件400可以在诸如客户端计算设备305的客户端计算设备中或在诸如服务器计算设备310或320的服务器计算设备上实现。
调解器420可以包括在硬件410和专用组件430之间调解(mediate)资源的组件。例如，调解器420可以包括操作系统、服务、驱动器、基本输入输出系统(BIOS)、控制器电路或其他硬件或软件系统。
专用组件430可以包括软件或硬件，所述软件或硬件被配置为执行用于在人工现实环境中在浏览器外部呈现与web内容相关联的内容的操作。专用组件430可包括XR环境434、浏览器436、手势监视器和标识符438、内容类型标识符440、内容检索器442、以及可用于提供用户界面、传输数据和控制专用组件(例如接口432)的组件和API。例如，接口432可以包括进程间通信(IPC)系统，其允许跨越进程边界的线程之间的通信，例如“客户端”和“服务”之间的通信，其中信使(messenger)与线程处理程序交互并设置回调以实现通信。在一些实现中，组件400可以在跨多个计算设备分布的计算系统中，或者可以是执行一个或多个专用组件430的基于服务器的应用的接口。
XR环境434可以是能够显示浏览器和其他2D或3D对象的任何类型的人工现实环境。在一些实现中，XR环境可以包括呈现启动器或其他菜单的“主页”环境，用户可以从该启动器或其他菜单启动诸如浏览器436的应用程序。XR环境434还可以包括服务和诸如手势监视器和标识符438、内容类型标识符440和内容检索器442的其他应用。在一些实现中，这些其他组件可以与XR环境434分离，或者一些其他组件可以是浏览器436的一部分。
浏览器436可以是在XR环境434中实现的web浏览器。在各种实现中，浏览器436可以是显示web内容的一个或多个虚拟面板或对象。例如，浏览器436可以是将HTML、CSS、JavaScript和其他代码和标记语言解释为对象和/或用户之间的可呈现内容和动作的过程。在一些实现中，浏览器436可以使用文档对象模型(DOM)创建网页，其中所呈现的内容和脚本被创建为元素的层次结构。在一些情况下，浏览器436使用的一些数据对象可以存在于DOM之外。浏览器436可以接收内容，内容可以包括指定内容类型的标签(例如，指定它是否是3D内容或者它是否与具有到3D内容的地址或路径的3D内容相关联)。浏览器436可以具有导致浏览器436将浏览器436内的内容标识符和内容位置发送到XR环境434、手势监视器和标识符438、内容类型标识符440和/或内容检索器442的代码(例如，本机代码、插件、加载脚本或其他指令)。在一些实现中，该代码还可以对DOM进行修改，例如，显示与3D内容相关联的特殊UI元素或元素上的效果(因此向用户指示它们可以被选择或从浏览器中“拉出”到人工现实环境中)。在一些实现中，该代码还可以响应来自任何其他组件的消息，例如，当指示的元素从浏览器中被拉出时隐藏或替换它们，当它们被关闭或放回浏览器时显示原始元素。
手势监视器和标识符438可以监视用户的手和/或控制器动作(例如，基于相机输入、IMU/位置传感器等)，并确定它们是否匹配与选择浏览器436中显示的内容或在XR环境434中操纵与基于Web内容项相对应的对象相对应的手势。手势监视器和标识符438可以通过接口432与浏览器436协同工作，以识别手势指示哪个浏览器内容项。因此，当用户做出将内容项从浏览器436中“拉出”的手势时，这些组件可以向内容检索器442发信号以向XR环境434提供根据由内容类型标识符440标识的内容类型格式化的相应内容。
内容类型标识符440可以识别内容是环境内容、一个或多个3D模型还是没有3D内容，或者与环境内容、一个或多个3D模型相关联。在一些实现中，内容类型标识符440可以通过查看正在被分类的内容上或与正在被分类的内容相关联的基于web的内容上的标签或其他标识符来实现这一点。在其他实现中，内容类型标识符440可以通过分析内容本身的编码、结构或其他特征，或者通过将内容提供给经过训练以识别内容类型的机器学习模型来实现这一点。由内容类型标识符440标识的类型可以控制XR环境434如何显示由内容检索器442提供给它的内容。例如，在内容类型为平面图像的情况下，可以显示为2D面板，也可以转换为3D图像；在内容类型是环境内容的情况下，可以首先将其显示为进入环境的部分视图，如果部分视图超过阈值(例如，尺寸、所取视场、到用户的最小距离)，然后将其显示为整个环境；或者在内容类型是3D模型的情况下，可以显示3D模型。
内容检索器442可以接收一条或多条内容的标识(例如，在加载网站时或在用户选择内容项时从浏览器436)，并且可以从本地存储装置或远程位置检索它。例如，标识符可以与内容检索器442可以从中获得指示的内容项的本地存储器中的指针、路径或远程地址相关联。
本领域的技术人员将理解，上面描述的图1至图4中以及下面讨论的每个流程图中所示的组件，可以以各种方式进行改变。例如，可以重新安排逻辑的顺序，可以并行执行子步骤，可以省略所示的逻辑，可以包括其他逻辑等。在一些实现中，上面描述的一个或多个组件可以执行下面描述的一个或多个过程。
图5(包括图5、图5续-1、图5续-2和图5续-3)是示出了过程的流程图，具有用于本技术的一些实现中用于在人工现实环境中呈现基于web内容项的标记为500、525、550和575的过程的部分。在一些实现中，过程500可以在用户在人工现实环境中操作浏览器时执行。在一些实现中，过程500的部分可以提前执行，例如，通过本地缓存与来自先前访问网站或用户访问网站的预测的web内容相关联的3D内容。
从块502开始，过程500可以在人工现实环境中显示浏览器。例如，浏览器可以是显示网页的一个或多个2D面板，并包括控件和界面，如URL栏、导航按钮、书签、菜单和其他传统的web浏览器界面。用户可以通过各种手势和语音命令在人工现实环境中与浏览器交互，例如使用手指在显示的链接或其他控件上“悬停”或“单击”，在网页上“拖动”滚动，使用真实或虚拟键盘键入等。
当用户访问网站时，可以显示诸如文本、图像、视频等各种内容项。在某些情况下，网站中的内容项可以是3D内容项，例如3D图像或视频(例如，图像或视频，其中改变视角，会改变图像或视频中所示的各种对象的透视图(perspective))或全景图像或视频(例如，图像或当前视频帧被轮廓成(contour into)诸如椭球或圆柱的3D形状的图像或视频，其中用户的视点设置在3D形状的中心，用户可以旋转该3D形状以查看图像或视频帧的不同部分)。在一些实现中，网页中的内容项可以与浏览器中未显示的3D内容相关联。例如这样的内容项可以作为3D内容的静止图像显示。在各种实现中，相关联的3D内容可以是各种类型中的一种，例如环境内容(例如，全景图像、全景视频、3D图像或人工现实环境)或3D模型。
在一些实现中，当网页中的内容项与3D内容相关联时，指示符可以与该内容一起呈现。在一些实现中，指示符可以是与基于web的内容项相关联地显示的用户界面(UI)元素，例如图形、颜色、动画、阴影等。在其他实现中，指示符可以是当用户选择、悬停或将其目光指向与3D内容相关联的基于web内容项时，添加到基于web的内容项的效果，例如阴影或阴影效果。
在块504，过程500可以从浏览器接收包括在浏览器中显示的当前网页中的一个或多个内容项的标识。可以使用进程间通信(IPC)消息来执行以下描述的该通信和其他通信，例如人工现实环境和浏览器之间的通信。块504以虚线示出，指示在一些实现中，跳过该步骤。在一些实现中，插件、本机代码或加载的脚本可以查看当前网站的内容并识别某些类型的内容项，例如，基于HTML标记、内容后修复(post-fix)标识符、嵌入在内容项中的标识符、对内容本身的分析或使用其他标记。例如，可以在HTML报头中包含<meta>标记，以指示3D环境或3D音频声景；<link>标记可以指定3D网站图标(favicon)，或者可以在元素中包括其他属性(例如，“data-model＝'<model_Id>'”属性或“data-environment＝'<environment_Id>'”属性可以被包括在各种元素中，诸如<img>元素或<video>元素，或者"mediaType＝'<typeID>'"属性可以被包括在<srcset>元素中)。
当接收到内容项的标识符时，例如可以根据标识符包括的URL或其他位置信息，从本地存储装置(如果可用)(例如，缓存的)或从远程数据存储器将它们预取到人工现实环境中(但尚未显示)。在人工现实环境的本地存储装置中具有这些内容项可以减少如果只在用户选择时检索3D内容项可能引起的延迟。
在一些实现中，当用户访问网页时，网页中不与3D内容相关联的图像或其他内容项可以自动转换为全景或3D图像。在一些实现中，使用机器学习方法来完成该转换，例如在美国专利申请号15/956177中描述的方法，其标题为“Image Object Extraction and In-Painting Hidden Surfaces for Modified Viewpoint Rendering”，其通过引用全文并入本文。过程500可以将这些生成的3D内容项存储在用于人工现实环境的本地存储装置中，并且可以将它们与创建它们的相应web内容项相关联。在一些实现中，可以响应于用户选择内容项(参见块506)，例如，使用特定手势，例如从浏览器中抓取和拉出图像的手势来执行转换。
在块506，过程500可以识别与在浏览器中显示的所选内容项相对应的用户手势。在一些实现中，可以使用控制器来做出手势。在其他实现中，可以用用户的手来做出手势，例如，其中系统使用相机和/或可穿戴设备来跟踪用户手的位置和姿势。在一些实现中，可以用一只或两只手或控制器伸进浏览器并“抓取”内容项的一部分来做出手势。在各种实现中，“抓取”手势可以是当控制器靠近内容项时按下控制器上的特定按钮，将拇指和一个或多个手指放在一起，或者闭合手或拳头。虽然在这里的示例中使用抓取手势，但在每种情况下，也可以使用其他手势，例如手指轻击、捏、点等。在一个示例中，用户可以通过抓取内容项的一个或多个角或边缘来选择内容项。在一些实现中，手势还可以包括拉，例如，其中用户抓取内容项的一部分并将其从浏览器拉离。这可以提供将内容项从网页中拉出的体验。
在一些实现中，浏览器可以向人工现实环境提供所显示的内容项位置的指示，允许人工现实环境确定用户手势对应于哪个内容项。或者，人工现实环境可以向浏览器提供手势位置信息，该浏览器可以使用该手势位置信息与显示的内容项相关联，并用相应的内容项标识符进行回复。
在一些实现中，选择要在浏览器外操作的内容项会导致浏览器“隐藏”或以其他方式不显示该内容项，或显示占位符内容项，直到关闭浏览器外的版本。这可以通过向浏览器发送消息来实现，该消息指示抓取位置或选择了哪个内容项，触发浏览器的进程以隐藏该内容项或以其他方式用占位符替换该内容项。
在块508，过程500可以确定在块506选择的内容项是否A)不与3D内容相关联，B)与环境内容(例如，全景图像、全景视频、3D图像或新的人工现实环境)相关联，或者C)与一个或多个3D模型相关联。如果存在与3D内容的关联，则可以如上文关于块504所述，例如基于HTML标签、内容后修复标识符、嵌入在内容项中的标识符、对内容本身的分析或使用其他标签，来标识该内容。如果所选内容项不与3D内容相关联，则过程500可以将分支“A)”带到子过程5A(图5续-1中525所示)。在一些实现中，当所选内容项不与3D内容相关联时，过程500可以为所选内容项生成环境内容(例如，3D图像)。这将使选定的内容项现在与环境内容相关联。如果所选内容项以前或现在与环境内容相关联，则过程500可以将分支“B)”带到子过程5B(如图5续-2中550所示)。如果所选内容项与一个或多个3D模型相关联，则过程500可以将分支“C)”带到子过程5C(图5续-3中575所示)。
当所选内容项不与3D内容相关联时，过程500已经将分支“A)”从过程525的块508带到块528。在块528，过程525可获得所选内容项并创建其2D版本。在执行块504以预取内容的情况下，2D版本可以已经被创建并且在用于人工现实环境的本地存储装置中，并且过程525可以从该本地存储装置获得2D版本。在其他实现中，过程525可以具有用于所选内容项的标识符，包括URL或指示远程存储位置的其他地址，过程525可以从远程存储中检索所选内容项。在一些实现中，浏览器可以例如通过IPC通信将所选内容项提供给人工现实环境。在一些实现中，过程525可以在浏览器之外创建2D面板，过程525可以在该2D面板上显示图像。所选内容项的2D版本可以在人工现实环境中显示。例如，可以相对于在块506识别的手势来显示2D版本。在手势是抓取和拉出的一些实现中，这可能看起来就像2D版本正在被从浏览器中拉出一样。
在块530，过程525可以监视用户对所选内容项的2D版本的操纵。例如，用户可以调整尺寸、旋转或重新定位、变形或以其他方式与内容项的2D版本交互。用户还可以“释放”或以其他方式退出2D版本的内容项。在一些实现中，这可以通过做出特定的手势来完成，例如打开用户的手或释放控制器上的按钮。在其他实现中，2D版本可以与虚拟控件相关联，例如退出按钮，其激活可以表示所选内容项的释放。
在块532，如果过程525尚未标识所选内容项的释放，则过程525可以返回到块530，直到释放被标识为止。一旦标识出释放，过程525可以继续到块534。
在块534，响应于所选内容项被释放，过程525可以从人工现实环境中移除所选内容项的2D版本的显示。这可以包括从人工现实环境的本地存储中删除它或将其设置为隐藏对象。在一些实现中，释放所选内容项可以导致2D版本在过程525隐藏2D版本之前看起来像是迅速进入或飞回浏览器中，例如，回到它从浏览器中被拉出的位置。在浏览器中的所选内容项被隐藏或替换为占位符内容项的一些实现中，当用户释放所选内容项时或在显示2D版本飞回浏览器的效果之后，过程525可以向浏览器发出信号以在浏览器中重新显示所选内容项。然后可以结束过程525(和过程500)。
从块508，当所选内容项与环境内容相关联时，过程500已经将分支“B)”从块508带到过程550的块552。在块552，过程550可获得对应于所选内容项的环境内容，并创建进入环境内容的部分视图。在执行块504以预取内容的情况下，环境内容可以已经在用于人工现实环境的本地存储中，并且过程550可以从该本地存储获得环境内容。在其他实现中，过程550可以具有标识符，包括环境内容的URL或其他地址，过程550可以使用该标识符来在远程存储中检索环境内容。在一些实现中，浏览器可以例如通过IPC通信提供环境内容。在一些实现中，过程550可以在浏览器外部创建作为2D面板或轮廓化为2D形状(例如，椭球或圆柱的一部分)的进入环境内容的部分视图。在各种实现中，进入环境内容的部分视图可以作为环境的一部分的静态图像显示在2D面板或轮廓化为2D形状上，或者可以是随着部分视图的移动而改变环境视图的动态“窗口”。例如，部分视图可以用部分视图的位置指定的相机角度从环境中的虚拟相机向环境中显示图像。一旦创建，过程550可以在人工现实环境中显示部分视图。例如，可以相对于在块506识别的手势来显示部分视图。在手势是抓取和拉出的一些实现中，这可能会显示为部分视图正在从浏览器中被拉出。此时，用户既可以看到浏览器，又可以将操作部分视图移到浏览器之外。
在块554，过程550可以监视用户对进入环境内容的部分视图的操纵。例如，用户可以调整尺寸、旋转或重新定位、变形或以其他方式与部分视图交互。在一些实现中，用户可以抓取局部视图的边缘或角，并通过改变边缘或角的位置来操纵局部视图，例如，将它们拉开或推到一起，旋转它们等。用户还可以“释放”局部视图或以其他方式退出局部视图。在一些实现中，这可以通过做出特定的手势来完成，例如张开用户的手或释放控制器上的按钮。在其他实现中，部分视图可以与虚拟控件相关联，例如退出按钮，激活退出按钮可以表示部分视图的释放。
在块556，如果过程550还没有标识出部分视图的释放，则过程550可以继续到块558。一旦标识出释放，过程550可以继续到块566。在块558，过程550可以确定对部分视图的操纵是否已使其超过阈值。过程550可以使用各种阈值来进行该确定，例如部分视图的总尺寸、部分视图与用户面部之间的距离(可以“高于”阈值，因为该距离已经低于最小距离)，或者部分视图占用的用户视野的量。在一些实现中，阈值可以是这些的组合或它们之间的替代，例如，如果部分视图大于两英尺(在虚拟空间中)或在用户面部的10英寸内，则确定超过阈值。阈值的示例包括局部视图大于18、24或36英寸的对角线；距离用户面部6英寸、10英寸或18英寸以内；或者占用户视野的30％、50％或75％以上。也可以使用其他阈值。如果部分视图超过阈值，则过程550可以进行到块560。否则，过程550可以返回到块554，在块554，过程550继续监视部分视图的用户操作。
在块560，响应于部分视图超过阈值，过程550可以基于环境内容显示新的人工现实环境。例如，在环境内容是全景图像或视频的情况下，过程550可以将用户放置在椭球或圆柱体的中心，在椭球或圆柱体上显示整个全景图像或视频，允许用户通过改变她的注视方向来查看全景视频或图像的不同部分。作为另一个示例，在环境内容是3D图像或整个环境的情况下，例如，可包含虚拟对象的虚拟区域，过程550可以用新的虚拟区域替换当前环境，允许用户例如在三或六个自由度中查看新的虚拟区域。在各种实现中，新的人工现实环境可以显示浏览器，或者浏览器可以保留在以前的人工现实环境中。在一些实现中，代替在块552创建部分视图，过程550可以通过将用户立即带入新的人工现实环境而开始，例如，在获得环境内容之后直接从块508进行到块560。
在块562，过程550可以确定用户是否退出新的人工现实环境。例如，用户可以通过执行特定手势、按下控件上的按钮、激活虚拟控件等来退出人工现实环境。在一些实现中，用户可以在新的人工现实环境中继续保持抓取部分视图的手势，并且可以通过释放部分视图来退出新的人工现实环境。直到用户退出新的人工现实环境，过程550可以从块562返回到块560，其中过程550将继续显示新的人工现实环境。
一旦用户退出新的人工现实环境，过程550就可以进行到块564，在这里，它将停止显示新的人工现实环境，而显示先前的人工现实环境。在一些实现中，在退出新的人工现实环境时，进入环境内容的部分视图可以重新出现(例如，相对于用户的一只或两只手或一个或多个控制器而定位)，允许用户进一步控制和操纵部分视图。过程550可以通过返回到块554，进一步监视部分视图的操纵。在替代实现中，如虚线568所示，退出新的人工现实环境也可以被解释为释放部分视图，而不是返回到块554，因此过程550继续到块566。
在从块556或块564进入的块566，过程550可以从人工现实环境中移除部分视图的显示。这可以包括从人工现实环境的本地存储中删除部分视图或将其设置为隐藏对象。在一些实现中，在从人工现实环境中移除部分视图之前，过程550可以使部分视图看起来像是迅速进入或飞回浏览器中，例如，回到它从浏览器中被拉出的位置。在浏览器中的选定内容项被隐藏或用占位符内容项替换的一些实现中，当用户释放部分视图时或在显示部分视图飞回浏览器的效果之后，过程550可以向浏览器发出信号以在浏览器中重新显示所选内容项。然后可以结束过程550(和过程500)。
从块508，当所选内容项与一个或多个3D模型相关联时，过程500已经将分支“C)”从块508带到过程575的块578。在块578，过程575可以获得与所选内容项相对应的3D模型以及将它们添加到人工现实环境。在执行块504以预取内容的情况下，3D模型可以已经在用于人工现实环境的本地存储中，并且过程575可以从本地存储中获得它们。在其他实现中，过程575可以具有标识符，包括用于3D模型的URL或其他地址，过程575可以从远程存储检索该标识符。在一些实现中，浏览器可以例如通过IPC通信提供3D模型。一旦获得，过程575可以将3D模型加载到人工现实环境中。
过程575的其余部分可以针对一个或多个模型中的每一个单独地执行，或者针对作为一组的模型单独地执行。在块580，过程575可以监视用户对一个3D模型的操作。例如，用户可以能够调整尺寸、旋转或重新定位、变形、激活相关联的控件，或者以其他方式执行可用于3D模型的任何交互。用户可以“释放”或退出3D模型。在一些实现中，这可以通过做出特定的手势来完成，例如张开用户的手或释放控制器上的按钮。在其他实现中，3D模型可以与虚拟控件相关联，例如退出按钮，退出按钮的激活可以表示3D模型的释放。
在块582，如果过程575尚未识别出3D模型的释放，则过程575可以返回到块580，直到识别出释放为止。一旦识别了释放，过程575可以继续到块584。
在块584，响应于3D模型被释放，过程575可以从人工现实环境中移除3D模型的显示。这可以包括从人工现实环境的本地存储中删除它或将其设置为隐藏对象。在一些实现中，在过程575隐藏3D模型之前，释放3D模型可以导致它迅速进入或飞回浏览器中，例如，回到它从浏览器中被拉出的位置。在浏览器中的选定内容项被隐藏或用占位符内容项替换的一些实现中，当用户释放3D模型时或在显示3D模型飞回浏览器的效果之后，过程575可以向浏览器发出信号，以在浏览器中重新显示选定内容项(或与该模型相关联的选定内容项的部分)。然后可以结束过程575(和过程500)。
图6是示出执行用于在人工现实环境中呈现基于web内容项的本技术的一些实现中使用的过程的组件的示例600的框图。示例600包括人工现实(XR)环境602；具有在XR环境602中显示的图像612的web浏览器604；手势监视器606；可选择内容存储608；内容服务器或数据库(DB)610；以及内容614的交互式3D版本。
示例600从XR环境602中显示的浏览器604开始。用户可以操作浏览器以查看包含图像612的所显示的网站并与之交互。当网站被加载时，在步骤652浏览器604发送指示网页中包括图像612的内容项列表的IPC消息。响应于IPC消息，可选择内容存储608基于相关联的标签将内容项列表解析为类型，并且检索和存储(例如，在步骤654和656)3D内容，所述3D内容对应于至少一些内容项以包含在3D环境中。例如，可以从浏览器或远程源接收与3D内容无关的来自网站的图像，并将其转换成2D版本(例如，2D面板)或3D图像；在内容项与环境内容(例如，全景图像或视频、3D图像或环境)相关联的情况下，可以检索相关联的环境内容；或者在内容项与3D模型相关联的情况下，可以检索相关联的3D模型。
示例600可以继续手势监视器606监视与浏览器有关的用户手势。当手势选择来自步骤652的IPC消息中列出的内容项之一(例如，基于由浏览器604提供的内容项位置数据确定--未示出)时，在步骤658示例600可以从可选择内容存储608中选择可在浏览器外部的3D环境中显示的相应内容。在这种情况下，用户已经从浏览器内“抓取”图像612，并做出“拉出”手势。作为响应，可选择内容存储608可以将对应于图像612的内容614的交互式3D版本提供给XR环境602，该XR环境602相对于拉出手势来显示该内容614。因此，对用户来说，它看起来像是在从浏览器中拉出内容。手势监视器606还可以向浏览器604提供图像选择的指示，使其用空框替换图像612，直到用户释放内容614的交互式3D版本。在这一点上，XR环境可以隐藏内容614的交互式3D版本(首先示出好像内容614的交互式3D版本正迅速返回到浏览器604中的效果)，并向浏览器604发出信号以用原始图像612替换空框。
图7A-图7C是示出与以前不与3D内容相关联的基于web的内容项的示例交互的概念图。例如，图7A示出了用户进入在人工现实环境中显示的浏览器706并通过抓取图像704的边缘附近来选择由浏览器706显示的图像704的手势702。图7B示出了用户将图像“拉出”浏览器的手势。人工现实环境响应于该手势，创建显示图像704的2D面板732，该2D面板附接到用户的手。人工现实环境还向浏览器706发送消息，以用空框734替换浏览器706中的图像704。图7C示出了用户执行另一手势762以抓取2D面板734的另一边缘并将其从保持2D面板734的相反边缘的手势702拉开，导致人工现实环境放大2D面板734。
图8A-图8D是示出与基于web的内容项的示例交互的概念图，该内容项与包括环境内容(在本例中是全景图像)的3D内容相关联。图8A示出了用户进入在人工现实环境中显示的浏览器806并通过抓住图像804的相反边缘来选择由浏览器806显示的图像804的双手手势802。图8B示出了用户保持与图像804相关联的进入环境内容832的部分视图，该环境内容是响应于用户用手势802将图像804从浏览器806中拉出而创建的。用户通过将部分视图的相对边缘拉开，将部分视图放大到环境832中来扩展手势802。此时，进入环境832的部分视图仍然低于离开用户的阈值距离。在该示例中，进入环境832的部分视图是进入全景图像的“窗口”，因此用户可以在不同方向上将部分视图移动到环境832中以查看全景图像的不同部分。图8C示出了一视角，其中用户继续保持手势802，但是已经在与自己的阈值距离内将部分视图拉入环境832，导致进入环境832的部分视图扩展(如箭头862所示)以包括整个人工现实环境。用户现在被包围在椭球(例如，球体)中，在该球上显示整个全景图像。用户可以在三个自由度中移动她的头以查看全景图像的不同部分，而不必移动手势802。图8D示出了用户通过张开她的手、释放手势802来执行手势882的视角。这使得人工现实环境退出了图8C中进入的环境，返回到包含浏览器806的环境，并显示进入环境832的部分视图迅速返回浏览器806的效果(由动作线884所示)。然后浏览器806可以用原始图像804替换占位符框886。
图9A-图9C是示出与基于web的内容项的示例交互的概念图，该内容项与包括3D模型的3D内容相关联。例如，图9A示出了用户进入在人工现实环境中显示的浏览器906并通过抓住图像904的一部分来选择由浏览器显示的图像904的手势902。图9B示出了用户保持与图像904相关联的3D模型932，该3D模型932是响应于用户在保持手势902的同时将图像904从浏览器906拉出而创建的。人工现实环境还向浏览器906发送消息，以用空框934替换浏览器906中的图像904。现在用户可以在浏览器906之外的3D空间中操纵模型932，例如，在保持手势902或激活与3D模型932相关联地显示的控件936的同时旋转或移动模型932。图9C示出了用户通过打开她的手、释放手势902来执行手势962的视角。这使得人工现实环境导致3D模型932飞回浏览器906，然后被隐藏，并且向浏览器906发送消息，指示用户已经释放了3D模型932。然后浏览器906可以用原始图像904替换占位符框934。
在本说明书中，对“实施方式”(例如，“一些实施方式”、“各种实施方式”、“一个实施方式”、“一实施方式”等)的引用意味着结合该实施方式描述的特定特征、结构或特性包括在本公开的至少一个实施方式中。这些短语在规范中不同地方的出现并不一定都是指相同的实现，也不是单独的或替代的实现与其他实现相互排斥。此外，描述了可以由一些实现而不是由其他实现展示的各种特征。类似地，描述了各种需求，它们可能是某些实现的需求，但不是其他实现的需求。
如这里所使用的，高于阈值意味着比较的项的值高于指定的其他值，比较的项在具有最大值的特定指定数目的项中，或者比较的项的值在指定的最高百分比值内。如这里所使用的，低于阈值意味着比较的项的值低于指定的其他值，比较的项在具有最小值的特定指定数目的项中，或者比较的项的值在指定的底部百分比值内。如这里所使用的，在阈值内意味着比较的项的值在两个指定的其他值之间，比较的项在中间指定数目的项中，或者比较的项的值在中间指定百分比范围内。当没有另外限定时，诸如高或不重要的相对术语可以被理解为赋值并确定该值如何与已建立的阈值相比较。例如，短语“选择快速连接”可以理解为意味着选择一个连接，该连接具有与其连接速度相对应的高于阈值的值。
如这里所使用的，单词“或”指的是一组项的任何可能的排列。例如，“A、B或C”短语指A、B、C中的至少一种或其任何组合，例如：A、B、C；A和B、A和C、B和C；A、B和C中的任一种；或诸如A和A、B、B和C；A、A、B、C和C等的任何项的倍数。
尽管已经用结构特征和/或方法行为所特有的语言描述了主题，但应当理解，在所附权利要求中限定的主题不一定限于上述特定特征或行为。为了说明的目的，在此描述了特定的实施例和实现，但是可以在不偏离实施例和实现的范围的情况下进行各种修改。上面描述的特点特征和行为被公开为实施所附权利要求的示例形式。因此，除了由所附权利要求限制之外，实施例和实现不受限制。
以上提到的任何专利、专利申请和其他参考文献通过引用并入本文。如果需要，可以修改各方面，以使用上述各种参考文献的系统、功能和概念来提供进一步的实现。如果通过引用并入的文献中的陈述或主题与本申请的陈述或主题冲突，则本申请应控制。

Claims (20)

1.一种计算机可读存储介质，存储有指令，所述指令在由计算系统执行时，使所述计算系统执行用于在第一人工现实环境中呈现基于web的内容项的操作，所述操作包括：
识别与在所述第一人工现实环境中显示的浏览器中的所述基于web的内容项相对应的用户手势；
确定所述基于web的内容项是否(a)不与3D内容相关联，(b)与包括全景图像、全景视频、3D图像或第二人工现实环境的环境内容相关联，或(c)与3D模型相关联；以及
响应于确定所述基于web的内容项与所述环境内容相关联-
创建用户能够在所述第一人工现实环境中与操纵所述浏览器分开地操纵的进入所述环境内容的部分视图；以及
响应于导致进入所述环境内容的所述部分视图超过阈值的操纵，使得基于所述环境内容的新的人工现实环境被显示。
2.根据权利要求1所述的计算机可读存储介质，其中所述用户手势包括双手手势，每只手在所述基于web的内容项的另一只手的相对侧执行手势。
3.根据权利要求1所述的计算机可读存储介质，其中所述用户手势包括在所述浏览器中选择所述基于web的内容项并且从所述浏览器中拉出的运动。
4.根据权利要求1所述的计算机可读存储介质，其中，
在识别所述用户手势之后，所述基于web的内容项不在所述浏览器中被显示；并且
在进一步的用户手势释放所述部分视图之后，所述基于web的内容项重新出现在所述浏览器中。
5.根据权利要求1所述的计算机可读存储介质，其中所述基于web的内容项被显示在所述浏览器中，带有所述基于web的内容项与所述3D内容相关联的指示。
6.根据权利要求5所述的计算机可读存储介质，其中所述基于web的内容项与3D内容相关联的所述指示是添加到所述基于web的内容项的效果，当所述用户与所述基于web的内容项交互时被显示。
7.根据权利要求1所述的计算机可读存储介质，其中使所述新的人工现实环境被显示允许所述用户在所述新的人工现实环境中以六个自由度移动。
8.根据权利要求1所述的计算机可读存储介质，其中所述操作还包括接收用户输入以退出所述新的人工现实环境，并且作为响应，用所述第一人工现实环境替换所述新的人工现实环境。
9.根据权利要求1所述的计算机可读存储介质，其中使进入所述环境内容的所述部分视图超过所述阈值的所述操纵包括使进入所述环境内容的所述部分视图超过尺寸阈值的操纵。
10.根据权利要求1所述的计算机可读存储介质，其中使进入所述环境内容的所述部分视图超过所述阈值的所述操纵包括使进入所述环境内容的所述部分视图超过用户视场的阈值量的操纵。
11.根据权利要求1所述的计算机可读存储介质，其中所述操作还包括：
识别用户手势以释放进入所述环境内容的所述部分视图；
在所述第一人工现实环境中显示所述部分视图向所述浏览器移动的效果；以及
使得进入所述环境内容的所述部分视图不在所述第一人工现实环境中显示。
12.一种用于在人工现实环境中呈现基于web的内容项的方法，所述方法包括：
识别与在所述人工现实环境中显示的浏览器中的所述基于web的内容项相对应的用户手势；
确定所述基于web的内容项是否(a)不与3D内容相关联，(b)与环境内容相关联，或(c)与3D模型相关联；以及
响应于确定所述基于web的内容项不与所述3D内容相关联，在所述浏览器外部创建所述基于web的内容项的2D版本，其中用户能够在所述人工现实环境中与操纵所述浏览器分开地操纵所述基于web的内容项的2D版本。
13.根据权利要求12所述的方法，其中所述用户能够针对所述基于web的内容项的2D版本执行的操作包括：以六个自由度移动、调整尺寸和扭曲所述基于web的内容项的2D版本。
14.根据权利要求12所述的方法，还包括将所述基于web的内容转换为3D图像。
15.根据权利要求12所述的方法，还包括：
识别用户手势以释放所述基于web的内容项的2D版本；
在所述人工现实环境中显示所述基于web的内容项的2D版本向所述浏览器移动的效果；以及
使得所述基于web的内容项的2D版本不被显示在所述人工现实环境中；
其中，在识别所述用户手势之后，所述基于web的内容项不被显示在所述浏览器中；并且
其中，在所述用户手势释放所述基于web的内容项的2D版本之后，所述基于web的内容项重新出现在所述浏览器中。
16.一种计算系统，用于在人工现实环境中呈现基于web的内容项，所述计算系统包括：
一个或多个处理器；以及
存储器，存储指令，当所述指令由所述一个或多个处理器执行时使所述计算系统执行操作，所述操作包括：
识别与在所述人工现实环境中显示的浏览器中的所述基于web的内容相对应的用户手势；
确定所述基于web的内容项是否与3D内容相关联；以及
响应于确定所述基于web的内容项与3D模型相关联，将所述3D模型添加到所述人工现实环境中，其中用户能够在所述人工现实环境中与操纵所述浏览器分开地操纵所述3D模型。
17.根据权利要求16所述的系统，其中所述操作还包括：响应于包含所述基于web的内容项的网站被所述浏览器加载，在本地存储装置中缓冲或缓存与所述基于web的内容项相关联的3D模型。
18.根据权利要求16所述的系统，其中所述用户手势包括在所述浏览器中选择所述基于web的内容项并且从所述浏览器拉出的运动。
19.根据权利要求16所述的系统，其中所述操作还包括：接收用以退出所述3D模型的用户输入，并且作为响应，使所述3D模型不被显示在所述人工现实环境中。
20.根据权利要求19所述的系统，其中所述操作还包括响应于用以退出所述3D模型的所述用户输入，在所述人工现实环境中显示所述3D模型向所述浏览器移动的效果。
CN202080057590.5A 2019-10-23 2020-09-27 与web内容的3d交互 Pending CN114245888A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/661,945 2019-10-23
US16/661,945 US11086476B2 (en) 2019-10-23 2019-10-23 3D interactions with web content
PCT/US2020/052976 WO2021080733A1 (en) 2019-10-23 2020-09-27 3d interactions with web content

Publications (1)

Publication Number Publication Date
CN114245888A true CN114245888A (zh) 2022-03-25

Family

ID=72812041

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080057590.5A Pending CN114245888A (zh) 2019-10-23 2020-09-27 与web内容的3d交互

Country Status (6)

Country Link
US (3) US11086476B2 (zh)
EP (1) EP4049115A1 (zh)
JP (1) JP2022552927A (zh)
KR (1) KR20220079684A (zh)
CN (1) CN114245888A (zh)
WO (1) WO2021080733A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9332285B1 (en) * 2014-05-28 2016-05-03 Lucasfilm Entertainment Company Ltd. Switching modes of a media content item
JP7302037B2 (ja) * 2019-06-19 2023-07-03 エルジー エレクトロニクス インコーポレイティド 画像コーディングにおいて変換カーネルセットを表す情報のシグナリング
US11086476B2 (en) * 2019-10-23 2021-08-10 Facebook Technologies, Llc 3D interactions with web content
US11475639B2 (en) 2020-01-03 2022-10-18 Meta Platforms Technologies, Llc Self presence in artificial reality
US11295503B1 (en) 2021-06-28 2022-04-05 Facebook Technologies, Llc Interactive avatars in artificial reality
US20230031871A1 (en) * 2021-07-29 2023-02-02 Meta Platforms Technologies, Llc User interface to select field of view of a camera in a smart glass
US11836205B2 (en) 2022-04-20 2023-12-05 Meta Platforms Technologies, Llc Artificial reality browser configured to trigger an immersive experience
US11755180B1 (en) 2022-06-22 2023-09-12 Meta Platforms Technologies, Llc Browser enabled switching between virtual worlds in artificial reality
US20240061545A1 (en) * 2022-08-18 2024-02-22 Meta Platforms Technologies, Llc URL Access to Assets within an Artificial Reality Universe on Both 2D and Artificial Reality Interfaces

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170039770A1 (en) * 2015-08-07 2017-02-09 Microsoft Technology Licensing, Llc Mixed reality social interaction
US20170236320A1 (en) * 2016-02-15 2017-08-17 Meta Company Apparatuses, methods and systems for tethering 3-d virtual elements to digital content
US20180144556A1 (en) * 2016-11-18 2018-05-24 Zspace, Inc. 3D User Interface - 360-degree Visualization of 2D Webpage Content
US20190026936A1 (en) * 2017-07-20 2019-01-24 Qualcomm Incorporated Extended reality virtual assistant

Family Cites Families (131)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6842175B1 (en) * 1999-04-22 2005-01-11 Fraunhofer Usa, Inc. Tools for interacting with virtual environments
US7701439B2 (en) * 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
KR100783552B1 (ko) * 2006-10-11 2007-12-07 삼성전자주식회사 휴대 단말기의 입력 제어 방법 및 장치
US9477368B1 (en) * 2009-03-31 2016-10-25 Google Inc. System and method of indicating the distance or the surface of an image of a geographical object
US20100306716A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Extending standard gestures
US9981193B2 (en) * 2009-10-27 2018-05-29 Harmonix Music Systems, Inc. Movement based recognition and evaluation
US8593402B2 (en) * 2010-04-30 2013-11-26 Verizon Patent And Licensing Inc. Spatial-input-based cursor projection systems and methods
FR2960986A1 (fr) * 2010-06-04 2011-12-09 Thomson Licensing Procede de selection d’un objet dans un environnement virtuel
CN102906671B (zh) * 2010-07-20 2016-03-02 松下电器（美国）知识产权公司 手势输入装置及手势输入方法
US9213890B2 (en) * 2010-09-17 2015-12-15 Sony Corporation Gesture recognition system for TV control
US8497838B2 (en) * 2011-02-16 2013-07-30 Microsoft Corporation Push actuation of interface controls
US8811719B2 (en) * 2011-04-29 2014-08-19 Microsoft Corporation Inferring spatial object descriptions from spatial gestures
JP2012243007A (ja) * 2011-05-18 2012-12-10 Toshiba Corp 映像表示装置及びそれを用いた映像領域選択方法
US11048333B2 (en) * 2011-06-23 2021-06-29 Intel Corporation System and method for close-range movement tracking
US9117274B2 (en) * 2011-08-01 2015-08-25 Fuji Xerox Co., Ltd. System and method for interactive markerless paper documents in 3D space with mobile cameras and projectors
US9292089B1 (en) * 2011-08-24 2016-03-22 Amazon Technologies, Inc. Gestural object selection
US8947351B1 (en) * 2011-09-27 2015-02-03 Amazon Technologies, Inc. Point of view determinations for finger tracking
JP5581292B2 (ja) * 2011-09-30 2014-08-27 楽天株式会社 検索装置、検索方法、記録媒体、ならびに、プログラム
US20130125066A1 (en) * 2011-11-14 2013-05-16 Microsoft Corporation Adaptive Area Cursor
US20130147793A1 (en) * 2011-12-09 2013-06-13 Seongyeom JEON Mobile terminal and controlling method thereof
US20150035746A1 (en) * 2011-12-27 2015-02-05 Andy Cockburn User Interface Device
USD683749S1 (en) * 2012-01-06 2013-06-04 Microsoft Corporation Display screen with a graphical user interface
USD689874S1 (en) * 2012-01-13 2013-09-17 Htc Corporation Display screen with graphical user interface
US20150220150A1 (en) * 2012-02-14 2015-08-06 Google Inc. Virtual touch user interface system and methods
US9477303B2 (en) * 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
CN105378593B (zh) * 2012-07-13 2019-03-01 索尼深度传感解决方案股份有限公司 利用手上的奇异兴趣点基于手势进行人机同步交互的方法和系统
KR101911906B1 (ko) * 2012-09-26 2018-10-25 에스케이플래닛 주식회사 3차원 객체 생성 장치 및 그 방법
USD727354S1 (en) * 2012-10-05 2015-04-21 Samsung Electronics Co., Ltd. Display screen or portion thereof with animated graphical user interface
KR101927150B1 (ko) * 2012-10-30 2018-12-10 삼성전자주식회사 3차원 디스플레이 장치 및 그의 사용자 인터페이스 방법
US9575562B2 (en) * 2012-11-05 2017-02-21 Synaptics Incorporated User interface systems and methods for managing multiple regions
KR101969318B1 (ko) * 2012-11-05 2019-04-17 삼성전자주식회사 디스플레이장치 및 그 제어방법
WO2014119258A1 (ja) * 2013-01-31 2014-08-07 パナソニック株式会社 情報処理方法及び情報処理装置
US10452243B2 (en) * 2013-01-31 2019-10-22 Bombardier Inc. System and method of operation of the system incorporating a graphical user interface in a side ledge of a vehicle cabin
USD763279S1 (en) * 2013-02-23 2016-08-09 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
TWD172232S (zh) * 2013-03-13 2015-12-01 三星電子股份有限公司 行動通訊裝置之圖形化使用者介面
US10220303B1 (en) * 2013-03-15 2019-03-05 Harmonix Music Systems, Inc. Gesture-based music game
USD727352S1 (en) * 2013-04-29 2015-04-21 Google Inc. Display screen with transitional graphical user interface
USD726219S1 (en) * 2013-06-09 2015-04-07 Apple Inc. Display screen or portion thereof with animated graphical user interface
US20160147308A1 (en) * 2013-07-10 2016-05-26 Real View Imaging Ltd. Three dimensional user interface
USD792454S1 (en) * 2013-08-12 2017-07-18 Sears Brands, L.L.C. Display screen or portion thereof with a set of icons
US9448689B2 (en) * 2013-08-30 2016-09-20 Paypal, Inc. Wearable user device enhanced display system
USD817994S1 (en) * 2013-09-03 2018-05-15 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
JP6090140B2 (ja) * 2013-12-11 2017-03-08 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US9891712B2 (en) * 2013-12-16 2018-02-13 Leap Motion, Inc. User-defined virtual interaction space and manipulation of virtual cameras with vectors
US9622322B2 (en) * 2013-12-23 2017-04-11 Sharp Laboratories Of America, Inc. Task light based system and gesture control
US9311718B2 (en) * 2014-01-23 2016-04-12 Microsoft Technology Licensing, Llc Automated content scrolling
USD775196S1 (en) * 2014-03-10 2016-12-27 Htc Corporation Display screen or portion thereof with graphical user interface
US20150261659A1 (en) * 2014-03-12 2015-09-17 Bjoern BADER Usability testing of applications by assessing gesture inputs
US10121186B2 (en) * 2014-03-31 2018-11-06 Monticello Enterprises LLC System and method of using a browser application programming interface for making payments
USD781317S1 (en) * 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
US10852838B2 (en) * 2014-06-14 2020-12-01 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US10416760B2 (en) * 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
KR101453815B1 (ko) * 2014-08-01 2014-10-22 스타십벤딩머신 주식회사 사용자의 시점을 고려하여 동작인식하는 인터페이스 제공방법 및 제공장치
USD761273S1 (en) * 2014-08-29 2016-07-12 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
KR20160046150A (ko) * 2014-10-20 2016-04-28 삼성전자주식회사 도형 컨텐트를 생성 및 해석하는 방법 및 장치
CN107111356B (zh) * 2014-11-27 2020-10-20 尔吉斯科技公司 用于基于手势控制装置的方法和系统
US10275113B2 (en) * 2014-12-19 2019-04-30 Hewlett-Packard Development Company, L.P. 3D visualization
USD788136S1 (en) * 2015-02-20 2017-05-30 Google Inc. Portion of a display panel with a graphical user interface
USD783037S1 (en) * 2015-02-27 2017-04-04 Vigyanlabs Innovations Pvt. Ltd. Display screen with graphical user interface including a sustainability dashboard for an enterprise
USD781905S1 (en) * 2015-04-12 2017-03-21 Adp, Llc Display screen with animated graphical user interface
US20160378291A1 (en) * 2015-06-26 2016-12-29 Haworth, Inc. Object group processing and selection gestures for grouping objects in a collaboration system
USD793403S1 (en) * 2015-06-30 2017-08-01 Whirlpool Corporation Display panel for appliance with partial graphical user interface portion
EP3329484A4 (en) * 2015-07-29 2019-06-05 Sensel Inc. SYSTEMS AND METHODS FOR HANDLING A VIRTUAL ENVIRONMENT
USD787527S1 (en) * 2015-08-14 2017-05-23 Sonos, Inc. Display device with animated graphical user interface element
USD821407S1 (en) * 2015-08-14 2018-06-26 Sonos, Inc. Display screen or portion thereof with animated graphical user interface element incorporating warped circles
US10101803B2 (en) * 2015-08-26 2018-10-16 Google Llc Dynamic switching and merging of head, gesture and touch input in virtual reality
USD784394S1 (en) * 2015-09-11 2017-04-18 Under Armour, Inc. Display screen with graphical user interface
USD784395S1 (en) * 2015-09-11 2017-04-18 Under Armour, Inc. Display screen with graphical user interface
USD790567S1 (en) * 2015-09-25 2017-06-27 Sz Dji Osmo Technology Co., Ltd. Display screen or portion thereof with animated graphical user interface
KR102641655B1 (ko) * 2015-10-20 2024-02-27 매직 립, 인코포레이티드 3차원 공간에서 가상 객체들 선택
USD775179S1 (en) * 2015-10-30 2016-12-27 Hitachi, Ltd. Display screen or portion thereof with graphical user interface
US10248284B2 (en) * 2015-11-16 2019-04-02 Atheer, Inc. Method and apparatus for interface control with prompt and feedback
US10776618B2 (en) * 2015-11-19 2020-09-15 Lg Electronics Inc. Mobile terminal and control method therefor
USD791823S1 (en) * 2015-11-26 2017-07-11 Guangzhou Shenma Mobile Information Technology Co., Ltd. Display screen with graphical user interface
USD792456S1 (en) * 2015-12-02 2017-07-18 Ultra Group Usa, Inc. Display screen or portion thereof with computer icon
USD789977S1 (en) * 2015-12-11 2017-06-20 Adp, Llc Display screen with graphical user interface
US9857881B2 (en) * 2015-12-31 2018-01-02 Microsoft Technology Licensing, Llc Electrical device for hand gestures detection
USD789416S1 (en) * 2016-02-04 2017-06-13 Lutron Electronics Co., Inc. Display screen or portion thereof with animated graphical user interface
WO2017143303A1 (en) * 2016-02-17 2017-08-24 Meta Company Apparatuses, methods and systems for sharing virtual elements
US10168768B1 (en) * 2016-03-02 2019-01-01 Meta Company Systems and methods to facilitate interactions in an interactive space
USD831681S1 (en) * 2016-03-04 2018-10-23 Roger André EILERTSEN Computer display screen with graphical user interface
US10665019B2 (en) * 2016-03-24 2020-05-26 Qualcomm Incorporated Spatial relationships for integration of visual images of physical environment into virtual reality
USD819065S1 (en) * 2016-03-28 2018-05-29 Huawei Technologies Co., Ltd. Display screen or portion thereof with graphical user interface
USD788793S1 (en) * 2016-03-30 2017-06-06 Microsoft Corporation Display screen with graphical user interface
CA3018758A1 (en) * 2016-03-31 2017-10-05 Magic Leap, Inc. Interactions with 3d virtual objects using poses and multiple-dof controllers
US10852835B2 (en) * 2016-04-15 2020-12-01 Board Of Regents, The University Of Texas System Systems, apparatuses and methods for controlling prosthetic devices by gestures and other modalities
US10204444B2 (en) * 2016-04-28 2019-02-12 Verizon Patent And Licensing Inc. Methods and systems for creating and manipulating an individually-manipulable volumetric model of an object
US10228836B2 (en) * 2016-05-23 2019-03-12 Unity IPR ApS System and method for generation of 3D virtual objects
US10852913B2 (en) * 2016-06-21 2020-12-01 Samsung Electronics Co., Ltd. Remote hover touch system and method
US20190258318A1 (en) * 2016-06-28 2019-08-22 Huawei Technologies Co., Ltd. Terminal for controlling electronic device and processing method thereof
US10473935B1 (en) * 2016-08-10 2019-11-12 Meta View, Inc. Systems and methods to provide views of virtual content in an interactive space
US11269480B2 (en) * 2016-08-23 2022-03-08 Reavire, Inc. Controlling objects using virtual rays
US10987573B2 (en) * 2016-10-11 2021-04-27 Valve Corporation Virtual reality hand gesture generation
US10809808B2 (en) * 2016-10-14 2020-10-20 Intel Corporation Gesture-controlled virtual reality systems and methods of controlling the same
CN107024981B (zh) * 2016-10-26 2020-03-20 阿里巴巴集团控股有限公司 基于虚拟现实的交互方法及装置
USD829231S1 (en) * 2017-01-13 2018-09-25 Action Target Inc. Display screen or portion thereof with graphical user interface
GB201718267D0 (en) * 2017-11-03 2017-12-20 Hardie-Bick Anthony Richard Sensing apparatus
USD824944S1 (en) * 2017-02-10 2018-08-07 General Electric Company Display screen or portion thereof with graphical user interface
USD835665S1 (en) * 2017-02-28 2018-12-11 Sony Corporation Display screen or portion thereof with animated graphical user interface
USD839299S1 (en) * 2017-03-27 2019-01-29 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
CA3059234A1 (en) * 2017-04-19 2018-10-25 Magic Leap, Inc. Multimodal task execution and text editing for a wearable system
USD824951S1 (en) * 2017-05-01 2018-08-07 Promontech Llc Computer display panel with a graphical user interface for a mortgage application
US10417827B2 (en) * 2017-05-04 2019-09-17 Microsoft Technology Licensing, Llc Syndication of direct and indirect interactions in a computer-mediated reality environment
USD859426S1 (en) * 2017-07-10 2019-09-10 Google Llc Display screen with animated graphical user interface
US10521944B2 (en) * 2017-08-16 2019-12-31 Microsoft Technology Licensing, Llc Repositioning user perspectives in virtual reality environments
DK180470B1 (en) * 2017-08-31 2021-05-06 Apple Inc Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments
EP3467707B1 (en) * 2017-10-07 2024-03-13 Tata Consultancy Services Limited System and method for deep learning based hand gesture recognition in first person view
USD856366S1 (en) * 2017-10-31 2019-08-13 Helixaeon Inc. Display screen or portion thereof with animated graphical user interface
USD854551S1 (en) * 2017-11-12 2019-07-23 Musico Ltd. Portion of a display screen with transitional graphical user interface
USD850468S1 (en) * 2018-01-05 2019-06-04 Google Llc Display screen or portion thereof with transitional graphical user interface
USD842889S1 (en) * 2018-01-05 2019-03-12 Byton Limited Display screen or portion thereof with a graphical user interface
US20190213792A1 (en) * 2018-01-11 2019-07-11 Microsoft Technology Licensing, Llc Providing Body-Anchored Mixed-Reality Experiences
US10970936B2 (en) * 2018-10-05 2021-04-06 Facebook Technologies, Llc Use of neuromuscular signals to provide enhanced interactions with physical objects in an augmented reality environment
USD900123S1 (en) * 2018-02-12 2020-10-27 Acordo Certo—Reparacao E Manutencao Automovel, LTA Display screen or portion thereof with graphical user interface
US10657716B2 (en) * 2018-03-07 2020-05-19 California Institute Of Technology Collaborative augmented reality system
US11093103B2 (en) * 2018-04-09 2021-08-17 Spatial Systems Inc. Augmented reality computing environments-collaborative workspaces
US11875012B2 (en) * 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
US10948993B2 (en) * 2018-06-07 2021-03-16 Facebook, Inc. Picture-taking within virtual reality
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
USD908713S1 (en) * 2018-07-12 2021-01-26 Distech Controls Inc. Display screen or portion thereof with graphical user interface
US10916220B2 (en) * 2018-08-07 2021-02-09 Apple Inc. Detection and display of mixed 2D/3D content
US10732725B2 (en) * 2018-09-25 2020-08-04 XRSpace CO., LTD. Method and apparatus of interactive display based on gesture recognition
US10942577B2 (en) * 2018-09-26 2021-03-09 Rockwell Automation Technologies, Inc. Augmented reality interaction techniques
US11294472B2 (en) * 2019-01-11 2022-04-05 Microsoft Technology Licensing, Llc Augmented two-stage hand gesture input
US11107265B2 (en) * 2019-01-11 2021-08-31 Microsoft Technology Licensing, Llc Holographic palm raycasting for targeting virtual objects
US11397463B2 (en) * 2019-01-12 2022-07-26 Microsoft Technology Licensing, Llc Discrete and continuous gestures for enabling hand rays
USD910655S1 (en) * 2019-03-12 2021-02-16 MKM Global Pty Ltd. Display screen with animated graphical user interface
US20210011556A1 (en) * 2019-07-09 2021-01-14 Facebook Technologies, Llc Virtual user interface using a peripheral device in artificial reality environments
USD910660S1 (en) * 2019-07-26 2021-02-16 Lutron Technology Company Llc Display screen or portion thereof with graphical user interface
US11170576B2 (en) * 2019-09-20 2021-11-09 Facebook Technologies, Llc Progressive display of virtual objects
US11086476B2 (en) * 2019-10-23 2021-08-10 Facebook Technologies, Llc 3D interactions with web content

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170039770A1 (en) * 2015-08-07 2017-02-09 Microsoft Technology Licensing, Llc Mixed reality social interaction
US20170236320A1 (en) * 2016-02-15 2017-08-17 Meta Company Apparatuses, methods and systems for tethering 3-d virtual elements to digital content
US20180144556A1 (en) * 2016-11-18 2018-05-24 Zspace, Inc. 3D User Interface - 360-degree Visualization of 2D Webpage Content
US20190026936A1 (en) * 2017-07-20 2019-01-24 Qualcomm Incorporated Extended reality virtual assistant

Also Published As

Publication number Publication date
US11086476B2 (en) 2021-08-10
JP2022552927A (ja) 2022-12-21
US11556220B1 (en) 2023-01-17
KR20220079684A (ko) 2022-06-13
WO2021080733A1 (en) 2021-04-29
EP4049115A1 (en) 2022-08-31
US20230152936A1 (en) 2023-05-18
US20210124475A1 (en) 2021-04-29

Similar Documents

Publication Publication Date Title
US11556220B1 (en) 3D interactions with web content
US11520477B2 (en) Augmented reality scrollbar
JP7476292B2 (ja) 複合現実システムにおいて仮想コンテンツを管理および表示する方法およびシステム
US10657716B2 (en) Collaborative augmented reality system
US10678340B2 (en) System and method for providing user interface tools
US11275481B2 (en) Collaborative augmented reality system
CN111819522A (zh) 用于混合现实显示器中的虚拟内容的遮挡光标
CA3091026A1 (en) Object creation with physical manipulation
CN109643212A (zh) 3d文档编辑系统
US11232643B1 (en) Collapsing of 3D objects to 2D images in an artificial reality environment
US11023035B1 (en) Virtual pinboard interaction using a peripheral device in artificial reality environments
US10976804B1 (en) Pointer-based interaction with a virtual surface using a peripheral device in artificial reality environments
CA3101001A1 (en) Machine interaction
US11023036B1 (en) Virtual drawing surface interaction using a peripheral device in artificial reality environments
CN117590935A (zh) 二维界面与人工现实界面之间的人工现实环境中视角共享
US20220130100A1 (en) Element-Based Switching of Ray Casting Rules
US11836205B2 (en) Artificial reality browser configured to trigger an immersive experience
US11947862B1 (en) Streaming native application content to artificial reality devices
JP7470226B2 (ja) Ｘｒマルチウィンドウ制御
EP4089506A1 (en) Element-based switching of ray casting rules
Pavlopoulou et al. A Mixed Reality application for Object detection with audiovisual feedback through MS HoloLenses
WO2024091371A1 (en) Artificial reality input for two-dimensional virtual objects
WO2024072595A1 (en) Translating interactions on a two-dimensional interface to an artificial reality experience
WO2024039782A1 (en) Url access to assets within an artificial reality universe on both 2d and artificial reality interfaces
KR20240025593A (ko) 객체에 대한 동작 양식을 동적으로 선택하기 위한 방법 및 디바이스

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: California, USA

Applicant after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Applicant before: Facebook Technologies, LLC

CB02 Change of applicant information