CN115087905A - 在混合现实环境中相对于三维容器的以身体为中心的内容定位 - Google Patents

在混合现实环境中相对于三维容器的以身体为中心的内容定位 Download PDF

Info

Publication number
CN115087905A
CN115087905A CN202080096233.XA CN202080096233A CN115087905A CN 115087905 A CN115087905 A CN 115087905A CN 202080096233 A CN202080096233 A CN 202080096233A CN 115087905 A CN115087905 A CN 115087905A
Authority
CN
China
Prior art keywords
user
prism
content item
content
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080096233.XA
Other languages
English (en)
Inventor
R·A·塔尔沃尔卡尔
C·P·海纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of CN115087905A publication Critical patent/CN115087905A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Architecture (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

公开了一种混合现实系统，其将3D内容显示在称为“棱镜”的容器中，并且还显示相关内容项，诸如用于与3D内容交互的交互式菜单。为了保持用户可访问内容项，当用户相对于棱镜移动时，系统相对于棱镜重新定位内容项。例如，在注释工具栏的上下文中，系统可以响应于用户在棱镜周围走动、进入棱镜或改变棱镜中的头部姿势，将工具栏从棱镜的一个表面移动到另一个表面。

Description

在混合现实环境中相对于三维容器的以身体为中心的内容 定位
技术领域
本公开涉及增强现实和混合现实系统，并且更具体地，涉及用于基于用户运动相对于三维(3D)容器或“棱镜(prism)”定位内容的用户界面和方法。
背景技术
现代计算和显示技术促进了用于所谓“虚拟现实”、“增强现实”和“混合现实”体验的系统的开发，其中向用户呈现数字再现的图像或其部分，使得他们看起来真实。虚拟现实或“VR”场景通常涉及数字或虚拟图像信息的呈现，而对其它实际真实世界的视觉输入不透明。增强现实或“AR”场景通常涉及数字或虚拟图像信息的呈现，而对其它实际的真实世界视觉输入不透明。混合现实或“MR”场景通常涉及合并真实世界和虚拟世界以产生新的环境，其中物理和虚拟对象共存并在其中实时交互。如在此所使用的，术语“混合现实”旨在涵盖增强现实。
如美国专利公开2019/0197785中所公开的，其公开内容通过引用整体并入本文，混合现实系统可以支持使用3D有界体积或容器(称为“棱镜”)来管理虚拟内容的显示。棱镜可以具有矩形或其它形状，并且可以定位在相对于用户的真实世界环境的固定位置。在一些情况下，多个应用可以将3D内容渲染到棱镜中，而通用应用管理该内容的显示。
发明内容
在3D环境中显示多个内容项遇到的一个问题涉及不同内容项之间的潜在干扰，包括显示在棱镜中的内容。作为一个示例，一些混合现实应用公开了交互式菜单，诸如工具栏，用户可以与之交互以创建或修改在3D环境中显示的内容。随着用户四处移动，该菜单的显示可与一个或多个内容项重叠或出现在其后面，从而使与菜单的交互变得困难。相关的问题涉及将交互式菜单保持在当用户四处移动时可以容易地看到和访问菜单的位置。
本公开通过提供用于在用户相对于棱镜移动时调节内容项相对于棱镜边界(或其它有界3D体积或容器)的显示位置和/或取向的显示方法来解决上述和其它问题。例如，内容项可以是交互式显示对象，诸如交互式菜单(例如，工具栏)。作为另一示例，内容项可以是通知，或者显示通知的显示对象或窗格。
在一些实施例或使用实例中，该方法涉及基于用户相对于棱镜的运动和/或基于用户取向(例如，头部姿势)的变化将内容项从棱镜的一个表面重新定位到棱镜的另一个表面。例如，假设棱镜具有矩形形状，并且具有用户可以进出棱镜的足够的大小。如果用户最初站在棱镜外侧并面向棱镜，则交互式菜单(或其它内容项)最初可以显示在棱镜最近的竖直表面上并且具有朝外的取向。如果用户然后通过该表面走进棱镜，则交互式菜单可以重新定位到后表面(即，直接与穿过表面相对并平行于穿过表面的表面)，并以面向内的取向显示。(如下所述，落在这些平行表面之间的显示位置也是可能的)。如果用户然后向右或向左转向以面向矩形棱镜的另外两个竖直表面之一，则交互式菜单可以重新定位到用户面向的表面。因此，该方法可以将菜单保持在用户的视野内，同时减少或消除菜单与棱镜中渲染的其它内容之间的干扰。
该方法还可以涉及保留棱镜的一个或多个部分或其表面用于内容项的显示，使得应用不能渲染干扰内容项的其它类型的内容。例如，对于具有多个竖直表面的棱镜，可以保留上部部分或条带用于交互式菜单的显示。该特征可以进一步减少或消除棱镜中渲染的内容将阻碍用户访问菜单或其它内容项的可能性。
在一些实施例中，该方法有利地促进用户在用户相对于棱镜移动时访问内容项同时保持内容项“不碍事”的能力。例如，如果内容项是用于注释在棱镜中渲染的3D内容的注释工具栏，则当用户四处移动时，工具栏可以在相对于棱镜的多个设定位置和取向之间移动，使得(1)工具栏通常对用户(例如，在用户的视野内)保持可见，以及(2)棱镜中的3D内容和注释不会妨碍用户对工具栏的访问。
该方法可以在由混合现实系统的一个或多个硬件处理器执行的可执行程序指令中实现。例如，该方法可以在运行在混合现实系统上并管理由其它应用渲染的内容的通用应用的可执行代码内实现。
因此，本发明包括在由混合现实系统的一个或多个硬件处理器执行的程序指令的控制下执行的计算机化方法，该方法包括：在用户佩戴的头戴式耳机的显示器上向用户显示包括在棱镜内的三维(3D)内容，该棱镜具有定义显示3D内容的体积的多个表面；在棱镜的第一表面上显示为用户提供与3D内容交互的功能的内容项；感测用户相对于棱镜的运动；并且响应于感测的运动，将内容项重新定位到棱镜的第二表面。例如，内容项可以是具有可由用户选择的图标的工具栏，或者是提供用于注释3D内容的用户功能的注释菜单。所感测的运动可以包括用户位置的变化，或用户的头部姿势的变化。可以重新定位内容项以保持在用户的视野中。在一些实施例中，棱镜包括其中不能显示3D内容的保留区域，并且该方法包括将内容项显示在第一表面和第二表面上的保留区域中。
在计算机化方法的一些实施例中，第一表面和第二表面是彼此垂直的竖直表面。在该实施例中，内容项的重新定位可以包括将内容项旋转90度。
在该计算机化方法的一些实施例中，第一表面和第二表面彼此平行，并且感测的运动包括用户从棱镜外侧通过第一表面到棱镜内侧的运动。在该实施例中，重新定位内容项包括响应于用户从棱镜外侧到内侧的运动，在落在第一表面和第二表面之间的中间位置处显示内容项。
在该计算机化方法的一些实施例中，该方法包括：当用户位于棱镜外侧时，基于用户位置确定内容项的显示位置，以及当用户位于棱镜内侧时基于用户的姿势确定内容项的显示位置。
本发明还包括一种混合现实系统，其包括：被配置为由用户佩戴的头戴式显示器；一个或多个传感器，其被配置为感测用户的运动；以及包括一个或多个处理器的计算系统，该计算系统用可执行指令编程以在头戴式显示器上显示包括在棱镜内的三维(3D)内容，该棱镜具有定义有界体积的表面，该棱镜在用户的真实世界环境中具有固定位置。计算系统被配置为在棱镜的第一表面上显示内容项，并且响应于感测的用户相对于棱镜的运动，通过将内容项重新定位到棱镜的第二表面来保持用户可访问的内容项。例如，内容项可以是交互式菜单。感测的运动可以包括用户相对于棱镜的位置的变化、用户从棱镜外侧到棱镜内侧的运动，和/或用户姿势的变化。棱镜可以包括其中3D内容不可显示的保留区域，在这种情况下，计算系统可以被编程为在第一表面和第二表面上的保留区域中显示内容项。在一些实施例中，计算系统被编程为当用户位于棱镜外侧时基于用户位置确定内容项的显示位置，并且当用户位于棱镜内侧时基于用户的姿势确定内容项的显示位置。计算系统可以运行渲染3D内容的第一应用和管理棱镜中3D内容的显示的第二应用。
本发明进一步包括包含一个或多个存储设备的非暂态计算机存储装置，该非暂态计算机存储装置存储指导混合现实系统执行方法的可执行程序指令，该方法包括：在由用户佩戴的头戴式耳机的显示器上向用户显示包括在棱镜内的三维(3D)内容，该棱镜具有定义显示3D内容的体积的多个表面；在棱镜的第一表面上显示为用户提供与3D内容交互的功能的内容项；检测用户相对于棱镜的运动；并且响应于检测的运动，将内容项重新定位到棱镜的第二表面，使得内容项保持在用户的视野中。
附图说明
图1示出可以实现本公开的显示方法的环境的一个示例。
图2示出根据一个实施例的其中用户观看在棱镜中渲染的3D内容的示例场景，并且示出交互式菜单的定位。
图3示出图2中用户采用可使用交互式菜单访问的绘图工具添加注释之后的示例。
图4示出图2的示例中当用户走向棱镜并且然后进入棱镜时如何重新定位交互式菜单。
图5示出根据一个实施例的相对于图2的示例中的棱镜的五个用户位置/取向，并且示出五个对应的菜单位置。
图6是图2-5的棱镜的自上而下(俯视)图，并示出可用于以编程方式选择交互式菜单或其它内容项的位置和取向的坐标系、尺寸变量和区域边界。
图7A-7D示出针对棱镜内四个用户取向中的每一个用户取向的菜单位置和取向的程序选择。
图8示出用于响应于用户运动而重新定位内容项的方法的一个实施例。
在整个附图中，附图标记可以重新用于指示参考元件之间的对应关系。提供附图是为了示出在此描述的示例实施例并且不旨在限制本公开的范围。
具体实施方式
I.术语
为了便于理解在此讨论的系统和方法，下面描述了若干术语。这些术语以及在此使用的其它术语应解释为包括所提供的描述、术语的普通和习惯含义和/或相应术语的任何其它隐含含义，其中此类解释与术语的上下文一致。因此，以下描述不限制这些术语的含义，而仅提供示例性描述。
头部姿势：可穿戴头戴式耳机(或其它头戴式系统，诸如头盔)以及真实世界中的用户头部代理的位置和/或取向。头部姿势可以使用诸如惯性测量单元(IMU)、加速度计、陀螺仪等的传感器来确定。在一些实施例中，可以使用在头部姿势的方向中延伸的头部姿势射线(ray)来与虚拟对象交互。例如，当用户指向或注视棱镜或对象时，对象或棱镜与用户的头部姿势射线相交。用户的取向可以另外地或可替代地基于眼睛姿势、躯干姿势或用户身体的一些其它部分的姿势来确定。
棱镜：与混合现实内容或混合现实空间相关联的三维容器或外壳。例如，棱镜可包括可由用户选择的一个或多个虚拟内容项。棱镜的边界或表面可以但不必显示给用户。棱镜可在启动应用时生成，并且然后可能会生成兄弟棱镜或子棱镜以创建灵活的布局。棱镜通常提供类似于图形用户界面的窗口的功能，但其是能够显示3D内容的3D对象。在一些环境中可以使用棱镜，以使用户能够协作共享和操作3D内容。
控制器：被配置为手持并用于与混合现实环境交互的设备。例如，控制器可用于与用棱镜渲染的内容项交互，或与和棱镜相关联的菜单交互。控制器可以提供多自由度运动，诸如6DoF(六自由度)。在一些实施例中，可以使用用户的手或其他现实世界对象来代替控制器或作为控制器的补充，以向例如用户可交互的虚拟内容提供用户输入。
控制器姿势：控制器的位置和/或取向。控制器姿势可用于确定控制器指向的混合现实环境的区域、体积或点。在一些实施例中，控制器姿势在视觉上向用户描绘为从控制器延伸的射线，使用户能够用控制器指向以及选择内容项。
II.具有棱镜的混合现实环境示例
图1示出用于在混合现实系统中使用棱镜来管理和显示内容的示例物理环境和计算系统。代表性环境100包括如由用户103通过头戴式系统或头戴式耳机160观看的用户景观110。用户景观110是世界的3D图，其中可将用户放置的内容合成在真实世界之上。头戴式耳机160可以是任何合适的头戴式显示系统或设备，并且可以例如类似于由用户佩戴的护目镜、眼镜或头盔。
头戴式耳机160包括显示器162，该显示器162显示补充用户的真实世界图的各种类型的内容。在图1中所示的示例中，用户站在房间中并且观看景观110，该景观110包括用在相应棱镜113a、113b中渲染的数字内容115a和115b补充的房间的真实世界图。显示器162可以集成到头戴式耳机的透明或半透明透镜(或一个此类透镜)中，在这种情况下，用户的通过透镜的图用在显示器162上渲染的内容来补充。例如，显示器162可以如美国专利公布2018/0157398中所公开的，使用结合到透镜中的波导来实现，其公开内容通过引用并入本文。可替代地，显示器162可以是不透明显示器，该不透明显示器显示如由头戴式耳机的一个或多个面向外的相机采集的真实世界图的补充表示。
头戴式耳机160包括用于感测用户的景观、位置和取向的一种或多种类型的传感器164。传感器164可以包括用于感测物理对象和其它环境的例如一个或多个面向外的相机或扫描仪，并且可以包括用于感测头部姿势和位置的一种或多种类型的设备，诸如加速度计、惯性测量单元、罗盘、无线电设备和/或陀螺仪。头戴式耳机还可以包括一个或多个面向内的相机或用于眼睛跟踪的其它传感器。用户眼睛的跟踪状态称为“眼睛姿势”。头戴式耳机160还可以包括音频扬声器和麦克风(未示出)。
代表性环境100进一步包括可穿戴计算设备170。可穿戴计算设备可以包括一个或多个硬件处理器(未示出)、存储应用代码和内容的存储器或其它存储设备137，以及用于与本地和/或远程系统组件通信的一个或多个无线收发机。可穿戴计算设备的一些或所有电路可以可替代地集成到头戴式耳机160中，或位于不由用户佩戴的固定计算设备中。可穿戴计算设备170可以通过无线网络与远程服务器或本地处理节点通信。在一些实施例中，可穿戴计算设备170通过电缆连接到头戴式耳机160并且被配置为处理从头戴式耳机160接收的视频和传感器数据。如图1中的外部数据库(DB)150所示，可穿戴计算设备170可以通过网络访问外部存储装置。
术语“计算系统”在此用于统指系统的各种硬件计算组件(硬件处理器、存储设备等)，无论这些组件是否包括在单个计算设备或节点中或者横跨多个计算设备或节点分布。在一些实施例中，系统的所有处理组件都被配置为由用户佩戴，使得计算系统是可穿戴计算系统。
在图1的实施例中，可穿戴计算设备170运行两种类型的应用，通用应用130和一个或多个附加应用140(有时称为“景观应用”)。应用140生成包括内容115a、115b的内容，该内容被渲染到棱镜113a、113b中。在所示实施例中，每个棱镜113a、113b是有界的矩形体积并且被钉扎或锚定到真实世界的对象或结构。棱镜113a被锚定到墙壁117a，并显示对用户来说似乎附接到墙壁的虚拟内容115a。棱镜113b被锚定到桌子117b，并显示3D树的形式的虚拟内容115b，对于用户而言，该虚拟内容115b似乎处于桌子之上。如附加图中所示和下面讨论的，一些棱镜可被设定大小并定位为使用户能够进出棱镜。
通用应用130负责创建棱镜113a、113b，并负责管理数字内容115a、115b的显示。通用应用130可以例如在应用140需要将虚拟内容渲染到用户的景观110上时创建棱镜。多个应用140可以将内容渲染到相同的棱镜113a、113b中。每个棱镜可具有允许通用应用130通过管理棱镜本身来管理混合现实环境中的内容的放置和显示的特征和特性。尽管图1中示出两种不同类型的应用，但本发明不要求两种不同类型的应用。此外，虽然在图1和随后的附图中示出棱镜的边界，但边界可能或可能不显示给用户。
混合现实系统还可包括控制器206(参见图2)，该控制器可以由用户持有并且用于执行各种功能。控制器206可以包括一个或多个输入设备或元件，诸如按钮、触摸板、可旋转轮等。在一个实施例中，控制器还用作可以被用户用来选择对象的虚拟激光指示器。例如，用户可以使用控制器206通过将控制器指向期望选项来选择菜单上的菜单选项(诸如图2中所示的工具栏208)。可以向用户显示从控制器前面延伸的虚拟激光或射线(未示出)以促进选择动作。在一些实施例中，用户可以可替代地使用手指或使用头部姿势射线来选择菜单选项。
在用户与棱镜中显示的内容交互的一些场景中，期望向用户展示在用户四处走动或进入棱镜时保持可见和可访问的内容项。例如，如果用户创建、编辑或注释棱镜中的内容，则可能期望在棱镜附近显示菜单(诸如工具栏)或其它交互式内容项，并动态地重新定位该交互式内容项，使得在用户四处移动时该交互式内容项保持可访问。作为另一个示例，在用户与其他用户协作以生成或修改棱镜中的内容的协作会话的上下文中，可能期望显示并动态地重新定位显示关于其他参与者的信息的通知窗格。
本公开通过提供用于响应于用户的位置和/或取向的变化而动态地重新定位内容项(诸如但不限于菜单或通知窗格)的方法来解决该问题。在一些实施例中，该方法涉及基于用户相对于棱镜的运动和/或基于用户取向(例如，头部姿势)的变化将内容项从棱镜的一个表面重新定位到棱镜的另一个表面。在一些场景中，内容项也可以位于其它位置，诸如棱镜内的位置。该方法还可以重新定向(例如，水平旋转180度)内容项以保持其相对于用户的正确取向。
在一个实施例中，该方法在通用应用130的可执行指令内实现。该方法可替代地在应用140、操作系统或另一种类型的软件组件中的一者的可执行代码中实现。
III.工具栏类型菜单的重新定位示例
现在将参考图2-5描述示例使用实例场景。在该使用实例场景中，用户与飞机的3D模型202交互(例如，创建、编辑或注释)。模型202定位于棱镜200内侧，并且随着用户四处移动，模型的位置和取向相对于真实/物理世界保持固定。该示例中的内容项是注释菜单，并且特别是注释工具栏208，其包括多个可选图标(显示为圆圈)，用户可以通过将控制器206指向图标来选择多个可选图标中的每个图标。不同的图标可以表示不同的注释工具，诸如绘图工具、高亮工具、橡皮擦工具、文本输入工具等。在其它场景中，注释菜单可以是具有多个下拉子菜单的文本菜单的形式。注释工具栏208是2D对象，这意味着它在用户看来是平的，然而在一些实施例中，该对象可以是3D的。图2-5中示出棱镜的边界或边缘的线通常不被显示给用户，但在一些实施例中其可被显示。在图2中，工具栏208可以被描述为“被显示”在棱镜的表面上，这意味着它的位置和取向通常与棱镜的表面的位置和取向一致。短语“在表面上显示”并不意味着该表面本身对用户是可见的。在一些实施例中，“在表面上显示”可以意味着由内容项创建的平面可以与从棱镜的面创建的平面对齐。
在图2-5的示例中，工具栏208总是显示在棱镜的上部区域210内，取决于用户的位置和取向而在该区域内的不同位置。在一些实施例中，该上部区域210被保留用于显示随着用户移动而动态地重新定位的菜单(诸如工具栏)和/或其它类型的内容项。因此，在所示出的实施例中，其它类型的内容(诸如模型202、用户添加的任何注释以及用户创建的其它类型的内容)不能位于上部区域210中。
保留区域210的该使用减少或消除了用户创建的内容和工具栏208之间的干扰；例如，用户创建的内容不妨碍用户观看工具栏208或用户选择工具栏图标的能力。尽管在图2-5的示例中使用了保留区域210，但是可以在不使用保留区域的情况下实现所公开的方法。此外，棱镜的不同部分(诸如竖直表面的下部部分或下侧)也可以用作保留区域。
在图2中，用户103站在棱镜200外侧并面向棱镜200。注释工具栏208在离用户最近的棱镜的表面(在保留区域210中)的中心位置中以面向外的取向显示。这允许用户在观看模型202时容易地观看和访问工具栏208。例如，用户可以使用控制器206从注释工具栏208中选择绘图工具，并且然后可以使用控制器在模型上或在模型周围绘画(如图3中的两条波浪线300所示)。在所示实施例中，工具栏208不会随着用户的头部姿势改变而沿着在图2和3中显示的表面移动。在一些实施例中以及在下面描述的替代实施例中，工具栏可以沿着其被显示的表面而水平地“滑动”。
图4示出在用户103走向棱镜200并然后进入棱镜200时，工具栏208如何重新定位。最初，工具栏定位于位置208a，即图2和3中所示的位置。随着用户靠近棱镜200，工具栏208被重新定位到从用户的角度来看落在棱镜200的前表面和后表面之间的中途的中间位置。这使工具栏208对用户保持可见和可访问。从位置208a到208b的转换以及在此描述的其它位置转换可以立即发生或者可以更逐渐地发生(例如，通过使用动画来示出工具栏从一个位置移动到另一个位置)。在用户103踏入棱镜200并继续向前走之后，注释菜单208被重新定位到棱镜的后表面，如所示位置208c。工具栏的取向保持不变，并且因此工具栏在位置208c处具有面向内的取向。如果用户继续向前走通过后表面，则工具栏可以水平旋转180度以使得其具有面向外的取向。
尽管图4中仅示出单个中间位置208b，但是可以使用多个中间位置。如果存在多个中间位置，则使用的中间位置的数量可以是基于棱镜的尺寸的。另外，该方法可以不使用中间显示位置来实现；例如，工具栏208可以总是显示在棱镜的表面中的一者上。
图5示出五个不同的用户位置和取向，并且示出五个对应的工具栏位置和取向。图5中所示的前三个示例与图4中所示的示例相同。示例4示出棱镜200中的用户103面向棱镜的侧表面，并示出工具栏以面向内的取向在该侧表面上显示。例如，如果用户在走进棱镜后向右转九十度，则可以将工具栏重新定位到该位置。用户的取向由头部姿势确定，但也可以基于眼睛姿势、身体或躯干姿势或其它一些取向度量来确定。图5中的示例5示出用户103站在面向另一侧表面的棱镜200的外侧，并且示出以面向外的取向定位在该侧表面上的工具栏208。在图5的所示示例中，工具栏208显示在固定的居中位置，同时其显示在棱镜的任何给定表面上或中间位置，然而在一些实施例中，也可以使用其它位置，诸如右对齐、左对齐、从区域210的角或边偏移等。
如这些示例所示，除了保持工具栏208的可见性和可访问性之外，该方法寻求将工具栏保持定位在距用户方便的距离处。例如，当用户位于图5中的用户位置5时，工具栏也可以可替代地显示在工具栏位置4处，但用户和工具栏之间的显著距离可能会阻碍用户观看工具栏和从工具栏选择的能力，特别是如果棱镜很大。在一些实施例中，该方法可以寻求将工具栏208和头戴式耳机160之间的间隔保持在所选范围内，诸如2到12英尺、3到10英尺或4到8英尺。当用户位于距棱镜200的阈值距离以上的位置处时，可将工具栏从用户的景观中移除。
图2-5中所示的显示方法可以适用于与其它棱镜形状和配置一起使用。例如，如果棱镜从顶部看是五边形，则该方法可以基于用户的位置和取向从五个竖直表面中的一者中进行选择。如果棱镜包括弯曲表面，则显示方法可能将工具栏或其它2D内容项扭曲以匹配显示其的弯曲棱镜表面。
图6示出坐标系和相关联参考，系统可以使用该坐标系和相关联参考以编程方式选择图2-5的示例中的工具栏/菜单显示位置。该图包括棱镜200的俯视图，并示出相对于棱镜的坐标系的X轴和Z轴。Y轴是竖直轴，并且因此未示出。棱镜的中心是X＝0和Z＝0的点。棱镜在X方向中的长度表示为LX，并且棱镜在Z方向中的长度表示为Lz。示出了两条区域分隔线或边界600、602，它们中的每一条与矩形的两个相对顶点相交。这些分隔线用于定义四个区域，示为区域1、2、3和4。这些区域中的每一个区域进一步被细分为内部部分(即棱镜内侧)和外部区域。在该图中，用户103被示出在区域4的外部部分中，并且工具栏(菜单)208以面向外的取向定位于区域4的棱镜表面上。只要用户保持在区域4的外部部分中，或者在距划分内部和外部区域的线的阈值距离内，工具栏可以保持固定在该位置中。
在一个实施例中，工具栏208仅显示在棱镜的竖直表面上(不使用中间显示位置)，并且根据以下规则显示：(1)如果用户在棱镜外侧，则工具栏以面向外的取向显示在落在用户所在区域的表面上；(2)如果用户在棱镜内侧，则工具栏以面向内的取向显示在用户所面向的表面(例如，与表示用户头部姿势的方向矢量或射线相交的表面)上。可以适当地修改或扩充这些规则以支持一个或多个中间显示位置(诸如图5的位置2)的显示。
图7A-7D示出四个内部用户位置和取向，以及四个对应的菜单/工具栏位置。这些图中的方向矢量212表示用户方向或姿势矢量，诸如头部姿势矢量。在每种情况下，不管用户处于四个内部区域中的哪一个，菜单208以面向内的取向显示在与方向矢量212相交的竖直棱镜表面上。在图7A中，用户面向区域2的表面，并且菜单208以为零的菜单角度显示在该表面上。在图7B中，用户面向区域1的表面，并且菜单208以270度或3π/2弧度的菜单角度显示在该表面上。在图7C中，用户面向区域3的表面，并且菜单208以90度或π/2弧度的角度显示在该表面上。在图7D中，用户面向区域4的表面，并且菜单208以180度或π弧度的角度显示在该表面上。换句话说，在一些实施例中，菜单208可以旋转以面向用户，而不管用户位于何处。如上所述，当用户在棱镜中或靠近棱镜时，也可以使用一个或多个中间显示位置；例如，在图7B中，如果用户与区域1的表面之间的距离超过阈值，则菜单208可以可替代地显示在用户与该表面之间的中间位置。
如上所述，当用户的取向和/或位置的变化触发工具栏208的位置和/或取向的变化时，动画可以可选地用于示出工具栏移动和/或旋转到它的新的位置和/或取向。为了进一步改善用户体验，可以使用滞后类型功能来防止工具栏208响应于小的用户运动而在短时间间隔内在位置之间来回“跳跃”。例如，在图6中，如果用户要沿着区域1和4的外部部分之间的边界600站立，则滞后功能可能防止菜单208响应于小的用户运动而在区域1和4的表面之间跳转。图6中边界600和602中的每一个边界的厚度表示所使用的滞后程度。当用户在棱镜内侧时，滞后功能可以防止菜单208在用户面向棱镜的一角时在表面之间快速来回移动。滞后可以另外地或可替代地通过施加基于时间的限制来实现，在其位置改变后该限制阻止菜单208在某个时间段(例如，1秒或2秒)内再次重新定位。
图8示出可以用于基于用户运动来重新定位和重新定向工具栏、另一种类型的菜单或另一种类型的内容项的方法。该方法可以在由计算系统(例如，可穿戴计算设备170和/或系统的另一处理组件)执行的程序代码中实现。例如，该方法可以在通用应用130(图1)或另一个应用140的程序代码中实现。该方法被示为每帧执行一次(例如，如果使用每秒60帧的帧速率，则每秒60次)，但可以不那么频繁地执行(例如，每隔一帧或每三帧)。在图8的判定框802中，该方法基于用户的坐标以及棱镜200的坐标和尺寸来确定用户是否在棱镜200内侧。用户的坐标可以基于由头戴式耳机(或在一些实施例中，由控制器206或另一组件)收集或生成的数据160。
如上面参考7A-7D所述，如果用户在棱镜中，则将基于表示用户所面向方向的方向矢量(框804)来确定将显示内容项的区域。方向矢量可以基于头部姿势，但也可以基于眼睛姿势、躯干姿势或一些其它姿势或取向度量。在框805中，该方法使用所确定的区域来计算旋转以在区域的表面上以面向内的取向显示内容项。
如参考图6所讨论的，如果用户在棱镜外侧，则该方法基于用户的位置来确定该区域(框810)。在框812中，该方法然后计算旋转以在所识别区域的表面上显示具有面向外取向(即面向用户)的内容项。
在框814中，该方法基于区域计算X和Z坐标。例如，该方法可以计算这些坐标，使得内容项在所识别的表面上是居中的。如上所述，Y坐标可以是与保留区域210对应的固定值。在框816和818中，该方法在其已经改变时设定新的旋转，并且在其已经改变时设定新的位置(X和Z坐标)。如上所述，可以执行动画以显示内容项移动到其新位置和取向。
以下方程可用于确定图8的框804和810中的区域，其中X和Z是坐标，LZ是Z方向中的棱镜长度(参见图6)，LX是X方向中的棱镜长度，并且δ是可选的滞后值：
A＝X(LZ)
B＝Z(LX)
区域1＝(A–B)＞δAND(A+B)＞δ
区域2＝(A–B)＞δAND(A+B)＜-δ
区域3＝(A–B)＜-δAND(A+B)＜-δ
区域4＝(A–B)＜-δAND(A+B)＞δ
区域0＝不属于区域1-4中任一个区域的位置
滞后值δ可以例如设定为0和0.8之间的值，其中零值提供没有滞后，而更大的值提供更多滞后。区域0是由图6中所示的区域划分边界600和602表示的区域，并且这些栏的厚度或宽度对应于δ。为了实现图8中的滞后功能，当在框804或810中确定的区域为区域0时，不采取任何动作(即，在框816和818中不更新旋转和位置)。表1示出当用户在棱镜外侧时用于显示五个区域中每一个区域的内容项的角度，并且表2示出当用户在棱镜内侧时使用的角度。
区域 内容项角度(围绕Y，从X)
1 π/2
2 π
3 3π/2
4 0
0 无动作-内容项的位置和旋转保持不变。
表1
区域 内容项角度(围绕Y，从X)
1 3π/2
2 0
3 π/2
4 π
0 无动作-内容项的位置和旋转保持不变。
表2
如上所述，可以适当地修改图8的方法以使内容项能够显示在表面之间的中间位置。
如将显而易见的，上述显示方法可以以多种方式变化。例如，在一个实施例中，当用户在棱镜200中时，工具栏208可以在用户移动时沿着用户面向的棱镜表面从一侧“滑动”到另一侧(水平地)，使得工具栏保持在直接在保留区域210中的用户前面(例如基于头部姿势)。当工具栏到达棱镜的一角时，工具栏可以跳到相邻的表面或者可以折叠90度使得其可以继续滑动同时工具栏的一部分显示在一个表面上而其余部分显示在相邻的表面上。当用户在棱镜外侧时，也可以实现侧到侧移动。
在另一个实施例中，当用户在棱镜200内侧时，工具栏208或其它内容项可以持续地显示在两个相对表面上或所有四个竖直表面上的中心位置；因此，本实施例中的工具栏208在用户处于棱镜中时不会被重新定位，并且用户可以查看和使用工具栏的多个实例中的任何一个实例。作为另一个示例，工具栏的大小可以随着用户向其上显示工具栏的表面移动而减小，并且可以随着用户远离该表面而增大。
IV.结论
在此描述的所有方法和任务可以由包括一个或多个计算设备(例如，可穿戴计算设备170、头戴式耳机160和/或其它设备)的计算系统执行和完全自动化。每个此类计算设备通常包括硬件处理器(或多个硬件处理器)，该硬件处理器执行存储在存储器或其它非暂态计算机可读存储介质中的程序指令或模块。在此公开的各种功能可以体现在此类程序指令中，然而一些或所有公开的功能也可以可替代地在计算系统的专用电路(例如，ASIC或FPGA)中实现。在计算系统包括多个计算设备的情况下，这些设备可以但不必位于同一位置。
本公开的系统和方法各自具有若干创新方面，其中没有一个单独负责或要求在此公开的所需属性。上述各种特征和方法可以彼此独立地使用，或者可以以各种方式组合使用。所有可能的组合和子组合旨在落入本公开的范围内。对于本领域的技术人员来说对本公开中描述的实现方式的各种修改是显而易见的，并且在不脱离本公开的精神或范围的情况下，本文定义的一般原理可以应用于其它实现方式。因此，权利要求不旨在限于本文中所示的实现方式，而是要被赋予与本公开、在此公开的原理和新颖特征一致的最宽范围。
除非另有明确说明，或在上下文中以其它方式理解为使用的，本文所使用的条件性语言，诸如“可以”、“可”、“可能”、“可”“例如”等通常旨在传达某些实施例包括(而其它实施例不包括)某些特征、元素和/或步骤。因此，此类条件性语言通常不旨在暗示特征、元素和/或步骤以任何方式对于一个或多个实施例是必需的，或者一个或多个实施例必须包括用于在具有或不具有作者输入或提示的情况下决定这些特征、元素和/或步骤是否被包括或将在任何特定实施例中执行。术语“包括”、“包含”、“具有”等是同义词，并且以开放式的方式包容性地使用，并且不排除其它元素、特征、动作、操作等。此外，术语“或”以其包容性(而不是排他性)使用，使得例如当用于连接一系列元素时，术语“或”表示列表中的一个、一些或全部元素。此外，除非另有说明，否则本申请和所附权利要求中使用的冠词“一”、“一个”和“该”应解释为“一个或多个”或“至少一个”。
如在此所使用的，提及一系列项目的“至少一个”的短语是指那些项目的任何组合，包括单个成员。作为示例，“A、B或C中的至少一个”旨在涵盖：A、B、C、A和B、A和C、B和C，以及A、B和C。诸如短语“X、Y和Z中的至少一个”，除非另有明确说明，否则应与上下文一起理解为一般用于传达项目、术语等可以是X、Y或Z中的至少一个。因此，此类连词语言通常不旨在暗示某些实施例需要X中的至少一个、Y中的至少一个和Z中的至少一个各自存在。
类似地，虽然在附图中可以以特定顺序描述操作，但是可以认识到，该操作不需要以所示的特定次序或顺序次序执行，或者执行所有所示的操作，以实现所需的结果。此外，上述实现方式中各种系统组件的分离不应理解为在所有实现方式中都需要这种分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中或打包成多个软件产品。此外，其它实现方式在所附权利要求的范围内。在一些情况下，权利要求中所述的动作可以以不同的顺序执行，并且仍能达到所需的结果。

Claims (20)

1.一种在由混合现实系统的一个或多个硬件处理器执行的程序指令的控制下执行的计算机化方法，所述方法包括：
在由所述用户佩戴的头戴式耳机的显示器上向用户显示包括在棱镜内的三维(3D)内容，所述棱镜具有定义显示所述3D内容的体积的多个表面；
在所述棱镜的第一表面上显示为所述用户提供与所述3D内容交互的功能的内容项；
感测所述用户相对于所述棱镜的运动；以及
响应于所感测的运动，将所述内容项重新定位到所述棱镜的第二表面。
2.根据权利要求1所述的方法，其中，所感测的运动包括所述用户的位置的变化。
3.根据权利要求1所述的方法，其中，所感测的运动包括所述用户的头部姿势的变化，并且所述内容项被重新定位以保持在所述用户的视野中。
4.根据权利要求1所述的方法，其中，所述棱镜包括其中不能显示所述3D内容的保留区域，以及其中，所述方法包括在所述保留区域中的所述第一表面和所述第二表面上显示所述内容项。
5.根据权利要求1所述的方法，其中，所述第一表面和所述第二表面是彼此垂直的竖直表面。
6.根据权利要求5所述的方法，其中，重新定位所述内容项包括将所述内容项旋转90度。
7.根据权利要求1所述的方法，其中，所述第一表面和所述第二表面彼此平行，以及其中，所感测的运动包括所述用户通过所述第一表面从所述棱镜外侧到所述棱镜内侧的运动。
8.根据权利要求7所述的方法，其中，重新定位所述内容项包括，响应于所述用户从所述棱镜外侧到内侧的所述运动，将所述内容项显示在落在所述第一表面和所述第二表面之间的中间位置处。
9.根据权利要求1所述的方法，其中，所述内容项是具有由所述用户可选择的图标的工具栏。
10.根据权利要求1所述的方法，其中，所述内容项是提供用于注释所述3D内容的用户功能的注释菜单。
11.根据权利要求1所述的方法，其中，所述方法包括：当所述用户位于所述棱镜外侧时，基于用户位置确定所述内容项的显示位置，以及当所述用户位于所述棱镜内侧时，基于所述用户的姿势确定所述内容项的显示位置。
12.一种混合现实系统，包括：
头戴式显示器，其被配置为由用户佩戴；
一个或多个传感器，其被配置为感测所述用户的运动；以及
计算系统，其包括一个或多个处理器，所述计算系统用可执行指令编程以在所述头戴式显示器上显示包括在棱镜内的三维(3D)内容，所述棱镜具有定义有界体积的表面，所述棱镜在所述用户的真实世界环境中具有固定位置；
其中，所述计算系统被配置为在所述棱镜的第一表面上显示内容项，并且通过响应于感测的所述用户相对于所述棱镜的运动将所述内容项重新定位到所述棱镜的第二表面来保持所述用户可访问所述内容项。
13.根据权利要求12所述的混合现实系统，其中，所述内容项是交互式菜单。
14.根据权利要求12所述的混合现实系统，其中，所感测的运动包括所述用户相对于所述棱镜的位置的变化。
15.根据权利要求12所述的混合现实系统，其中，所感测的运动包括所述用户从所述棱镜外侧到所述棱镜内侧的运动。
16.根据权利要求12所述的混合现实系统，其中，所感测的运动包括所述用户的姿势的变化。
17.根据权利要求12所述的混合现实系统，其中，所述棱镜包括其中所述3D内容不能显示的保留区域，以及其中，所述计算系统被编程为在所述保留区域中的所述第一表面和所述第二表面上显示所述内容项。
18.根据权利要求12所述的混合现实系统，其中，所述计算系统被编程为当所述用户位于所述棱镜外侧时基于用户位置确定所述内容项的显示位置，并且当所述用户位于所述棱镜内侧时基于所述用户的姿势确定所述内容项的显示位置。
19.根据权利要求12所述的混合现实系统，其中，所述计算系统运行渲染所述3D内容的第一应用，并且运行管理所述3D内容在所述棱镜中的显示的第二应用。
20.一种非暂态计算机存储器，包括一个或多个存储设备，所述非暂态计算机存储器存储指导混合现实系统执行包括如下方法的可执行程序指令：
在由所述用户佩戴的头戴式耳机的显示器上向用户显示包括在棱镜内的三维(3D)内容，所述棱镜具有定义显示所述3D内容的体积的多个表面；
在所述棱镜的第一表面上显示为所述用户提供与所述3D内容交互的功能的内容项；
检测所述用户相对于所述棱镜的运动；以及
响应于所检测的运动，将所述内容项重新定位到所述棱镜的第二表面，使得所述内容项保持在所述用户的视野中。
CN202080096233.XA 2020-02-10 2020-12-03 在混合现实环境中相对于三维容器的以身体为中心的内容定位 Pending CN115087905A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202062972481P 2020-02-10 2020-02-10
US62/972,481 2020-02-10
PCT/US2020/063102 WO2021162769A1 (en) 2020-02-10 2020-12-03 Body-centric content positioning relative to three-dimensional container in a mixed reality environment

Publications (1)

Publication Number Publication Date
CN115087905A true CN115087905A (zh) 2022-09-20

Family

ID=77178262

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080096233.XA Pending CN115087905A (zh) 2020-02-10 2020-12-03 在混合现实环境中相对于三维容器的以身体为中心的内容定位

Country Status (5)

Country Link
US (2) US11276248B2 (zh)
EP (1) EP4104034A4 (zh)
JP (2) JP7455985B2 (zh)
CN (1) CN115087905A (zh)
WO (1) WO2021162769A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4104034A4 (en) 2020-02-10 2024-02-21 Magic Leap Inc POSITIONING BODY-CENTRIC CONTENT RELATIVE TO A THREE-DIMENSIONAL CONTAINER IN A MIXED REALITY ENVIRONMENT

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US20180096432A1 (en) * 2010-11-04 2018-04-05 Reconstructor Holdings Llc Methods and systems for representing relational information in 3d space
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
EP2656135B1 (en) 2010-12-24 2022-05-04 Magic Leap, Inc. Freeform waveguide prism
WO2012154620A2 (en) 2011-05-06 2012-11-15 Magic Leap, Inc. Massive simultaneous remote digital presence world
WO2013049861A1 (en) 2011-09-29 2013-04-04 Magic Leap, Inc. Tactile glove for human-computer interaction
EP3258671B1 (en) 2011-10-28 2018-09-05 Magic Leap, Inc. System and method for augmented and virtual reality
NZ700887A (en) 2012-04-05 2016-11-25 Magic Leap Inc Wide-field of view (fov) imaging devices with active foveation capability
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9740006B2 (en) 2012-09-11 2017-08-22 Magic Leap, Inc. Ergonomic head mounted display device and optical system
KR20230113418A (ko) 2013-03-15 2023-07-28 매직 립, 인코포레이티드 디스플레이 시스템 및 방법
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
CN105829953B (zh) 2013-10-16 2019-05-28 奇跃公司 具有可调节的瞳距的虚拟或增强现实头戴设备
CN110542938B (zh) 2013-11-27 2023-04-18 奇跃公司 虚拟和增强现实系统与方法
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
EP3057089A4 (en) * 2014-01-20 2017-05-17 Sony Corporation Image display device and image display method, image output device and image output method, and image display system
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
CN106537290B (zh) 2014-05-09 2019-08-27 谷歌有限责任公司 与真实和虚拟对象交互的基于生物力学的眼球信号的系统和方法
US10627908B2 (en) 2015-03-27 2020-04-21 Lucasfilm Entertainment Company Ltd. Facilitate user manipulation of a virtual reality environment view using a computing device with touch sensitive surface
CA3018758A1 (en) 2016-03-31 2017-10-05 Magic Leap, Inc. Interactions with 3d virtual objects using poses and multiple-dof controllers
KR20240070723A (ko) 2016-04-21 2024-05-21 매직 립, 인코포레이티드 시야 주위의 시각적 아우라
KR102407111B1 (ko) 2016-05-20 2022-06-08 매직 립, 인코포레이티드 사용자 인터페이스 메뉴의 콘텍추얼 인식
EP3497676A4 (en) 2016-08-11 2020-03-25 Magic Leap, Inc. AUTOMATIC POSITIONING OF A VIRTUAL OBJECT IN A THREE-DIMENSIONAL SPACE
US20180096504A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
EP3582707A4 (en) * 2017-02-17 2020-11-25 NZ Technologies Inc. PROCEDURES AND SYSTEMS FOR CONTACTLESS CONTROL OF A SURGICAL ENVIRONMENT
KR20230108352A (ko) * 2017-05-01 2023-07-18 매직 립, 인코포레이티드 콘텐츠를 공간 3d 환경에 매칭
US11314399B2 (en) * 2017-10-21 2022-04-26 Eyecam, Inc. Adaptive graphic user interfacing system
KR102556889B1 (ko) 2017-12-22 2023-07-17 매직 립, 인코포레이티드 혼합 현실 시스템에서 가상 콘텐츠를 관리하고 디스플레이하기 위한 방법들 및 시스템
US11202006B2 (en) * 2018-05-18 2021-12-14 Samsung Electronics Co., Ltd. CMOS-assisted inside-out dynamic vision sensor tracking for low power mobile platforms
US10818093B2 (en) 2018-05-25 2020-10-27 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
US11164367B2 (en) * 2019-07-17 2021-11-02 Google Llc Illumination effects from luminous inserted content
US11340756B2 (en) * 2019-09-27 2022-05-24 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11204678B1 (en) * 2019-12-11 2021-12-21 Amazon Technologies, Inc. User interfaces for object exploration in virtual reality environments
US11126320B1 (en) * 2019-12-11 2021-09-21 Amazon Technologies, Inc. User interfaces for browsing objects in virtual reality environments
EP4104034A4 (en) 2020-02-10 2024-02-21 Magic Leap Inc POSITIONING BODY-CENTRIC CONTENT RELATIVE TO A THREE-DIMENSIONAL CONTAINER IN A MIXED REALITY ENVIRONMENT
US11727650B2 (en) * 2020-03-17 2023-08-15 Apple Inc. Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments

Also Published As

Publication number Publication date
JP2023514558A (ja) 2023-04-06
JP7455985B2 (ja) 2024-03-26
EP4104034A1 (en) 2022-12-21
US20210248837A1 (en) 2021-08-12
US20220139059A1 (en) 2022-05-05
JP2024072853A (ja) 2024-05-28
WO2021162769A1 (en) 2021-08-19
US11276248B2 (en) 2022-03-15
EP4104034A4 (en) 2024-02-21
US11538230B2 (en) 2022-12-27

Similar Documents

Publication Publication Date Title
US10949057B2 (en) Position-dependent modification of descriptive content in a virtual reality environment
US9829989B2 (en) Three-dimensional user input
US10290155B2 (en) 3D virtual environment interaction system
KR101546654B1 (ko) 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법 및 장치
US10521028B2 (en) System and method for facilitating virtual interactions with a three-dimensional virtual environment in response to sensor input into a control device having sensors
US10438419B2 (en) System and method for modifying virtual objects in a virtual environment in response to user interactions
US10699490B2 (en) System and method for managing interactive virtual frames for virtual objects in a virtual environment
JP2024072853A (ja) 複合現実環境における３次元コンテナに対する身体中心コンテンツ位置付け
JP6110893B2 (ja) 仮想空間位置指定方法、プログラム、プログラムを記録した記録媒体、および、装置
KR20240056555A (ko) 핸드크래프티드 증강 현실 에포트 증거
US20210278954A1 (en) Projecting inputs to three-dimensional object representations
US20220198756A1 (en) Methods and systems for selection of objects
JP2017004539A (ja) 仮想空間位置指定方法、プログラム、プログラムを記録した記録媒体、および、装置
WO2024049578A1 (en) Scissor hand gesture for a collaborative object
WO2024049585A1 (en) Timelapse of generating a collaborative object
WO2024049586A1 (en) Collaborative object associated with a geographical location

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination