CN112262361A - 用于对混合现实内容进行基于注视的控制的方法和系统 - Google Patents

用于对混合现实内容进行基于注视的控制的方法和系统 Download PDF

Info

Publication number
CN112262361A
CN112262361A CN201980038655.9A CN201980038655A CN112262361A CN 112262361 A CN112262361 A CN 112262361A CN 201980038655 A CN201980038655 A CN 201980038655A CN 112262361 A CN112262361 A CN 112262361A
Authority
CN
China
Prior art keywords
user
visual
map
path
gaze
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980038655.9A
Other languages
English (en)
Inventor
朱西·龙凯宁
贾尼·曼蒂贾维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
PCMS Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PCMS Holdings Inc filed Critical PCMS Holdings Inc
Publication of CN112262361A publication Critical patent/CN112262361A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

呈现了用于发现内容并将其定位到增强现实空间中的系统和方法。一种方法包括：形成增强现实(AR)头戴式显示器(HMD)的用户的周围环境的三维(3D)图；基于眼睛注视方向和眼睛聚散度来确定用户的注视点的深度方向位置；确定所述3D图中的视觉引导线路径；在一个或多个识别的焦点处沿着视觉引导线路径引导用户的动作；以及在与用户的注视方向相对应的位置处沿着视觉引导线路径渲染混合现实(MR)对象。

Description

用于对混合现实内容进行基于注视的控制的方法和系统
相关申请的交叉引用
本申请是提交的题目为“用于对混合现实内容进行基于注视的控制的方法和系统”的美国临时专利申请序列号No.62/660,428(2018年4月20日提交)的非临时申请，并且要求其在35U.S.C.§119(e)下的权益，且该申请的全部内容通过引用并入本文。
背景技术
在混合现实(MR)头戴式显示器(HMD)或护目镜的领域中，存在需要解决的交互问题。具体地，HMD用户需要操纵和控制嵌入到环境中的混合现实/增强现实(MR/AR)对象。增强的控制可以涉及提供附加信息，以及在用户的视场中呈现信息，同时关于目标设备规范来优化视图，诸如聚焦准确的观看平面和分辨率。
当前，观看AR/MR对象的细节所需的用户界面活动，例如选择对象，以及将其移动得更靠近以获得详细视图，通常是经由模态和姿态的组合来完成的，例如经由头部方向的选择，以及经由手势的操纵。例如，为了将对象移动到更靠近MicrosoftTM HoloLensTM，用户必须执行以下步骤：1、将他的头部转向在要移动的对象的角上的“调整”工具图标；2、通过手指敲击激活所述调节工具；3，将他的头转向出现在对象上的“拖动以移动”图标；4、通过执行敲击并按住的手指姿态来开始移动所述对象；5、通过移动他的手来移动物体；6、释放敲击并按住的手指姿态以放下对象；7、将他的头转向对象上的“完成”图标；以及8、执行手指敲击姿态以激活“完成”图标。
尽管手指敲击和手移动姿态可以通过使用手持的基于陀螺仪的“点击器”控制器来代替，但是这种方法既费力又显著，并且在公共场所是困难的。
对于更自然的交互，眼睛注视的使用被广泛研究，最初作为残疾人的输入方法。注视跟踪系统也正在进入AR/MR HMD；例如，Google所运营的EyefluenceTM正在与HMD制造商构建基于注视姿态的系统。
已经研究了使用注视控制的许多交互方法，诸如注视指向、注视姿态、基于停留的选择、多模式选择、通过跟随移动对象的选择、拖放(drag and drop)、旋转控制和滑动条、切换窗口、图像注释、阅读和注意力焦点。在头部转动的评估中已经报道了用于多模式对象控制的HMD友好方法，即《一种使用注视和头部转动的交互技术》。在第9届北欧人机交互会议(NordiCHI2016)和使用简单头部姿态的增强注视交互的议程(proceeding)中。在2012年ACM普适计算会议(UbiComp 2012)的议程中，以及其他交互方式。。
特别令人感兴趣的是关注快速检查对象、选择和操纵(移动)对象的功能。该功能类似于使用眼睛注视的拖放，并且已经至少在《在人机交互技术中使用眼睛移动：你所看的是你得到的》(ACM学报，信息系统，卷9，第2页(ACM Trans.Inf.Syst.9，2)，Jacob，1991年4月)以及《用于虚拟环境的基于注视的交互》(J.UCS，14(19)，3085-3098，Jimenez，Gutierrez，D.，Latorre，2008年)中描述的一些方法。然而，少数报告的研究仅关注2D动作，并且未能考虑深度方面，例如，如MR HMD设备上将需要的对象在3D空间中的移动。而且，该方法需要类似于上述HololensTM示例的多个步骤。
随着MR内容增强开始变得普遍，MR HMD用户将面临控制如何以及何时显示该内容的困难。这样的内容增强实际上可以与用户看到的任何真实世界或虚拟内容相关联，诸如路灯、交通标志、商店标志和橱窗中的广告、公共通知、人、车辆等。
当前解决方案的另一问题是用户视图中的一些部分比其他部分更适于显示内容增强。例如，不同范围的现实和虚拟对象占据用户的视图，并且用户可能在移动中。进一步的限制可以源自硬件；注视识别和光学显示分辨率可以对增强内容显示所需的区域设置要求。不能期望用户每次决定在他的视图的整个范围中的何处放置内容；当前的系统不能识别内容的适当位置并在那里示出它，并且也不能让用户快速决定显示区域。
另一个问题是HMD设备的有限的光学能力。当前的设备，例如MicrosoftHololensTM，具有单个固定的焦平面，这导致与不驻留在该平面上的MR对象的聚散度适应冲突。该冲突导致眼睛疲劳并减慢用户确定对象的准确深度位置的能力。具有多个焦平面的HMD预期在不久的将来变得可在市场上买到。利用这样的设备，用户将受益于能够控制内容增强的位置，使得其被精确地放置在焦平面上。当前的解决方案缺乏某种视觉引导来聚焦，以便仅利用注视来控制MR对象的定位(尤其是深度)。
需要向用户提供一种快速和自然的方式来控制MR内容增强对象的显示，其利用硬件(HW)的光学完美(焦点精确)位置的知识，仅利用注视。
本文阐述的系统和方法解决了这些问题和其他问题。
发明内容
本文阐述的系统和方法提供了使用注视控制来使与远处对象有关的增强MR内容更靠近用户的实施例。该解决方案使用被实现为MR对象的视觉导引线(guideline)。该导引线包含帮助用户聚焦其注视的点，这些点被放置在与设备硬件所支持的聚焦校正观看距离相等的深度处。增强MR内容沿着该线跟随用户的注视，从而将内容移动得更靠近或更远离用户。该线的位置和尺寸由系统基于HW限制和用户视图中的现有现实或MR对象来确定。
一个或多个实施例涉及一种方法，包括：形成增强现实(AR)头戴式显示器(HMD)的用户的周围环境的三维(3D)图；在所述3D图中显示混合现实(MR)对象，所述混合现实对象包括针对所述对象的内容增强对所述用户可用的视觉提示；根据关于所述视觉提示的对所述HMD的用户输入来激活所述内容增强；在3D图中显示视觉引导线(guidance line)路径；在一个或多个识别的焦点处沿着视觉引导线路径引导用户的动作；以及在与所述用户的注视方向相对应的位置处沿着所述视觉引导线路径渲染所述MR对象。
在一个或多个实施例中，根据对HMD的用户输入来激活内容增强包括进行对内容增强的注视、头部姿态或注视停留中的一者或多者的用户输入。
在一个或多个实施例中，在3D图中显示视觉引导线路径包括将一个或多个识别的焦点显示为3D图内的多个深度处的多个焦平面指示符。在一个或多个实施例中，在与用户的注视方向相对应的位置处沿着视觉引导线路径渲染MR对象包括在多个深度处沿着多个焦平面指示符移动增强对象以放大MR对象。
在一个或多个实施例中，在一个或多个识别的焦点处沿着视觉引导线路径引导用户的动作包括提供视觉提示，其中视觉提示包括针对用户的下一个建议的动作。
在一个或多个实施例中，在3D图中显示视觉引导线路径包括基于眼睛注视方向和眼睛聚散度来确定用户的注视点的深度方向位置。
在一个或多个实施例中，一种方法包括：形成增强现实(AR)头戴式显示器(HMD)的用户的周围环境的三维(3D)图；基于眼睛注视方向和眼睛聚散度来确定用户的注视点的深度方向位置；确定所述3D图中的视觉引导线路径；在一个或多个识别的焦点处沿着视觉引导线路径引导用户的动作；以及在与用户的注视方向相对应的位置处沿着视觉引导线路径渲染混合现实(MR)对象。
在一个实施例中，沿着视觉引导线路径的一个或多个焦点通过用户的注视跟踪而被确定。
在一个实施例中，沿着视觉引导线路径的一个或多个焦点根据HMD的一个或多个硬件限制而被确定。
在一个实施例中，沿着视觉引导线路径的一个或多个焦点根据MR对象的距离而被确定。
在一个实施例中，沿着视觉引导线路径的一个或多个焦点由用户的移动确定。
在一个实施例中，确定3D图中的视觉引导线路径是基于用户的注视点的深度方向位置和3D图中的可用空间。在一个实施例中，确定3D图中的视觉引导线路径包括形成视觉引导线路径以避开3D图中的一个或多个识别的对象。
在一个实施例中，确定3D图中的视觉引导线路径包括根据用户的移动来改变视觉引导线路径，用户的移动包括头部倾斜、头部俯仰、头部偏转和姿态中的一者或多者。
在一个实施例中，确定3D图中的视觉引导线路径包括根据由用户注视确定的一个或多个旋转点来改变视觉引导线路径。
在一个实施例中，该方法还包括根据3D图中的可用焦平面来确定沿着视觉引导线路径的点的数目。
另一实施例涉及一种包括处理器和存储指令的非暂时性计算机可读存储介质的系统，所述指令在处理器上执行时可操作以执行以下功能，包括：形成增强现实(AR)头戴式显示器(HMD)的用户的周围环境的三维(3D)图；基于眼睛注视方向和眼睛聚散度来确定用户的注视点的深度方向位置；确定所述3D图中的视觉引导线路径；在一个或多个识别的焦点处沿着视觉引导线路径引导用户的动作；以及在与用户的注视方向相对应的位置处沿着视觉引导线路径渲染混合现实(MR)对象。
在系统的一个或多个实施例中，沿着视觉引导线路径的一个或多个焦点通过用户的注视跟踪而被确定。
在系统的一个或多个实施例中，沿着视觉引导线路径的一个或多个焦点根据HMD的一个或多个硬件限制而被确定。
在系统的一个或多个实施例中，沿着视觉引导线路径的一个或多个焦点根据MR对象的距离而被确定。
在系统的一个或多个实施例中，沿着视觉引导线路径的一个或多个焦点由用户的移动确定。
在系统的一个或多个实施例中，确定3D图中的视觉引导线路径是基于用户的注视点的深度方向位置和3D图中的可用空间。
在该系统的一个或多个实施例中，确定3D图中的视觉引导线路径包括形成视觉引导线路径以避开3D图中的一个或多个识别的对象。在系统的一个或多个实施例中，确定3D图中的视觉引导线路径包括根据用户的移动来改变视觉引导线路径，用户的移动包括头部倾斜、头部俯仰、头部偏转和姿态中的一者或多者。
在该系统的一个或多个实施例中，确定3D图中的视觉引导线路径包括根据由用户注视确定的旋转点来改变视觉引导线路径。
该系统的另一实施例针对存储指令的非暂时性计算机可读存储介质，当在处理器上执行该指令时，该指令可操作以执行附加功能，包括根据3D图中的可用焦平面来确定沿着视觉引导线路径的点的数目。
另一实施例涉及一种包括处理器和存储指令的非暂时性计算机可读存储介质的系统，所述指令在处理器上执行时可操作以执行以下功能，包括：形成增强现实(AR)头戴式显示器(HMD)的用户的周围环境的三维(3D)图；在所述3D图中显示混合现实(MR)对象，所述MR对象包括针对所述对象的内容增强对所述用户可用的视觉提示；根据关于所述视觉提示的对所述HMD的用户输入来激活所述内容增强；在3D图中显示视觉引导线路径；在一个或多个识别的焦点处沿着视觉引导线路径引导用户的动作；以及在与所述用户的注视方向相对应的位置处沿着所述视觉引导线路径渲染所述MR对象。
在系统的一个或多个实施例中，根据对HMD的用户输入来激活内容增强包括进行对内容增强的注视、头部姿态或注视停留中的一者或多者的用户输入。
在系统的一个或多个实施例中，在3D图中显示视觉引导线路径包括将一个或多个识别的焦点显示为在3D图内的多个深度处的多个焦平面指示符。
在所述系统的一个或多个实施例中，在与所述用户的注视方向相对应的位置处沿着所述视觉引导线路径渲染所述MR对象包括在所述多个深度处沿着所述多个焦平面指示符移动所述增强对象以放大所述MR对象。
在系统的一个或多个实施例中，在一个或多个识别的焦点处沿着视觉引导线路径引导用户的动作包括提供视觉提示，其中视觉提示包括针对用户的下一个建议的动作。
在系统的一个或多个实施例中，在3D图中显示视觉引导线路径包括基于眼睛注视方向和眼睛聚散度来确定用户的注视点的深度方向位置。
另一实施例涉及一种用于渲染视觉引导路径的方法，包括：形成增强现实(AR)头戴式显示器(HMD)的用户的周围环境的三维(3D)图；基于眼睛注视方向和眼睛聚散度来确定用户的注视点的深度方向位置；确定所述3D图中的视觉引导线路径；以及在与用户的注视方向相对应的位置处沿着视觉引导线路径渲染一个或多个混合现实(MR)对象，同时避开周围环境的3D图中的一个或多个预先存在的对象。
在该方法的一个或多个实施例中，视觉引导线路径放置在周围环境的3D图内的确定的可用空间中。
在该方法的一个或多个实施例中，一个或多个预先存在的对象包括一个或多个现实世界对象和现有MR对象。
附图说明
图1描绘了根据实施例的用于对混合现实(MR)内容进行基于注视的控制的解决方案架构。
图2描绘了根据实施例的用于激活、控制和停用用于利用注视和头部移动来控制MR对象的视觉导引线的过程。
图3描绘了根据实施例的一视场，该视场示出在用户的视图中确定视觉引导线的最小所需宽度。
图4描绘了一图表，该图表示出根据会议论文《面对日常注视输入：眼睛跟踪的准确性和精度以及设计的含义》(CHI 2017，2017年5月6-11日，第1125页)改写的注视控制精度的变化。
图5描绘了根据实施例的防止线与现有对象碰撞的非线性视觉引导线的示例。
图6描绘了根据实施例的具有可用的MR内容增强和可能的方向的指示的前景中的对象，其中用户可以弹出内容增强。
图7描绘了根据实施例的激活的内容增强。
图8描绘了根据实施例的用户的利用他的注视将内容增强绘制到最近焦点的绘图。
图9描绘了根据实施例的用户聚焦于具有沿着指示下一动作的线的点的原始对象的视图。
图10描绘了根据实施例的用户聚焦于具有沿着指示下一动作的线的点的原始对象的另一视图。
图11描绘了根据实施例的用户聚焦于具有放大对象的原始对象的另一视图。
图12描绘了根据实施例的用于激活引导对象的方法。
图13示出了根据实施例的用于选择和激活对象的方法的两个步骤的示意图。
图14描绘了根据实施例的用户聚焦于具有沿着视觉引导线路径突出显示的区域的原始对象的另一视图。
图15描绘了根据实施例的用户的另一视图。
图16描绘了根据实施例的用户聚焦于具有在一定距离内示出的多个对象的原始对象的另一视图。
图17描绘了根据实施例示出的用户聚焦于具有多个视觉引导线的原始对象的另一视图。
图18A描绘了根据实施例的在增强对象开始沿着视觉引导线移动之前用户改变视觉引导线的方向的方法的示意图。
图18B描绘了根据实施例的方法，其中示意图延续图18B的示意图，进一步示出了视觉引导线的方向的改变。
图19A是示出了可以实现一个或多个所公开的实施例的示例通信系统的系统图。
图19B是根据实施例的示出了可以在图19A所示的通信系统中使用的示例无线发射/接收单元(WTRU)的系统图。
具体实施方式
本文的实施例提供了系统和方法，以使得虚拟和混合现实设备的用户能够决定是否显示内容增强，并且如果是，则使用户能够非常快速且不费力地控制要看多少，即，如果内容增强看起来有趣，则用户能够将其拉得更近以进行更近的检查，但是如果在更近的检查时其证明为不感兴趣，则还能够拒绝增强。在一个实施例中，该距离完全可由用户控制。
在本文公开的一些实施例中，除了用户的注视之外，需要很少或不需要其他交互来显示内容增强。如将理解的，无论如何要不断地扫描我们的周围环境以寻找信息，因此必须使用诸如手势之类的附加输入方法来将内容增强拉得更近，这将是麻烦的并且可能在人群中引起不想要的注意。参考图1，根据实施例的系统100的概览包括若干组件，包括同时定位与制图(SLAM)/3D制图模块102、注视检测模块104、增强视图用户界面模块110、头部姿态检测模块120、硬件信息提供器模块130、以及增强视图内容服务模块140。增强视图用户界面模块110包括增强视图位置确定模块112、可视化模块114和控制模块116。
SLAM/3D制图模块102维护用户周围环境的3D模型以及用户在3D模型内的定位，包括头部定位和定向。本文的实施例包括使用任何合适的技术来维护用户周围环境的3D模型，诸如结构化红外光图案、立体相机、单目视觉测距、飞行时间相机等。
注视检测模块104识别用户注视的方向，包括聚散度信息，以确定用户正在看的深度。注视检测模块104还确定用户的注视已经停留在对象上多长时间和多全面。检测原始、非增强MR或现实对象以及增强MR对象的停留时间。
增强视图用户界面模块110包括增强视图位置确定模块112，其在用户周围的3D空间中建立潜在位置，用于增强视图的必要控制。标准可以包括例如现有的现实和MR对象、最小眼睛移动和注视检测分辨率要求以及用户的移动。还可以考虑用户偏好，诸如在视平线之上而不是在视平线处或之下显示增强视图的偏好。增强视图用户界面模块110中还包括可视化模块114，其渲染所有混合现实(MR)内容，并且在实施例中提供包括方向的视觉提示的功能，使得用户可以激活内容增强特征，渲染视觉导引线，经由突出显示可用的和推荐的下一动作来引导用户的动作，以及在对应于用户的注视方向的位置处沿着视觉导引线渲染增强内容MR对象。
增强视图用户界面(UI)模块110内的控制模块116提供包括获得用户附近的可用增强的列表(例如，通过查询可选的增强视图内容服务140)的功能。在可用的增强中，向位置确定模块112请求哪些增强是可能显示的；以及对于可能的增强，检测增强开始姿态(注视停留和/或本领域已知的其他方法，诸如注视加头部姿态加手势组合)以及用于增强视图的指示方向；激活增强视图并控制增强对象沿视觉引导线的位置；确定并突出显示建议的下一动作，例如，当用户将增强对象移动得更近时，视觉引导线上的下一个焦点正确的捕捉点(snap point)可被突出显示；使用来自注视检测模块104的注视停留和“视觉消耗”度量，估计用户是否已经对增强对象给予足够的注意，使得如果必要的话可以将其从视图中移除。
在一个实施例中，用于结束增强视图的姿态可以包括在已经满足“视觉消耗”度量之后，让用户将注视转离增强对象；让用户转头；使用户使用他的注视将增强对象移动回其原始位置；和/或手势。
在一个实施例中，硬件信息提供器提供基于硬件的限制，其与计算显示视觉导引线所需的空间以及聚焦精确显示平面的深度有关，使得可以在沿着导引线的那些平面处为用户渲染视觉提示(“捕捉点”)。
相关硬件限制至少是设备光学器件支持的聚焦的精确平面的数量和注视检测分辨率。例如，在一个实施例中，如果硬件支持五个焦平面，则导引线示出五个对应点。如果硬件进一步支持非常精确的注视跟踪，则在用户的视图中的点可能几乎重叠。在实施例中，在较低的注视跟踪精度的情况下，这些点在x/y方向上更远地分开，以便彼此适当地识别。因此，在一些实施例中，该线在用户的视图中占据更多空间(在左右和/或上下方向上)。
图1还示出了经由头部姿态检测模块120的头部姿态检测。在实施例中，头部姿态检测连续地监视用户的头部移动，并且向UI控制模块116报告所识别的头部姿态。在实施例中，控制模块116可以使用该信息，例如，结合同时发生的注视方向/停留信息，来确定用于视图增强特征的激活、控制和停用事件。
在一个实施例中，增强视图内容服务140是提供附近的现实和MR对象的可用增强MR内容的信息的外部服务。
增强视图内容服务140提供了快速和简单的方式来获得远处的MR或现实对象的详细视图。用户可以确定在他的视图中允许对象有多近(以及因此有多大)，并且具有对事件的完全控制而没有自动弹出窗口。在一个实施例中，为了适应，否则硬件限制会干扰用户，当硬件仅支持有限数目的焦平面时，向用户示出这些平面所在的位置，并给予用户将内容放置在那里以便最佳观看的选项。
焦平面的指示对用户是有益的，因为眼睛聚焦在那些平面上最快，并且只需要短时间来掌握相关细节。
现在参考图2，流程图示出了用于对混合现实(MR)对象进行基于注视的深度控制的过程200。具体地，该流程图描述了用于使用注视和头部移动来激活、控制和停用MR内容增强的过程。
如图所示，图2示出了实现SLAM模块202、增强视图控制模块204、增强视图位置检测模块206、注视检测模块208、可视化模块210和头部姿态检测模块212之间的交互的过程。在SLAM模块202内，执行用户定位、头部运动和3D制图216。在建立3D制图之后，头部运动数据218被传输到头部姿态检测模块212，其中使用头部姿态检测模块212进行恒定姿态识别220。
接下来，将头部定位定向和3D图226提供给增强视图控制204，其也接收可能在附近的所有可用的内容增强228。增强视图位置检测模块206接收硬件限制222，且接着相对于任何硬件限制估计视觉导引线的最小所需空间224。
在增强视图控制模块204内，从增强视图位置检测模块206请求潜在的内容增强位置230，以及诸如3D图、头部定位和定向以及要显示的内容的相关信息。
增强视图位置检测模块206相对于可用于显示的空间估计每个内容，并且在内容元素234的列表中，将可能在可用空间内显示的那些内容提供给增强视图控制模块204(232)。
接下来，增强视图控制模块204将MR增强对象位置的列表和任何弹出方向提供给可视化模块210(236)，其然后渲染任何视觉提示238。
接下来，注视检测模块208向增强视图控制模块204提供注视和停留数据240，该增强视图控制模块204还接收来自头部姿态检测模块212的头部姿态数据242。在增强视图控制模块204内，基于来自注视检测模块208和/或头部姿态检测模块212的数据做出关于开始事件的确定244。而且，增强视图控制模块204从任何硬件焦点属性246确定捕捉点。接下来，增强视图控制模块204提供视觉导引线和增强内容248，其被提供给可视化模块210。可视化模块210渲染导引线和增强内容250。
接下来，增强视图控制模块204从注视检测模块208接收注视和停留数据252，其用于基于注视方向确定增强内容定位，并且确定和突出显示潜在的下一个动作254。然后，将任何更新的内容、定位和突出显示提供给可视化模块210以用于渲染258。
注视和停留数据260重复地从注视检测模块208被接收，来自头部姿态检测模块212的头部姿态数据262也是如此。
接下来，增强视图控制模块204确定结束事件264，并向可视化模块210提供任何增强内容和动画266以用于渲染268。
根据本文描述的实施例，系统连续地执行背景内容增强扫描。该系统连续地监视用户的位置、头部和注视方向，以便确定在用户附近是否存在具有MR内容增强的对象，该MR内容增强可以使用该系统被带到用户的视图中。该确定可以基于例如对具有增强对象位置的(远程)数据库的基于地理位置的搜索。
实施例还涉及确定显示内容增强的潜力。在获得用户附近的增强对象的信息时，系统连续地维护关于增强内容是否以及在哪里可以被带到用户的视图的信息。用户周围的可能用于增强内容放置的3D空间最初可包含用户可见的所有空间，或者仅限于特定的观看区域。例如，在一些实施例中，可以排除用户的视平线的正上方和正下方的区域。
根据一些实施例，通过考虑可能减小可用的增强内容显示区域的不同参数来确定是否将内容增强带到用户的视图。例如，考虑用户周围的3D空间。该系统执行SLAM以确定用户附近的现实对象的位置。具有现实障碍的位置被排除作为用于显示增强内容的潜在位置。此外，识别的现实对象可以被标记为不得被遮挡的对象。
所考虑的另一参数包括用户视图中的MR对象。根据实施例，可以避开用户视图中已经被MR对象占据的3D空间。通常，还避开了现有MR对象的遮挡。然而，基于任务、活动或其他优先级的度量可以用于确定增强内容视图是否可能遮挡现有MR内容，诸如在短时间段内遮挡。
所考虑的另一参数包括眼睛移动要求。当用户的眼睛移动(注视)用于控制增强对象位置时，系统需要确定用户的视图中的视觉引导线的最小范围，使得注视检测可以区分视觉控制点。最小范围可以由至少以下属性确定：注视跟踪精度(其可以是硬件限制)、要区分的点的数目(其可以对应于由光学器件提供的焦平面的数目)、用户移动、至被增强的对象的距离等。
在考虑空间限制之后，确定用于视觉导引线的一个或多个潜在路径。该确定可以基于用户偏好(例如，用户可能更喜欢使用他的视图的顶部来进行内容增强)、避开对象遮挡等。该线可以是直线、样条、弧或任何其它形式。
如图2所示，系统还确定可用内容增强的视觉提示。向用户突出显示根据该过程已经被确定为适合于内容增强的对象。突出显示可以是例如可视边界或图标。具体地，突出显示可以包含视觉导引线的可用方向的指示。
实施例包括用于用户激活虚拟或混合现实中的对象的内容增强的不同方法。不同方法包括在对象或方向指示符上的注视停留，或者通过在注视保持固定在对象上的同时执行头部姿态或手势，以及受益于本公开的本领域技术人员已知的其他方法。头部移动的方向可以用于选择引导线的若干建议方向之一。例如，如果建议向左方向，则通过向左转动头部来发生对象激活。可替换地，在引导线变得可见之后，头部偏转/俯仰，诸如注视仍然固定在对象，可以用于微调该线的位置。
在一些实施例中，内容增强激活显示所选择的视觉引导线，从而在最佳观看距离处示出标记。增强对象在原始对象的位置处或附近进入视图。在一些实施例中，增强对象从拐角固定到视觉引导线，使得对象、线和标记可以一直被看到。
在一个或多个实施例中，可以显示确定的视觉引导线，但是不沿着视觉引导线显示附加标记或捕捉点(snap-to point)。在这样的实施例中，即使未在视觉上显示对应的标记，当用户的注视沿着视觉引导线移位时，也可以在内部维持捕捉点，并且仍然可以维持用于移动和显示增强内容的捕捉效果。
如受益于本公开的本领域技术人员将理解的，视觉引导线可以是可选的。例如，在一个或多个实施例中，不显示视觉引导线，而是显示附加标记或捕捉点，从而使得视觉引导线效果上不可见。因此，沿着视觉引导线从一点到另一点移动增强内容的功能响应于用户的注视而改变，就好像视觉引导线存在但未被显示一样。
在其他实施例中，既没有显示所确定的视觉引导线，也没有显示标记或捕捉点。相反，即使用户看不到引导线和相关联的标记或捕捉点，也执行响应于用户注视的变化而沿着确定的视觉引导线从一点到另一点移动增强内容的功能。在一个或多个实施例中，可以显示一组减少的标记或捕捉点，以便向用户提供用于移动增强内容的最小视觉提示。例如，在增强内容被移动时，可自适应地显示与增强内容的当前定位相邻的标记或捕捉点，使得用户具有关于可使用用户注视的偏移将内容接下来移动到何处的最小可见指示。
在一些实施例中，视觉引导线相对于用户的头部/颈部的旋转点(pivot point)固定。因此，如果用户移动他的头部而不是偏转/俯仰，则引导线向前移动，其中线的原点固定到源(正被增强的对象)。
一个或多个实施例包括深度控制。在一些实施例中，该过程使得用户能够通过不同方法利用注视来控制增强对象的深度方向位置。在一个实施例中，系统识别用户的注视在距视觉引导线的预定义界限内，并且因此应当用于控制增强对象的定位。用户的注视方向和眼睛聚散度被用于确定增强对象沿着线的位置。可选地，除了确定与用户正在看的内容相关的焦点深度之外，还可以使用用户眼睛的适应。
在一个实施例中，增强对象被移动到引导线上的对应位置。下一个最佳观看位置被突出显示在该线上，以鼓励用户将对象移动到该位置。在最佳观看位置，可以使用磁性或捕捉效果来将物体保持在那些位置，这可能需要额外的眼睛运动以移动经过该点。
在一个实施例中，当注视离开预定义的界限时，诸如当用户看着对象而不是线时，对象的深度控制停止。如果用户往回看该线，则深度控制可以继续。
在一个实施例中，系统保持跟踪用户看增强内容多长时间和/或多密集，以确定一旦用户扭转目光就是否可以丢弃该内容。否则，诸如扫视正在鸣喇叭的汽车的头部正常快速移动可能无意地隐藏增强内容。
在一个实施例中，结束增强内容的显示可以经由姿态来执行，诸如将注视固定在增强对象上的点上，以及将头部转向视觉引导线的远端。在另一实施例中，结束显示通过用户在内容超时之后将头部和/或注视转离增强对象来发生。
结束增强内容的显示的其他方法包括用户使用视觉引导线或手势来使用注视将增强对象移回到起始点。
根据一个或多个实施例，图2的可视化模块210渲染增强内容，包括视觉引导线，这需要确定显示该线所需的空间。图2中所示的增强视图位置检测模块206确定是否可以在用户的视图中绘制MR内容增强的必要控件，该控件可以一直、连续地或根据系统要求出现。因此，在一些实施例中，模块206确定用户的视图中的线的最小所需尺寸以及该线需要避开的任何真实或虚拟对象。
根据实施例，通过确定要绘制的引导点的数量来确定视觉引导线的最小尺寸。引导点的数量可以是由设备的硬件支持的焦点正确的平面的总数、平面的子集，或者如果平面的数量低，则点的列表可以包含内插点以提供足够的引导点。在一个实施例中，内插点可以与对应于焦点正确的平面的点不同地示出。
根据一个实施例，点之间的最小间隔是根据设备注视跟踪能够检测每个点所需的硬件的。此外，最小间隔可受其它因素影响，例如由移动引起的用户头部的额外移动，或其它环境因素。
参考图3，示出了用于确定用户视图中视觉引导线的所需宽度的方法。如图所示，图3示出了在两个不同的用户视图(302)和(304)中的十个焦点正确的平面306的图示。如图所示，增强对象的原始位置在离用户最远的位置。图3在(302)中示出了4度的注视检测分辨率308，这意味着整个控制线310必须占据用户视图中大约40度的眼睛移动和沿着控制线的间隔点。图3在(304)中示出了2度分辨率312，其中控制线314覆盖用户视图的一半。在图3中，移动仅在水平轴上；通过使用水平和垂直移动两者，可以减少用户的眼睛移动的极端情况。
现在参考图4，图表示出了注视控制精度的变化。该图表根据会议论文《面对日常注视输入：眼睛跟踪的准确性和精度以及设计的含义》(CHI 2017，2017年5月6-11日，第1125页)改写。如图所示，该图表表明注视控制精度可以因不同的原因而变化，例如视角。本文实施例适应于图4所示的问题，例如，注视控制精度的分辨率也可以在沿着x坐标402和y坐标404的视场的不同部分中变化。示出了原始大小406、过滤大小408、目标点410、以及屏幕大小412和边界线420。
根据方法的实施例，在已经建立引导线的最小长度之后，确定用户的视图中的线的候选路径。路径的原点(例如远端)位于要增强的对象处，而近端相对于用户的头部是固定的。路径确定考虑了用户的视图中的现实世界对象和现有MR对象所占据的3D空间，使得引导线不与现有对象冲突。用于选择视觉引导线的路径的进一步的标准可以包括遮挡，诸如线要避开遮挡一些MR或现实对象，以及用户的移动，使得线在用户正在移动的方向上被绘制以在该大体方向上保持他的注视。
现在参考图5，一个实施例涉及使用户502的引导线504弯曲以防止其与现有对象510碰撞。例如，如果从开始到结束的直线将与真实世界或MR对象位置冲突，则弯曲将是适当的。图5还示出了用户视图500，其示出了视线之间的2度分离520，以及引导线如何能够占据比使视图不太拥挤或避开与对象碰撞所严格必需的更多的侧向定向区域。一种替换方案是完全在另一方向上绘制线，或者允许分辨率，在用户的视图中较窄地画线，使得该线和现有对象可以并排显示。
在一些实施例中，用户502可以通过聚焦于可见参考点来利用注视控制增强对象的位置。在一个实施例中，不管系统是否具有有限或无限数量的焦平面，可见参考点都存在。在一个实施例中，沿着视觉引导线的标记帮助聚焦在下一个位置，而不是必须沿着线连续地上下滑动聚焦。
在一个实施例中，由于设计的线覆盖了深度上的较大距离，因此除了当前聚焦的部分之外的所有部分或多或少地离焦。为了防止线上要聚焦的下一位置难以找到或者需要比所需更长的聚焦，可以依次突出显示下一位置，以在用户外围视觉中给出视觉刺激。
现在参考图6，该方法由用户的视图600示出，该视图包括MR内容增强可用于对象602的视觉提示。系统已经确定了箭头所指示的内容增强视图弹出窗口的潜在方向。用户可以注视箭头之一，或者使用本领域已知的一些其它姿态，诸如注视和头部/手部姿态的组合，来在任一方向上激活内容增强。
图7示出了该方法中的下一站，具体地，用户激活右侧的增强特征。示出了增强内容“呼叫卡”702，以及可用的焦点704和706。为了引导用户的动作，利用焦点指示符来突出显示下一个建议的动作。增强内容在最远可用焦点处示出。用户现在可以通过沿着视觉导引线查看不同点704和706来沿着深度平面移动增强内容。可以在不同深度并因此离焦的下一个建议的动作被突出显示，以便向用户给出其位置的外围视觉提示。在图7中，所建议的动作是查看下一个更近的焦平面。
图8示出了在用户已经用注视将增强对象800绘制到最近的焦点之后的用户视图。在实施例中，用户可以通过转动他的头部、在经过一段短时间之后看别处、或者通过利用他的注视将对象移回起始点来停用增强内容显示800。
现在参考图9，在一个实施例中，示出了增强对象900。在一些实施例中，当用户聚焦在特定深度上时，场景的其它区域可能如用户视图的变暗所示那样失焦。因此，用户受益于看到外围视觉的变化，突出显示下一个焦点901。
现在参考图10，用户视图的进一步示例包括当用户聚焦于增强对象1002时显示下一动作的下一动作。图10示出了仅有增强对象1002可被聚焦以帮助用户标识接下来要看哪里，诸如焦点1003。因此，图10表明，当用户聚焦在增强对象1002上时，他自然不能非常清楚地看到周围环境，因为它们可能是失焦的。然而，通过足够清楚地示出所建议的下一动作1003(要看的下一位置)，用户应当能够识别下一动作，即使其失焦。图11示出了从增强对象1100到下一个动作1101的进一步的眼睛运动。
现在参考图12，示出了激活和控制步骤。如框1210所示，现实对象1204或现有MR对象向用户1202示出了内容增强(弹出)对该对象可用的视觉提示1206。然后，在框1220中，用户通过例如对提示的注视和头部姿态的组合或者注视停留来激活增强。增强对象1208连同在其相应深度处示出焦平面指示符1212的视觉导引线1210一起进入视图。然后，在框1230中，当用户沿着视觉导引线1232移动他的注视时，增强对象相应地移动，有效地使对象更靠近以便检查。在框1220和1230中，图12示出了包括不同深度处的下一焦平面指示符的下一建议动作的视觉暗示。
如图所示，在框1210中，向用户呈现混合现实增强可用视觉提示。注视确定要增强哪个对象以及可用于增强的方向可以被自动确定并用视觉提示来示出。接下来，在框1220中，通过注视停留或其他用户输入来发生激活，并且出现具有焦平面指示符的导引线以及增强混合现实对象。接下来，在框1230中，利用诸如定位控制注视的注视来突出显示所建议的下一动作，并且可以突出显示下一动作。
现在参考图13，一种替换的激活方法示出了在1310中用户可以将注视1302锁定在对象上以增强，随后如1320所示，用户在方向提示1304的方向上转动他/她的头部1322，该方向提示触发引导线1324的生成和显示。因此，通过注视锁定和头部转动来发生激活。此外，如果多个方向提示可用(例如，参见图6中的多个方向提示602)，则用户的头部转动的方向可被用于选择多个方向提示之一(例如，最接近地对应于用户的头部转动的方向提示)。
现在参考图14，示出了曲面的示例。代替线，引导助手可以显示为二维(2D)表面，例如锥体1402(平面、双曲线、锥形、...)的内表面、一系列同心圆/三角形/矩形等。
根据实施例，提供引导助手使得用户能够具有用于仅用眼睛控制增强对象的定位的更大变化。在一个实施例中，聚焦最佳深度可以帮助用户。因此，用户具有对对象的垂直和水平定位的控制。可用于放置增强对象的区域可由用户通过头部移动来确定，诸如倾斜、俯仰和偏转。如图所示，用户看到的区域好像是从锥体1402的内部观看的。沿着焦点最佳的距离绘制线。还示出了用作下一个建议动作的引导的线。
因此，用户可以在激活之后通过例如头部移动或通过一些其他姿态自由地或在可用位置之间改变视觉引导线的位置。例如，如果用户激活视觉引导线至其右侧，则足够大的头部向上倾斜将使视觉引导线移动至其视场顶部的另一可用位置。通过自由运动，头部俯仰和偏转可以分别向上/向下和向左/向右移动引导线。
在一个实施例中，该系统和方法提供了一种用于选择元素以增强例如潜在对象的数量是否多于一个或者是否在一定距离内存在对象的方法。
参考图15，潜在增强对象在窗口1500中示出。用户可以通过注视或通过其他用户输入来选择激活哪个对象。
图16示出了激活对象1600并将对象带到最远的焦平面。
图17示出了每个对象1600的不同视觉导引线1704和1706。因此，在一个实施例中，注视将对象1702拉得更近以供更近的检查。
如图18A和18B所示，在增强对象开始沿引导线移动之前，还可以允许用户自由地改变引导线的方向。因此，在框1802中，用户1806注视确定对象1804。在框1810中，激活，出现导引线1812。参考图18B，在框1820中，在注视固定的情况下转动用户头部1826可以沿着可见的或不可见的旋转点1822向上或向下或从左到右转动导引线1824，如框1830中所示，其中用户1836向左转动注视并改变导引线1832。
因此，注视和头部姿态可以在激活基于注视的深度控制之前修改视觉引导线。在一个实施例中，在激活之后，只要用户保持他对原始对象的注视，头部运动就控制视觉引导线的定位。然后，在该线是用户想要的位置之后，通过将注视从原始对象移动到沿着该线的某一点上，将该线固定在适当位置。
用于实施例的实现的示例网络
图19A是示出了可以在其中实现一个或多个所公开的实施例的示例通信系统1900的图。通信系统1900可以是向多个无线用户提供诸如语音、数据、视频、消息传递、广播等内容的多接入系统。通信系统1900可以使多个无线用户能够通过共享包括无线带宽的系统资源来访问这样的内容。例如，通信系统1900可以采用一种或多种信道接入方法，例如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)、零尾唯一字DFT扩展OFDM(ZT-UW DTS-s OFDM)、唯一字OFDM(UW-OFDM)、资源块滤波OFDM、滤波器组多载波(FBMC)等。
如图19A所示，通信系统1900可以包括无线发射/接收单元(WTRU)1902a、1902b、1902c、1902d、RAN 104/1913、CN 106/1915、公共交换电话网(PSTN)1908、因特网1910和其他网络1912，但是应当理解，所公开的实施例可以设想任意数量的WTRU、基站、网络和/或网络元件。WTRU 1902a、1902b、1902c、1902d中的每一个可以是被配置为在无线环境中操作和/或通信的任何类型的设备。作为示例，WTRU 1902a、1902b、1902c、1902d(其中任何一个可以被称为“站”和/或“STA”)可以被配置为发送和/或接收无线信号，并且可以包括用户设备(UE)、移动站、固定或移动用户单元、基于订阅的单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型计算机、上网本、个人计算机、无线传感器、热点或Mi-设备、物联网(IoT)设备、手表或其他可穿戴设备、头戴式显示器(HMD)、车辆、无人机、医疗设备和应用(例如，远程手术)、工业设备和应用(例如，在工业和/或自动化处理链中操作的机器人和/或其他无线设备)、消费电子设备、在商业和/或工业无线网络环境中操作的设备等。WTRU1902a、1902b、1902c和1902d中的任何一个可以被互换地称为UE。
通信系统1900还可以包括基站1914a和/或基站1914b。基站1914a、1914b中的每一个可以是被配置为与WTRU 1902a、1902b、1902c、1902d中的至少一个无线接口连接以便于接入一个或多个通信网络的任何类型的设备，所述通信网络例如是CN 1906/1915、因特网1910和/或其他网络1912。作为示例，基站1914a、1914b可以是基站收发台(BTS)、节点B、e节点B、家庭节点B、家庭e节点B、gNB、NR节点B、站点控制器、接入点(AP)、无线路由器等。虽然基站1914a、1914b各自被描述为单个元件，但是应当理解，基站1914a、1914b可以包括任意数量的互连基站和/或网络元件。
基站1914a可以是RAN 1904/1913的一部分，其还可以包括其它基站和/或网络元件(未示出)，例如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等。基站1914a和/或基站1914b可以被配置为在一个或多个载波频率上发送和/或接收无线信号，其可以被称为小区(未示出)。这些频率可以在许可频谱、未许可频谱、或者许可和未许可频谱的组合中。小区可以向特定地理区域提供无线服务的覆盖，该特定地理区域可以是相对固定的或者可以随时间而改变。小区可以进一步被划分为小区扇区。例如，与基站1914a相关联的小区可以被划分为三个扇区。因此，在一个实施例中，基站1914a可以包括三个收发信机，即，针对小区每个的扇区有一个收发信机。在实施例中，基站1914a可以采用多输入多输出(MIMO)技术，并且可以为小区的每个扇区利用多个收发信机。例如，波束成形可以用于在期望的空间方向上发送和/或接收信号。
基站1914a、19914b可通过空中接口1916与WTRU 1902a、1902b、1902c、1902d中的一个或多个进行通信，该空中接口可以是任何合适的无线通信链路(例如，射频(RF)、微波、厘米波、微米波、红外(IR)、紫外(UV)、可见光等)。空中接口1916可以使用任何合适的无线电接入技术(RAT)来建立。
更具体地说，如上所述，通信系统1900可以是多接入系统，并且可以采用一个或多个信道接入方案，例如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等。例如，RAN 1904/1913中的基站1914a和WTRU 1902a、1902b、1902c可以实现诸如通用移动电信系统(UMTS)陆地无线电接入(UTRA)之类的无线电技术，其可以使用宽带CDMA(WCDMA)来建立空中接口1915/1916/1917。WCDMA可以包括诸如高速分组接入(HSPA)和/或演进型HSPA(HSPA+)之类的通信协议。HSPA可以包括高速下行链路(DL)分组接入(HSDPA)和/或高速UL分组接入(HSUPA)。
在实施例中，基站1914a和WTRU 1902a、1902b、1902c可以实现诸如演进型UMTS陆地无线电接入(E-UTRA)之类的无线电技术，该无线电技术可以使用长期演进(LTE)和/或高级LTE(LTE-A)和/或高级LTE Pro(LTE-A Pro)来建立空中接口1916。
在实施例中，基站1914a和WTRU 1902a、1902b、1902c可以实现诸如NR无线电接入的无线电技术，该无线电技术可以使用新的无线电(NR)来建立空中接口1916。
在实施例中，基站1914a和WTRU 1902a、1902b、1902c可以实现多种无线电接入技术。例如，基站1914a和WTRU 1902a、1902b、1902c可以例如使用双连接(DC)原理一起实现LTE无线电接入和NR无线电接入。因此，WTRU 1902a、1902b、1902c所利用的空中接口的特征在于多种类型的无线电接入技术和/或发送到/来自多种类型的基站(例如eNB和gNB)的传输。
在其它实施例中，基站1914a和WTRU 1902a、1902b、1902c可以实现无线电技术，例如IEEE 802.11(即无线保真(WiFi)、IEEE 802.16(即全球微波接入互操作性(WiMAX))、CDMA 2000、CDMA 20001X、CDMA 2000 EV-DO、Interim标准2000(IS-2000)、Interim标准95(IS-95)、Interim标准856(IS-856)、全球移动通信系统(GSM)、GSM演进的增强数据速率(EDGE)、GSM EDGE(GERAN)等。
图19A中的基站1914b可以是例如无线路由器、家庭节点B、家庭e节点B或接入点，并且可以利用任何适当的RAT来促进局部区域中的无线连接，该局部区域诸如营业场所、家庭、车辆、校园、工业设施、空中走廊(例如，供无人机使用)、道路等。在一个实施例中，基站1914b和WTRU 1902c、1902d可以实现诸如IEEE 802.11的无线电技术来建立无线局域网(WLAN)。在实施例中，基站1914b和WTRU 1902c、1902d可以实现诸如IEEE 802.15的无线电技术来建立无线个人局域网(WPAN)。在又一实施例中，基站1914b和WTRU 1902c、1902d可以利用基于蜂窝的RAT(例如WCDMA、CDMA 2000、GSM、LTE-A Pro、NR等)来建立微微小区或毫微微小区。如图19A所示，基站1914b可以具有到因特网1910的直接连接。因此，基站1914b可以不需要经由CN 1906/1915接入互联网1910。
RAN 1904/1913可与CN 1906/1915通信，后者可以是被配置成向WTRU 1902a、1902b、1902c、1902d中的一者或多者提供语音、数据、应用、和/或网际协议语音(VoIP)服务的任何类型的网络。数据可具有变化服务质量(QoS)要求，例如不同处理量要求、等待时间要求、容错要求、可靠性要求、数据处理量要求、移动性要求等。CN 1906/1915可提供呼叫控制、计费服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分发等，和/或执行高级安全功能，例如用户认证。尽管在图19A中未示出，但是应当理解，RAN 1904/1913和/或CN1906/1915可以与采用与RAN 1904/1913相同的RAT或不同的RAT的其它RAN直接或间接地进行通信。例如，除了连接到可以利用NR无线电技术的RAN 1904/1913之外，CN 1906/1915还可以与采用GSM、UMTS、CDMA 2000、WiMAX、E-UTRA或WiFi无线电技术的另一RAN(未示出)通信。
CN 1906/1915也可作为WTRU 1902a、1902b、1902c、1902d的网关以接入PSTN1908、因特网1910及/或其它网络1912。PSTN 1908可以包括提供普通老式电话业务(POTS)的电路交换电话网。因特网1910可以包括使用公共通信协议的互联计算机网络和设备的全球系统，所述公共通信协议例如是TCP/IP因特网协议族中的传输控制协议(TCP)、用户数据报协议(UDP)和/或因特网协议(IP)。网络1912可以包括由其它服务提供商运营和/或操作的有线和/或无线通信网络。例如，网络1912可以包括连接到一个或多个RAN的另一个CN，其中RAN可以使用与RAN 1904/1913相同的RAT或不同的RAT。
通信系统1900中的WTRU 1902a、1902b、1902c、1902d中的一些或全部可包括多模能力(例如，WTRU 1902a、1902b、1902c、1902d可包括用于通过不同无线链路与不同无线网络通信的多个收发信机)。例如，图19A所示的WTRU 1902c可以被配置成与可以使用基于蜂窝的无线电技术的基站1914a通信，以及与可以使用IEEE 802无线电技术的基站1914b通信。
图19B是示出了示例WTRU 1902的系统图。如图19B所示，WTRU 1902可以包括处理器1918、收发信机1920、发射/接收元件1922、扬声器/麦克风1924、键盘1926、显示器/触摸板1928、不可移除存储器1930、可移除存储器1932、电源1934、全球定位系统(GPS)芯片组1936和/或其他外围设备1938，以及其他设备。可以理解的是，WTRU 1902可以包括前述元件的任何子组合，同时保持与实施方式一致。
处理器1918可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP内核相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、任何其它类型的集成电路(IC)、状态机等。处理器1918可以执行信号译码、数据处理、功率控制、输入/输出处理和/或任何其他使WTRU 1902能够在无线环境中操作的功能。处理器1918可以耦合到收发信机1920，后者可以耦合到发射/接收元件1922。虽然图19B将处理器1918和收发信机1920描绘为单独的组件，但应了解，处理器1918和收发信机1920可一起集成在电子封装或芯片中。
发射/接收元件1922可以被配置为通过空中接口1916向基站(例如，基站1914a)发送信号或者从基站接收信号。例如，在一个实施例中，发射/接收元件1922可以是被配置成发射和/或接收RF信号的天线。在实施例中，发射/接收元件1922可以是被配置成发射和/或接收例如IR、UV或可见光信号的发射器/检测器。在又一实施例中，发射/接收元件1922可经配置以发射及/或接收RF及光信号两者。将领会的是，发射/接收元件1922可被配置成传送和/或接收无线信号的任何组合。
尽管发射/接收单元1922在图19B中被描述为单个元件，但是WTRU 1902可以包括任意数量的发射/接收单元1922。更具体地，WTRU 1902可以使用MIMO技术。因此，在一个实施例中，WTRU 1902可以包括两个或更多的发射/接收元件1922(例如多个天线)，用于通过空中接口1916传送和接收无线信号。
收发信机1920可被配置为调制要由发射/接收元件1922发射的信号，并解调由发射/接收元件1922接收的信号。如上所述，WTRU 1902可以具有多模能力。因此，收发信机1920可以包括多个收发信机，用于使WTRU 1902能够通过多个RAT进行通信，例如通过NR和IEEE 802.11。
WTRU 1902的处理器1918可以耦合到扬声器/麦克风1924、键盘1926和/或显示器/触摸板1928(例如液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)，并且可以从其接收用户输入数据。处理器1918还可以将用户数据输出到扬声器/麦克风1924、键盘1926和/或显示器/触摸板1928。另外，处理器1918可从任何类型的合适存储器访问信息并将数据存储在其中，所述存储器诸如不可移除存储器1930和/或可移除存储器1932。不可移除存储器1930可包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或任何其它类型的存储器存储装置。可移除存储器1932可包括订户身份模块(SIM)卡、记忆棒、安全数字(SD)存储卡等。在其他实施例中，处理器1918可以从存储器访问信息，并将数据存储在存储器中，该存储器不是物理地位于WTRU 1902上，例如位于服务器或家用计算机(未示出)上。
处理器1918可以从电源1934接收电力，并且可以被配置成分配和/或控制到WTRU1902中的其他组件的电力。电源1934可以是用于为WTRU 1902供电的任何合适的设备。例如，电源1934可包括一个或多个干电池(例如，镍镉、镍锌、镍金属氢化物(NiMH)、锂离子(Li-ion)等)、太阳能电池、燃料电池等。
处理器1918还可以耦合到GPS芯片组1936，其可以被配置为提供关于WTRU 1902当前位置的位置信息(例如经度和纬度)。除了来自GPS芯片组1936的信息之外，或者作为其替代，WTRU 102可以通过空中接口1916从基站(例如基站1914a、1914b)接收位置信息，和/或基于从两个或更多个邻近基站接收的信号的定时来确定其位置。应当理解，WTRU 1902可以通过任何适当的位置确定方法获取位置信息，同时保持与实施方式一致。
处理器1918还可以耦合到其他外围设备1938，其可以包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如，外围设备1938可包括加速计、电子罗盘、卫星收发信机、数码相机(用于照片和/或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏播放器模块、因特网浏览器、虚拟现实和/或增强现实(VR/AR)设备、活动跟踪器等。外围设备1938可包含一或多个传感器，传感器可为陀螺仪、加速计、霍尔效应传感器、磁力计、定向传感器、接近度传感器、温度传感器、时间传感器中的一或多者；地理定位传感器；高度计、光传感器、触摸传感器、磁力计、气压计、姿态传感器、生物测定传感器和/或湿度传感器。
WTRU 1902可以包括全双工无线电，对于该全双工无线电，一些或所有信号(例如与用于UL(例如用于传输)和下行链路(例如用于接收)的特定子帧相关联的信号)的传输和接收可以是并发的和/或同时的。全双工无线电可以包括干扰管理单元，以经由硬件(例如，扼流圈)或经由处理器(例如，单独的处理器(未示出)或经由处理器1918)的信号处理来减少和/或基本上消除自干扰。在实施例中，WTRU 1902可以包括半双工无线电，对于该半双工无线电，传输和接收一些或所有信号(例如，与用于UL(例如，用于传输)或下行链路(例如，用于接收)的特定子帧相关联的信号)。
如上所述，本文阐述的系统和方法提供了使用注视控制来使与远处对象有关的增强MR内容更靠近用户的实施例。该解决方案使用被实现为MR对象的视觉导引线。该导引线包含帮助用户聚焦其注视的点，这些点被放置在与设备硬件所支持的聚焦校正观看距离相等的深度处。增强MR内容沿着该线跟随用户的注视，从而将内容移动得更靠近或更远离用户。该线的位置和尺寸由系统基于HW限制和用户视图中的现有现实或MR对象来确定。
根据实施例，一种方法包括：形成增强现实(AR)头戴式显示器(HMD)的用户的周围环境的三维(3D)图；基于眼睛注视方向和眼睛聚散度来确定用户的注视点的深度方向位置；确定所述3D图中的视觉引导线路径；在一个或多个识别的焦点处沿着视觉引导线路径引导用户的动作；以及在与用户的注视方向相对应的位置处沿着视觉引导线路径渲染混合现实(MR)对象。
在一个实施例中，沿着视觉引导线路径的一个或多个焦点通过用户的注视跟踪而被确定。
在一个实施例中，沿着视觉引导线路径的一个或多个焦点根据HMD的一个或多个硬件限制而被确定。
在一个或多个实施例中，沿着视觉引导线路径的一个或多个焦点基于HMD可显示的视觉上正确的焦平面的数目而被确定。
在一个或多个实施例中，沿着视觉引导线路径的一个或多个焦点基于HMD上可用的注视跟踪的确定准确度而被确定。
在一个或多个实施例中，沿着视觉引导线路径的一个或多个焦点基于HMD可显示的视觉上正确的焦平面的数目而被确定。
在一个或多个实施例中，沿着视觉引导线路径的一个或多个焦点基于HMD上可用的注视跟踪的确定准确度而被确定。
在一个实施例中，沿着视觉引导线路径的一个或多个焦点根据MR对象的距离而被确定。
在一个实施例中，沿着视觉引导线路径的一个或多个焦点由用户的移动确定。
在一个实施例中，确定3D图中的视觉引导线路径是基于用户的注视点的深度方向位置和3D图中的可用空间的。在一个实施例中，确定3D图中的视觉引导线路径包括形成视觉引导线路径以避开3D图中的一个或多个识别的对象。
在一个实施例中，确定3D图中的视觉引导线路径包括根据用户的移动来改变视觉引导线路径，用户的移动包括头部倾斜、头部俯仰、头部偏转和姿态中的一者或多者。
在一个实施例中，确定3D图中的视觉引导线路径包括根据由用户注视确定的一个或多个旋转点来改变视觉引导线路径。
在一个实施例中，该方法还包括根据3D图中的可用焦平面来确定沿着视觉引导线路径的点的数目。
另一实施例针对一种方法，该方法包括：形成增强现实(AR)头戴式显示器(HMD)的用户的周围环境的三维(3D)图；在所述3D图中显示混合现实(MR)对象，所述MR对象包括针对所述对象的内容增强对所述用户可用的视觉提示；根据关于所述视觉提示的对所述HMD的用户输入来激活所述内容增强；在3D图中显示视觉引导线路径；在一个或多个识别的焦点处沿着视觉引导线路径引导用户的动作；以及在与所述用户的注视方向相对应的位置处沿着所述视觉引导线路径渲染所述MR对象。
在一个或多个实施例中，根据对HMD的用户输入来激活内容增强包括进行对内容增强的注视、头部姿态或注视停留中的一者或多者的用户输入。
在一个或多个实施例中，在3D图中显示视觉引导线路径包括将一个或多个识别的焦点显示为3D图内的多个深度处的多个焦平面指示符。在一个或多个实施例中，在与用户的注视方向相对应的位置处沿着视觉引导线路径渲染MR对象包括在多个深度处沿着多个焦平面指示符移动增强对象以放大MR对象。
在一个或多个实施例中，在一个或多个识别的焦点处沿着视觉引导线路径引导用户的动作包括提供视觉提示，其中视觉提示包括针对用户的下一个建议的动作。
在一个或多个实施例中，在3D图中显示视觉引导线路径包括基于眼睛注视方向和眼睛聚散度来确定用户的注视点的深度方向位置。
另一实施例涉及一种包括处理器和存储指令的非暂时性计算机可读存储介质的系统，所述指令在处理器上执行时可操作以执行以下功能，包括：形成增强现实(AR)头戴式显示器(HMD)的用户的周围环境的三维(3D)图；基于眼睛注视方向和眼睛聚散度来确定用户的注视点的深度方向位置；确定所述3D图中的视觉引导线路径；在一个或多个识别的焦点处沿着视觉引导线路径引导用户的动作；以及在与用户的注视方向相对应的位置处沿着视觉引导线路径渲染混合现实(MR)对象。
在系统的一个或多个实施例中，沿着视觉引导线路径的一个或多个焦点通过用户的注视跟踪而被确定。
在系统的一个或多个实施例中，沿着视觉引导线路径的一个或多个焦点根据HMD的一个或多个硬件限制而被确定。
在系统的一个或多个实施例中，沿着视觉引导线路径的一个或多个焦点根据MR对象的距离而被确定。
在系统的一个或多个实施例中，沿着视觉引导线路径的一个或多个焦点由用户的移动确定。
在系统的一个或多个实施例中，确定3D图中的视觉引导线路径是基于用户的注视点的深度方向位置和3D图中的可用空间。
在该系统的一个或多个实施例中，确定3D图中的视觉引导线路径包括形成视觉引导线路径以避开3D图中的一个或多个识别的对象。在系统的一个或多个实施例中，确定3D图中的视觉引导线路径包括根据用户的移动来改变视觉引导线路径，用户的移动包括头部倾斜、头部俯仰、头部偏转和手势中的一者或多者。
在该系统的一个或多个实施例中，确定3D图中的视觉引导线路径包括根据由用户注视确定的旋转点来改变视觉引导线路径。
该系统的另一实施例针对存储指令的非暂时性计算机可读存储介质，当在处理器上执行该指令时，该指令可操作以执行附加功能，包括根据3D图中的可用焦平面来确定沿着视觉引导线路径的点的数目。
另一实施例涉及一种包括处理器和存储指令的非暂时性计算机可读存储介质的系统，所述指令在处理器上执行时可操作以执行以下功能，包括：形成增强现实(AR)头戴式显示器(HMD)的用户的周围环境的三维(3D)图；在所述3D图中显示混合现实(MR)对象，所述混合现实对象包括针对所述对象的内容增强对所述用户可用的视觉提示；根据关于所述视觉提示的对所述HMD的用户输入来激活所述内容增强；在3D图中显示视觉引导线路径；在一个或多个识别的焦点处沿着视觉引导线路径引导用户的动作；以及在与所述用户的注视方向相对应的位置处沿着所述视觉引导线路径渲染所述MR对象。
在系统的一个或多个实施例中，根据对HMD的用户输入来激活内容增强包括进行对内容增强的注视、头部姿态或注视停留中的一者或多者的用户输入。
在系统的一个或多个实施例中，在3D图中显示视觉引导线路径包括将一个或多个识别的焦点显示为在3D图内的多个深度处的多个焦平面指示符。
在所述系统的一个或多个实施例中，在与所述用户的注视方向相对应的位置处沿着所述视觉引导线路径渲染所述MR对象包括在所述多个深度处沿着所述多个焦平面指示符移动所述增强对象以放大所述MR对象。
在系统的一个或多个实施例中，在一个或多个识别的焦点处沿着视觉引导线路径引导用户的动作包括提供视觉提示，其中视觉提示包括针对用户的下一个建议的动作。
在系统的一个或多个实施例中，在3D图中显示视觉引导线路径包括基于眼睛注视方向和眼睛聚散度来确定用户的注视点的深度方向位置。
另一实施例涉及一种用于渲染视觉引导路径的方法，包括：形成增强现实(AR)头戴式显示器(HMD)的用户的周围环境的三维(3D)图；基于眼睛注视方向和眼睛聚散度来确定用户的注视点的深度方向位置；确定所述3D图中的视觉引导线路径；以及在与用户的注视方向相对应的位置处沿着视觉引导线路径渲染一个或多个混合现实(MR)对象，同时避开周围环境的3D图中的一个或多个预先存在的对象。
在该方法的一个或多个实施例中，视觉引导线路径放置在周围环境的3D图内的确定的可用空间中。
在该方法的一个或多个实施例中，一个或多个预先存在的对象包括一个或多个现实世界对象和现有MR对象。

Claims (37)

1.一种方法，包括：
形成增强现实(AR)头戴式显示器(HMD)的用户的周围环境的三维(3D)图；
在所述3D图中显示混合现实(MR)对象，所述MR对象包括针对所述MR对象的内容增强对所述用户可用的视觉提示；
根据关于所述视觉提示的对所述HMD的用户输入来激活所述内容增强；
在所述3D图中显示视觉引导线路径；
在一个或多个识别的焦点处沿着视觉引导线路径引导所述用户的动作；以及
在与所述用户的注视方向相对应的位置处沿着所述视觉引导线路径渲染所述MR对象。
2.根据权利要求1所述的方法，其中根据对所述HMD的用户输入来激活所述内容增强包括进行对所述视觉提示的注视、头部姿态或注视停留中的一者或多者的用户输入。
3.根据权利要求1所述的方法，其中在所述3D图中显示所述视觉引导线路径包括：
将所述一个或多个识别的焦点显示为所述3D图内的多个深度处的多个焦平面指示符。
4.根据权利要求3所述的方法，其中在与所述用户的所述注视方向相对应的所述位置处沿着所述视觉引导线路径渲染所述MR对象包括：
在所述多个深度处沿着所述多个焦平面指示符移动所述增强对象以放大所述MR对象。
5.根据权利要求3所述的方法，其中在所述一个或多个识别的焦点处沿着所述视觉引导线路径引导所述用户的所述动作包括提供所述视觉提示，其中所述视觉提示包括针对所述用户的下一个建议的动作。
6.根据权利要求1所述的方法，其中在所述3D图中显示所述视觉引导线路径包括基于眼睛注视方向和眼睛聚散度来确定用户的注视点的深度方向位置。
7.一种方法，包括：
形成增强现实(AR)头戴式显示器(HMD)的用户的周围环境的三维(3D)图；
基于眼睛注视方向和眼睛聚散度来确定所述用户的注视点的深度方向位置；
确定所述3D图中的视觉引导线路径；
在一个或多个识别的焦点处沿着所述视觉引导线路径引导所述用户的动作；以及
在与所述用户的注视方向相对应的位置处沿着所述视觉引导线路径渲染混合现实(MR)对象。
8.根据权利要求7所述的方法，其中沿着所述视觉引导线路径的所述一个或多个焦点通过所述用户的注视跟踪而被确定。
9.根据权利要求7所述的方法，其中沿着所述视觉引导线路径的所述一个或多个焦点根据所述HMD的一个或多个硬件限制而被确定。
10.根据权利要求7所述的方法，其中沿着所述视觉引导线路径的所述一个或多个焦点基于由所述HMD可显示的视觉上正确的焦平面的数目而被确定。
11.根据权利要求7所述的方法，其中沿着所述视觉引导线路径的所述一个或多个焦点基于所述HMD上可用的注视跟踪的确定准确度而被确定。
12.根据权利要求7所述的方法，其中沿着所述视觉引导线路径的所述一个或多个焦点根据所述MR对象的距离而被确定。
13.根据权利要求7所述的方法，其中沿着所述视觉引导线路径的所述一个或多个焦点通过所述用户的移动而被确定。
14.根据权利要求7所述的方法，其中确定所述3D图中的所述视觉引导线路径是基于所述用户的注视点的深度方向位置和所述3D图中的可用空间的。
15.根据权利要求7所述的方法，其中确定所述3D图中的所述视觉引导线路径包括：
形成所述视觉引导线路径以避开所述3D图中的一个或多个识别的对象。
16.根据权利要求7所述的方法，其中确定所述3D图中的所述视觉引导线路径包括：
根据所述用户的移动来改变所述视觉引导线路径，所述用户的移动包括头部倾斜、头部俯仰、头部偏转和姿态中的一者或多者。
17.根据权利要求7所述的方法，其中确定所述3D图中的所述视觉引导线路径包括：
根据由用户注视确定的旋转点来改变所述视觉引导线路径。
18.根据权利要求7所述的方法，还包括：
根据所述3D图中的可用焦平面来确定沿着所述视觉引导线路径的点的数目。
19.一种系统，包括处理器和存储指令的非暂时性计算机可读存储介质，所述指令当在所述处理器上执行时可操作以执行功能，所述功能包括：
形成增强现实(AR)头戴式显示器(HMD)的用户的周围环境的三维(3D)图；
基于眼睛注视方向和眼睛聚散度来确定用户的注视点的深度方向位置；
确定所述3D图中的视觉引导线路径；
在一个或多个识别的焦点处沿着所述视觉引导线路径引导所述用户的动作；以及
在与所述用户的注视方向相对应的位置处沿着所述视觉引导线路径渲染混合现实(MR)对象。
20.根据权利要求19所述的系统，其中沿着所述视觉引导线路径的所述一个或多个焦点通过用户的注视跟踪而被确定。
21.根据权利要求19所述的系统，其中沿着所述视觉引导线路径的所述一个或多个焦点根据所述HMD的一个或多个硬件限制而被确定。
22.根据权利要求19所述的系统，其中沿着所述视觉引导线路径的所述一个或多个焦点根据所述MR对象的距离而被确定。
23.根据权利要求19所述的系统，其中沿着所述视觉引导线路径的所述一个或多个焦点通过所述用户的移动而被确定。
24.根据权利要求19所述的系统，其中确定所述3D图中的所述视觉引导线路径是基于所述用户的注视点的深度方向位置和所述3D图中的可用空间的。
25.根据权利要求24所述的系统，其中确定所述3D图中的所述视觉引导线路径包括：
形成所述视觉引导线路径以避开所述3D图中的一个或多个识别的对象。
26.根据权利要求24所述的系统，其中确定所述3D图中的所述视觉引导线路径包括：
根据所述用户的移动来改变所述视觉引导线路径，所述用户的移动包括头部倾斜、头部俯仰、头部偏转和姿态中的一者或多者。
27.根据权利要求24所述的系统，其中确定所述3D图中的所述视觉引导线路径包括：
根据由用户注视确定的旋转点来改变所述视觉引导线路径。
28.根据权利要求19所述的系统，其中所述非暂时性计算机可读存储介质存储指令，所述指令当在所述处理器上执行时操作以执行附加功能，所述附加功能还包括：
根据所述3D图中的可用焦平面来确定沿着所述视觉引导线路径的点的数目。
29.一种系统，包括处理器和存储指令的非暂时性计算机可读存储介质，所述指令当在所述处理器上执行时可操作以执行功能，所述功能包括：
形成增强现实(AR)头戴式显示器(HMD)的用户的周围环境的三维(3D)图；
在所述3D图中显示混合现实(MR)对象，所述MR对象包括针对所述对象的内容增强对所述用户可用的视觉提示；
根据关于所述视觉提示的对所述HMD的用户输入来激活所述内容增强；
在所述3D图中显示视觉引导线路径；
在一个或多个识别的焦点处沿着所述视觉引导线路径引导所述用户的动作；以及
在与所述用户的注视方向相对应的位置处沿着所述视觉引导线路径渲染所述MR对象。
30.根据权利要求29所述的系统，其中根据对所述HMD的用户输入来激活所述内容增强包括进行对所述内容增强的注视、头部姿态或注视停留中的一者或多者的用户输入。
31.根据权利要求29所述的系统，其中在所述3D图中显示所述视觉引导线路径包括：
将所述一个或多个识别的焦点显示为所述3D图内的多个深度处的多个焦平面指示符。
32.根据权利要求29所述的系统，其中在与所述用户的注视方向相对应的所述位置处沿着所述视觉引导线路径渲染所述MR对象包括：
在所述多个深度处沿着所述多个焦平面指示符移动所述增强对象以放大所述MR对象。
33.根据权利要求29所述的系统，其中在所述一个或多个识别的焦点处沿着所述视觉引导线路径引导所述用户的所述动作包括提供所述视觉提示，其中所述视觉提示包括针对所述用户的下一个建议的动作。
34.根据权利要求29所述的系统，其中在所述3D图中显示所述视觉引导线路径包括基于眼睛注视方向和眼睛聚散度来确定用户的注视点的深度方向位置。
35.一种用于渲染视觉引导路径的方法，包括：
形成增强现实(AR)头戴式显示器(HMD)的用户的周围环境的三维(3D)图；
基于眼睛注视方向和眼睛聚散度来确定用户的注视点的深度方向位置；以及
确定所述3D图中的视觉引导线路径；以及
在与所述用户的注视方向相对应的位置处沿着所述视觉引导线路径渲染一个或多个混合现实(MR)对象，同时避开所述周围环境的所述3D图中的一个或多个预先存在的对象。
36.根据权利要求35所述的方法，其中所述视觉引导线路径被放置在所述周围环境的所述3D图内的确定可用空间中。
37.根据权利要求35所述的方法，其中所述预先存在的对象包括现实世界对象和现有MR对象。
CN201980038655.9A 2018-04-20 2019-04-12 用于对混合现实内容进行基于注视的控制的方法和系统 Pending CN112262361A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862660428P 2018-04-20 2018-04-20
US62/660,428 2018-04-20
PCT/US2019/027328 WO2019204161A1 (en) 2018-04-20 2019-04-12 Method and system for gaze-based control of mixed reality content

Publications (1)

Publication Number Publication Date
CN112262361A true CN112262361A (zh) 2021-01-22

Family

ID=66323975

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980038655.9A Pending CN112262361A (zh) 2018-04-20 2019-04-12 用于对混合现实内容进行基于注视的控制的方法和系统

Country Status (4)

Country Link
US (2) US11513590B2 (zh)
EP (1) EP3782010A1 (zh)
CN (1) CN112262361A (zh)
WO (1) WO2019204161A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114115527A (zh) * 2021-10-29 2022-03-01 北京百度网讯科技有限公司 增强现实ar信息显示方法、装置、系统及存储介质
CN114816049A (zh) * 2022-03-30 2022-07-29 联想(北京)有限公司 一种增强现实的引导方法及装置、电子设备、存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019237085A1 (en) 2018-06-08 2019-12-12 Vulcan Inc. Session-based information exchange
US20190378334A1 (en) * 2018-06-08 2019-12-12 Vulcan Inc. Augmented reality portal-based applications
US11726324B2 (en) * 2018-08-31 2023-08-15 Apple Inc. Display system
WO2022155113A1 (en) * 2021-01-14 2022-07-21 Sterling Labs Llc Method and device for visualizing multi-modal inputs
US20230259199A1 (en) * 2022-02-15 2023-08-17 Google Llc Selection of real-world objects using a wearable device
US20240087191A1 (en) * 2022-09-12 2024-03-14 Rovi Guides, Inc. Systems and method for rendering of virtual objects

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9292973B2 (en) 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US20130234926A1 (en) * 2012-03-07 2013-09-12 Qualcomm Incorporated Visually guiding motion to be performed by a user
US9791921B2 (en) * 2013-02-19 2017-10-17 Microsoft Technology Licensing, Llc Context-aware augmented reality object commands
EP2778842A1 (en) * 2013-03-15 2014-09-17 BlackBerry Limited System and method for indicating a presence of supplemental information in augmented reality
KR102098277B1 (ko) 2013-06-11 2020-04-07 삼성전자주식회사 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
US9400553B2 (en) 2013-10-11 2016-07-26 Microsoft Technology Licensing, Llc User interface programmatic scaling
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US10424103B2 (en) * 2014-04-29 2019-09-24 Microsoft Technology Licensing, Llc Display device viewer gaze attraction
US9727136B2 (en) * 2014-05-19 2017-08-08 Microsoft Technology Licensing, Llc Gaze detection calibration
US10140768B2 (en) 2014-10-17 2018-11-27 Seiko Epson Corporation Head mounted display, method of controlling head mounted display, and computer program
US10176639B2 (en) * 2014-11-27 2019-01-08 Magic Leap, Inc. Virtual/augmented reality system having dynamic region resolution
US10101803B2 (en) 2015-08-26 2018-10-16 Google Llc Dynamic switching and merging of head, gesture and touch input in virtual reality
JP2017138995A (ja) 2017-03-02 2017-08-10 パイオニア株式会社 表示装置及びヘッドマウントディスプレイ
JP7007396B2 (ja) * 2017-03-17 2022-01-24 マジック リープ， インコーポレイテッド 拡張現実データを記録するための手法
US20190130633A1 (en) * 2017-11-01 2019-05-02 Tsunami VR, Inc. Systems and methods for using a cutting volume to determine how to display portions of a virtual object to a user

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114115527A (zh) * 2021-10-29 2022-03-01 北京百度网讯科技有限公司 增强现实ar信息显示方法、装置、系统及存储介质
CN114816049A (zh) * 2022-03-30 2022-07-29 联想(北京)有限公司 一种增强现实的引导方法及装置、电子设备、存储介质

Also Published As

Publication number Publication date
EP3782010A1 (en) 2021-02-24
US20210240260A1 (en) 2021-08-05
WO2019204161A1 (en) 2019-10-24
US11513590B2 (en) 2022-11-29
US20230048185A1 (en) 2023-02-16

Similar Documents

Publication Publication Date Title
CN112262361A (zh) 用于对混合现实内容进行基于注视的控制的方法和系统
US9729819B2 (en) Mobile terminal
US9690289B2 (en) Mobile terminal and controlling method thereof
EP3053158B1 (en) Methods, apparatus, systems, devices, and computer program products for providing an augmented reality display and/or user interface
EP3427233B1 (en) Method and apparatus for providing augmented reality services
US9226093B2 (en) Method for generating recipe information in mobile terminal
US20210011550A1 (en) Machine learning based gaze estimation with confidence
KR101595957B1 (ko) 이동 단말기 및 제어 시스템
EP3139590A1 (en) Mobile device and method of controlling therefor
US10298850B2 (en) Mobile terminal and method for generating background images
US10055086B2 (en) Mobile terminal and method for controlling the same
US10809907B2 (en) Mobile terminal and control method thereof
US10481599B2 (en) Methods and systems for controlling an object using a head-mounted display
EP3247170A1 (en) Mobile terminal and control method therefor
US11645644B2 (en) Mobile terminal
KR20170136797A (ko) 구형 컨텐츠 편집 방법 및 이를 지원하는 전자 장치
EP3173848A1 (en) Head mounted display and control method thereof
JP2015011494A (ja) 情報提示システム及び情報提示システムの制御方法
KR20170055296A (ko) Hmd 및 그 hmd의 제어 방법
KR101749393B1 (ko) 와치 타입의 이동 단말기 및 그의 디스플레이 방법
KR20180095324A (ko) 글래스 타입의 이동 단말기
KR20150111199A (ko) 이동 단말기 및 그것의 제어방법
US10685629B2 (en) Module-type mobile terminal and control method therefor
WO2023276046A1 (ja) 電子機器、プログラムおよび表示方法
KR20140122559A (ko) 이동 단말기 및 그것의 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230425

Address after: Delaware

Applicant after: Interactive Digital VC Holdings

Address before: Wilmington, Delaware, USA

Applicant before: PCMS HOLDINGS, Inc.