CN113806036A - 虚拟内容的输出 - Google Patents

虚拟内容的输出 Download PDF

Info

Publication number
CN113806036A
CN113806036A CN202110654868.3A CN202110654868A CN113806036A CN 113806036 A CN113806036 A CN 113806036A CN 202110654868 A CN202110654868 A CN 202110654868A CN 113806036 A CN113806036 A CN 113806036A
Authority
CN
China
Prior art keywords
virtual content
display
time
content
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110654868.3A
Other languages
English (en)
Inventor
L·J·拉克索南
J·A·利帕南
A·J·勒蒂涅米
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN113806036A publication Critical patent/CN113806036A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开的各实施例涉及虚拟内容的输出。本说明书描述了一种与虚拟现实、特别是增强现实(AR)或混合现实(MR)有关的装置、方法和计算机程序。该方法可以包括：基于与显示部件相关联的位置来提供不同的第一组虚拟内容和第二组虚拟内容，以用于在第一时间在显示部件处的重叠显示；以及确定第一组虚拟内容优先于第二组虚拟内容。基于该确定，该方法可以包括在显示部件处使第一组虚拟内容的显示优先于第二组虚拟内容的显示，并且在后续的第二时间启用第二组虚拟内容的显示。

Description

虚拟内容的输出
技术领域
示例实施例涉及输出虚拟内容的领域，例如增强现实(AR)或混合现实(MR)内容的显示。示例实施例还涉及相关联的方法、计算机程序和装置。
背景技术
术语扩展现实(XR)有时用于指代涉及真实和虚拟组合环境的一系列技术和方法。常见示例是虚拟现实(VR)、增强现实(AR)和混合现实(MR)。VR可以指代通过VR耳机或手持设备在视频和/或音频内容方面渲染虚拟场景，其中虚拟场景可以基于用户移动来更新。AR与之类似，但涉及重叠虚拟内容的输出，以增强通过眼镜、护目镜或手持设备的相机看到的真实世界的视图。因此，AR显示部件的用户可以能够查看他们周围的真实世界环境，该环境利用可以基于他们的位置而提供的内容被增强或补充。虚拟内容可以包括多媒体内容，诸如图片、照片、视频、图表、文本信息和听觉内容。一个示例用例是导航指令。MR类似于AR，但可以被认为更先进，因为某些内容在锚点处被插入到真实场景中，以给人一种内容是真实场景的一部分的错觉。
发明内容
本发明的各种实施例所寻求的保护范围由独立权利要求阐明。本说明书中描述的未落入独立权利要求的范围内的实施例和特征(如果有的话)将被解释为对理解本发明的各种实施例有用的示例。
根据第一方面，本说明书描述了一种装置，该装置包括用于以下操作的部件：基于与显示部件相关联的位置来提供不同的第一组虚拟内容和第二组虚拟内容，以用于在第一时间在显示部件处的重叠显示；确定第一组虚拟内容优先于第二组虚拟内容；基于该确定：在显示部件处使第一组虚拟内容的显示优先于第二组虚拟内容的显示；以及在后续的第二时间启用第二组虚拟内容的显示。
该部件可以被配置为通过引起第一组虚拟内容而不是第二组虚拟内容在显示部件处的显示来对显示进行优先处理。
该部件可以被配置为：如果第一组虚拟内容在上述第一时间之前被显示(并且例如，如果第二组虚拟内容在上述第一时间之前未被显示)，则确定第一组虚拟内容优先于第二组虚拟内容。
该部件可以被配置为：如果第一组虚拟内容和第二组虚拟内容在第一时间都被显示时将发生冲突，则确定第一组虚拟内容优先于第二组虚拟内容。
该部件可以被配置为：如果第一组虚拟内容和第二组虚拟内容的相应位置将在彼此的预定距离内或将重叠，则标识出第一组虚拟内容和第二组虚拟内容将发生冲突。
该部件可以被配置为响应于第一组虚拟内容不再显示而自动启用第二组虚拟内容的显示。
该部件可以被配置为响应于接收到对第二组虚拟内容的用户选择而启用第二组虚拟内容的显示。
该部件还可以被配置为通过与显示部件相关联的相机，引起在上述第一时间或在时间上接近上述第一时间时(例如，在预定时间段内)对真实世界图像的捕获，并且被配置为将捕获图像的至少片段与第二虚拟内容相关联，以在上述第二时间显示具有第二虚拟内容的上述捕获图像片段。该部件还可以被配置为提供与上述图像片段相关联的元数据，该元数据限定当在显示部件处显示时将如何显示捕获图像片段。在第一时间之后，该部件还可以被配置为确定上述捕获图像片段与由相机捕获的当前或最近的(例如，基本上当前，诸如在定义时间段内)真实世界图像的一部分之间的相似度，并且响应于确定预定相似度水平而引起上述捕获图像片段在显示部件处的显示。该部件可以被配置为引起上述捕获图像片段的显示，使得捕获图像片段与真实世界图像的相似部分重叠。该部件可以被配置为标识出当前或最近的真实世界图像的相似部分在显示部件的预定显示区域之外，并且响应于该标识而经由显示部件提供一个或多个提示，该一个或多个提示指示将当前或最近的真实世界图像的上述相似部分朝向预定显示区域移动所需要的相机移动。一个或多个提示可以随着相机的移动而改变外观，以指示朝向预定显示区域的进展。该部件可以被配置为提供第二组虚拟内容和/或上述捕获图像片段的已修改形式作为提示。已修改形式可以包括拉伸形式，拉伸形式随着相机的移动而未拉伸，以指示朝向预定显示区域的进展。已修改形式可以包括与第一组虚拟内容同时显示的局部视图，该局部视图的尺寸随着相机的移动而增大，以指示朝向预定显示区域的进展，同时减小第一组虚拟内容的尺寸。该部件还可以被配置为在显示部件处指示第二组虚拟内容用于后续的显示的可用性。该部件可以被配置为提供多个不同的第二组虚拟内容，并且在显示部件处显示指示符，该指示符包括可以随后显示的第二组虚拟内容的数目的指示。该部件可以被配置为响应于与指示符相关联的用户选择而显示不同的第二组虚拟内容的图库视图(gallery view)，并且配置为接收对第二组的选择以经由图库视图进行显示。
根据第二方面，本说明书描述了一种方法，该方法包括：基于与显示部件相关联的位置来提供不同的第一组虚拟内容和第二组虚拟内容，以用于在第一时间在显示部件处的重叠显示；确定第一组虚拟内容优先于第二组虚拟内容；基于该确定：在显示部件处使第一组虚拟内容的显示优先于第二组虚拟内容的显示；以及在后续第二时间启用第二组虚拟内容的显示。
该方法可以通过引起第一组虚拟内容而不是第二组虚拟内容在显示部件处的显示来对显示进行优先处理。
如果第一组虚拟内容在上述第一时间之前被显示，则该方法可以确定第一组虚拟内容优先于第二组虚拟内容。
如果第一组虚拟内容和第二组虚拟内容在第一时间都被显示时将发生冲突，则该方法可以确定第一组虚拟内容优先于第二组虚拟内容。
如果第一组虚拟内容和第二组虚拟内容的相应位置将在彼此的预定距离内或将重叠，则该方法可以标识出第一组虚拟内容和第二组虚拟内容将发生冲突。
该方法可以响应于第一组虚拟内容不再显示而自动启用第二组虚拟内容的显示。
该方法可以响应于接收到对第二组虚拟内容的用户选择而启用第二组虚拟内容的显示。
该方法还可以包括通过与显示部件相关联的相机，引起在上述第一时间或在时间上接近上述第一时间时对真实世界图像的捕获，并且将捕获图像的至少片段与第二虚拟内容相关联，以在上述第二时间显示具有第二虚拟内容的上述捕获图像片段。该方法可以提供与上述图像片段相关联的元数据，该元数据限定当在显示部件处显示时将如何显示捕获图像片段。在第一时间之后，该方法可以确定上述捕获图像片段与由相机捕获的当前或最近的真实世界图像的一部分之间的相似度，并且响应于确定预定相似度水平而引起上述捕获图像片段在显示部件处的显示。该方法可以引起上述捕获图像片段的显示，使得捕获图像片段与真实世界图像的相似部分重叠。该方法可以标识出当前或最近的真实世界图像的相似部分在显示部件的预定显示区域之外，并且响应于该标识而经由显示部件提供一个或多个提示，该一个或多个提示指示将当前或最近的真实世界图像的上述相似部分朝向预定显示区域移动所需要的相机移动。一个或多个提示可以随着相机的移动而改变外观，以指示朝着预定显示区域的进展。该方法可以提供第二组虚拟内容和/或上述捕获图像片段的已修改形式作为提示。已修改形式可以包括拉伸形式，拉伸形式随着相机的移动而未拉伸以指示朝着预定显示区域的进展。已修改形式可以包括与第一组虚拟内容同时显示的局部视图，该局部视图的尺寸随着相机的移动而增大以指示朝着预定显示区域的进展，同时减小第一组虚拟内容的尺寸。该方法可以在显示部件处指示第二组虚拟内容用于后续的显示的可用性。该方法可以提供多个不同的第二组虚拟内容，并且在显示部件处显示指示符，该指示符包括可以随后显示的第二组虚拟内容的数目的指示。该方法可以响应于与指示符相关联的用户选择而显示不同的第二组虚拟内容的图库视图，并且接收对第二组的选择以经由图库视图进行显示。
根据第三方面，本说明书描述了一种计算机可读介质，包括存储在其上的计算机程序代码的，该计算机可读介质和计算机程序代码被配置为当在至少一个处理器上运行时执行方法，该方法包括：基于与显示部件相关联的位置来提供不同的第一组虚拟内容和第二组虚拟内容，以用于在第一时间在显示部件处的重叠显示；确定第一组虚拟内容优先于第二组虚拟内容；基于该确定：在显示部件处使第一组虚拟内容的显示优先于第二组虚拟内容的显示；以及在后续的第二时间启用第二组虚拟内容的显示。
根据第四方面，本说明书描述了一种计算机可读介质，包括存储在其上的计算机程序代码，该计算机可读介质和计算机程序代码被配置为当在至少一个处理器上运行时执行与第二方面相关的任何操作的方法。
根据第五方面，本说明书描述了一种装置，该装置包括：至少一个处理器；以及包括计算机程序代码的至少一个存储器，该计算机程序代码在由该至少一个处理器执行时引起该装置：基于与显示部件相关联的位置来提供不同的第一组虚拟内容和第二组虚拟内容，以用于在第一时间在显示部件处的重叠显示；确定第一组虚拟内容优先于第二组虚拟内容；基于该确定：在显示部件处使第一组虚拟内容的显示优先于第二组虚拟内容的显示；以及在后续的第二时间启用第二组虚拟内容的显示。
根据第六方面，本说明书描述了一种装置，该装置包括：至少一个处理器；以及包括计算机程序代码的至少一个存储器，该计算机程序代码在由至少一个处理器执行时引起该装置执行与第二方面相关的任何操作。
附图说明
现在将参考附图仅通过示例来描述示例实施例。
图1是可以表示用户端设备的示例AR系统的示意图；
图2是示出示例AR系统的功能组件的框图，AR系统包括内容提供器和网络；
图3是可以用于理解一些示例实施例的增强现实场景的透视图；
图4a-4c是指示图1的显示部件的用户界面的示意图；
图5是示出根据一些示例实施例的处理操作的流程图；
图6a-6d是指示根据一些示例实施例操作的显示部件的用户界面的示意图；
图7a-7c是指示根据一些示例实施例操作的显示部件的用户界面的示意图；
图8是可以用于理解一些示例实施例的增强现实场景的示意图；
图9a-9c是指示根据一些示例实施例操作的显示部件的用户界面的示意图；
图10a-10c是指示根据一些示例实施例操作的显示部件的用户界面的示意图；
图11a-11c是指示根据一些示例实施例操作的显示部件的用户界面的示意图；
图12是示出根据一些示例实施例的装置的功能组件的示意图；以及
图13是用于存储用于执行一些示例实施例的计算机可读代码的非暂态介质的平面图。
具体实施方式
示例实施例涉及与扩展现实(XR)(例如增强现实(AR)和/或混合现实(MR))相关的方法、计算机程序和设备。
为便于解释，下文将使用术语增强现实(AR)，但应当理解，AR还旨在涵盖MR和涉及重叠到真实世界场景的一部分上的虚拟内容的输出的任何相关技术。
举例来说，虚拟内容可以包括多媒体内容，诸如图片、照片、视频、图表、文本信息和听觉内容。虚拟内容可以以任何合适的数据格式表示。示例实施例关注视觉内容而不是听觉内容，但不排除后者。虚拟内容可以从捕获场景生成，无论是整个场景还是场景的一个或多个片段，或者可以由设计者使用适当的内容创建工具生成。
如上所述，AR可以使用AR显示部件，例如具有一个或多个透明透镜的眼镜或护目镜，一个或多个图像可以被投射到该透明透镜之内(或之上)。另一种形式的AR显示部件可以是便携式计算设备，诸如具有相机的移动电话或平板电脑，该相机用于捕获真实世界的视口以用于以透镜的方式显示。可以包括或可以不包括AR显示部件的AR装置可以提供虚拟内容重叠在用户对真实世界的视图之上的呈现，无论是通过透明透镜还是通过相机看到的视图。因此，AR的用户可以能够查看他们周围的真实世界环境，该环境利用内容提供器提供的内容被增强或补充。AR内容还可以包括听觉内容。
图1是表示用户端设备的示例AR系统1的示意图。AR系统1可以包括呈AR眼镜20形式的显示部件，该AR眼镜20具有一个或多个透视(即，透明)透镜，该透镜用于通过使用已知技术将所接收的视频内容重叠(例如，投影)到一个或多个透镜上来显示所接收的视频内容。术语“透镜”不一定表示任何光学校正。AR眼镜20可以是任何合适的类型。如前所述，移动电话或平板电脑可以使用一侧的相机作为透镜以在另一侧的显示器上提供实时图像来提供相同功能。
AR眼镜20可以从媒体播放器10接收表示虚拟内容的数据。在最广泛的意义上，媒体播放器10是用于处置(handling)和处理(processing)数据的处理部件。媒体播放器10可以是通过有线或无线连接而连接到AR眼镜20的单独设备的一部分。例如，媒体播放器10可以包括游戏机、PC、膝上型计算机、数字助理、移动电话或平板计算机。媒体播放器10可以使用任何有线或无线通信方法与AR眼镜20通信，例如使用WiFi、Bluetooth或类似技术。
备选地，媒体播放器10可以形成AR眼镜20的一部分。
备选地，媒体播放器10可以不是用户端设备的一部分，并且可以是通过数据网络直接向AR眼镜20提供虚拟内容的边缘或基于云的系统，诸如通过使用蜂窝通信，例如，使用3G、LTE、4G、5G或任何类似的未来通信技术。
AR系统1还可以包括用于捕获使用中的静态和/或运动图像的一个或多个相机，或者与相关联。例如，如果AR系统1包括移动电话或平板电脑作为显示部件，则可以提供一个或多个相机作为进入真实世界的透镜。在AR眼镜20的情况下，一个或多个相机可以安装在AR眼镜20上，例如，在由附图标记28指示的位置。由一个或多个相机28捕获的图像可以由AR眼镜20处理和/或可以传输到媒体播放器10以进行处理。
AR系统1还可以包括用于确定用户位置的部件，例如通过确定AR眼镜20或移动电话或平板电脑的位置。术语“位置”可以指代可以使用诸如GNSS(例如，GPS)、经由WiFi或蜂窝基站信号的定位/三角测量等全球定位技术的地理位置，但也可以指代相对于参考点的位置和/或例如用户头部的定向，该定向指示视场(FOV)。除了确定用户在空间中的位置，还可以计算和存储在连续时间帧上的运动量度。这种装置可以包括媒体播放器10的一部分和/或AR眼镜20或移动电话或平板电脑的一部分。例如，AR眼镜20或移动电话或平板电脑可以结合GNSS接收器或甚至可以携带可以由一个或多个高精度无线电定位读取器检测的无线电定位标签。AR眼镜20、移动电话或平板电脑可以包括一个或多个运动跟踪传感器，该传感器可以包括陀螺仪、加速度计和结构光系统中的一个或多个。这些传感器可以生成位置数据，根据该位置数据可以确定当前视觉FOV，并且该位置数据随着用户而更新，因此AR眼镜20、移动电话或平板电脑改变位置和/或定向。
AR眼镜20可以包括两个透视透镜，该透视透镜可以结合相应数字显示器，例如，LED或OLED显示器。备选地，数字显示器可以(例如，直接或经由棱镜)在适当位置处被投影到透镜的表面。
在一些实施例中，AR系统1可以使用六自由度(6DoF)来确定用户头部的位置和/或定向。如图1所示，关于所示的AR眼镜20，这些可以包括俯仰22、滚动23和偏航24的测量以及欧几里得空间中沿左右、前后和上下轴25、26、27的平移运动。以这种方式，确定用户的FOV就比较直接了。
在使用中，佩戴AR眼镜20或携带移动电话或平板电脑的用户可以在真实世界空间内移动。取决于它们的位置，虚拟内容可以作为一个或多个重叠显示到相关显示部件(即，透镜或显示屏)上，以基于上述位置来增强真实世界视图。例如，如果该位置对应于特定纪念碑或地标的位置，则媒体播放器10可以提供与该位置(以及因此纪念碑或地标)相关的虚拟内容。虚拟内容可以已经存储在媒体播放器10上，或者可以通过将位置信息发送给虚拟内容的远程源(即，远程内容提供器)并且然后接收和显示相关虚拟内容来检索。
参考图2，远程内容提供器30可以将虚拟内容作为离散文件或者作为分组化的数据流或连续的数据流来存储和传输，在示例实施例的上下文中，这些数据是表示用于使用显示部件(例如，AR眼镜20)进行AR重叠的虚拟内容的数据。响应于接收或下载由媒体播放器10发送的请求，内容提供器30通过数据网络40发送虚拟内容，数据网络40可以是任何网络，例如IP网络(诸如互联网)或蜂窝网络。
可以提供存储装置29(其可以是任何形式的存储装置(固态、磁性或光学))以供媒体播放器10或AR显示部件访问。稍后解释存储装置29的目的。总而言之，存储装置29提供了一种收集AR虚拟内容和可能捕获的真实世界图像的方式，该图像在给定时间/位置会被用户看到，但是由于本文中描述的优先化方法而没有被显示。存储装置29可以是媒体播放器10的一部分或者可以是经由网络访问的边缘或基于云的设备。
在示例用例中，图3以透视图示出两个相似的场景50a、50b。在第一场景50a中，图1所示的AR眼镜20的用户与包括树对象52的真实世界交互。在第二场景50b中，移动电话54的用户以如下方式定位移动电话：使得移动电话的后置相机指向具有显示屏的树对象52，该显示屏与上述相机一起用作透镜等效物。用户可以或可以不配戴头戴式耳机或耳机/耳塞以获取相关音频数据。
图4a-4c是用户可以使用图1的AR系统1经由显示部件的用户界面60看到的内容的示意图。为了便于说明，用户界面60是移动电话54所示的用户界面，但相同或相似的用户界面也适用于AR眼镜20，尽管可能是立体或体积表示。例如，这些示例可以涉及同时使用多于一个AR服务或消费来自一个或多个来源的多于一个AR内容。例如，用户可以利用特定AR服务，该服务可以是基于位置或上下文的，并且对应于具有基于用户移动(例如，导航)的内容的合适适配的广泛区域和在其他物理位置具有有限适用性的高度基于位置的AR服务(例如，本地信息服务)。
参考图4a，媒体播放器10以导航指令的形式提供第一组虚拟内容60a、60b，其可以是将用户引导到特定目的地的导航应用的一部分。用户的当前位置确定导航指令，即，下一步要做什么。在这种情况下，第一组虚拟内容60a、60b包括旨在在给定时间一起显示并且将随着用户改变位置而前进的相关内容的两个部分。然而，一组虚拟内容可以仅包括相关内容的一个或两个以上部分。图4b还基于移动电话54的相同或相似位置以及可能基于用户定向以与树对象52相关的文本和图像信息的形式示出了不同的第二组虚拟内容60c、60d。图4c示出了当第一组虚拟内容和第二组虚拟内容60a-60d同时显示在用户界面60上时它们将如何发生冲突。存在至少一些重叠，但即使是接近度(例如，在某个预定距离内)和不同虚拟内容部分的数目也可能导致可能压制、分散或混淆用户的冲突。
因此，示例实施例旨在通过使一组虚拟内容优先于另一组虚拟内容，同时收集丢失内容以供以后重用或“重现”来避免或减少这种问题。
图5是指示根据示例实施例的处理操作的流程图。该操作可以以硬件、软件、固件或其组合来执行。可以涉及更多或更少数目的操作。该操作可以由例如媒体播放器10来执行。
第一操作5.1可以包括基于与显示部件相关联的位置来提供不同的第一组虚拟内容和第二组虚拟内容，以用于在第一时间在显示部件处的重叠显示。该位置可以是用户、媒体播放器10和/或显示部件(如果与媒体播放器不同)的位置。该位置可以是地理位置。
第二操作5.2可以包括确定第一组虚拟内容优先于第二组虚拟内容。
第三操作5.3可以包括：基于该确定，在显示部件处使第一组虚拟内容的显示优先于所述第二组虚拟内容的显示，并且在后续的第二时间启用第二组虚拟内容的显示。
术语“提供”可以表示“接收”，例如，从另一源。
在一些实施例中，对显示进行优先处理可以涉及在显示部件处显示第一组虚拟内容，而不是第二组虚拟内容。确定第一组虚拟内容优先于第二组可以基于例如当提供第二组时第一组已经被显示。例如，假定导航指令包括第一组虚拟内容，如果在提供第二组时上述指令已经被重叠，则第一组可以被优先考虑并且第二组不显示而是被保存或收集以供稍后显示。可以使用例如机器学习或人工智能方法预先确定或甚至随着时间的推移学习用于确定优先级的其他规则。示例可以包括如下规则：使最相关的虚拟内容优先于不太相关的虚拟内容的规则、或者使在用户界面上占据最少或最多空间的内容优先于相反情况的规则、或者通过了解在先前时间段内用户选择什么类型的虚拟内容而不是其他类型而实现的规则。
在一些实施例中，如果同时显示第一组虚拟内容和第二组虚拟内容两者，则可以响应于检测到冲突情况而执行优先化确定。如果它们的相应位置将在彼此的预定距离内或将在用户界面上重叠，和/或如果多于预定数目的虚拟对象部分将占据用户界面，和/或如果大于预定百分比的用户界面将被虚拟对象占据，则可以发生上述情况。
在一些实施例中，第一组可以优先于多个第二组虚拟内容。例如，假定导航指令包括第一组虚拟内容，当用户遵循上述指令时，由于用户的位置变化，可以提供多组其他虚拟内容。可以收集(例如，存储)这些多个第二组，以供以后查看。可以使用图2所示的存储部件29进行存储。实际上，对于特定用户或设备标识符，一组或多组其他虚拟内容的集合被存储在本地或边缘或云设备处，以供以后回放或重现。这种稍后重现可以自动发起，例如，当显示部件停止显示第一虚拟内容时。例如，当用户到达他们的目的地时，第一虚拟内容的导航指令可以停止并且这可以触发所收集的第二虚拟内容中的一个或多个被自动显示。这些可以以特定排队顺序显示，例如，先进先出或后进先出，基于与当前位置最近的位置，或基于可以由用户设置定义的某些其他偏好。
在一些实施例中，用户自己可以通过一些视觉、听觉和/或触觉指示符被告知所收集的第二虚拟内容的可用性，并且可以在任何时间通过用户输入(例如，触摸或语音命令)引起第一虚拟内容的显示的停止以使得能够访问和/或显示一个或多个第二虚拟内容。在一个示例中，可以向用户界面呈现第二虚拟内容的图库视图以供用户选择。
在图5中所指示的第四可选操作5.4中，可以执行另外的操作5.4，操作5.4通过与显示部件相关联的相机引起在上述第一时间或在时间上接近上述第一时间时对真实世界图像的捕获，并且将捕获图像的至少片段与第二虚拟内容相关联以在上述第二时间显示具有第二虚拟内容的上述捕获图像片段。操作5.4可以响应于第二或第三操作5.2、5.4来执行。通过这种方式，相关的真实世界上下文被捕获以与第二虚拟内容一起显示，从而使增强更加合适和信息丰富。捕获图像片段可以包括捕获图像的像素子集，例如与特定对象或多个对象有关，这与整个图像不同。捕获图像或图像片段可以与一个或多个其他虚拟内容的集合一起存储在本地或在边缘或云设备处，以供以后回放或重现。还可以生成和存储与上述图像或图像片段相关联的元数据，例如，以反映捕获的特定时间和/或位置和/或定义当在显示部件处显示捕获图像片段时将如何显示捕获图像片段。
现在将参考用户界面场景更详细地描述示例实施例。
图6a示出了根据一些示例实施例的用户界面70，该用户界面70可以由与装置(例如，媒体播放器10)相关联的显示部件(例如AR眼镜20)显示。用户界面70类似于图4a所示的用户界面，但在这种情况下，通过视觉指示符72指示优先级低于当前虚拟内容60a、60b的其他AR内容已经被保存以供以后重放。视觉指示符72可以位于用户界面70中的任何地方，并且可以采用任何形式。当它出现和/或更新时，它可以伴随有听觉和/或触觉信号。它还可以指示保存在用户集合中并且存储在存储装置29中的各组虚拟内容的数目。在当前情况下，如“1”数字所示，保存了一组虚拟内容。
图6b示出了由重放所保存的虚拟内容的用户选择产生的示例用户界面74。用户界面74包括示出图4b所示的一组虚拟内容60c、60d的缩略图76的图库视图。虚拟内容60c、60d基于用户的位置靠近真实世界树对象52并且该虚拟内容的优先级低于当前显示的虚拟内容而在第一时间被保存。缩略图76可以在第一时间之后的任何时间例如通过触摸或语音输入来被选择。在其他实施例中，可以有多个缩略图77表示其他可重放虚拟内容，如由虚线指示。与每个缩略图76、77相关联的可以是元数据78，元数据78描述诸如保存/捕获时间/位置等相关信息。通过在第二时间选择缩略图76，用户可以引起其相关联的虚拟内容被重放。
例如，参考图6c，选择缩略图76可以引起相关联的虚拟内容60c、60d被显示在用户界面70上。注意，虚拟内容60c、60d可以重叠到当前真实世界场景79上，在这种情况下，真实世界场景79不同于捕获时的场景，因为用户改变了位置。然而，用户能够在避免屏幕冲突的同时重放虚拟内容60c、60d。
如前所述，可以通过保存在上述虚拟内容被保存以供重放的时间或在时间上接近该时间看到的真实世界场景的快照来提供改进的上下文。该快照可以包括一个或多个图像或图像片段，甚至可能是捕获视频和/或音频的短时段。
例如，包括图3中的树对象52的场景可以已经在上述时间被捕获，并且树对象52被保存为图像片段以在重放时也与所保存的虚拟内容60c、60d重叠。重放的结果在图6d中示出，其中表示树对象52的图像片段80被示出为与具有虚拟内容60c、60d的当前场景重叠，这进一步改进了环境。
在一些示例实施例中，用户可能希望基于他们当前的真实世界环境重放或重现所保存的虚拟内容。例如，可以使用上述捕获图像片段(诸如捕获和分割的树对象80)与由相机捕获的当前或最近的真实世界图像的一部分之间的相似度。响应于确定与例如当前或最近在视图中的树的预定相似度水平，媒体播放器10可以引起在显示部件处显示上述捕获图像片段，例如，图像片段80。
确定相似度可以使用任何合适的和已知的图像处理算法。已知示例包括例如使用平方和距离、马氏距离、汉明距离、互相关、卷积神经网络等。预定距离阈值可以被预定义，并且可能使用软件用户设置来修改，以设置所需要的相似度。
在这种情况下，如图7a-7c所示，响应于标识用户FOV中的对象84，媒体播放器10可以确定它与图像片段80具有预定相似度(例如，大于70％)并且因此确定在与对象84相对应的用户界面70'的位置处与图像片段80重叠(图7b)。如果用户移动他们的FOV，则图像片段80的位置可以相应地跟踪以保持重叠在对象84上。如图7c所示，相关虚拟内容60c、60d的重叠完成了增强。
在一些示例实施例中，我们考虑当前或最近的真实世界图像的相似部分(例如，对象84)在显示部件的预定显示区域之外的情况。这可以包括对象84完全或部分在显示部件的显示或捕获区域之外。响应于此，媒体播放器10可以经由显示部件提供一个或多个提示，该提示指示捕获内容或最近的真实世界图像的上述相似部分所需要的相机移动。提示可以是视觉的、听觉的和/或触觉的。提示可以指示在上述方向上移动的方向和/或程度。以这种方式，可以指导用户进行一个或多个另外的输入，例如，位置变化，以引起媒体播放器10重放或重现虚拟内容。例如，一个或多个提示可以随着相机的移动而改变外观，以指示朝着所需要的方向的进展。
图8示出了用户向右旋转使得对象92的先前捕获的图像不再在捕获区域中的情况。图9a-9c示出了用于实时指示用户应当如何移动以触发所存储的与位置相关的虚拟内容的回放的示例视觉提示的进展。在图9a中，图像片段80'的一部分示出在用户界面70”的左侧以指示向左手方向的移动将触发一些虚拟内容的显示。图像片段80'被示出为以某种方式拉伸或以其他方式扭曲，以指示所需要的移动量。注意，在这种情况下，使用图像片段80'的已修改形式，但它也可以或备选地包括相关联的虚拟内容本身的已修改形式。例如，如图9b所示，当用户开始向左移动他们的移动电话54时，更多的图像片段80'出现在用户界面70”中，但是失真较小。此外，至少一些虚拟内容60c'、60d'开始出现。图9c示出了何时达到正确的移动量，由此捕获图像(图像片段80)被示出为与虚拟内容60c、60d重叠，如图7c的情况。随着移动电话54的移动的图像片段80'的未拉伸指示朝着预定显示区域的进展，从而以连续反馈来引导用户。在还示出了至少一些虚拟内容60c'、60d'的情况下，这可以在内容量(例如，单词量)或大小方面扩展。
在一些示例实施例中，优先处理可以允许两组虚拟内容同时出现，但是一组虚拟内容比另一组更显著地示出。例如，图10a-10c是上述示例的后续。在这种情况下，如果第一组虚拟内容60a、60b正在被显示，则移动电话54向左的移动引起它随着第二组虚拟内容60c、60d的扩展在用户界面70”'上相应地缩小尺寸(可以以相同或不同的速率)。图10b示出了当用户向左前进时的用户界面70”'，其中可以看到，第一组虚拟内容60a'、60b'开始缩小并且第二组虚拟内容60c'、60d'的一部分开始出现。图10c示出了当达到正确的移动量时的用户界面70”'，类似于图9c，尽管第一组虚拟内容60a中的至少一些的最小化版本60a”保留。在一些实施例中，可以完全移除第一组虚拟内容60a，仅留下第二组虚拟内容60c、60d。
在一些示例实施例中，可以在可以显示的所保存的虚拟内容(基于当前或最近捕获的图像或图像部分，如图7-10)和与当前或最近位置的任何当前或最近捕获的图像不相关(即，与当前位置或周围环境无关)的所保存的虚拟内容之间进行区分。在这种情况下，可以在用户界面70””上提供两个不同形式的指示符72'、72”，如图11a-11c所示。
第一类型的指示符72'可以指示可用性，并且可能指示可以响应于用户选择在任何时间消费的各组虚拟内容的数目。例如，其选择可以将用户带到图6b所示的图库视图。
第二类型的指示符72”可以指示现在可以消费的各组虚拟内容的可用性和可能数目、以及由图7-10的实施例中的任何一个实施例提供的附加上下文。例如，第二类型的指示符72”可以指示到达图11c所示的正确位置所需要的位置变化的方向和量，例如，通过位置、尺寸和/或变形。
此外，可以使用多于一个第二类型的指示符72”来指示可以通过在不同相应方向上移动而被重放或重现的相应其他虚拟内容。例如，除了在用户界面70””左侧的第二类型的指示符72”，在用户界面右侧可以还有另一第二类型的指示符(未示出)。
除了通过视觉、听觉和/或触觉反馈做出指示的情况，任何或所有上述操作和实施例可以在后台被执行，使得用户不知道正在执行的处理。存储在存储器装置29上的虚拟内容和相关数据可以在被消费时、在预定时间段之后和/或在用户的位置已经移动到足够远的位置达预定时间段时自动删除。备选地或附加地，上述虚拟内容和相关联的数据可以在消费之后或在预定时间段之后被压缩并且存储在云存储中。在一些实施例中，上述虚拟内容可以与其他用户共享。
在一些示例实施例中，可以基于与虚拟内容的相关性来确定是否与捕获图像或图像片段重叠。例如，与树木一起，虚拟内容可以与在相关位置处的特定树木有关。虚拟内容可以指定特定树的种植时间和种植者。在这种情况下，示出特定树的捕获图像可能很重要。另一方面，虚拟内容可以是通用的，例如关于自然保护，在这种情况下，分割得到的对象照片重叠可能看起来不太明显，或者不直接用于视觉呈现(并且因此仅用于内容匹配)。关于对象的重要性或相关性的这样的信息可以从作为虚拟内容的一部分的元数据中导出，或者可以例如基于文本和/或音频内容的AI分析来导出。
图12示出了根据实施例的装置，该装置可以包括如本文中描述的媒体播放器10。该部件可以被配置为执行本文中描述的操作，例如，参考任何先前过程描述的操作。该装置包括至少一个处理器120和直接或紧密连接到该处理器的至少一个存储器121。存储器121包括至少一个随机存取存储器(RAM)121a和至少一个只读存储器(ROM)121b。计算机程序代码(软件)125存储在ROM 121b中。该装置可以连接到传输器(TX)和接收器(RX)。该装置可以可选地与用于指示该装置和/或用于输出数据的用户界面(UI)连接。至少一个处理器120与至少一个存储器121和计算机程序代码125一起被布置为引起该装置至少执行根据任何前述过程的方法。至少一个处理器120可以与本文中描述的AR眼镜、护目镜、移动电话或平板电脑通信。
图13示出了根据一些实施例的非暂态介质130。非暂态介质110是计算机可读存储介质。它可以是例如CD、DVD、USB记忆棒、蓝光光盘等。非暂态介质130存储计算机程序代码，以引起装置执行任何前述过程的方法。
用户输入可以是手势，包括以下中的一种或多种：轻敲、轻扫、滑动、按压、保持、旋转手势、靠近设备的用户界面的静态悬停手势、靠近设备的移动悬停手势、弯曲设备的至少一部分、挤压设备的至少一部分、多指手势、倾斜设备或翻转控制设备。此外，手势可以是使用用户身体(诸如他们的手臂)或触控笔或适合执行自由空间用户手势的其他元素的任何自由空间用户手势。
上述示例中所示的装置可以是便携式电子设备、笔记本电脑、移动电话、智能电话、平板电脑、个人数字助理、数码相机、智能手表、智能眼镜、笔式计算机、非便携式电子设备、台式计算机、显示器、智能电视、服务器、可穿戴设备、虚拟现实设备或用于上述各项中的一个或多个的模块/电路装置。
任何提及的装置和/或特定提及的装置的其他特征可以由装置提供，该装置被布置为使得它们被配置为仅在启用时执行期望操作，例如开机等。在这种情况下，它们可能未必在未启用(例如，关闭状态)下将适当软件加载到活动存储器中，而仅在启用(例如，开启状态)下加载适当软件。该装置可以包括硬件电路系统和/或固件。该装置可以包括加载到存储器上的软件。这样的软件/计算机程序可以记录在相同的存储器/处理器/功能单元和/或一个或多个存储器/处理器/功能单元上。
在一些示例中，特定提到的装置可以用适当的软件预编程以执行期望操作，并且其中适当软件可以被启用以供下载“密钥”的用户使用，例如，以解锁/启用软件及其相关功能。与这样的示例相关联的优点可以包括当设备需要更多功能时减少下载数据的要求，并且这在设备被认为具有足够容量来存储这样的预编程软件以用于用户可能未启用的功能的示例中是有用的。
任何提到的装置/电路系统/元件/处理器可以具有除了所提到的功能之外的其他功能，并且这些功能可以由相同的装置/电路系统/元件/处理器来执行。所公开的一个或多个方面可以包括记录在适当载体(例如，存储器、信号)上的相关计算机程序和计算机程序(其可以是源/传输编码的)的电子分发。
本文中描述的任何“计算机”可以包括一个或多个个体处理器/处理元件的集合，这些处理器/处理元件可以或可以不位于同一电路板、或电路板的同一区域/位置或甚至同一设备上。在一些示例中，所提到的任何处理器中的一个或多个可以分布在多个设备上。相同或不同处理器/处理元件可以执行本文中描述的一个或多个功能。
术语“信令”可以指代作为一系列传输和/或接收的电/光信号而传输的一个或多个信号。该系列信号可以包括一个、两个、三个、四个或甚至更多个个体信号分量或不同信号以组成上述信令。这些个体信号中的一些或全部可以通过无线或有线通信同时、依次和/或以使得它们在时间上彼此重叠的方式来传输/接收。
参考所提到的任何计算机和/或处理器和存储器(例如，包括ROM、CD-ROM等)的任何讨论，这些可以包括计算机处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、和/或已经以能够执行本发明的功能的方式编程的其他硬件组件。
申请人在此单独公开本文中描述的每个个体特征以及两个或更多个这样的特征的任何组合，以使得这样的特征或组合能够基于本说明书作为一个整体来执行，鉴于本领域技术人员的一般知识，而无论这些特征或特征组合是否解决了本文中公开的任何问题，并且不限制权利要求的范围。申请人指出，所公开的方面/示例可以由任何这样的个体特征或特征组合组成。鉴于前面的描述，本领域技术人员很清楚的是，可以在本公开的范围内进行各种修改。
虽然已经示出和描述并且指出了应用于其示例的基本新颖特征，但是应当理解，本领域技术人员可以在不脱离本公开的范围的情况下对所描述的设备和方法的形式和细节进行各种省略和替换以及改变。例如，以基本相同的方式执行基本相同的功能以实现相同的结果的元件和/或方法步骤的所有组合都在本公开的范围内。此外，应当认识到，结合任何公开的形式或示例而示出和/或描述的结构和/或元件和/或方法步骤可以并入任何其他公开或描述或建议的形式或示例中作为一般设计事项选择。此外，在权利要求中，手段加功能条款旨在涵盖本文中描述为执行所述功能的结构，而不仅是结构等效物，而且是等效结构。

Claims (15)

1.一种用于输出虚拟内容的装置，包括用于以下操作的部件：
基于与显示部件相关联的位置来提供不同的第一组虚拟内容和第二组虚拟内容，以用于在第一时间在所述显示部件处的重叠显示；
确定所述第一组虚拟内容优先于所述第二组虚拟内容；
基于所述确定：
在所述显示部件处使所述第一组虚拟内容的显示优先于所述第二组虚拟内容的显示；以及
在后续的第二时间启用所述第二组虚拟内容的显示。
2.根据权利要求1所述的装置，其中所述部件被配置为通过在所述第一时间引起所述第一组虚拟内容而不是所述第二组虚拟内容在所述显示部件处的显示来对显示进行优先处理。
3.根据权利要求1或权利要求2所述的装置，其中所述部件被配置为：如果所述第一组虚拟内容在所述第一时间之前被显示，则确定所述第一组虚拟内容优先于所述第二组虚拟内容。
4.根据权利要求1或权利要求2所述的装置，其中所述部件被配置为：如果所述第一组虚拟内容和所述第二组虚拟内容两者在所述第一时间被显示时将发生冲突，则确定所述第一组虚拟内容优先于所述第二组虚拟内容。
5.根据权利要求4所述的装置，其中所述部件被配置为：如果所述第一组虚拟内容和所述第二组虚拟内容的相应位置将在彼此的预定距离内和/或将重叠，则标识出所述第一组虚拟内容和所述第二组虚拟内容将发生冲突。
6.根据权利要求1或权利要求2所述的装置，其中在所述第二时间启用所述第二组虚拟内容的显示包括：响应于所述第一组虚拟内容不再被显示而自动启用所述第二组虚拟内容的显示。
7.根据权利要求1或权利要求2所述的装置，其中在所述第二时间启用所述第二组虚拟内容的显示包括：响应于接收到对所述第二组虚拟内容的用户选择而启用所述第二组虚拟内容的显示。
8.根据权利要求1或权利要求2所述的装置，其中所述部件还被配置为通过与所述显示部件相关联的相机引起在所述第一时间或在时间上接近所述第一时间时对真实世界图像的捕获，并且被配置为将捕获图像的至少片段与所述第二虚拟内容相关联，以用于在所述第二时间显示具有所述第二虚拟内容的所述捕获图像的所述至少片段。
9.根据权利要求8所述的装置，其中在所述第一时间之后，所述部件还被配置为确定所述捕获图像的所述至少片段与由所述相机捕获的当前或最近的真实世界图像的一部分之间的相似度，并且配置为响应于确定至少预定相似度水平而引起所述捕获图像片段在所述显示部件处的显示。
10.根据权利要求9所述的装置，其中所述部件被配置为引起所述捕获图像片段的显示，使得所述捕获图像片段与所述真实世界图像的相似部分重叠。
11.根据权利要求9所述的装置，其中所述部件被配置为标识出所述当前或最近的真实世界图像的相似部分在所述显示部件的预定显示区域之外，并且被配置为响应于所述标识而经由所述显示部件提供一个或多个提示，所述一个或多个提示指示将所述当前或最近的真实世界图像的所述相似部分朝向所述预定显示区域移动所需要的相机移动。
12.根据权利要求11所述的装置，其中所述一个或多个提示响应于所述相机的移动而改变外观，以指示朝向所述预定显示区域的进展。
13.根据权利要求12所述的装置，其中所述部件被配置为提供所述第二组虚拟内容和/或所述捕获图像片段的已修改形式作为所述提示。
14.一种输出虚拟内容的方法，包括：
基于与显示部件相关联的位置来提供不同的第一组虚拟内容和第二组虚拟内容，以用于在第一时间在所述显示部件处的重叠显示；
确定所述第一组虚拟内容优先于所述第二组虚拟内容；
基于所述确定：
在所述显示部件处使所述第一组虚拟内容的显示优先于所述第二组虚拟内容的显示；以及
在后续的第二时间启用所述第二组虚拟内容的显示。
15.一种计算机可读介质，包括存储在其上的计算机程序代码的，所述计算机可读介质和所述计算机程序代码被配置为当在至少一个处理器上运行时执行如下方法：
基于与显示部件相关联的位置来提供不同的第一组虚拟内容和第二组虚拟内容，以用于在第一时间在所述显示部件处的重叠显示；
确定所述第一组虚拟内容优先于所述第二组虚拟内容；
基于所述确定：
在所述显示部件处使所述第一组虚拟内容的显示优先于所述第二组虚拟内容的显示；以及
在后续的第二时间启用所述第二组虚拟内容的显示。
CN202110654868.3A 2020-06-15 2021-06-11 虚拟内容的输出 Pending CN113806036A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20179883.2A EP3926441B1 (en) 2020-06-15 2020-06-15 Output of virtual content
EP20179883.2 2020-06-15

Publications (1)

Publication Number Publication Date
CN113806036A true CN113806036A (zh) 2021-12-17

Family

ID=71096521

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110654868.3A Pending CN113806036A (zh) 2020-06-15 2021-06-11 虚拟内容的输出

Country Status (3)

Country Link
US (1) US11636644B2 (zh)
EP (1) EP3926441B1 (zh)
CN (1) CN113806036A (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11227445B1 (en) 2020-08-31 2022-01-18 Facebook Technologies, Llc Artificial reality augments and surfaces
US11176755B1 (en) 2020-08-31 2021-11-16 Facebook Technologies, Llc Artificial reality augments and surfaces
US11113893B1 (en) * 2020-11-17 2021-09-07 Facebook Technologies, Llc Artificial reality environment with glints displayed by an extra reality device
US11409405B1 (en) 2020-12-22 2022-08-09 Facebook Technologies, Llc Augment orchestration in an artificial reality environment
US11762952B2 (en) 2021-06-28 2023-09-19 Meta Platforms Technologies, Llc Artificial reality application lifecycle
US12008717B2 (en) 2021-07-07 2024-06-11 Meta Platforms Technologies, Llc Artificial reality environment control through an artificial reality environment schema
US11798247B2 (en) 2021-10-27 2023-10-24 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US11748944B2 (en) 2021-10-27 2023-09-05 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US20230342019A1 (en) * 2022-04-25 2023-10-26 Apple Inc. User interfaces for facilitating operations
US12026527B2 (en) * 2022-05-10 2024-07-02 Meta Platforms Technologies, Llc World-controlled and application-controlled augments in an artificial-reality environment
US11947862B1 (en) 2022-12-30 2024-04-02 Meta Platforms Technologies, Llc Streaming native application content to artificial reality devices

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8402054B2 (en) * 2008-03-31 2013-03-19 Verizon Patent And Licensing Inc. Systems and methods for prioritizing content based on user profile relevance
US8347228B1 (en) * 2009-06-08 2013-01-01 Sprint Communications Company L.P. User interface screen presentation prioritization
US9633375B2 (en) * 2012-02-09 2017-04-25 Surewaves Mediatech Private Limited System and method for recommending online multimedia content
US9317972B2 (en) * 2012-12-18 2016-04-19 Qualcomm Incorporated User interface for augmented reality enabled devices
US20150169047A1 (en) 2013-12-16 2015-06-18 Nokia Corporation Method and apparatus for causation of capture of visual information indicative of a part of an environment
US20150206343A1 (en) * 2014-01-17 2015-07-23 Nokia Corporation Method and apparatus for evaluating environmental structures for in-situ content augmentation
US20160042563A1 (en) * 2014-08-11 2016-02-11 Empire Technology Development Llc Augmented reality information management
US10943111B2 (en) 2014-09-29 2021-03-09 Sony Interactive Entertainment Inc. Method and apparatus for recognition and matching of objects depicted in images
US10671837B2 (en) * 2015-09-08 2020-06-02 Nec Corporation Face recognition system, face recognition method, display control apparatus, display control method, and display control program
CN108156484B (zh) * 2016-12-05 2022-01-14 奥多比公司 利用自适应速率分配优先处理基于图块的虚拟现实视频流
WO2018148076A1 (en) * 2017-02-10 2018-08-16 Pcms Holdings, Inc. System and method for automated positioning of augmented reality content
EP3631601A1 (en) * 2017-05-23 2020-04-08 PCMS Holdings, Inc. System and method for prioritizing ar information based on persistence of real-life objects in the user's view
US11107282B1 (en) * 2017-09-29 2021-08-31 Apple Inc. Using comfort measurements to suggest virtual reality content
US10565761B2 (en) * 2017-12-07 2020-02-18 Wayfair Llc Augmented reality z-stack prioritization
US10296537B1 (en) * 2018-02-01 2019-05-21 Walter C. Waltereze System and method for identifying a lock associated with a given key
US10853014B2 (en) * 2018-04-17 2020-12-01 Rockwell Collins, Inc. Head wearable device, system, and method

Also Published As

Publication number Publication date
EP3926441A1 (en) 2021-12-22
US20210390765A1 (en) 2021-12-16
EP3926441B1 (en) 2024-02-21
US11636644B2 (en) 2023-04-25

Similar Documents

Publication Publication Date Title
US11636644B2 (en) Output of virtual content
CN112256127B (zh) 球形视频编辑
CN109635621B (zh) 用于第一人称视角中基于深度学习识别手势的系统和方法
EP3533025B1 (en) Virtual reality experience sharing
CN108604175B (zh) 装置和关联方法
US8644467B2 (en) Video conferencing system, method, and computer program storage device
US11107195B1 (en) Motion blur and depth of field for immersive content production systems
JP6787394B2 (ja) 情報処理装置、情報処理方法、プログラム
US9392248B2 (en) Dynamic POV composite 3D video system
CN107111740A (zh) 用于使用增强现实和对象辨别来检索内容项并使之与真实世界对象相关联的方案
CN110168615B (zh) 信息处理设备、信息处理方法和存储介质
US11227442B1 (en) 3D captions with semantic graphical elements
CN110622110B (zh) 提供沉浸式现实内容的方法和装置
JP2017162103A (ja) 点検作業支援システム、点検作業支援方法、点検作業支援プログラム
US20230283832A1 (en) Communication exchange system for remotely communicating instructions
US20230043683A1 (en) Determining a change in position of displayed digital content in subsequent frames via graphics processing circuitry
US20200065604A1 (en) User interface framework for multi-selection and operation of non-consecutive segmented information
TWI762830B (zh) 透過擴增實境給予提示以播放接續影片之系統及方法
US11647350B2 (en) Audio processing
US20230326094A1 (en) Integrating overlaid content into displayed data via graphics processing circuitry and processing circuitry using a computing memory and an operating system memory
US20230326095A1 (en) Overlaying displayed digital content with regional transparency and regional lossless compression transmitted over a communication network via processing circuitry
US10122929B2 (en) Digital image processing device which creates and displays an augmented reality (AR) image
CN114125412A (zh) 一种投影的方法、装置、电子设备和可读存储介质
CN115454247A (zh) 虚拟内容交互的方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination