CN113994386A - 生成物理布景的空间特征的自适应虚拟内容 - Google Patents

生成物理布景的空间特征的自适应虚拟内容 Download PDF

Info

Publication number
CN113994386A
CN113994386A CN202080044092.7A CN202080044092A CN113994386A CN 113994386 A CN113994386 A CN 113994386A CN 202080044092 A CN202080044092 A CN 202080044092A CN 113994386 A CN113994386 A CN 113994386A
Authority
CN
China
Prior art keywords
subset
subsets
content
electronic device
adaptive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080044092.7A
Other languages
English (en)
Inventor
G·B·圭拉·费尔霍
I·M·里克特
R·A·贝迪金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN113994386A publication Critical patent/CN113994386A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

在一些具体实施中,一种方法包括:识别与物理布景相关联的多个子集;确定该多个子集中的每个子集的空间特征集,其中第一空间特征集表征第一子集的尺寸并且第二空间特征集表征第二子集的尺寸;至少部分地基于该第一空间特征集生成该第一子集的自适应第一增强型现实(ER)内容部分;至少部分地基于该第二空间特征集生成该第二子集的自适应第二ER内容部分;以及基于该第一空间特征集和该第二空间特征集生成允许用户在该第一子集和该第二子集之间穿行的一个或多个导航选项。

Description

生成物理布景的空间特征的自适应虚拟内容
技术领域
本公开整体涉及生成虚拟内容(在本文有时也称为“增强型现实(ER)内容”),并且具体地涉及基于物理布景内的多个子集的空间特征生成自适应虚拟内容。
背景技术
在一些情况下,增强型现实(ER)内容的创建不考虑物理布景的空间特征(例如,体积空间、形状等)。例如,当物理布景对应于具有充足空间的大房间时,用户可被呈现ER内容并通过围绕物理布景行走来与ER内容交互。然而,在另一示例中,当物理布景对应于具有有限空间的小房间时,用户无法通过以与用户能够行进穿过大房间相同的方式行进穿过物理布景来导航ER内容。
附图说明
因此,本公开可被本领域的普通技术人员理解,更详细的描述可参考一些例示性具体实施的方面,其中一些具体实施在附图中示出。
图1是根据一些具体实施的示例性操作架构的框图。
图2A至图2D示出了根据一些具体实施的第一增强型现实(ER)呈现场景序列与第二ER呈现场景序列之间的比较。
图3A至图3F示出了根据一些具体实施的用于基于物理布景内的多个子集的空间特征生成自适应ER内容的示例性ER呈现场景序列。
图4A至图4C示出了根据一些具体实施的用于基于物理布景内的多个子集的空间特征生成自适应ER内容的另一示例性ER呈现场景序列。
图5是根据一些具体实施的基于物理布景内的多个子集的空间特征生成自适应ER内容的方法的流程图表示。
图6是根据一些具体实施的示例性控制器的框图。
图7是根据一些具体实施的示例性设备的框图。
根据通常的做法,附图中示出的各种特征部可能未按比例绘制。因此,为了清楚起见,可以任意地扩展或减小各种特征部的尺寸。另外,一些附图可能未描绘给定的系统、方法或设备的所有部件。最后,在整个说明书和附图中,类似的附图标号可用于表示类似的特征部。
发明内容
本文所公开的各种具体实施包括用于基于物理布景内的多个子集的空间特征生成自适应增强型现实(ER)内容的设备、系统和方法。根据一些具体实施,在包括图像传感器、一个或多个处理器、非暂态存储器和显示器的电子设备处执行该方法。该方法包括:识别与物理布景相关联的多个子集;确定物理布景内的多个子集中的每个子集的空间特征集,其中第一空间特征集表征多个子集中的第一子集的一个或多个尺寸,并且第二空间特征集表征多个子集中的第二子集的一个或多个尺寸;至少部分地基于第一空间特征集生成多个子集中的第一子集的自适应第一ER内容部分;至少部分地基于第二空间特征集生成多个子集中的第二子集的自适应第二ER内容部分;以及基于第一空间特征集和第二空间特征集生成允许用户在多个子集中的第一子集和第二子集之间穿行的一个或多个导航选项。
根据一些具体实施,一种设备包括图像传感器、显示器、一个或多个处理器、非暂态存储器和一个或多个程序;该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行,并且该一个或多个程序包括用于执行或使得执行本文所述方法中的任一种的指令。根据一些具体实施,一种非暂态计算机可读存储介质中存储有指令,这些指令在由设备的一个或多个处理器执行时使该设备执行或使执行本文所述方法中的任一种。根据一些具体实施,一种设备包括:图像传感器、显示器、一个或多个处理器、非暂态存储器和用于执行或使执行本文所述方法中的任一种的装置。
具体实施方式
描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而,附图仅示出了本公开的一些示例方面,因此不应被视为限制。本领域的普通技术人员将理解,其他有效方面和/或变体不包括本文所述的所有具体细节。此外,没有详尽地描述众所周知的系统、方法、部件、设备和电路,以免模糊本文所述的示例性具体实施的更多相关方面。描述了用于与各种增强型现实技术相关地使用此类系统的电子系统和技术的各种示例。
物理布景是指各个人可在不使用电子系统的情况下感测和/或交互的世界。物理布景诸如物理公园包括物理元素,诸如物理野生动物、物理树木和物理植物。人们可例如使用一种或多种感觉(包括视觉、嗅觉、触觉、味觉和听觉)直接感测物理布景和/或以其他方式与物理布景进行交互。
与物理布景相比,增强型现实(ER)布景是指各种人通过使用电子系统可感测和/或以其他方式与之交互的完全地(或部分地)计算机生成的布景。在ER中,部分地监视人的移动,并且响应于此,以与一个或多个物理定律一致的方式来改变与ER布景中的至少一个虚拟对象对应的至少一个属性。例如,响应于ER系统检测到人向上看,ER系统可以以与此类声音和外观会在物理布景中改变的方式一致的方式来调整呈现给人的各种音频和图形。也可例如响应于移动的表示(例如,语音命令)而进行对ER布景中的虚拟对象的属性的调整。
人可以利用一种或多种感觉,诸如视觉、嗅觉、味觉、触觉和听觉来感测ER对象和/或与ER对象交互。例如,人可感测创建多维或空间声学布景的对象和/或与其交互。多维或空间声学布景为个人提供了在多维空间中对离散声源的感知。此类对象还可实现声学透明性,该声学透明性可在具有或没有计算机生成的音频的情况下选择性地结合来自物理布景的音频。在某些ER布景中,人可仅感测音频对象和/或仅与其交互。
虚拟现实(VR)是ER的一个示例。VR布景是指被配置为仅包括针对一种或多种感觉的计算机生成的感官输入的增强布景。VR布景包括人可以感测和/或交互的多个虚拟对象。人可通过在计算机生成的布景内模拟人动作中的至少一些动作和/或通过模拟人或其在计算机生成的布景内的存在来感测VR布景中的虚拟对象和/或与其交互。
混合现实(MR)是ER的另一个示例。MR布景是指被配置为将计算机生成的感官输入(例如,虚拟对象)与来自物理布景的感官输入或来自物理布景的感官输入的表示进行集成的增强布景。在现实频谱上,MR布景介于一端处的完全物理布景和另一端处的VR布景之间并且不包括这些布景。
在一些MR布景中,计算机生成的感官输入可基于来自物理布景的感官输入的变化而被调整。另外,用于呈现MR布景的一些电子系统可以检测相对于物理布景的位置和/或取向,以实现真实对象(即来自物理布景的物理元素或其表示)与虚拟对象之间的交互。例如,系统可检测移动并相应地调整计算机生成的感官输入,使得例如虚拟树相对于物理结构看起来是固定的。
增强现实(AR)是MR的示例。AR布景是指一个或多个虚拟对象叠加在物理布景(或其表示)之上的增强布景。例如,电子系统可包括不透明显示器和用于捕获物理布景的视频和/或图像的一个或多个成像传感器。例如,此类视频和/或图像可以是物理布景的表示。视频和/或图像与虚拟对象组合,其中该组合随后被显示在不透明显示器上。物理布景可由人经由物理布景的图像和/或视频间接地查看。因此,人可观察叠加在物理布景上的虚拟对象。当系统捕获物理布景的图像并且使用所捕获的图像在不透明显示器上显示AR布景时,所显示的图像被称为视频透传。另选地,透明或半透明显示器可被包括在用于显示AR布景的电子系统中,使得个体可通过透明或半透明显示器直接查看物理布景。虚拟对象可被显示在半透明或透明显示器上,使得个体观察叠加在物理布景上的虚拟对象。在另一个示例中,可利用投影系统以便将虚拟对象投影到物理布景上。例如,虚拟对象可在物理表面上被投影,或作为全息图,使得个体观察叠加在物理布景之上的虚拟对象。
AR布景也可指其中物理布景的表示被计算机生成的感官数据修改的增强布景。例如,物理布景的表示的至少一部分可以图形方式修改(例如,放大),使得所修改的部分仍可表示初始捕获的图像(但不是完全复制的版本)。另选地,在提供视频透传时,可修改一个或多个传感器图像,以便施加与由图像传感器捕获的视点不同的特定视点。再如,物理布景的表示的部分可通过以图形方式将该部分进行模糊处理或消除该部分而被改变。
增强虚拟(AV)是MR的另一个示例。AV布景是指虚拟的或计算机生成的布景结合来自物理布景的一个或多个感官输入的增强布景。此类感官输入可包括物理布景的一个或多个特征的表示。虚拟对象可例如结合与由成像传感器捕获的物理元素相关联的颜色。另选地,虚拟对象可采用与例如对应于物理布景的当前天气状况一致的特征,诸如经由成像识别的天气状况、在线天气信息和/或与天气相关的传感器。又如,AR公园可包括虚拟结构、植物和树木,尽管AR公园布景内的动物可包括从物理动物的图像准确复制的特征。
各种系统允许人们感测ER布景和/或与其交互。例如,头戴式系统可包括一个或多个扬声器和不透明显示器。又如,外部显示器(例如,智能电话)可结合到头戴式系统内。头戴式系统可包括用于捕获物理布景的音频的麦克风和/或用于捕获物理布景的图像/视频的图像传感器。头戴式系统中还可包括透明或半透明显示器。半透明或透明显示器可例如包括基板,(表示图像的)光通过该基板被引导到人的眼睛。显示器还可包含LED、OLED、硅基液晶、激光扫描光源、数字光投影仪或它们的任何组合。光透射穿过的基板可以是光学反射器、全息基板、光波导、光合路器或它们的任何组合。透明或半透明显示器可例如选择性地在透明/半透明状态和不透明状态之间转变。又如,电子系统可以是基于投影的系统。在基于投影的系统中,视网膜投影可用于将图像投影到人的视网膜上。另选地,基于投影的系统还可将虚拟对象投影到物理布景中,例如,诸如将虚拟对象投影为全息图或投影到物理表面上。ER系统的其他示例包括被配置为显示图形的窗口、头戴式耳机、耳机、扬声器布置、被配置为显示图形的透镜、平视显示器、被配置为显示图形的汽车挡风玻璃、输入机构(例如,具有或不具有触觉功能的控制器)、台式或膝上型计算机、平板电脑或智能电话。
图1是根据一些具体实施的示例性操作架构100的框图。尽管示出了相关特征,但本领域的普通技术人员将从本公开中认识到,为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面,未示出各种其他特征。为此,作为非限制性示例,操作架构100包括可选的控制器102和电子设备124(例如,平板电脑、移动电话、膝上型电脑、可穿戴计算设备等)。
在一些具体实施中,控制器102被配置为管理并协调用户150(在本文有时也称为“虚拟环境”或“图形环境”)和零个或多个其他用户的ER体验。在一些具体实施中,控制器102包括软件、固件和/或硬件的合适组合。下文参考图6更详细地描述控制器102。在一些具体实施中,控制器102是相对于物理布景105处于本地或远程位置的计算设备。例如,控制器102是位于物理布景105内的本地服务器。在另一示例中,控制器102是位于物理布景105之外的远程服务器(例如,云服务器、中央服务器等)。在一些具体实施中,控制器102经由一个或多个有线或无线通信信道144(例如,蓝牙、IEEE 802.11x、IEEE 802.16x、IEEE 802.3x等)与电子设备124通信地耦接。在一些具体实施中,控制器102的功能由电子设备124提供。因此,在一些具体实施中,控制器102的部件集成到电子设备124中。
在一些具体实施中,电子设备124被配置为向用户150呈现音频和/或视频内容。在一些具体实施中,电子设备124被配置为向用户150呈现ER体验。在一些具体实施中,电子设备124包括软件、固件和/或硬件的合适组合。下文参考图7更详细地描述电子设备124。
根据一些具体实施,当用户150物理地存在于物理布景105内时,电子设备124向用户150呈现增强型现实(ER)体验,该物理布景包括处于电子设备124的视场111内的桌子107。因此,在一些具体实施中,用户150将电子设备124保持在他/她的手中。在一些具体实施中,在呈现ER体验时,电子设备124被配置为呈现ER内容(例如,ER圆柱体109)并在显示器122上实现物理布景105(例如,包括桌子107)的视频透传。例如,电子设备124对应于移动电话、平板电脑、膝上型电脑、可穿戴计算设备等。
在一些具体实施中,显示器122对应于实现物理布景105(包括桌子107)的光学透传的加成显示器。例如,显示器122对应于透明透镜,并且电子设备124对应于用户150佩戴的一副眼镜。因此,在一些具体实施中,电子设备124通过将ER内容(例如,ER圆柱体109)投影到加成显示器上而呈现用户界面,该ER内容继而从用户150的角度叠置在物理布景105上。在一些具体实施中,电子设备124通过将ER内容(例如,ER圆柱体109)显示在加成显示器上而呈现用户界面,该ER内容继而从用户150的角度叠置在物理布景105上。
在一些具体实施中,用户150佩戴电子设备124,诸如近眼系统。因此,电子设备124包括被提供以显示ER内容的一个或多个显示器(例如,单个显示器或每只眼睛一个显示器)。例如,电子设备124包围用户150的视场。在此类具体实施中,电子设备124通过将对应于ER布景的数据显示在一个或多个显示器上或通过将对应于ER布景的数据投影到用户150的视网膜上来呈现ER布景。
在一些具体实施中,电子设备124包括显示ER布景的集成显示器(例如,内置显示器)。在一些具体实施中,电子设备124包括头戴式壳体。在各种具体实施中,头戴式壳体包括附接区,具有显示器的另一设备可附接到该附接区。例如,在一些具体实施中,电子设备124可附接到头戴式壳体。在各种具体实施中,头戴式壳体被成形为形成用于接收包括显示器的另一设备(例如,电子设备124)的接收器。例如,在一些具体实施中,电子设备124滑动/卡扣到头戴式壳体或以其他方式附接到该头戴式壳体。在一些具体实施中,附接到头戴式壳体的设备的显示器呈现(例如,显示)ER布景。在一些具体实施中,将电子设备124替换成被配置为呈现ER内容的ER室、壳体或房间,在其中用户150不佩戴电子设备124。
在一些具体实施中,控制器102和/或电子设备124使得用户150的ER表示基于来自电子设备124和/或物理布景105内的可选的远程输入设备的移动信息(例如,身体姿态数据、眼睛跟踪数据、手跟踪数据等)而在ER布景内移动。在一些具体实施中,可选的远程输入设备对应于物理布景105内的固定或可移动的感官设备(例如,图像传感器、深度传感器、红外(IR)传感器、事件相机、麦克风等)。在一些具体实施中,这些远程输入设备中的每个远程输入设备均被配置为在用户150物理地在物理布景105内时收集/捕获输入数据并将输入数据提供给控制器102和/或电子设备124。在一些具体实施中,远程输入设备包括麦克风,并且输入数据包括与用户150相关联的音频数据(例如,语音样本)。在一些具体实施中,远程输入设备包括图像传感器(例如,相机),并且输入数据包括用户150的图像。在一些具体实施中,输入数据表征用户150在不同时间的身体姿态。在一些具体实施中,输入数据表征用户150在不同时间的头部姿态。在一些具体实施中,输入数据表征在不同时间与用户150的手相关联的手跟踪信息。在一些具体实施中,输入数据表征用户150的身体部分(诸如他/她的手)的速度和/或加速度。在一些具体实施中,输入数据指示用户150的关节位置和/或关节取向。在一些具体实施中,远程输入设备包括反馈设备,诸如扬声器、灯等。
图2A至图2D示出了根据一些具体实施的第一ER呈现场景200a序列和第二ER呈现场景200b序列之间的比较。尽管示出了相关特征,但本领域的普通技术人员将从本公开中认识到,为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面,未示出各种其他特征。
图2A至图2D所示的ER呈现场景序列描绘了调节第一ER呈现场景200a和第二ER呈现场景200b中的ER内容的电子设备124和/或控制器(例如,图1和图6所示的控制器102)之间的比较。该比较突出了基于对应于大的空房间的第一物理布景202的空间特征以及基于对应于填充有对象的小房间的第二物理布景204的空间特征来生成自适应ER内容之间的相似性和差异。
图2A示出了与第一物理布景202相关联的第一ER呈现场景200a和与第二物理布景204相关联的第二ER呈现场景200b的第一状态201a(例如,与T1或第一时间段相关联)。参考图2A中的第一ER呈现场景200a,第一物理布景202包括具有第一x尺寸203a、第一y尺寸205a和第一z尺寸206a的空房间。如第二ER呈现场景200b中所示,第二物理布景204包括具有第二x尺寸203b、第二y尺寸205b和第二z尺寸206b的房间。例如,第二物理布景204的第二x尺寸203b、第二y尺寸205b和第二z尺寸206b显著小于第一物理布景202的第一x尺寸203a、第一y尺寸205a和第一z尺寸206a。因此,与第一物理布景202相比,第二物理布景204对应于比第一物理布景202小得多的体积大小。此外,与第一物理布景202中的空房间相比,第二ER呈现场景200b包括第二物理布景204内的物理对象,诸如椅子220a、220c、餐具220b、咖啡桌220d、220e和沙发210。
在一些具体实施中,在用户的视场被包围的情况下,电子设备124被配置为在显示器122上实现第一物理布景202的视频透传。在一些具体实施中,电子设备124还被配置为在显示器122上呈现第一ER呈现场景200a。在一些具体实施中,显示器122对应于实现第一物理布景202的光学透传的加成显示器。例如,显示器122对应于透明透镜,并且电子设备124对应于用户佩戴的一副眼镜。在一些具体实施中,电子设备124通过将自适应ER内容显示在加成显示器上而呈现第一ER呈现场景200a,该自适应ER内容继而从用户的角度叠置在第一物理布景202上。在一些具体实施中,电子设备124通过将自适应ER再现在加成显示器上而呈现第一ER呈现场景200a,该自适应ER继而从用户的角度叠置在第一物理布景202上。
在一些具体实施中,在用户的视场被包围的情况下,电子设备124被配置为在显示器122上实现第二物理布景204(包括物理对象)的视频透传。在一些具体实施中,电子设备124还被配置为在显示器122上呈现第二ER呈现场景200b。在一些具体实施中,显示器122对应于实现第二物理布景204(包括物理对象)的光学透传的加成显示器。例如,显示器122对应于透明透镜,并且电子设备124对应于用户佩戴的一副眼镜。在一些具体实施中,电子设备124通过将自适应ER内容显示在加成显示器上而呈现第二ER呈现场景200b,该自适应ER内容继而从用户的角度叠置在第二物理布景204上。在一些具体实施中,电子设备124通过将自适应ER再现在加成显示器上而呈现第二ER呈现场景200b,该自适应ER内容继而从用户的角度叠置在第二物理布景204上。
图2B示出了第一ER呈现场景200a和第二ER呈现场景200b的第二状态201b(例如,与T2或第二时间段相关联)。在一些具体实施中,电子设备124和/或控制器识别与物理布景相关联的多个子集。在一些具体实施中,电子设备124经由电子设备的面向外部的图像传感器获取对应于物理布景的图像数据。继而,电子设备124至少部分地基于图像数据来识别物理布景内的多个子集,并且至少部分地基于图像数据和/或深度信息来确定多个子集的空间特征集。在一些具体实施中,电子设备124从一个或多个可选的远程输入设备获取深度信息、图像数据等。
在一些具体实施中,电子设备124识别第一物理布景202的多个子集,包括第一子集230a和第二子集232a。在一些具体实施中,电子设备124基于不与物理划分相关联的度量来确定多个子集。例如,如果物理布景不包括物理划分,则电子设备124通过将物理布景划分为两半并且将物理布景的第一半部识别为第一子集并将物理布景的第二半部识别为第二子集来识别多个子集。类似地,如第二ER呈现场景200b中所示,电子设备124还将第二物理布景204的多个子集识别为第一子集230b和第二子集232b。在一些具体实施中,电子设备124基于物理划分来确定多个子集。例如,参考图3A,如果物理布景对应于房屋301,则电子设备124基于每个单独房间来识别多个子集(例如,地下室310、厨房320、卧室330和客厅340)。又如,如果物理布景对应于单个房间,则电子设备124基于单个房间的不同墙壁来识别多个子集。又如,如果物理布景对应于单个房间,则电子设备124基于房间的拐角来识别多个子集。
在一些具体实施中,电子设备124确定物理布景内的多个子集中的每个子集的空间特征集。如第一ER呈现场景200a中所示,电子设备124确定第一子集230a的第一空间特征集,包括例如:基于x尺寸207a、y尺寸209a和z尺寸216a的第一子集230a的体积大小;第一子集230a内无物理对象的指示;等等。另外,电子设备124还确定第二子集232a的第二空间特征集,包括例如:基于x尺寸211a、y尺寸213a和z尺寸215a的第二子集232a的体积大小;第一物理布景202内无物理对象的指示;等等。
类似地,如第二ER呈现场景200b中所示,电子设备124还确定第一子集230b的第一空间特征集,包括例如:基于x尺寸207b、y尺寸209b和z尺寸216b的第一子集230b的体积大小;第二物理布景204内有物理对象(例如,椅子220c、书柜220b、咖啡桌220e和沙发210)的指示;等等。另外,电子设备124还确定第二子集232b的第二空间特征集,包括例如:基于x尺寸211b、y尺寸213b和z尺寸215b的第二子集232b的体积大小;第二物理布景204内有物理对象(例如,椅子220a、书柜220b、咖啡桌220d、220e和沙发210)的指示等。如图2B所示,第二物理布景204的第一子集230b和第二子集232b的尺寸远小于第一物理布景202的第一子集230a和第二子集232a的尺寸。
图2C示出了第一ER呈现场景200a和第二ER呈现场景200b的第三状态201c(例如,与T3或第三时间段相关联)。在一些具体实施中,在将第一ER部分逻辑地映射到第一子集230a之后,电子设备124和/或控制器102至少部分地基于第一空间特征集生成从预先确定的ER内容调节的第一ER内容部分。参考图2C中的第一ER呈现场景200a,电子设备124基于第一物理布景202的第一子集230a的第一空间特征集来生成自适应第一ER内容240a-1、240a-2和240a-3。如图2C所示,电子设备124在第一物理布景202的第一子集230a内呈现自适应第一ER内容240a-1、240a-2和240a-3。
类似地,在一些具体实施中,在将第一ER部分逻辑地映射到第一子集230b之后,电子设备124和/或控制器102通过基于第一空间特征集调节预先确定的ER内容来生成自适应第一ER内容部分。参考图2C中的第二ER呈现场景200b,电子设备124基于第二物理布景204的第一子集230b的第一空间特征集来生成自适应第一ER内容240b-1、240b-2和240b-3。如图2C所示,电子设备124在第二物理布景204的第一子集230b内呈现自适应第一ER内容240b-1、240b-2和240b-3。然而,与第一ER呈现场景200a相比,由于第一物理布景202的第一子集230a与第二物理布景204的第一子集230b之间的尺寸差异,第一子集230b中的自适应ER内容240b-1、240b-2和240b-3按比例缩小到比第一子集230a中的自适应ER内容240a-1、240a-2、240a-3更小的大小。
在一些具体实施中,在将第二ER部分逻辑地映射到第二子集232a之后,电子设备124和/或控制器102通过基于第二空间特征集调节预先确定的ER内容来生成第二ER内容部分。参考图2C中的第一ER呈现场景200a,电子设备124基于第一物理布景202的第二子集232a的第二空间特征集生成自适应第二ER内容242a-1、242a-2、242a-3和242a-4。如图2C所示,电子设备124在第一物理布景202的第二子集232ba内呈现自适应第二ER内容242a-1、242a-2、242a-3和242a-4。
类似地,在一些具体实施中,在将第二ER部分逻辑地映射到第二子集232b之后,电子设备124和/或控制器102通过基于第二空间特征集调节预先确定的ER内容来生成第二ER内容部分。参考图2C中的第二ER呈现场景200b,电子设备124基于第二物理布景204的第二子集232b的第二空间特征集来生成自适应第二ER内容242b-1和242b-3。如图2C所示,电子设备124在第二物理布景204的第二子集232b内呈现自适应242b-1和242b-3。然而,与第一ER呈现场景200a相比,当在第二子集232b中生成自适应第二ER内容时,由于第二子集232b的体积大小和第二物理布景204的第二子集232b内有对象(例如,沙发210、椅子220a和咖啡桌220d)的指示,电子设备124移除对应的自适应ER内容242a-2和242a-4(例如,在第一物理布景202的第二子集232b中示出)。此外,与第一ER呈现场景200a相比,由于第一物理布景202的第二子集232a和第二物理布景204的第二子集232b之间的尺寸差异,第二子集232b中的自适应ER内容242b-1和242b-3也按比例缩小到比第二子集232a中的自适应ER内容242a-1和242a-3更小的大小。因此,在第二ER呈现场景200b中,电子设备124在第二子集232b中呈现第二ER内容242b-1和242b-3的较小按比例缩小版本,并且在第二子集232b中放弃呈现自适应ER内容242a-2和242a-4的版本。
图2D示出了第一示例性ER呈现场景200a和第二ER呈现场景200b的第四状态201d(例如,与T4或第四时间段相关联)。在一些具体实施中,电子设备124和/或控制器基于第一空间特征集和第二空间特征集生成允许用户在第一子集和第二子集之间穿行的一个或多个导航选项。
参考图2D中的第一ER呈现场景200a,电子设备124生成包括第一导航路径217a的导航选项,以便允许用户10在第一物理布景202的第一子集230a(未示出)和第二子集232a(未示出)之间穿行。在一些具体实施中,用户10通过沿第一导航路径217a从第一子集230a物理地行走到第二子集232a而在第一子集和第二子集之间导航。由于第一物理布景202中的充足空间和缺少对象,电子设备124确定第一导航路径217a对应于长蜿蜒路径。如图2D所示,第一导航路径217a在第一子集230a中的第一自适应ER内容240a-1、240a-2和240a-3之间以及在第二子集232a中的第二自适应ER内容242a-4、242a-3、242a-2和242a-1之间迂回行进。
参考图2D中的第二ER呈现场景200b,电子设备124生成包括第二导航路径217b的导航选项,以便允许用户10在第二物理布景204的第一子集230b(未示出)和第二子集232b(未示出)之间穿行。然而,与第一ER呈现场景200a相比,由于第二物理布景204的较小尺寸以及第二物理布景204内有对象(例如,椅子220a、220c、书柜220b、咖啡桌220d、220e和沙发210)的指示,电子设备124确定第二导航路径217b对应于较短的圆形导航路径而不是长蜿蜒路径。如图2D所示,第二导航路径217b环绕第一子集230b中的自适应第一ER内容240b-1、240b-2和240b-3以及第二子集232b中的自适应第二ER内容242b-1、242b-3。
图3A至图3F示出了根据一些具体实施的用于基于物理布景内的多个子集的空间特征生成自适应ER内容的示例性ER呈现场景300序列。尽管示出了相关特征,但本领域的普通技术人员将从本公开中认识到,为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面,未示出各种其他特征。图3A至图3F所示的序列描绘了电子设备124基于房屋301内的每个房间的空间特征集生成与时间线性曲线图相关联的自适应ER内容。
图3A示出了ER呈现场景300的第一状态301a(例如,与T1或第一时间段相关联)。然而,在第一状态301a之前,电子设备124经由电子设备124的面向外的图像传感器获取对应于房屋301的图像数据,以便识别房屋301内的多个子集(例如,房间)并且至少部分地基于图像数据来确定多个子集的空间特征集。在一些具体实施中,电子设备124使用来自每个房间内的一个或多个远程输入设备(例如,可选的远程输入设备)的传感器信息,以便在知情用户同意的情况下收集/捕获输入数据并将输入数据提供给电子设备124和/或控制器102。在一些具体实施中,电子设备124可至少部分地基于从与电子设备124相关联的深度传感器获取数据来提取多个子集的空间特征集。在一些具体实施中,电子设备124和/或控制器102从外部数据库或库获取多个子集的已知空间特征集。本领域的普通技术人员将理解,存在许多方法来获取对应于物理布景的图像数据或从外部数据库获取已知空间特征集。为简洁起见,本文未提供所有此类方法的详尽列表。
在一些具体实施中,第一ER内容部分对应于预先确定的内容内的第一主题场景,并且第二ER内容部分对应于预先确定的内容内的第二主题场景。在一些具体实施中,预先确定的内容对应于与现实生活事件、故事、电影、电视剧集等相关联的ER内容。例如,如图3A至图3F所示,ER内容部分与预先确定的内容内的主题场景相关联,该预先确定的内容对应于具有五个部分的故事。因此,预先确定的内容被划分为五个ER内容部分,该五个ER内容部分链接在一起并按照时间有序序列呈现给用户10,以便向用户10传递线性故事。因此,在图3A至图3F中,预先确定的内容对应于具有开始、上升动作、高潮、下降动作和决议的时间线性曲线图。为此,电子设备124呈现自适应第一ER内容(例如,开始),然后呈现自适应第二ER内容部分(例如,上升动作),然后再呈现自适应第三ER内容部分(例如,高潮),依此类推。
如图3A所示,房屋301至少包括地下室310、厨房320、卧室330和客厅340。在第一状态301a中,佩戴电子设备124的用户10位于地下室310中。如先前所提及的,在图3A中在时间T1之前,电子设备124将每个房间识别为房屋301的子集。此外,电子设备124还从预先确定的内容获取ER内容部分以在电子设备124的用户界面内呈现给用户10。在一些具体实施中,电子设备124从ER库或数据库获取预先确定的内容。
在一些具体实施中,电子设备124可基于表征特定房间的一个或多个尺寸的空间特征集来确定应在房屋301的特定房间中呈现特定ER内容部分。例如,第一ER内容部分可能更适合大房间,因为与其他ER内容部分相比,第一ER内容部分包括最多的ER内容。继而,电子设备124将第一ER内容部分逻辑地映射到地下室310而不是房屋301中的其他房间,因为地下室310在房屋301内的房间之中具有最大体积大小。又如,第二ER内容部分可能更适合房屋301中的最小房间,因为与其他ER内容部分相比,第二ER内容部分包括更少的ER内容。因此,电子设备124将第二ER内容部分逻辑地映射到厨房320,因为厨房320是房屋301中的最小房间。
在一些具体实施中,在电子设备124将ER内容部分逻辑地映射到多个子集之后,电子设备124生成允许用户10按照有序序列在房屋301的子集(例如,地下室310、厨房320、卧室330和客厅340)之间穿行的一个或多个导航选项。在一些具体实施中,用户10通过在房屋301的房间之间物理地行走来在子集之间导航。为此,电子设备124确定将房间与将按照时间有序序列呈现给用户10的ER内容部分链接起来的导航路径303(例如,先呈现自适应第一ER内容部分314,然后再呈现自适应第二ER内容部分316,以此类推)。在图3A至图3F的示例中,电子设备124确定应以某种方式呈现五个ER内容部分,使得用户沿导航路径303从房屋301的底下穿行到房屋301的第二楼层。如下文将在图3E和图3F中更详细地解释,由于预先确定的内容中有五个ER内容部分要呈现给用户,但仅四个子集与房屋301相关联,因此电子设备124在客厅340中呈现自适应第四ER内容部分318和自适应第五ER内容部分319。因此,电子设备124通过将自适应第一ER内容部分(例如,开始)呈现给地下室310中的用户10来开始故事,并且通过将自适应第五ER内容部分(例如,决议)呈现给客厅340中的用户来完成故事。
图3B示出了ER呈现场景300的第二状态301b(例如,与T2或第二时间段相关联)。在第二状态301b中,地下室310的至少一部分在电子设备124的视场311a内。如图3B所示,地下室310包括楼梯组。换句话讲,在保持或佩戴电子设备124的同时,用户正通过电子设备124从侧视或透视取向观察楼梯组312。在一些具体实施中,在将第一ER内容部分逻辑地映射到地下室310之后,电子设备124至少部分地基于地下室310的第一空间特征集生成自适应第一ER内容部分314。如图3B所示,响应于确定满足第一呈现标准,电子设备124在显示器122上呈现用户界面302,该用户界面包括楼梯组312、导航路径303(可选的)和自适应第一ER内容部分314。在此,第一呈现标准可对应于电子设备124的位置。在时间T3,如图3C所示,电子设备124通过跟随导航路径303移动到第二子集(例如,厨房320),以便满足用于显示自适应第二ER内容部分316的第二呈现标准(例如,电子设备124的位置)。
图3C示出了ER呈现场景300的第三状态301c(例如,与T3或第三时间段相关联)。与图3B相比,电子设备124的视场由于电子设备124从地下室310(例如,房屋301的第一子集)到厨房320(例如,房屋301的第二子集)的平移移动而改变。如图3C所示,在第三状态301c中,厨房320的电子设备124的视场311b包括餐桌322和冰箱324的局部视图。在一些具体实施中,在将第二ER内容部分逻辑地映射到厨房320之后,电子设备124至少部分地基于厨房320的第二空间特征集生成自适应第二ER内容部分316。如图3C所示,响应于确定满足第二呈现标准,电子设备124在显示器122上呈现用户界面302,该用户界面包括餐桌322、冰箱324、导航路径303(可选的)和自适应第二ER内容部分316的局部视图。在时间T4,如图3D所示,电子设备124通过跟随导航路径303移动到第三子集(例如,卧室330),以便满足用于显示自适应第三ER内容部分317的第三呈现标准。
图3D示出了ER呈现场景300的第四状态301d(例如,与T4或第四时间段相关联)。与图3C相比,电子设备124的视场由于电子设备124从厨房320(例如,房屋301的第二子集)到卧室330(例如,房屋301的第三子集)的平移移动而改变。如图3D所示,在第四状态301d中,卧室330的电子设备124的视场311c包括床332的局部视图。在一些具体实施中,在将第三ER内容部分逻辑地映射到卧室330之后,电子设备124至少部分地基于卧室330的第三空间特征集生成自适应第三ER内容部分317。如图3D所示,响应于确定满足第三呈现标准,电子设备124在显示器122上呈现用户界面302,该用户界面包括床332、导航路径303(可选的)和自适应第三ER内容部分317的局部视图。在时间T5,如图3E所示,电子设备124通过跟随导航路径303移动到第四子集(例如,客厅340),以便满足用于显示自适应第四ER内容部分318的第四呈现标准。
图3E示出了ER呈现场景300的第五状态301e(例如,与T5或第五时间段相关联)。与图3D相比,电子设备124的视场由于电子设备124从卧室330(例如,房屋301的第三子集)到与房屋301相关联的客厅340(例如,房屋301的第四子集)的平移移动而改变。如图3E所示,在第五状态301e中,电子设备124的视场311d包括沙发342。在一些具体实施中,在将第四ER内容部分逻辑地映射到客厅340之后,电子设备124至少部分地基于客厅340的第四空间特征集生成自适应第四ER内容部分318。如图3E所示,响应于确定满足第四呈现标准,电子设备124在显示器122上呈现用户界面302,该用户界面包括沙发342、导航路径303(可选的)和针对时间参数的自适应第四ER内容部分318。
与图3B至图3D中的第一呈现标准、第二呈现标准和第三呈现标准相比,第四呈现标准和第五呈现标准对应于与预先确定的内容相关联的时间标准和基于坐标或基于位置的标准。该时间标准与自适应第四ER内容部分318和第五ER内容部分319相关联,因为电子设备124在第四子集(例如,客厅340)中呈现自适应第四ER内容部分318和自适应第五ER内容部分319两者。因此,电子设备124在呈现自适应第五ER内容部分319之前,至少部分地基于时间标准(例如,回放时间“9:30”至“10:00”)呈现自适应第四ER内容部分318。在该示例中,为了参考起见,ER呈现场景300描绘了“9:45”的回放时间344,并且电子设备124呈现自适应第四ER内容部分318直到“10:00”。在一些具体实施中,用户10可至少部分地基于物理运动(诸如将他或她的头部朝向物理布景内的特定区域转动)而在同一子集中的不同ER内容部分之间导航。
图3F示出了ER呈现场景300的第六状态301f(例如,与T6或第六时间段相关联)。与图3A至图3D相比,图3F中所示的电子设备124的视场311d与图3E中的相同,因为电子设备124是静止的。然而,与图3E相比,在图3F中在时间T6,时间流逝使得回放时间346现在是“10:15”。在一些具体实施中,在将第五ER内容部分逻辑地映射到客厅340之后,电子设备124至少部分地基于客厅340的第五空间特征集来生成自适应第五ER内容部分319。因此,在图3F中在时间T6,满足第五呈现标准,因为自适应第四ER内容部分318超过其时间限制。如图3F中的时间T6所示,响应于确定满足第五呈现标准(例如,时间标准),电子设备124在显示器122上呈现用户界面302,该用户界面包括沙发342和自适应第五ER内容部分319。
在一些具体实施中,预先确定的内容可以为非线性的,使得电子设备124从预先确定的内容呈现ER内容部分的顺序无关紧要。在一些具体实施中,电子设备124获取与第一子集相关联的第一环境特征集和与第二子集相关联的第二环境特征集,其中生成自适应第一ER内容部分包括至少部分地基于第一子集的第一空间特征集和与第一子集相关联的第一环境特征集将第一ER内容部分逻辑地映射到第一子集并且生成自适应第二ER内容部分包括至少部分地基于第二子集的第二空间特征集和与第二子集相关联的第二环境特征集将第二ER内容部分逻辑地映射到第二子集。在一些具体实施中,调节ER内容部分可基于环境特征,诸如房间类型、温度信息、照明信息、物理布景内的对象、当日时间、物理布景的背景颜色等。本领域的普通技术人员将理解,存在许多不同类型的环境特征。为简洁起见,本文未提供所有此类类型的详尽列表。
作为非限制性示例,电子设备124可被配置为基于与物理布景相关联的子集的环境特征来呈现预先确定的内容中对应于不同生态系统的部分。继续前面的非限制性示例,预先确定的内容的第一部分可对应于与地下生态系统相关联的ER内容,预先确定的内容的第二部分可对应于与草地生态系统相关联的ER内容,预先确定的内容的第三部分可对应于与森林生态系统相关联的ER内容,并且预先确定的内容的第四部分可对应于与荒漠生态系统相关联的ER内容。
参考图3A,例如,电子设备124获取与房屋301内的不同房间相关联的环境特征,以便确定哪些房间满足预先确定的内容的部分的映射标准。例如,与地下生态系统相关联的预先确定的内容的第一部分包括:位于地下、在多个子集中具有最冷的温度条件并且在多个子集中具有最暗的照明条件的子集的映射标准集;和对应于电子设备124的位置的基于第一位置的呈现标准。因此,电子设备124将与地下生态系统相关联的预先确定的内容的第一部分逻辑地映射到地下室310,因为地下室310满足位于地下并且与房屋301中的其余房间相比具有最冷的温度和最暗的照明条件的映射标准集。
又如,与草地生态系统相关联的预先确定的内容的第二部分包括:具有热的温度条件并且在多个子集中具有最亮的照明条件的子集的映射标准集;和对应于电子设备124的位置的基于第二位置的呈现标准。因此,电子设备124将与草地生态系统相关联的预先确定的内容的第二部分逻辑地映射到厨房320,因为厨房320满足与房屋301中的其余房间相比具有最亮的照明条件的映射标准集。
又如,与森林生态系统相关联的预先确定的内容的第三部分包括:位于第二楼层上的子集的映射标准集;和对应于电子设备124的位置的基于第三位置的呈现标准。因此,电子设备124将与森林生态系统相关联的预先确定的内容的第三部分逻辑地映射到卧室330,因为卧室330满足位于房屋301的第二楼层上的映射标准。
又如,与荒漠生态系统相关联的预先确定的内容的第四部分包括:在多个子集中具有最热的温度的子集的映射标准集;和对应于电子设备124的位置的基于第四位置的呈现标准。因此,电子设备124将与荒漠生态系统相关联的预先确定的内容的第四部分逻辑地映射到客厅340,因为客厅340与房屋301中的其余房间相比具有最热的温度。
继续以上示例,在时间T2,如图3B所示,电子设备124位于地下室中。因此,响应于确定电子设备124满足基于第一位置的呈现标准,电子设备124显示叠置在电子设备124的对应于地下室310的第一视场311a上的与地下生态系统相关联的预先确定的内容的自适应第一部分。在时间T3,如图3C所示,电子设备124位于厨房320中。因此,响应于确定电子设备124满足基于第二位置的呈现标准,电子设备124显示叠置在电子设备124的对应于厨房320的第二视场311b上的与草地生态系统相关联的预先确定的内容的自适应第二部分。在时间T4,如图3D所示,电子设备124位于卧室330中。因此,响应于确定电子设备124满足基于第三位置的呈现标准,电子设备124显示叠置在电子设备124的对应于卧室330的第三视场311c上的与森林生态系统相关联的预先确定的内容的自适应第三部分。在时间T5,如图3E所示,电子设备124位于客厅340中。因此,响应于确定电子设备124满足基于第四位置的呈现标准,电子设备124显示叠置在电子设备124的对应于客厅340的第四视场311d上的与荒漠生态系统相关联的预先确定的内容的自适应第四部分。
图4A至图4C示出了根据一些具体实施的用于基于物理布景内的多个子集的空间特征生成自适应ER内容的另一ER呈现场景序列400。尽管示出了相关特征,但本领域的普通技术人员将从本公开中认识到,为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面,未示出各种其他特征。
图4A示出了示例性ER呈现场景400的第一状态401a(例如,与T1或第一时间段相关联)。在第一状态401a中,物理布景的至少一部分在电子设备124的视场411a内。在一些具体实施中,电子设备124确定物理布景内的多个子集之间的连接性矩阵并且至少部分地基于物理布景内的多个子集之间的连接性矩阵生成附加ER内容,以便呈现附加ER内容。在该示例中,走廊404并非物理布景内的多个子集的一部分,而是对应于多个子集之间的空间。
如图4A所示,走廊404包括通往房间(例如,物理布景的第一子集)的门。因此,电子设备124生成附加ER内容以便桥接物理布景内的多个子集。在一些具体实施中,附加ER内容对应于涌现的ER内容。在一些具体实施中,附加ER内容对应于选自预先确定的内容的ER内容。在一些具体实施中,附加ER内容对应于基于逻辑地映射到先前子集和后续子集的ER内容部分生成的涌现的ER内容。在一些具体实施中,至少部分地基于连接性矩阵生成一个或多个导航选项。在此,电子设备124生成导航选项,该导航选项包括至少部分地基于走廊404的导航路径412。如图4A所示,电子设备124在显示器122上呈现用户界面402,该用户界面包括走廊404、导航路径412(可选的)和附加ER内容410a、410b。在时间T2,如图4B所示,电子设备124通过跟随导航路径412移动到第一子集(例如,房间406),以便满足用于显示自适应ER内容的呈现标准。
图4B示出了示例性ER呈现场景400的第二状态401b(例如,与T2或第二时间段相关联)。与图4A相比,电子设备124的视场由于电子设备124从走廊404到房间406内部的平移移动而改变。如图4B所示,在第二状态401b中,电子设备124的视场411b包括画416和门420。在一些具体实施中,在将第一ER内容部分逻辑地映射到房间406之后,电子设备124至少部分地基于房间406的第一空间特征集来生成自适应ER内容(例如,虚拟代理418)。在该示例中,与自适应ER内容相关联的第一呈现标准是基于位置的。因此,响应于确定满足第一呈现标准,电子设备124在显示器122上呈现用户界面402,该用户界面包括画416、门420和表现为站在房间406中的虚拟代理418。
在一些具体实施中,电子设备124呈现与从第一子集移动到第二子集的ER内容相关联的一个或多个ER内容项。图4B和图4C中所示的序列描绘了在电子设备124的视场411b静止时与从房间406移动到物理布景内的另一子集的ER内容相关联的虚拟代理418。
图4C示出了ER呈现场景400的第三状态401c(例如,与T3或第三时间段相关联)。与图4D相比,电子设备的视场411b是相同的,但在图4C中在时间T3,虚拟代理418表现为从房间406(例如,第一子集)朝向物理布景内的门420之外的另一房间移动。因此,电子设备124生成路径指示符414,该路径指示符允许用户跟随虚拟代理418越过物理布景内的门420到达另一房间。在一些具体实施中,跟随路径指示符414使得用户能够在房间406(例如,第一子集)和越过门420的另一房间(例如,物理布景内的第二子集)之间穿行。因此,在图4C中,电子设备124在显示器122上呈现用户界面402,该用户界面包括画416、门420、从房间406移动到第二子集的虚拟代理418以及路径指示符414(可选的)。
图5是根据一些具体实施的基于物理布景内的多个子集的空间特征生成自适应ER内容的方法500的流程图表示。在各种具体实施中,在具有图像传感器、一个或多个处理器、非暂态存储器和显示器的电子设备(例如,图1和图7所示的电子设备124、图1和图6所示的控制器102或它们的合适组合)处执行方法500。在一些具体实施中,方法500由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中,方法500由执行存储在非暂态计算机可读介质(例如,存储器)中的代码的处理器执行。
如框510所示,方法500包括识别与物理布景(例如,图1所示的物理布景105或图2A至图2D所示的第一物理布景202和第二物理布景204)相关联的多个子集。在一些具体实施中,该多个子集可对应于房间的与物理布景相关联的部分。例如,如图2A至图2D所示,该多个子集对应于第一物理布景202和第二物理布景204内的单个房间的各部分。在一些具体实施中,该多个子集可对应于物理布景内的房间。例如,如图3A至图3E所示,该多个子集对应于与房屋301相关联的单独房间(例如,地下室310、厨房320、卧室330和客厅340)。
在一些具体实施中,电子设备基于物理划分来确定该多个子集。例如,参考图3A,如果物理布景对应于房屋301,则电子设备124基于每个单独房间来识别多个子集(例如,地下室310、厨房320、卧室330和客厅340)。又如,如果物理布景对应于单个房间,则电子设备124基于单个房间的不同墙壁来识别多个子集。又如,如果物理布景对应于单个房间,则电子设备124基于房间的拐角来识别多个子集。
在一些具体实施中,电子设备124基于不与物理划分相关联的度量来确定多个子集。在一些具体实施中,电子设备基于不与物理划分相关联的度量来确定多个子集。例如,如果物理布景不包括物理划分,则电子设备124通过将物理布景划分为两半并且将物理布景的第一半部识别为第一子集并将物理布景的第二半部识别为第二子集来识别多个子集。例如,参考图2B,在第一ER呈现场景200a中,电子设备124将第一物理布景202划分为两半,并且将第一物理布景202的第一半部识别为第一子集230a和第二子集232a。又如,还参考图2B,在第二ER呈现场景200b中,电子设备124将第二物理布景204划分为两半,并且将第二物理布景204的第一半部识别为第一子集230b并将第二物理布景204的第二半部识别为第二子集232b。
如框520所示,方法500包括确定物理布景内的多个子集中的每个子集的空间特征集,其中第一空间特征集表征多个子集中的第一子集的一个或多个尺寸,并且第二空间特征集表征多个子集中的第二子集的一个或多个尺寸。在一些具体实施中,第一空间特征集包括以下至少一项:物理布景的第一子集的体积大小、物理布景的第一子集内有物理对象的指示、物理布景的第一子集的形状等。在一些具体实施中,一个或多个尺寸可对应于多个子集中的子集的宽度、长度、高度等。
例如,如图2B中的第一ER呈现场景200a所示,第一子集230a的第一空间特征集包括基于第一物理布景202内的x尺寸207a、y尺寸209a和z尺寸216a的第一子集230a的体积大小以及第一物理布景202内无物理对象的指示;并且第二子集232a的第二空间特征集包括基于x尺寸211a、y尺寸213a、z尺寸215a的第二子集232a的体积大小以及第一物理布景202内无物理对象的指示。
在另一示例中,如图2B中的第二ER呈现场景200b所示,第一子集230b的第一空间特征集包括基于第二物理布景204内的x尺寸207b、y尺寸209b、z尺寸216b的第一子集230b的体积大小以及第二物理布景204内有物理对象(例如,椅子220c、书柜220b、咖啡桌220e和沙发210)的指示;并且第二子集232b的第二空间特征集包括基于x尺寸211b、y尺寸213b、z尺寸(215b)的第二子集232b的体积大小以及第二物理布景204内有物理对象(例如,椅子220a、书柜220b、咖啡桌220d、220e和沙发210)的指示。在一些具体实施中,空间特征可包括用于用对象标记的物理布景的点云。在一些具体实施中,电子设备通过执行语义分割或实例分割来确定空间特征集。在一些具体实施中,语义分割对应于检测和标记出现在图像数据内的对象。在一些具体实施中,实例分割对应于检测和描绘出现在图像数据内的不同对象。
如框530所示,方法500包括至少部分地基于第一空间特征集生成多个子集中的第一子集的自适应第一增强型现实(ER)内容部分。具体地,在一些具体实施中,电子设备124将ER内容的第一部分逻辑地映射到满足与ER内容的第一部分相关联的第一映射标准的第一子集。接下来,在一些具体实施中,电子设备124通过基于第一子集的空间特征调节参考ER内容(例如,ER内容的第一部分)来生成自适应第一ER内容部分。最后,在一些具体实施中,响应于确定满足与自适应第一ER内容部分相关联的呈现标准,电子设备124在第一子集内呈现自适应第一ER内容部分。
例如,在图2B和图2C所示的第一ER呈现场景200a中,在将第一ER内容部分逻辑地映射到第一子集230a之后,电子设备124至少部分地基于第一物理布景202内的第一子集230a的x尺寸207a、y尺寸209a和z尺寸216a生成自适应第一ER内容部分240a-1、240a-2、240a-3。类似地,也如图2B和图2C所示的第二ER呈现场景200b所示,在将第一ER内容部分逻辑地映射到第一子集230b之后,电子设备124至少部分地基于第二物理布景204内的第一子集230b的x尺寸207b、y尺寸209b和z尺寸216b生成自适应第一ER内容部分240b-1、240b-2、240b-3。
在一些具体实施中,ER内容对应于涌现的ER内容或预先确定的ER内容。在一些具体实施中,方法500还包括生成包括第一ER内容部分和第二ER内容部分的涌现的ER内容。在一些具体实施中,ER内容对应于与涌现的内容相关联的对象、人物或风景的立体模型。例如,涌现的内容可对应于一个或多个目标执行者执行动作以便实现特定目标。继续该示例,如图4C所示,涌现的内容对应于虚拟代理418(例如,目标执行者)执行在物理布景内搜索画的动作。又如,如图4A所示,电子设备124生成涌现的ER内容,以便桥接物理布景内的多个子集。
在一些具体实施中,方法500还包括获取包括第一ER内容部分和第二ER内容部分的预先确定的内容,其中第一ER内容部分和第二ER内容部分是从数据库或库获取的。在一些具体实施中,ER内容对应于与预先确定的内容相关联的对象、人物或风景的立体模型。在一些具体实施中,预先确定的内容对应于与现实生活事件、故事、电影、电视剧集等相关联的内容。在一些具体实施中,第一ER内容部分与预先确定的内容内的第一主题场景相关联,并且第二ER内容部分与预先确定的内容内的第二主题场景相关联。在一些具体实施中,预先确定的内容对应于时间线性曲线图,并且在呈现自适应第二ER内容部分之前呈现自适应第一ER内容部分。例如,如图3A至图3F所示,自适应第一ER内容部分314对应于开始,自适应第二ER内容部分316对应于上升动作,自适应第三ER内容部分317对应于高潮,自适应第四ER内容部分318对应于下降动作,并且自适应第五ER内容部分319对应于与线性曲线图相关联的决议,使得自适应ER内容部分以有序方式链接起来。因此,继续图3A至图3F所示的示例,电子设备124按照有序序列呈现自适应第一ER内容部分314、自适应第二ER内容部分316、自适应第三ER内容部分317、自适应第四ER内容部分318和自适应第五ER内容部分319,以使故事或绘图具有意义。
在一些具体实施中,方法500还包括至少部分地基于确定与第一子集相关联的第一空间特征集是否满足针对预先确定的内容的第一ER内容部分的映射标准来生成自适应第一ER内容部分。在一些具体实施中,映射标准对应于用于找到自适应第一ER内容部分的最佳拟合的空间标准。在一些具体实施中,方法500还包括响应于确定与第一子集相关联的第一空间特征集满足第一映射标准,至少部分地基于第一子集的第一空间特征集来确定第一子集内的自适应第一ER内容部分的放置,其中呈现与第一透传图像数据合成的自适应第一ER内容部分包括根据位置呈现自适应ER内容。例如,如图3B所示,电子设备124至少部分地基于确定与地下室310相关联的尺寸满足对于预先确定的内容的第一ER内容部分作为房屋301中的最大房间的第一映射标准来生成自适应第一ER内容部分314。因此,继续图3B中的示例,响应于确定与地下室310相关联的第一空间特征集满足作为房屋301中的最大房间的第一映射标准,电子设备124通过将自适应第一ER内容部分314放置在楼梯组312旁边来确定自适应第一ER内容部分314在地下室310内的放置。最后,继续图3B中的示例,电子设备124在显示器122上呈现用户界面302,该用户界面包括楼梯组312和根据放置与第一透传图像数据合成的自适应第一ER内容部分314。
如框540所示,方法500包括至少部分地基于第二空间特征集生成多个子集中的第二子集的自适应第二ER内容部分。具体地,在一些具体实施中,电子设备124将ER内容的第二部分逻辑地映射到满足与ER内容的第二部分相关联的第二映射标准的第二子集。接下来,在一些具体实施中,电子设备124通过基于第二子集的空间特征调节参考ER内容(例如,ER内容的第二部分)来生成自适应第二ER内容部分。最后,在一些具体实施中,响应于确定满足与自适应第二ER内容部分相关联的呈现标准,电子设备124在第二子集内呈现自适应第二ER内容部分。
例如,在图2B和图2C所示的第一ER呈现场景200a中,在将自适应第二ER内容部分逻辑地映射到第二子集232a之后,电子设备124至少部分地基于第一物理布景204内的第二子集232a的x尺寸211a、y尺寸213a和z尺寸215a生成自适应第二ER内容部分242a-1、242a-2、242a-3和242-4。类似地,也如图2B和图2C中的第二ER呈现场景200b所示,在将第二ER内容部分逻辑地映射到第二子集232b之后,电子设备124少部分地基于第二物理布景204内的第二子集232b的x尺寸211b、y尺寸213b和z尺寸215b生成自适应第二ER内容部分242b-1、242b-3。
如框550所示,方法500包括基于第一空间特征集和第二空间特征集生成允许用户在第一子集和第二子集之间穿行的一个或多个导航选项。在一些具体实施中,导航选项包括以下至少一项:第一子集和第二子集之间的路径指示符、第一子集和第二子集之间的圆形路径以及对第一子集和第二子集之间的导航路径的确定。例如,如图2D中的第一ER呈现场景200a所示,电子设备124在第一物理布景202中生成第一导航路径217a,以便在第一物理布景202内的第一子集230a与第二子集232a之间穿行。又如,如图2D中的第二ER呈现场景200b所示,电子设备124生成对应于第二物理布景204中的圆形路径的第二导航路径217b,以便在第二物理布景204内的第一子集230b与第二子集232b之间穿行。再如,如图3A所示,电子设备124生成导航路径303以便允许用户在房屋301内的多个子集(例如,地下室310、厨房320、卧室330和客厅340)之间穿行。最后,又如,如图4C所示,电子设备124生成路径指示符414,以便允许用户穿行到物理布景内的后续子集。在一些具体实施中,导航选项包括检测用户输入,诸如用户的物理移动或用户的头部旋转。在一些具体实施中,导航选项包括用户通过转动他的头部或物理地行走到后续子集来在子集之间导航。
在一些具体实施中,方法500还包括响应于确定满足第一呈现标准,在显示器上呈现叠置在对应于物理布景的第一子集的设备的第一视场上的自适应第一ER内容部分;以及响应于确定满足第二呈现标准,在显示器上呈现叠置在对应于物理布景内的第二子集的设备的第二视场上的自适应第二ER内容部分。在一些具体实施中,呈现标准可对应于以下至少一项:与自适应第一ER内容部分相关联的时间标准、第一子集的坐标、第二子集的坐标、第一ER内容部分与第二ER内容部分之间的邻接度以及电子设备的位置。例如,如果映射到第一ER内容部分的第一子集和映射到第二ER内容部分的第二子集彼此接近定位,则呈现标准可对应于第一ER内容部分与第二ER内容部分之间的邻接度。继续该示例,邻接度呈现标准使得电子设备124能够显示呈现第一ER内容部分和第二ER内容部分之间的过渡,该过渡实际上是立即的,并且不包括呈现第一ER内容部分和第二ER内容部分之间的延长的延迟。作为另一非限制性示例,如果在单个房间内存在多于一个子集,或者如果没有足够的房间来呈现所有ER内容,则呈现标准可对应于时间限制。例如,如图3E和图3F所示,电子设备124通过在呈现自适应第四ER内容部分318和自适应第五ER内容部分319之间过渡之前检查当前时间来确定是否满足呈现标准(例如,与预先确定的内容相关联的时间参数)。继续图3E和图3F所示的示例,在与自适应第四ER内容部分318相关联的时间段流逝之后,电子设备124在客厅340中呈现自适应第五ER内容部分319。
作为非限制性示例,第一呈现标准可至少部分地基于电子设备或用户何时邻近第一子集来满足。例如,在图3B中,当电子设备124邻近第一子集(例如,地下室310)时,满足呈现标准。又如,在图4B中,当电子设备124位于第一子集(例如,房间406)内时,满足呈现标准。在一些具体实施中,方法500还包括在显示器上呈现与从第一子集移动到第二子集的第一ER内容部分相关联的一个或多个ER内容项。例如,如图4B和图4C所示,虚拟代理418最初在图4B中在时间T2呈现在第一子集(例如,房间406)中,然后在图4C中在时间T3从第一子集移动到第二子集。
在一些具体实施中,第一ER内容部分包括发生自适应的默认外观。在一些具体实施中,生成自适应ER内容包括以下至少一个动作:将与ER内容相关联的可用交互集添加、移除、缩放或修改到多个子集的空间特征。
在一些具体实施中,方法500还包括至少部分地基于第一子集的第一空间特征集将一个或多个ER内容项添加到第一ER内容部分。例如,在将第一ER内容部分调节到第一子集之后,如果在第一子集中留有充足的房间,则电子设备可将一个或多个ER内容项添加到第一ER内容部分以便填充第一子集。
在一些具体实施中,方法500还包括至少部分地基于第一子集的第一空间特征集从第一ER内容部分移除一个或多个ER内容项。在一些具体实施中,ER内容部分可为关键或非关键的,使得电子器件可决定移除非关键ER内容部分而不是关键ER部分。在一些具体实施中,ER内容的所有者或开发者确定哪些ER内容部分是关键或非关键的。例如,如图2C中的第一ER呈现场景200a所示,电子设备124在第一物理布景202的第二子集232a中生成自适应第二ER内容242a-1、242a-2、242a-3、242a-4。类似地,如图2C中的第二ER呈现场景200b所示,电子设备124还在第二物理布景204的第二子集232b中生成自适应第二ER内容242b-1、242b-3,但由于第二子集232b和第二物理布景204内的对象(例如,椅子220a、书柜220b、咖啡桌220d、220e和沙发210)的较小尺寸,电子设备124移除第二物理布景204中的自适应ER内容242a-2、242a-4。
在一些具体实施中,方法500还包括至少部分地基于第一子集的第一空间特征集来缩放与第一ER内容部分相关联的一个或多个ER内容项。例如,如图2C中的第一ER呈现场景200a所示,电子设备124在第一物理布景202中的第一子集230a内生成自适应第一ER内容240a-1、240a-2、240a-3。类似地,如图2C中的第二ER呈现场景200b所示,电子设备124还在第二物理布景204中的第一子集230b内生成自适应第一ER内容240b-1、240b-2、240b-3。然而,与第一ER呈现场景200a相比,由于第一物理布景202和第二物理布景204之间的尺寸差异,第二ER呈现场景200b中的自适应第一ER内容240-b1、240b-2、240b-3按比例缩小到比第一ER呈现场景200a中的自适应第一ER内容240a-1、240a-2、240a-3更小的大小。
在一些具体实施中,方法500还包括至少部分地基于第一子集的第一空间特征集来修改与第一ER内容部分相关联的可用交互集。例如,如第一ER呈现场景200a所示,用户10通过围绕自适应第一ER内容部分240a-2、240a-3行走360度来与自适应第一ER内容部分240a-2、240a-3进行交互,以便查看自适应第一ER内容部分240a-2、240a-3的每个角度。然而,如第二ER呈现场景200b所示,用户10可能无法通过以与第一ER呈现场景200a相同的方式围绕自适应第一ER内容部分240b-2、240b-3行走360度来与自适应第一ER内容部分240b-2、240b-3进行交互。相反,在第二ER呈现场景200b中,由于第二物理布景204的较小大小以及第二物理布景204内有多个对象,用户10被限制围绕自适应第一ER内容部分240b-2、240b-3的某些部分行走。
在一些具体实施中,方法500还包括识别第一子集内满足对象呈现标准的对象;以及响应于确定第一子集内的对象满足对象呈现标准,将自适应第一ER内容部分放置在第一子集中所识别的对象内。在一些具体实施中,对象呈现标准对应于体积或访问阈值。例如,电子设备可识别客厅内满足特定体积大小的对象呈现标准和能够在顶部打开的访问阈值的行李箱;以及响应于确定客厅内的行李箱满足特定体积大小的对象呈现标准和能够在顶部打开的访问阈值,将自适应第一ER内容部分放置在客厅中所识别的行李箱内。
在一些具体实施中,方法500还包括确定物理布景内的多个子集之间的连接性矩阵;以及至少部分地基于物理布景内的多个子集之间的连接性矩阵生成附加ER内容,以便呈现附加ER内容。在一些具体实施中,至少部分地基于连接性矩阵生成一个或多个导航选项。例如,如图4A所示,电子设备确定物理布景内的房间之间的连接性矩阵,并且至少部分地基于连接性矩阵生成导航路径412。继续图4A中的示例,电子设备通过在走廊404中呈现附加ER内容来生成附加ER内容410a、410b,以便桥接物理布景内的多个子集。
在一些具体实施中,方法500还包括获取与第一子集相关联的第一环境特征集和与第二子集相关联的第二环境特征集,其中:生成自适应第一ER内容部分至少部分地基于第一子集的第一空间特征集和与第一子集相关联的第一环境特征集,并且生成自适应第二ER内容部分至少部分地基于第二子集的第二空间特征集和与第二子集相关联的第二环境特征集。在一些具体实施中,调节ER内容部分可基于环境特征,诸如房间类型、温度信息、照明信息、物理布景内的对象、当日时间或物理布景的背景颜色。
作为非限制性示例并参考图3A,电子设备124可被配置为基于物理布景内的子集的环境特征来呈现预先确定的内容的对应于不同生态系统的部分。继续非限制性示例,预先确定的内容的第一部分对应于地下生态系统,预先确定的内容的第二部分对应于草地生态系统,预先确定的内容的第三部分对应于森林生态系统,并且预先确定的内容的第四部分对应于荒漠生态系统。参考图3A,电子设备124可获取与房屋301内的不同房间相关联的环境特征。在该示例中,环境特征包括房间类型、温度信息或照明信息。
因此,电子设备124至少部分地基于环境特征(诸如地下室310位于地下、地下室310的冷的温度或地下室310的黑暗照明条件)在地下室310的视场311a的用户界面302中呈现对应于地下生态系统的自适应第一ER内容部分314。又如,电子设备124至少部分地基于环境特征(诸如厨房320的照明特征、厨房320的温暖的温度或房间为厨房320的事实)在厨房320的视场311b的用户界面302中呈现对应于草地生态系统的自适应第二ER内容部分316。再如,电子设备124至少部分地基于环境特征(诸如卧室位于房屋301的第二楼层上或卧室330的照明条件)在卧室330的视场311c的用户界面302中呈现对应于森林生态系统的自适应第三ER内容部分317。又如,电子设备124可至少部分地基于环境特征(诸如客厅340的热的温度)在客厅340的视场311d的用户界面302中呈现对应于荒漠生态系统的自适应第四ER内容部分318。
在一些具体实施中,方法500还包括经由电子设备的面向外的图像传感器获取对应于物理布景的图像数据,其中识别物理布景内的多个子集至少部分地基于图像数据,并且确定物理布景内的多个子集的空间特征集至少部分地基于图像数据帧。在一些具体实施中,图像数据对应于其他光学信息的视频透传。在一些具体实施中,图像数据对应于第一视频透传图像数据或第二视频透传图像数据。在一些具体实施中,如果图像数据对应于视频透传,则可将自适应ER内容部分合成到实时场景的视频透传内容中。在一些具体实施中,如果显示器122对应于实现物理布景的光学透传的加成显示器,则电子设备124通过将自适应ER内容投影或显示在加成显示器上来呈现ER内容,该自适应ER内容继而从用户的角度叠置在物理布景上。
图6是根据一些具体实施的示例性控制器(例如,图1中所示的控制器102)的框图。尽管示出了一些具体特征,但本领域的普通技术人员将从本公开中认识到,为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面,未示出各种其他特征。为此,作为非限制性示例,在一些具体实施中,控制器102包括一个或多个处理单元602(例如,微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、中央处理单元(CPU)、处理核心等)、一个或多个输入/输出(I/O)设备606、一个或多个通信接口608(例如,通用串行总线(USB)、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、全球移动通信系统(GSM)、码分多址(CDMA)、时分多址(TDMA)、全球定位系统(GPS)、红外(IR)、BLUETOOTH、ZIGBEE等类型接口)、一个或多个编程(例如,I/O)接口610、存储器620以及用于互连这些部件和各种其他部件的一条或多条通信总线604。
在一些具体实施中,一条或多条通信总线604包括互连并控制系统部件之间的通信的电路。在一些具体实施中,一个或多个I/O设备和传感器包括键盘、鼠标、触控板、操纵杆、一个或多个麦克风、一个或多个扬声器、一个或多个图像传感器、一个或多个显示器等中的至少一种。
存储器620包括高速随机存取存储器,诸如DRAM、SRAM、DDRRAM或其他随机存取固态存储器设备,并且可包括非易失性存储器,诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器620任选地包括与一个或多个处理单元602远程定位的一个或多个存储设备。存储器620包括非暂态计算机可读存储介质。在一些具体实施中,存储器620或存储器620的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集,其中包括操作系统630、管理模块640、识别模块650、内容适配器模块660和导航模块670。在一些具体实施中,一个或多个指令包括在逻辑部件和非暂态存储器的组合中。
操作系统630包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。
在一些具体实施中,管理模块640被配置为再现、管理和/或协调用于与不同用户相关联的一个或多个设备的一个或多个用户界面(例如,图1所示的用户界面128、图3B至图3F所示的用户界面302或图4A至图4C所示的用户界面402)。为此,在各种具体实施中,管理模块640包括数据获取单元642、内容管理器单元644和数据传输单元646。
在一些具体实施中,数据获取单元642被配置为至少从图1和图7所示的电子设备124获取数据(例如,呈现数据、用户交互数据、传感器数据、位置数据等)。为此,在各种具体实施中,数据获取单元642包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。
在一些具体实施中,内容管理器单元644被配置为管理和协调由图1和图7所示的电子设备124呈现给用户的用户界面。为此,在各种具体实施中,内容管理器单元644包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。
在一些具体实施中,数据传输单元646被配置为至少向图1和图7所示的电子设备124传输数据(例如,呈现数据、位置数据等)。为此,在各种具体实施中,数据传输单元646包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。
在一些具体实施中,识别模块650被配置为识别与物理布景相关联的多个子集,并且确定物理布景内的多个子集中的每个子集的空间特征集。为此,在各种具体实施中,识别单元650包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。
在一些具体实施中,内容适配器模块660被配置为通过识别最适合于每个内容部分的子集将ER内容的一部分逻辑地映射到满足映射标准的子集,并且将来自参考ER内容的ER内容的该部分调节到所识别子集的空间特征。为此,在各种具体实施中,内容适配器模块660包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
在一些具体实施中,导航模块670被配置为生成允许用户在第一子集和第二子集之间穿行的一个或多个导航选项。为此,在各种具体实施中,导航模块670包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
尽管管理模块640、识别模块650、内容适配器模块660和导航模块670被示出为驻留在单个设备(例如,控制器102)上,但应当理解,在一些具体实施中,管理模块640、识别模块650、内容适配器模块660和导航模块670的任何组合可位于单独的计算设备中。
在一些具体实施中,控制器102的功能由下文在图7中所示的电子设备124提供和/或与该电子设备结合。此外,图6更多地用作可能存在于特定实施方案中的各种特征的功能描述,与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的,单独显示的项目可以组合,并且一些项目可以分开。例如,图6中单独示出的一些功能模块可以在单个模块中实现,并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化,并且在一些具体实施中,部分地取决于为特定实施方案选择的硬件、软件和/或固件的特定组合。
图7是根据一些具体实施的示例性电子设备124(例如,移动电话、平板电脑、膝上型电脑、近眼系统等)的框图。尽管示出了一些具体特征,但本领域的普通技术人员将从本公开中认识到,为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面,未示出各种其他特征。出于该目的,作为非限制性示例,在一些具体实施中,电子设备124包括一个或多个处理单元702(例如,微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个I/O设备及传感器706、一个或多个通信接口708(例如,USB、IEEE 802.3x、IEEE 802.11x、IEEE802.16x、GSM、CDMA、TDMA、GPS、IR、BLUETOOTH、ZIGBEE和/或类似类型的接口)、一个或多个编程接口710、一个或多个显示器712、一个或多个图像传感器714、存储器720以及用于互连这些部件和各种其他部件的一条或多条通信总线704。
在一些具体实施中,该一条或多条通信总线704包括互连系统部件和控制系统部件之间的通信的电路。在一些具体实施中,一个或多个I/O设备和传感器706包括以下至少一项:惯性测量单元(IMU)、加速度计、陀螺仪、温度计、一个或多个生理传感器(例如,血压监测仪、心率监测仪、血氧传感器、血糖传感器等)、一个或多个麦克风、一个或多个扬声器、触觉引擎、加热和/或冷却单元、皮肤剪切引擎等。
在一些具体实施中,一个或多个显示器712能够呈现用户界面(例如,图1所示的用户界面128、图3B至图3F所示的用户界面302或图4A至图4C所示的用户界面402)或ER内容。在一些具体实施中,一个或多个显示器712还被配置为向用户呈现平面视频内容(例如,与电视剧或电影相关联的二维或“平面”音频视频交织(AVI)、闪速视频(FLV)、Windows媒体视频(WMV)等文件,或操作环境的实时视频透传)。在一些具体实施中,一个或多个显示器712对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射器显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)和/或相似显示器类型。在一些具体实施中,一个或多个显示器712对应于衍射、反射、偏振、全息等波导显示器。例如,电子设备124包括单个显示器。又如,电子设备124包括针对用户的每只眼睛的显示器。
在一些具体实施中,一个或多个图像传感器714被配置为获取图像数据帧。例如,一个或多个图像传感器714对应于一个或多个RGB相机(例如,具有CMOS图像传感器或CCD图像传感器)、红外(IR)图像传感器、基于事件的相机等。
存储器720包括高速随机存取存储器,诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些具体实施中,存储器720包括非易失性存储器,诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器720任选地包括与一个或多个处理单元702远程定位的一个或多个存储设备。存储器720包括非暂态计算机可读存储介质。在一些具体实施中,存储器720或存储器720的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集,其中包括任选的操作系统730和呈现模块740。
任选的操作系统730包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些具体实施中,呈现模块740被配置为经由一个或多个显示器712向用户呈现用户界面或ER内容。为此,在各种具体实施中,呈现模块740包括数据获取单元742、呈现单元744和数据传输单元746。
在一些具体实施中,数据获取单元742被配置为从与图1和图6所示的电子设备124或控制器102相关联的一个或多个I/O设备和传感器706中的至少一者获取数据(例如,呈现数据、交互数据、位置数据等)。为此,在各种具体实施中,数据获取单元742包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。
在一些具体实施中,呈现单元744被配置为经由一个或多个显示器712呈现用户界面(例如,图1所示的用户界面128、图3B至图3F所示的用户界面302或图4A至图4C所示的用户界面402)或ER体验。为此,在各种具体实施中,呈现单元744包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。
在一些具体实施中,数据传输单元746被配置为向图1和图6所示的控制器102传输数据(例如,呈现数据、位置数据等)。为此,在各种具体实施中,数据传输单元746包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。
尽管数据获取单元742、呈现单元744和数据传输单元746被示为驻留在单个设备(例如,图1或图7所示的电子设备124)上,但应当理解,在一些具体实施中,数据获取单元742、呈现单元744和数据传输单元746的任何组合可位于单独的计算设备中。在一些具体实施中,控制器102的功能和/或部件与电子设备124组合或由其提供。
此外,图7更多地用作可能存在于特定实施方案中的各种特征的功能描述,与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的,单独显示的项目可以组合,并且一些项目可以分开。例如,图7中单独示出的一些功能模块可在单个模块中实现,并且单个功能块的各种功能可在各种实施方案中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化,并且在一些具体实施中,部分地取决于为特定实施方案选择的硬件、软件和/或固件的特定组合。
虽然上文描述了在所附权利要求书范围内的具体实施的各个方面,但是应当显而易见的是,上述具体实施的各种特征可通过各种各样的形式体现,并且上述任何特定结构和/或功能仅是例示性的。基于本公开,本领域的技术人员应当理解,本文所述的方面可以独立于任何其他方面来实现,并且这些方面中的两个或更多个可以采用各种方式组合。例如,可以使用本文阐述的任何数量的方面来实现装置和/或可以实践方法。另外,除了本文阐述的一个或多个方面之外或者不同于本文阐述的一个或多个方面,可以使用其他结构和/或功能来实现这样的装置和/或可以实践这样的方法。
还将理解的是,虽然术语“第一”、“第二”等可能在本文中用于描述各种元素,但是这些元素不应当被这些术语限定。这些术语只是用于将一个元件与另一元件区分开。例如,第一子集可被称为第二子集,并且类似地,第二子集可被称为第一子集,这改变描述的含义,只要出现的“第一子集”被一致地重命名并且出现的“第二子集”被一致地重命名。第一子集和第二子集两者均为子集,但是它们并非同一子集。
本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求书中所使用的那样,单数形式的“一个”、“一”和“该”旨在也涵盖复数形式,除非上下文清楚地另有指示。还将理解的是,本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是,术语“包括”在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件,和/或其分组。
如本文所使用的,术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真,具体取决于上下文。类似地,短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真,具体取决于上下文。

Claims (28)

1.一种方法,所述方法包括:
在包括图像传感器、一个或多个处理器、非暂态存储器和显示器的电子设备处:
识别与物理布景相关联的多个子集;
确定所述物理布景内的所述多个子集中的每个子集的空间特征集,其中第一空间特征集表征所述多个子集中的第一子集的一个或多个尺寸,并且第二空间特征集表征所述多个子集中的第二子集的一个或多个尺寸;
至少部分地基于所述第一空间特征集生成所述多个子集中的所述第一子集的自适应第一增强型现实(ER)内容部分;
至少部分地基于所述第二空间特征集生成所述多个子集中的所述第二子集的自适应第二ER内容部分;以及
基于所述第一空间特征集和所述第二空间特征集生成允许用户在所述第一子集和所述第二子集之间穿行的一个或多个导航选项。
2.根据权利要求1所述的方法,其中所述第一空间特征集包括以下至少一项:所述多个子集中的所述第一子集的体积大小、所述多个子集中的所述第一子集内有物理对象的指示和所述多个子集中的所述第一子集的形状。
3.根据权利要求1至2中任一项所述的方法,其中所述一个或多个导航选项包括以下至少一项:所述多个子集中的所述第一子集和所述第二子集之间的路径指示符、所述多个子集中的所述第一子集和所述第二子集之间的圆形路径以及所述多个子集中的所述第一子集和所述第二子集之间的导航路径的确定。
4.根据权利要求1至3中任一项所述的方法,所述方法还包括:
确定所述物理布景内的所述多个子集之间的连接性矩阵;以及
至少部分地基于所述物理布景内的所述多个子集之间的所述连接性矩阵生成附加ER内容,以便呈现所述附加ER内容。
5.根据权利要求4所述的方法,其中至少部分地基于所述连接性矩阵生成所述一个或多个导航选项。
6.根据权利要求1至5中任一项所述的方法,其中生成所述自适应第一ER内容部分至少部分地基于确定与所述多个子集中的所述第一子集相关联的所述第一空间特征集是否满足针对预先确定的内容的所述第一ER内容部分的第一映射标准。
7.根据权利要求6所述的方法,所述方法还包括响应于确定与所述多个子集中的所述第一子集相关联的所述第一空间特征集满足所述第一映射标准,至少部分地基于所述多个子集中的所述第一子集的所述第一空间特征集来确定所述多个子集中的所述第一子集内的所述自适应第一ER内容部分的放置,其中呈现与第一透传图像数据合成的所述自适应第一ER内容部分包括根据所述放置来呈现所述自适应第一ER内容。
8.根据权利要求1至7中任一项所述的方法,所述方法还包括:
响应于确定满足第一呈现标准,在所述显示器上呈现叠置在所述设备的第一视场上的所述自适应第一ER内容部分,所述第一视场对应于所述物理布景的所述多个子集中的所述第一子集;以及
响应于确定满足第二呈现标准,在所述显示器上呈现叠置在所述设备的第二视场上的所述自适应第二ER内容部分,所述第二视场对应于所述物理布景的所述多个子集中的所述第二子集。
9.根据权利要求8所述的方法,其中所述第一呈现标准对应于以下至少一项:与所述自适应第一ER内容部分相关联的时间标准、所述多个子集中的所述第一子集的坐标、所述多个子集中的所述第二子集的坐标、所述第一ER内容部分和所述第二ER内容部分之间的邻接度以及所述电子设备的位置。
10.根据权利要求8所述的方法,其中在所述显示器上呈现所述多个子集中的所述第一子集中的所述自适应第一ER内容部分包括呈现与从所述多个子集中的所述第一子集移动到所述多个子集中的所述第二子集的所述第一ER内容部分相关联的一个或多个ER内容项。
11.根据权利要求1至10中任一项所述的方法,所述方法还包括获取与所述多个子集中的所述第一子集相关联的第一环境特征集和与所述多个子集中的所述第二子集相关联的第二环境特征集,其中:
生成所述自适应第一ER内容部分至少部分地基于所述多个子集中的所述第一子集的所述第一空间特征集和与所述多个子集中的所述第一子集相关联的所述第一环境特征集,并且
生成所述自适应第二ER内容部分至少部分地基于所述多个子集中的所述第二子集的所述第二空间特征集和与所述多个子集中的所述第二子集相关联的所述第二环境特征集。
12.根据权利要求11所述的方法,其中所述第一环境特征集中的环境特征对应于以下至少一项:房间类型、温度信息、照明信息、所述物理布景内的对象、当日时间和所述物理布景的背景颜色。
13.根据权利要求1至12中任一项所述的方法,其中生成所述自适应第一ER内容部分包括至少部分地基于所述多个子集中的所述第一子集的所述第一空间特征集将一个或多个ER内容项添加到所述第一ER内容部分。
14.根据权利要求1至13中任一项所述的方法,其中生成所述自适应第一ER内容部分包括至少部分地基于所述多个子集中的所述第一子集的所述第一空间特征集从所述第一ER内容部分中移除一个或多个ER内容项。
15.根据权利要求1至14中任一项所述的方法,其中生成所述自适应第一ER内容部分包括至少部分地基于所述多个子集中的所述第一子集的所述第一空间特征集缩放与所述第一ER内容部分相关联的一个或多个ER内容项。
16.根据权利要求1至15中任一项所述的方法,其中生成所述自适应第一ER内容部分包括至少部分地基于所述多个子集中的所述第一子集的所述第一空间特征集修改与所述第一ER内容部分相关联的可用交互集。
17.根据权利要求1至16中任一项所述的方法,其中所述第一ER内容部分与预先确定的内容内的第一主题场景相关联,并且所述第二ER内容部分与所述预先确定的内容内的第二主题场景相关联。
18.根据权利要求17所述的方法,其中所述预先确定的内容对应于时间线性曲线图,并且在呈现所述自适应第二ER内容部分之前呈现所述自适应第一ER内容部分。
19.根据权利要求1至18中任一项所述的方法,所述方法还包括:
识别所述多个子集中的所述第一子集内满足对象呈现标准的对象;以及
响应于确定所述多个子集中的所述第一子集内的所述对象满足所述对象呈现标准,将所述自适应第一ER内容部分放置在所述多个子集中的所述第一子集中所识别的所述对象内。
20.根据权利要求1至19中任一项所述的方法,所述方法还包括获取包括所述第一ER内容部分和所述第二ER内容部分的预先确定的内容,其中所述第一ER内容部分和所述第二ER内容部分是从数据库获取的。
21.根据权利要求1至20中任一项所述的方法,所述方法还包括生成包括所述第一ER内容部分和所述第二ER内容部分的涌现的ER内容。
22.根据权利要求1至21中任一项所述的方法,所述方法还包括经由所述电子设备的面向外的图像传感器获取对应于所述物理布景的图像数据,其中识别所述物理布景内的所述多个子集至少部分地基于所述图像数据,并且确定所述物理布景内的所述多个子集的所述第一空间特征集和所述第二空间特征集至少部分地基于所述图像数据。
23.根据权利要求22所述的方法,其中所述图像数据对应于第一视频透传图像数据或第二视频透传图像数据。
24.根据权利要求1至21中任一项所述的方法,其中所述显示器对应于加成显示器。
25.根据权利要求1至24中任一项所述的方法,其中所述电子设备对应于近眼系统、移动电话或平板电脑中的至少一者。
26.一种电子设备,所述电子设备包括:
图像传感器;
显示器;
一个或多个处理器;
非暂态存储器;和
存储在所述非暂态存储器中的一个或多个程序,所述一个或多个程序当由所述一个或多个处理器执行时使所述电子设备执行根据权利要求1至25所述的方法中的任一种方法。
27.一种存储一个或多个程序的非暂态存储器,所述一个或多个程序当由具有图像传感器和显示器的电子设备的一个或多个处理器执行时使所述电子设备执行根据权利要求1至25所述的方法中的任一种方法。
28.一种电子设备,所述电子设备包括:
图像传感器;
显示器;
一个或多个处理器;
非暂态存储器;和
用于使所述电子设备执行根据权利要求1至25所述的方法中的任一种方法的装置。
CN202080044092.7A 2019-06-25 2020-06-18 生成物理布景的空间特征的自适应虚拟内容 Pending CN113994386A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962866122P 2019-06-25 2019-06-25
US62/866,122 2019-06-25
PCT/US2020/038398 WO2020263669A1 (en) 2019-06-25 2020-06-18 Generating adapted virtual content to spatial characteristics of a physical setting

Publications (1)

Publication Number Publication Date
CN113994386A true CN113994386A (zh) 2022-01-28

Family

ID=71784632

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080044092.7A Pending CN113994386A (zh) 2019-06-25 2020-06-18 生成物理布景的空间特征的自适应虚拟内容

Country Status (4)

Country Link
US (1) US20220012951A1 (zh)
EP (1) EP3931672A1 (zh)
CN (1) CN113994386A (zh)
WO (1) WO2020263669A1 (zh)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10568502B2 (en) * 2016-03-23 2020-02-25 The Chinese University Of Hong Kong Visual disability detection system using virtual reality
US11010986B2 (en) * 2018-08-30 2021-05-18 Apple Inc. Virtual object kit

Also Published As

Publication number Publication date
WO2020263669A1 (en) 2020-12-30
EP3931672A1 (en) 2022-01-05
US20220012951A1 (en) 2022-01-13

Similar Documents

Publication Publication Date Title
US11348316B2 (en) Location-based virtual element modality in three-dimensional content
US11804019B2 (en) Media compositor for computer-generated reality
US20190371072A1 (en) Static occluder
CN112074800B (zh) 用于在沉浸水平之间切换的技术
US20240054734A1 (en) Method and device for presenting an audio and synthesized reality experience
US20230215079A1 (en) Method and Device for Tailoring a Synthesized Reality Experience to a Physical Setting
JP2022172061A (ja) 推奨を配信する方法、デバイス、及びシステム
US10984607B1 (en) Displaying 3D content shared from other devices
US11321926B2 (en) Method and device for content placement
CN113678173A (zh) 用于虚拟对象的基于图绘的放置的方法和设备
KR20200099590A (ko) 합성 현실 컴패니언 콘텐츠를 프레젠테이션하기 위한 방법 및 디바이스
JP2024512040A (ja) マップのためのデバイス、方法、及びグラフィカルユーザインタフェース
CN113994386A (zh) 生成物理布景的空间特征的自适应虚拟内容
CN112639889A (zh) 内容事件映射
US11308716B1 (en) Tailoring a computer-generated reality experience based on a recognized object
US10964056B1 (en) Dense-based object tracking using multiple reference images
US20230281933A1 (en) Spatial video capture and replay
US11386653B2 (en) Method and device for generating a synthesized reality reconstruction of flat video content

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination