CN112987914A - 用于内容放置的方法和设备 - Google Patents

用于内容放置的方法和设备 Download PDF

Info

Publication number
CN112987914A
CN112987914A CN202011458325.6A CN202011458325A CN112987914A CN 112987914 A CN112987914 A CN 112987914A CN 202011458325 A CN202011458325 A CN 202011458325A CN 112987914 A CN112987914 A CN 112987914A
Authority
CN
China
Prior art keywords
content
environment
implementations
content placement
candidate content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011458325.6A
Other languages
English (en)
Other versions
CN112987914B (zh
Inventor
S·纳加拉贾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN112987914A publication Critical patent/CN112987914A/zh
Application granted granted Critical
Publication of CN112987914B publication Critical patent/CN112987914B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1407—General aspects irrespective of display type, e.g. determination of decimal point position, display with fixed or driving decimal point, suppression of non-significant zeros
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/04—Architectural design, interior design

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本公开涉及用于内容放置的方法和设备。在一些具体实施中，一种方法包括：获取环境的表示；基于所述环境的所述表示确定所述环境内的多个候选内容放置位置；确定所述多个候选内容放置位置的表征参数；获取基于与扩展现实(XR)内容相关联的内容参数和所述多个候选内容放置位置中相应候选内容放置位置的表征参数之间的匹配而选择的XR内容；以及经由显示设备在环境内的相应候选内容放置位置处显示XR内容。

Description

用于内容放置的方法和设备
相关申请的交叉引用
本申请要求于2019年12月18日提交的美国临时专利申请号62/949,944的权益，该申请全文以引用方式并入。
技术领域
本公开整体涉及内容放置，并且具体地讲，涉及用于虚拟或扩展现实(XR)环境中的内容放置的系统、方法和设备。
背景技术
在一些情况下，视频游戏或其他媒体中的典型内容放置既是静态的又是由媒体创建方手动放置的。相比之下，根据一些具体实施，针对候选内容放置位置解析虚拟环境或XR环境。此外，确定那些候选内容放置位置的表征参数(例如，上下文元数据)，以便在将XR内容放置在其上时作出更明智的决定。
附图说明
因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。
图1是根据一些具体实施的示例性操作架构的框图。
图2是根据一些具体实施的示例性控制器的框图。
图3是根据一些具体实施的示例性电子设备的框图。
图4是根据一些具体实施的示例性数据处理架构的框图。
图5A至图5C示出了根据一些具体实施的扩展现实(XR)呈现场景的实例序列。
图6A至图6C示出了根据一些具体实施的XR呈现场景的实例序列。
图7示出了根据一些具体实施的示例性数据结构的框图。
图8是根据一些具体实施的内容放置方法的流程图表示。
根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。
发明内容
本文公开的各种具体实施包括用于“智能”内容放置的设备、系统和方法。根据一些具体实施，该方法在包括非暂态存储器和一个或多个处理器的计算系统处执行，其中计算系统通信地耦接到显示设备和一个或多个输入设备。该方法包括：获取环境(有时也称为“XR环境”或“图形环境”)的表示；基于环境的表示确定环境内的多个候选内容放置位置；确定多个候选内容放置位置的表征参数；获取基于与扩展现实(XR)内容相关联的内容参数和多个候选内容放置位置中相应候选内容放置位置的表征参数之间的匹配而选择的XR内容；以及经由显示设备在环境内的相应候选内容放置位置处显示XR内容。
根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或使得执行本文所述方法中的任一种的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，这些指令在由设备的一个或多个处理器执行时使该设备执行或使执行本文所述方法中的任一种。根据一些具体实施，一种设备包括：一个或多个处理器、非暂态存储器以及用于执行或使执行本文所述方法中的任一种的装置。
根据一些具体实施，一种计算系统包括一个或多个处理器、非暂态存储器、用于与显示设备和一个或多个输入设备进行通信的接口、以及一个或多个程序；一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且一个或多个程序包括用于执行或导致执行本文所述的方法中的任一种方法的操作的指令。根据一些具体实施，一种非暂态计算机可读存储介质具有存储在其中的指令，该指令在由具有用于与显示设备和一个或多个输入设备进行通信的接口的计算系统的一个或多个处理器执行时，使得计算系统执行或导致执行本文所述的方法中的任一种方法的操作。根据一些具体实施，一种计算系统包括一个或多个处理器、非暂态存储器、用于与显示设备和一个或多个输入设备通信的接口、以及用于执行或导致执行本文所述的方法中的任一种方法的操作的装置。
具体实施方式
描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将理解，其他有效方面和/或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。
物理环境是指人们在没有电子系统帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品，诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。
相反，扩展现实(XR)环境是指人们经由电子系统感知和/或交互的完全或部分模拟的环境。在XR中，跟踪人的物理运动的子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在XR环境中模拟的一个或多个XR对象的一个或多个特征。例如，XR系统可以检测人的头部转动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，对XR环境中XR对象的特征的调节可以响应于物理运动的表示(例如，声音命令)来进行。
人可以利用其感觉中的任一者来感测XR对象和/或与XR对象交互，包括视觉、听觉、触觉、味觉和嗅觉。例如，人可以感测音频对象和/或与音频对象交互，该音频对象创建3D或空间音频环境，该3D或空间音频环境提供3D空间中点音频源的感知。又如，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些XR环境中，人可以感测和/或只与音频对象交互。
虚拟现实(VR)环境是指被设计成对于一个或多个感觉完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟、和/或通过在计算机生成的环境内人的物理移动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。
与被设计成完全基于计算机生成的感官输入的VR环境相比，混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如，虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上，混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况，但不包括这两端。
在一些MR环境中，计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外，用于呈现MR环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向，以使虚拟对象能够与真实世界对象(即，来自物理环境的物理物品或其表示)交互。例如，系统可以导致移动使得虚拟树木相对于物理地面看起来是静止的。
增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或其表示之上的模拟环境。例如，用于呈现AR环境的电子系统可具有透明或半透明显示器，人可以透过该显示器直接查看物理环境。该系统可以被配置为在透明或半透明显示器上呈现虚拟对象，使得人利用该系统感知叠加在物理环境之上的虚拟对象。另选地，系统可以具有不透明显示器和一个或多个成像传感器，该成像传感器捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合，并在不透明显示器上呈现组合物。人利用系统经由物理环境的图像或视频而间接地查看物理环境，并且感知叠加在物理环境之上的虚拟对象。如本文所用，在不透明显示器上显示的物理环境的视频被称为“透传视频”，意味着系统使用一个或多个图像传感器捕获物理环境的图像，并且在不透明显示器上呈现AR环境时使用那些图像。进一步另选地，系统可以具有投影系统，该投影系统将虚拟对象投射到物理环境中，例如作为全息图或者在物理表面上，使得人利用该系统感知叠加在物理环境之上的虚拟对象。
增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如，在提供透传视频中，系统可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如，视点)。又如，物理环境的表示可以通过图形地修改(例如，放大)其部分而进行转换，使得经修改部分可以是原始捕获图像的代表性的但不是真实的版本。再如，物理环境的表示可以通过以图形方式消除其部分或将其部分进行模糊处理而进行转换。
增强虚拟(AV)环境是指虚拟或计算机生成环境结合了来自实体环境的一项或多项感官输入的模拟环境。感官输入可以是物理环境的一个或多个特性的表示。例如，AV公园可以具有虚拟树木和虚拟建筑物，但人的脸部是从对物理人拍摄的图像逼真再现的。又如，虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如，虚拟对象可以采用符合太阳或另一光源在物理环境中的定位的阴影。
有许多不同类型的电子系统使人能够感测和/或与各种XR环境交互。示例包括近眼系统、基于投影的系统、平视显示器(HUD)、具有集成显示能力的车辆挡风玻璃、具有集成显示能力的窗户、被形成为被设计用于放置在人眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如，具有或没有触觉反馈的可穿戴或手持控制器)、智能电话、平板电脑、和台式/膝上型计算机。近眼系统可具有一个或多个扬声器和集成的不透明显示器。另选地，近眼系统可被配置为接受外部不透明显示器(例如，智能电话)。近眼系统可结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。近眼系统可具有透明或半透明显示器，而不是不透明显示器。显示器可利用数字光投影、微机电系统(MEMS)、数字微镜器件(DMD)、有机发光二极管(OLED)、发光二极管(LED)、微型发光二极管(μLED)、硅基液晶(LCoS)、激光扫描光源或这些技术的任何组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个具体实施中，透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置为将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。
图1是根据一些具体实施的示例性操作架构100的框图。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，操作架构100包括可选的控制器110和电子设备120(例如，平板电脑、移动电话、膝上型电脑、近眼系统、可穿戴计算设备等)。
在一些具体实施中，控制器110被配置为管理和协调用户150和零个或多个其他用户的XR体验(在本文中有时也称为“XR环境”或“虚拟环境”或“图形环境”)。在一些具体实施中，控制器110包括软件、固件和/或硬件的合适组合。下文参考图2更详细地描述控制器110。在一些具体实施中，控制器110是相对于物理环境105处于本地或远程位置的计算设备。例如，控制器110是位于物理环境105内的本地服务器。在另一个示例中，控制器110是位于物理环境105之外的远程服务器(例如，云服务器、中央服务器等)。在一些具体实施中，控制器110经由一个或多个有线或无线通信信道144(例如，蓝牙、IEEE 802.11x、IEEE802.16x、IEEE 802.3x等)与电子设备120通信地耦接。在一些具体实施中，控制器110的功能由电子设备120提供。这样，在一些具体实施中，控制器110的部件集成到电子设备120中。
在一些具体实施中，电子设备120被配置为向用户150呈现音频和/或视频(A/V)内容。在一些具体实施中，电子设备120被配置为向用户150呈现用户界面(UI)和/或XR环境128。在一些具体实施中，电子设备120包括软件、固件和/或硬件的合适组合。下文参考图3更详细地描述电子设备120。
根据一些具体实施，当用户150物理地存在于物理环境105内时，电子设备120向用户150呈现XR体验，其中物理环境105包括处于电子设备120的视场(FOV)111内的桌子107。这样，在一些具体实施中，用户150将电子设备120拿在他/她的一只或两只手中。在一些具体实施中，在呈现XR体验时，电子设备120被配置为呈现XR内容(在本文中有时也被称为“图形内容”或“虚拟内容”)，包括XR圆柱体109，并使得能够实现显示器122上物理环境105(例如，包括桌子107)的视频透传。例如，电子设备120对应于近眼系统、移动电话、平板电脑、膝上型电脑、可穿戴计算设备等。
在一些具体实施中，显示器122对应于使得能够实现物理环境105(包括桌子107)的光学透传的加成显示器。例如，显示器122对应于透明透镜，并且电子设备120对应于用户150佩戴的一副眼镜。因此，在一些具体实施中，电子设备120通过将XR内容(例如，XR圆柱体109)投影到加成显示器上而呈现用户界面，其继而从用户150的角度叠置在物理环境105上。在一些具体实施中，电子设备120通过将XR内容(例如，XR圆柱体109)显示在加成显示器上而呈现用户界面，其继而从用户150的角度叠置在物理环境105上。
在一些具体实施中，用户150穿戴电子设备120，诸如近眼系统。因此，电子设备120包括被提供以显示XR内容的一个或多个显示器(例如，单个显示器或每只眼睛一个显示器)。例如，电子设备120包围用户150的FOV。在此类具体实施中，电子设备120通过在一个或多个显示器上显示对应于XR环境128的数据或者通过将对应于XR环境128的数据投影到用户150的视网膜上来呈现XR环境128。
在一些具体实施中，电子设备120包括显示XR环境128的集成显示器(例如，内置显示器)。在一些具体实施中，电子设备120包括可头戴式壳体。在各种具体实施中，可头戴式壳体包括附接区，具有显示器的另一设备可附接到该附接区。例如，在一些具体实施中，电子设备120可附接到可头戴式壳体。在各种具体实施中，可头戴式壳体被成形为形成用于接收包括显示器的另一设备(例如，电子设备120)的接收器。例如，在一些具体实施中，电子设备120滑动/卡扣到可头戴式壳体中或以其他方式附接到该可头戴式壳体。在一些具体实施中，附接到可头戴式壳体的设备的显示器呈现(例如，显示)XR环境128。在一些具体实施中，将电子设备120替换成被配置为呈现XR内容的XR室、壳体或房间，在其中用户150不穿戴电子设备120。
在一些具体实施中，控制器110和/或电子设备120使得用户150的XR表示基于来自电子设备120和/或物理环境105内的可选的远程输入设备的移动信息(例如，身体姿态数据、眼睛跟踪数据、手/肢体/手指/末端跟踪数据等)在XR环境128内移动。在一些具体实施中，可选的远程输入设备对应于物理环境105内的固定或可移动的感官设备(例如，图像传感器、深度传感器、红外(IR)传感器、事件相机、麦克风等)。在一些具体实施中，每个远程输入设备被配置为在用户150物理地在物理环境105内时收集/捕获输入数据并且将输入数据提供给控制器110和/或电子设备120。在一些具体实施中，远程输入设备包括麦克风，并且输入数据包括与用户150相关联的音频数据(例如，语音样本)。在一些具体实施中，远程输入设备包括图像传感器(例如，相机)，并且输入数据包括用户150的图像。在一些具体实施中，输入数据表征用户150在不同时间的身体姿态。在一些具体实施中，输入数据表征用户150在不同时间的头部姿态。在一些具体实施中，输入数据表征在不同时间与用户150的手相关联的手跟踪信息。在一些具体实施中，输入数据表征用户150的身体部分(诸如他/她的手)的速度和/或加速度。在一些具体实施中，输入数据指示用户150的关节方位和/或关节取向。在一些具体实施中，远程输入设备包括反馈设备，诸如扬声器、灯等。
图2是根据一些具体实施的控制器110的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，控制器110包括一个或多个处理单元202(例如，微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、中央处理单元(CPU)、处理内核等)、一个或多个输入/输出(I/O)设备206、一个或多个通信接口208(例如，通用串行总线(USB)、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、全球移动通信系统(GSM)、码分多址(CDMA)、时分多址(TDMA)、全球定位系统(GPS)、红外(IR)、蓝牙、ZIGBEE和/或类似类型的接口)、一个或多个编程(例如，I/O)接口210、存储器220以及用于互连这些部件和各种其他部件的一条或多条通信总线204。
在一些具体实施中，所述一条或多条通信总线204包括互连系统部件和控制系统部件之间的通信的电路。在一些具体实施中，一个或多个I/O设备206包括键盘、鼠标、触控板、操纵杆、一个或多个麦克风、一个或多个扬声器、一个或多个图像传感器、一个或多个显示器等中的至少一种。
存储器220包括高速随机存取存储器，诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、双倍数据速率随机存取存储器(DDR RAM)或者其他随机存取固态存储器设备。在一些具体实施中，存储器220包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器220任选地包括远离所述一个或多个处理单元202定位的一个或多个存储设备。存储器220包括非暂态计算机可读存储介质。在一些具体实施中，存储器220或者存储器220的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括任选的操作系统230和内容管理引擎240。
操作系统230包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。
在一些具体实施中，内容管理引擎240被配置为管理和协调一个或多个用户的一次或多次XR体验(在本文中有时也称为“XR环境”)(例如，一个或多个用户的单次XR体验，或一个或多个用户的相应群组的多次XR体验)。为此，在各种具体实施中，内容管理引擎240包括数据获取器242、标测器和定位器引擎244、隐私子系统410、场景分析器420、内容放置器430、呈现引擎450和数据传输器262。
在一些具体实施中，数据获取器242被配置为从控制器110的I/O设备206、电子设备120、和可选的远程输入设备170A和170B中的至少一者获取数据(例如，呈现数据、输入数据、图像帧、用户交互数据、头部跟踪信息、相机姿态跟踪信息、眼睛跟踪信息、手/肢体跟踪信息、深度信息、传感器数据、位置数据等)。为此，在各种具体实施中，数据获取器242包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
在一些具体实施中，标测器和定位器引擎244被配置为标测物理环境105以及跟踪至少电子设备120相对于物理环境105的方位/位置。为此，在各种具体实施中，映射器和定位器引擎244包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。
在一些具体实施中，隐私子系统410被配置为基于一个或多个隐私过滤器来移除、模糊、匿名化或以其他方式保护用户信息和/或识别信息(例如，图4中的环境的表示的至少某个部分)。下文参考图4更详细地描述隐私子系统410。为此，在各种具体实施中，隐私子系统410包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
在一些具体实施中，场景分析器420被配置为处理环境的表示(例如，由面向外部的图像传感器捕获的物理环境105的一个或多个图像帧，或XR环境的3D网格)。在一些具体实施中，场景分析器420确定物理环境内满足内容放置标准的多个候选内容放置位置。在一些具体实施中，场景分析器420也确定多个候选内容放置位置中每一者的表征矢量包括多个表征参数。下文参考图4更详细地描述场景分析器420。此外，下文参考图7更详细地描述表征矢量。为此，在各种具体实施中，场景分析器420包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
在一些具体实施中，内容放置器430被配置为在多个候选内容放置位置中为相应的候选内容放置位置选择XR内容。下文参考图4更详细地描述内容放置器430。为此，在各种具体实施中，内容放置器430包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
在一些具体实施中，呈现引擎450被配置为生成(即，呈现)、管理和修改呈现给用户的内容和/或XR环境。为此，在各种具体实施中，呈现引擎450包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。为此，在一些具体实施中，呈现引擎450包括查看矢量管理器247以及交互和操纵引擎248。
在一些具体实施中，查看矢量管理器247被配置为基于来自电子设备120的和/或与电子设备120的用户150相关联的身体姿态跟踪信息、头部跟踪信息、相机姿态跟踪信息、眼睛跟踪信息、手/肢体跟踪信息、固有相机参数等获取(例如，接收、检索或生成)和更新查看矢量。下文参考图7更详细地描述查看矢量。为此，在各种具体实施中，查看矢量管理器247包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。
在一些具体实施中，交互和操纵引擎248被配置为解释针对内容和/或XR环境的用户交互和/或修改输入。在一些具体实施中，交互和操纵引擎248也被配置为在查看矢量改变时(例如，由于电子设备120的平移和/或旋转移动)更新XR环境。为此，在各种具体实施中，交互和操纵引擎248包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
在一些具体实施中，数据传输器262被配置为至少向电子设备120传输数据(例如，呈现数据诸如与XR环境相关联的经渲染的图像帧、位置数据等)。为此，在各种具体实施中，数据传输器262包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
尽管数据获取器242、标测器和定位器引擎244、隐私子系统410、场景分析器420、内容放置器430、呈现引擎450和数据传输器262被图示成驻留在单个设备(例如，控制器110)上，但应当理解，在其他具体实施中，数据获取器242、标测器和定位器引擎244、隐私子系统410、场景分析器420、内容放置器430、呈现引擎450和数据传输器262的任何组合可位于分开的计算设备中。
在一些具体实施中，控制器110的功能和/或部件与下文在图3中所示的电子设备120组合或由其提供。此外，图2更多地用作存在于特定具体实施中的各种特征部的功能描述，而不是本文所述的具体实施的结构示意图。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图2中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定实施方案选择的硬件、软件和/或固件的特定组合。
图3是根据一些具体实施的电子设备120(例如，移动电话、平板电脑、膝上型电脑、可穿戴计算设备等)的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。出于该目的，作为非限制性示例，在一些具体实施中，电子设备120包括一个或多个处理单元302(例如，微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备及传感器306、一个或多个通信接口308(例如，USB、IEEE 802.3x、IEEE802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、BLUETOOTH、ZIGBEE和/或类似类型的接口)、一个或多个编程(例如，I/O)接口310、一个或多个显示器312、一个或多个任选的面向内部和/或面向外部的图像传感器314、存储器320以及用于互连这些部件和各种其他部件的一条或多条通信总线304。
在一些具体实施中，一条或多条通信总线304包括互连和控制系统部件之间的通信的电路。在一些具体实施中，一个或多个I/O设备及传感器306包括惯性测量单元(IMU)、加速度计、陀螺仪、磁力仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测仪、血氧传感器、血糖传感器等)、一个或多个麦克风、一个或多个扬声器、触觉引擎、加热和/或冷却单元、皮肤剪切引擎、一个或多个深度传感器(例如，结构化光、飞行时间、LiDAR等)、眼睛跟踪引擎、身体姿态跟踪引擎、手/肢体跟踪引擎、头部姿态跟踪引擎、相机姿态跟踪引擎等中的至少一者。
在一些具体实施中，一个或多个显示器312被配置为向用户呈现XR体验。在一些具体实施中，一个或多个显示器312也被配置为向用户呈现平面视频内容(例如，与电视剧或电影相关联的二维或“平面”AVI、FLV、WMV、MOV、MP4等文件，或物理环境105的实时视频透传)。在一些具体实施中，一个或多个显示器312对应于触摸屏显示器。在一些具体实施中，一个或多个显示器312对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射器显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)和/或相似显示器类型。在一些具体实施中，一个或多个显示器312对应于衍射、反射、偏振、全息等波导显示器。例如，电子设备120包括单个显示器。又如，电子设备120包括针对用户的每只眼睛的显示器。在一些具体实施中，一个或多个显示器312能够呈现AR和VR内容。在一些具体实施中，一个或多个显示器312能够呈现AR或VR内容。
在一些具体实施中，一个或多个任选的面向内部和/或外部的图像传感器314对应于一个或多个RGB相机(例如，具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器)、IR图像传感器、基于事件的相机等。
存储器320包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些具体实施中，存储器320包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器320任选地包括远离一个或多个处理单元302定位的一个或多个存储设备。存储器320包括非暂态计算机可读存储介质。在一些具体实施中，存储器320或者存储器320的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括可选的操作系统330和呈现引擎340。
操作系统330包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些具体实施中，呈现引擎340被配置为经由一个或多个显示器312向用户呈现内容和/或XR环境。出于该目的，在各种具体实施中，呈现引擎340包括数据获取器342、呈现器344、交互处理器346和数据传输器350。
在一些具体实施中，数据获取器342被配置为从电子设备120的I/O设备及传感器306、控制器110、和远程输入设备170A和170B中的至少一者获取数据(例如，呈现数据，诸如与XR环境相关联的经渲染的图像帧、输入数据、用户交互数据、头部跟踪信息、相机姿态跟踪信息、眼睛跟踪信息、身体姿态跟踪信息、手/肢体跟踪信息、传感器数据、位置数据等)。为此，在各种具体实施中，数据获取器342包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
在一些具体实施中，呈现器344被配置为经由一个或多个显示器312呈现和更新内容和/或XR环境(例如，与XR环境相关联的经渲染的图像帧)。为此，在各种具体实施中，呈现器344包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
在一些具体实施中，交互处理器346被配置为检测用户与所呈现的内容和/或XR环境的交互。为此，在各种具体实施中，交互处理器346包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。
在一些具体实施中，数据传输器350被配置为将数据(例如，呈现数据、位置数据、图像帧、用户交互数据、头部跟踪信息、相机姿态跟踪信息、眼睛跟踪信息、身体姿态跟踪信息、手/肢体跟踪信息、深度信息、传感器数据等)至少传输给控制器110。为此，在各种具体实施中，数据传输器350包括指令和/或用于这些指令的逻辑以及启发法和用于该启发法的元数据。
尽管数据获取器342、呈现器344、交互处理器346和数据传输器350被图示成驻留在单个设备(例如，电子设备120)上，但应当理解，在其他具体实施中，数据获取器342、呈现器344、交互处理器346和数据传输器350的任何组合可位于分开的计算设备中。
此外，图3更多地用作存在于特定具体实施中的各种特征部的功能描述，而不是本文所述具体实施的结构示意。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图3中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定实施方案选择的硬件、软件和/或固件的特定组合。
图4是根据一些具体实施的示例性数据处理架构400的框图。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，数据处理架构400包括隐私子系统410、场景分析器420、内容放置器430和呈现引擎450。在一些具体实施中，数据处理架构400被包括在图1和图2所示的控制器110；图1和图3所示的电子设备120；和/或它们的合适组合中。
如图4所示，用于数据处理架构400的输入对应于环境的表示402(例如，物理环境105的一个或多个输入图像帧，或XR环境的3D网格)。例如，物理环境105的一个或多个输入图像帧由图1中的电子设备120的面向外部的图像传感器捕获。在该示例中，环境的表示402对应于图1中的物理环境105的当前视点。
在各种具体实施中，数据处理架构400包括隐私子系统410，该隐私子系统包括与用户信息和/或识别信息(例如，物理环境105的一个或多个输入图像帧的至少一部分，或XR环境的3D网格)相关联的一个或多个隐私过滤器。在一些具体实施中，隐私子系统410包括选择加入特征部，其中设备通知用户正在监视什么用户信息和/或识别信息以及将如何使用用户信息和/或识别信息。在一些具体实施中，隐私子系统410选择性地防止和/或限制数据处理架构400或其部分获取和/或传输用户信息。为此，隐私子系统410响应于提示用户进行用户偏好和/或选择来从用户接收用户偏好和/或选择。在一些具体实施中，隐私子系统410防止数据处理架构400获取和/或传输用户信息，除非并且直到隐私子系统410从用户获取到知情同意。在一些具体实施中，隐私子系统410匿名化(例如，加扰或模糊)某些类型的用户信息(例如，物理环境105的一个或多个输入图像帧的至少一部分，或XR环境的3D网格)。例如，隐私子系统410接收指定隐私子系统410匿名化哪些类型的用户信息的用户输入。又如，隐私子系统410独立于用户指定(例如，自动地)匿名化可能包括敏感和/或识别信息的某些类型的用户信息(例如，物理环境105的一个或多个输入图像帧的至少一部分，或XR环境的3D网格)。
在各种具体实施中，数据处理架构400包括场景分析器420，该场景分析器被配置为处理与物理环境相关联的(例如，由面向外部的图像传感器捕获的)环境的表示402。在一些具体实施中，场景分析器420(例如，基于语义分割、平面识别和/或其他图像处理技术)确定物理环境内满足内容放置标准的多个候选内容放置位置。例如，当候选放置位置对应于平坦表面、未商标标注表面、非杂乱周围区域、非分散注意力/危险位置、尺寸为至少X×Ycm的表面积等时，内容放置标准得到满足。
在一些具体实施中，场景分析器420也为多个候选内容放置位置中的每个候选内容放置位置确定表征矢量414，其中表征矢量414包括多个表征参数。例如，包括在相应候选内容放置位置412的表征矢量414中的多个表征参数包括：相应候选内容放置位置412相对于相机方位/姿态的角度；相对于相机方位/姿态的与相应候选内容放置位置412相关联的速度和加速度值；与相应候选内容放置位置412相关联的颜色和纹理信息；与相应候选内容放置位置412相关联的维度、体积、表面积等；与相应候选内容放置位置412相关联的对比度和亮度信息；与相应候选内容放置位置412相关联的语义信息(例如，对象或表面的类型)；等等。下文参考图7更详细地讨论相应候选放置位置的表征矢量。
在各种具体实施中，数据处理架构400包括内容放置器430，该内容放置器被配置为在多个候选内容放置位置中为相应候选内容放置位置412选择XR内容434。作为一个示例，内容放置器430根据确定与XR内容434相关联的内容参数(例如，纹理、颜色、亮度、尺寸等)和相应候选内容放置412的表征参数之间的匹配、比较或差异，选择要放置在相应候选内容放置412位置处的XR内容434。在一些具体实施中，当满足选择标准时，内容放置器430确定XR内容434与相应候选内容放置412之间发生匹配。例如，选择标准对应于与XR内容434相关联的内容参数与相应候选内容放置位置412的表征参数之间的阈值方差。
在一些具体实施中，内容放置器430对应于本地内容管理器，其基于其他信息432(诸如与电子设备120相关联的当前GPS坐标)(例如，特定于位置的XR内容)、用户偏好、设备使用历史、搜索历史、与电子设备120的用户的一个或多个社交媒体简档相关联的社交媒体内容等等将XR内容放置在多个候选内容放置位置中的至少一些中。在一些具体实施中，内容放置器430对应于应用编程接口(API)，其使得第三方能够放置XR内容(例如，针对第三方广告放置拍卖多个候选内容放置位置)。
在各种具体实施中，数据处理架构400包括在相应候选内容放置位置412处呈现XR内容434的呈现引擎450。作为一个示例，当电子设备120对应于光学透传具体实施时，电子设备120将XR内容434投影到光学透传显示器(例如，加成显示器)上，使得XR内容434看起来被显示在相应候选内容放置位置412处。又如，当电子设备120对应于视频透传具体实施时，控制器110、电子设备120、或其合适的组合将XR内容434与环境的表示402合成，使得所得的经渲染的图像帧452显示在相应候选内容放置位置412处放置在物理环境内的XR内容434。继续该示例，电子设备120显示所得的经渲染的图像帧452。
图4更多地用作存在于特定具体实施中的各种特征部的功能描述，而不是本文所述的具体实施的结构示意图。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图4中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定实施方案选择的硬件、软件和/或固件的特定组合。
图5A至图5C示出了根据一些具体实施的扩展现实(XR)呈现场景的实例510、520和530的序列。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。
如图5A至图5C所示，XR呈现场景包括物理环境105和显示在电子设备120的显示器122上的XR环境550。当用户150物理地存在于物理环境105内时，电子设备120向用户150呈现XR环境550，该物理环境105包括电子设备120的面向外部的图像传感器的FOV 111内的桌子107。因此，在一些具体实施中，用户150将电子设备120握持在他/她的手中，类似于图1中的操作环境100。
换句话讲，在一些具体实施中，电子设备120被配置为呈现XR内容并使得能够实现显示器122上物理环境105(例如，包括桌子107)的至少一部分的光学透传或视频透传(例如，XR环境550)。例如，电子设备120对应于移动电话、平板电脑、膝上型电脑、可穿戴计算设备等。
如图5A所示，在呈现场景的实例510(例如，与时间T1相关联)期间，电子设备120呈现XR环境550，其包括显示器122上物理环境105的至少一部分(例如，包括桌子107)的视频透传。
如图5B所示，在呈现场景的实例520(例如，与时间T2相关联)期间，控制器110、电子设备120或其合适的组合分析XR环境550，并且通过确定位置522、524和526中的什么位置满足内容放置标准来确定多个候选内容放置位置。例如，当位置对应于至少Xcm×Ycm的平坦表面，位置相对于电子设备120的面向外部的图像传感器处于小于Z度角、以及位置不导致遮挡时，内容放置标准得到满足。
在与图5B相关联的示例中，位置522不满足内容放置标准，因为位置522遮挡物理环境105内的门道。如图5B所示，位置524不满足内容放置标准，因为位置524相对于电子设备120的面向外部的图像传感器以大于Z度的倾斜角度定位。
在图5B中，位置526满足内容放置标准，因为位置526对应于至少Xcm×Ycm的平坦表面，相对于电子设备120的面向外部的图像传感器以小于Z度角定位，以及不遮挡物理环境105内的任何对象(例如，对应于无遮挡的平坦表面的桌子107)。
如图5C所示，在呈现场景的实例530(例如，与时间T3相关联)期间，电子设备120呈现XR环境550，其包括显示器122上物理环境105的至少一部分(例如，包括桌子107)的视频透传和位置526处的XR内容560。例如，在一些具体实施中，XR内容560可以是静态或动态的。例如，在一些具体实施中，XR内容560可响应于检测到与XR内容560的用户交互而从静态模式(例如，静止)转变到动态模式(例如，动画或其他移动)。例如，在一些具体实施中，XR内容560可响应于检测到用户150的注视方向已在XR内容560上停留至少预定义的持续时间而从静态模式转变到动态模式。
图6A至图6C示出了根据一些具体实施的扩展现实(XR)呈现场景的实例610、620和630的序列。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。
如图6A至图6C所示，XR呈现场景包括物理环境600和显示在电子设备120的显示器122上的XR环境650。当用户150物理地存在于物理环境600(例如，厨房)内时，电子设备120向用户150呈现XR环境650，该物理环境包括在电子设备120的面向外部的图像传感器的FOV111内的一组橱柜612、台面614、冰箱616、厨房岛618、咖啡机622和一堆餐具624。因此，在一些具体实施中，用户150将电子设备120握持在他/她的手中，类似于图1中的操作环境100。
换句话讲，在一些具体实施中，电子设备120被配置为呈现XR内容并使得能够实现显示器122上物理环境600的至少一部分的光学透传或视频透传(例如，XR环境650)。例如，电子设备120对应于移动电话、平板电脑、膝上型电脑、可穿戴计算设备等。
如图6A所示，在呈现场景的实例610(例如，与时间T1相关联)期间，电子设备120呈现XR环境650，其包括显示器122上物理环境600的至少一部分(例如，厨房的一部分，包括一组橱柜612、台面614、冰箱616、厨房岛618、咖啡机622和一堆餐具624)的视频透传。
如图6B所示，在呈现场景的实例620(例如，与时间T2相关联)期间，控制器110、电子设备120或其合适的组合分析XR环境650，并且通过确定位置652、654、656、658、660和662中的什么位置满足内容放置标准来确定多个候选内容放置位置。例如，当位置对应于至少Xcm×Ycm的平坦表面，位置相对于电子设备120的面向外部的图像传感器处于小于Z度角、位置不导致遮挡、以及位置周围的区域不杂乱时，内容放置标准得到满足。
在与图6B相关联的示例中，位置652、654和658不满足内容放置标准，因为位置652、654和658既杂乱又导致物理环境600内的对象被遮挡。如图5B所示，位置656和660不满足内容放置标准，因为位置656和660相对于电子设备120的面向外部的图像传感器以大于Z度的倾斜角度定位。
在图6B中，位置662(例如，厨房岛618的前竖直表面)满足内容放置标准，因为位置662对应于相对于电子设备120的面向外部的图像传感器以小于Z度角定位的至少Xcm×Ycm的平坦表面，不遮挡物理环境600内的任何对象，并且围绕该位置的区域不杂乱(例如，厨房岛618的前竖直表面对应于无遮挡的平坦表面)。
如图6C所示，在呈现场景的实例630(例如，与时间T3相关联)期间，电子设备120呈现XR环境650，其包括显示器122上物理环境600的至少一部分(例如，包括一组橱柜612、台面614、冰箱616、厨房岛618、咖啡机622和一堆餐具624)的视频透传和位置662处的XR内容675。例如，在一些具体实施中，XR内容675可以是静态或动态的。
图7示出了根据一些具体实施的示例性数据结构的框图。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。图7示出了表征矢量414和查看矢量750的数据结构的框图。
例如，控制器110或其部件(例如场景分析器420)通过对环境的表示402执行一种或多种图像处理技术(例如，语义分割、颜色分析、纹理分析等)获取(例如接收、检索、或生成)物理环境内的相应候选放置位置的表征矢量414。根据一些具体实施，表征矢量414包括：相应候选放置位置的平移坐标702(例如，绝对坐标或相对于物理环境的坐标)；相应候选放置位置相对于与环境的表示402相关联的相机原点的视角704；相应候选放置位置的维度705(例如，宽度、深度、高度、体积、表面积等)；相应候选放置位置的运动信息708(例如，相对于与环境的表示402相关联的相机原点的平移和/或旋转速度、加速度等)；相应候选放置位置的亮度和对比度信息710；相应候选放置位置的颜色和纹理信息712；相应候选放置位置的与相应候选放置位置相关联的语义信息714(例如，对应于相应候选放置位置的表面或对象的类型，诸如墙壁、桌面、花瓶、沙发背面等)；与相应候选放置位置相关联的上下文信息716(例如，附近对象、附近表面、整体房间/空间类型、整体建筑物类型、GPS坐标等)；以及其他参数718。
例如，控制器110或其部件(例如，图2中的查看矢量管理器247)基于来自电子设备120的身体姿态跟踪信息、头部跟踪信息、相机姿态跟踪信息、眼睛跟踪信息、手/肢体跟踪信息、固有相机参数等获取(例如，接收、检索或生成)查看矢量750。例如，查看矢量750限定从中捕获环境的表示402的物理环境的视点。根据一些具体实施，查看矢量750包括：相对于物理环境的平移坐标752、与用户或相机相关联的相机/头部姿态信息754(例如，旋转参数)、与用户相关联的可选的注视方向756(例如，当使用近眼系统时与眼睛跟踪相关联的2个自由度)、以及其他参数758(例如，焦距、缩放等)。因此，例如，查看矢量750可包括至少8个自由度：与平移坐标752相关联的x、y、z维度；与相机/头部姿态信息754相关联的摇摆、俯仰和偏航维度；以及与注视方向756相关联的第一维度和第二维度。例如，控制器110或其部件(例如，图2中的查看矢量管理器247)由于平移和/或旋转移动而随时间更新查看矢量750。
图8是根据一些具体实施的内容放置方法800的流程图表示。在各种具体实施中，方法800在包括非暂态存储器和一个或多个处理器的计算系统处执行，其中计算系统通信地耦接到显示设备和一个或多个输入设备(例如，图1和图2中的控制器110；图1和图3中的电子设备120；或它们的合适组合)、或其部件。在一些具体实施中，方法800由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法800由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。在各种具体实施中，方法800中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
如上所述，在一些情况下，视频游戏或其他媒体中的典型内容放置(例如，广告)既是静态的又是由媒体创建方手动放置的。相比之下，根据一些具体实施，针对候选内容放置位置解析物理环境或扩展现实(XR)环境。此外，确定那些候选内容放置位置的表征参数(例如，上下文元数据)，以便在将XR内容放置在其上时作出更明智的决定。在一些示例中，应用编程接口(API)使得第三方能够基于其表征参数来确定是否在XR环境内将XR内容放置在那些候选内容放置位置处。
如框8-1所示，方法800包括获取(例如，接收、检索或捕获)环境的表示。在一些具体实施中，电子设备120的面向外部的图像传感器314捕获物理环境105的一个或多个图像帧(例如，环境的表示)，并且随后将一个或多个图像帧提供给控制器110。在一些具体实施中，控制器110获取环境的表示，诸如环境的经渲染的图像帧、3D网格或其3D模型。
如框8-2所示，方法800包括基于环境的表示确定环境内的多个候选内容放置位置。在一些具体实施中，控制器110或其部件(例如，图2和图4中的场景分析器420)确定物理环境内满足内容放置标准的多个候选内容放置位置。在一些具体实施中，控制器110或其部件(例如，图2和图4中的场景分析器420)基于环境的表示(例如，环境的经渲染的图像帧、3D网格或其3D模型)来确定环境内的多个候选内容放置位置。
在一些具体实施中，多个候选内容放置位置中的每一者都满足内容放置标准。例如，当候选放置位置对应于平坦表面、未商标标注表面、非杂乱周围区域、非分散注意力/危险位置、尺寸为至少X×Ycm等时，内容放置标准得到满足。
在一些具体实施中，当候选内容放置位置对应于平坦表面时，内容放置标准得到满足。例如，场景分析器420对环境的表示(例如，物理环境105的一个或多个图像帧或XR环境的3D网格)执行平面识别。在一些具体实施中，当候选内容放置位置满足维度参数时，内容放置标准得到满足。(例如，Xcm×Ycm的尺寸)。例如，场景分析器420基于环境的表示(例如，一个或多个图像帧或3D网格)和与物理环境相关联的可选的深度信息来估计所识别平面的表面积。
在与图5B相关联的示例中，位置522不满足内容放置标准，因为位置522遮挡物理环境105内的门道。如图5B所示，位置524不满足内容放置标准，因为位置524相对于电子设备120的面向外部的图像传感器以大于Z度的倾斜角度定位。在图5B中，位置526满足内容放置标准，因为位置526对应于至少Xcm×Ycm的平坦表面，相对于电子设备120的面向外部的图像传感器以小于Z度角定位，以及不遮挡物理环境105内的任何对象(例如，对应于无遮挡的平坦表面的桌子107)。
在一些具体实施中，当候选内容放置位置与旋转运动相关联时，不满足内容放置标准。因此，例如，XR内容不被放置在旋转体上。在一些具体实施中，当候选内容放置位置与大于阈值速度的平移运动相关联时，不满足内容放置标准。因此，例如，XR内容不被放置在平移得快于阈值速度或加速度的主体上。例如，场景分析器420通过分析候选内容放置位置在两个或更多个图像帧上的位移来确定候选内容放置位置的平移和/或旋转移动的速度和加速度值。
如框8-3所示，方法800包括确定多个候选内容放置位置的表征参数。在一些具体实施中，控制器110或其部件(例如，图2和图4中的场景分析器420)为多个候选内容放置位置中的每一者确定包括多个表征参数的表征矢量。例如，包括在相应候选内容放置位置412的表征矢量414中的多个表征参数包括：相应候选内容放置位置412相对于相机方位/姿态的角度；相对于相机方位/姿态的与相应候选内容放置位置412相关联的速度和加速度值；与相应候选内容放置位置412相关联的颜色和纹理信息；与相应候选内容放置位置412相关联的维度、体积、表面积等；与相应候选内容放置位置412相关联的对比度和亮度信息；与相应候选内容放置位置412相关联的语义信息(例如，对象或表面的类型)；等等。下文参考图7更详细地讨论相应候选放置位置的表征矢量。
在一些具体实施中，与相应候选内容放置位置相关联的表征参数对应于与相应候选内容放置位置相关联的亮度值、反照率值、纹理信息、材料信息、对比度信息、维度值和位置类型中的至少一者。例如，相应候选内容放置位置的位置类型可对应于墙壁、桌子、沙发、椅子、对象等中的一者。
如框8-4所示，方法800包括获取(例如，接收、检索或确定)基于与XR内容相关联的内容参数和多个候选内容放置位置中相应候选内容放置位置的表征参数之间的匹配而选择的XR内容。在一些具体实施中，参考图4，控制器110或其部件(例如，图2和图4中的内容放置器430)为多个候选内容放置位置中的相应候选内容放置位置412选择XR内容434。例如，如图5C所示，控制器110或其部件(例如，图2和图4中的内容放置器430)为位置526选择XR内容560。
作为一个示例，当与XR内容434相关联的内容参数与相应候选内容放置位置412的表征参数之间的比较或差异满足选择标准时，内容放置器430选择XR内容434放置在相应候选内容放置位置412处(即，当满足选择标准时，发生匹配)。例如，选择标准对应于与XR内容434相关联的内容参数与相应候选内容放置位置412的表征参数之间的阈值方差。作为一个示例，内容放置器430选择与相应候选内容放置位置的颜色、尺寸、对比度、亮度等匹配(在阈值公差内)的XR内容。
在一些具体实施中，内容放置器430对应于本地内容管理器，其基于其他信息432(诸如与电子设备120相关联的当前GPS坐标)(例如，特定于位置的XR内容)、用户偏好、设备使用历史、搜索历史、与电子设备120的用户的一个或多个社交媒体简档相关联的社交媒体内容等等将XR内容放置在多个候选内容放置位置中的至少一些中。在一些具体实施中，内容放置器430对应于使第三方能够将XR内容放置在XR环境内的API。例如，多个候选内容放置位置被拍卖用于内容放置目的，并且由第三方广告放置服务投标。
在一些具体实施中，基于与XR环境相关联的上下文信息来选择XR内容。例如，在为相应候选内容放置位置412选择XR内容434时，内容放置器430可以也考虑上下文信息。根据一些具体实施，上下文信息对应于与场景或电子设备的使用相关联的用户历史信息、用户搜索历史、众包使用历史信息、GPS/位置数据等。在一些具体实施中，如果用户先前选择进入其使用中，则GPS/位置数据可用于选择XR内容。在一些具体实施中，如果用户先前选择进入其使用，则用户历史信息和/或用户搜索历史可用于选择XR内容。
如框8-5所示，方法800包括在环境内的相应候选内容放置位置处显示XR内容。作为一个示例，当电子设备120对应于光学透传具体实施时，电子设备120或其部件(例如，图4中的呈现引擎450)将XR内容434投影到光学透传显示器(例如，加成显示器)上，使得XR内容434看起来被显示在相应候选内容放置位置412处(例如，叠置XR内容)。又如，当电子设备120对应于视频透传具体实施时，控制器110或其部件(例如，图4中的呈现引擎450)将XR内容434与环境的表示402合成，使得所得的经渲染的图像帧452显示在相应候选内容放置位置412处放置在物理环境内的XR内容434(例如，合成XR内容)。继续该示例，电子设备120显示所得的经渲染的图像帧452。例如如图5C所示，电子设备120呈现XR环境550，其包括显示器122上物理环境105的至少一部分(例如，包括桌子107)的视频透传和位置526处的XR内容560。
在一些具体实施中，方法800还包括：检测随着时间相对于场景的姿态变化；以及响应于检测到姿态变化，将XR内容保持在场景内的相应候选内容放置位置处。例如，控制器110或其部件(例如，图2中的查看矢量管理器247)检测查看矢量的变化，继而与呈现引擎450协调以将XR内容保持在相应候选内容放置位置处，即使查看矢量已经改变(例如，与电子设备120的相机/头部姿态相关联的旋转或平移移动)。因此，保持XR内容的空间和时间一致性，使得当用户将目光离开相应候选内容放置位置并看回相应候选内容放置位置时，XR内容仍然显示在其上。上文参考图7更详细地描述查看矢量。
在一些具体实施中，XR内容对应于静态XR内容。在一些具体实施中，方法800还包括：根据确定用户感兴趣标准得到满足，将XR内容从静态XR内容更新为动态XR内容。例如，当用户的目光聚焦在XR内容上至少Z秒、用户选择XR内容或以其他方式与XR内容交互等时，用户感兴趣标准得到满足。例如，静态XR内容可对应于静止文本或图像，并且动态XR内容可对应于动画3D XR对象、视频内容、文本/图像序列等。
在一些具体实施中，方法800还包括：检测与修改XR内容相对应的用户输入；以及响应于检测到该用户输入，修改XR内容。例如，修改XR内容对应于对XR内容执行以下操作中的至少一者：缩放、平移、旋转、以动画方式显示、着色、纹理化、加阴影、再成形等。例如，控制器110或其部件(例如，图2中的交互和操纵引擎248)获取对应于修改XR内容的用户输入的指示，并且随后相应地修改XR内容。例如，用户输入对应于由控制器110、电子设备120和/或远程输入设备170A和170B检测到的手/肢体跟踪输入、语音输入、注视输入、触摸输入等。
在一些具体实施中，方法800还包括：检测与选择XR内容相对应的用户输入；以及响应于检测到该用户输入，显示与XR内容相关联的附加信息。例如，控制器110或其部件(例如，图2中的交互和操纵引擎248)获取对应于选择XR内容的用户输入的指示，并且随后获取和/或提供与XR内容相关联的附加信息。例如，用户输入对应于由控制器110、电子设备120和/或远程输入设备170A和170B检测到的手/肢体跟踪输入、语音输入、注视输入、触摸输入等。例如，附加信息对应于关于XR内容或与XR内容相关联的公司的细节(例如，与食物相关联的XR内容的营养信息、与供应商或服务提供商相关联的XR内容的电话号码和客户评论等)。在一些具体实施中，附加信息显示在弹出式叠层中。在一些具体实施中，附加信息被显示在新的web浏览器窗口或与另一应用相关联的新窗口中。
虽然上文描述了在所附权利要求书范围内的具体实施的各个方面，但是应当显而易见的是，上述具体实施的各种特征可通过各种各样的形式体现，并且上述任何特定结构和/或功能仅是例示性的。基于本公开，本领域的技术人员应当理解，本文所述的方面可以独立于任何其他方面来实现，并且这些方面中的两个或更多个可以采用各种方式组合。例如，可以使用本文阐述的任何数量的方面来实现装置和/或可以实践方法。另外，除了本文阐述的一个或多个方面之外或者不同于本文阐述的一个或多个方面，可以使用其他结构和/或功能来实现这样的装置和/或可以实践这样的方法。
还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种元素，但是这些元素不应当被这些术语限定。这些术语只是用于将一个元件与另一元件区分开。例如，第一节点可以被称为第二节点，并且类似地，第二节点可以被称为第一节点，其改变描述的含义，只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点，但它们不是同一个节点。
本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求中所使用的那样，单数形式的“一个”和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件，和/或其分组。
如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。

Claims (15)

1.一种信息处理方法，包括：
在包括非暂态存储器和一个或多个处理器的计算系统处，其中所述计算系统被通信地耦接到显示设备和一个或多个输入设备：
获取环境的表示；
基于所述环境的所述表示确定所述环境内的多个候选内容放置位置；
确定所述多个候选内容放置位置的表征参数；
获取扩展现实(XR)内容，所述XR内容基于与所述XR内容相关联的内容参数和所述多个候选内容放置位置中相应候选内容放置位置的表征参数之间的匹配而被选择；以及
经由所述显示设备在所述环境内的所述相应候选内容放置位置处显示所述XR内容。
2.根据权利要求1所述的方法，其中所述多个候选内容放置位置中的每一个候选内容放置位置都满足内容放置标准。
3.根据权利要求2所述的方法，其中当候选内容放置位置满足维度参数时，所述内容放置标准被满足。
4.根据权利要求2所述的方法，其中当候选内容放置位置对应于平坦表面时，所述内容放置标准被满足。
5.根据权利要求2所述的方法，其中当候选内容放置位置与旋转运动相关联时，所述内容放置标准不被满足。
6.根据权利要求2所述的方法，其中当候选内容放置位置与大于阈值速度的平移运动相关联时，所述内容放置标准不被满足。
7.根据权利要求1至6中的任一项所述的方法，其中与所述相应候选内容放置位置相关联的所述表征参数对应于与所述相应候选内容放置位置相关联的亮度值、反照率值、纹理信息、材料信息、对比度信息、维度值和位置类型中的至少一者。
8.根据权利要求1至6中的任一项所述的方法，其中所述XR内容基于与所述环境相关联的上下文信息而被选择。
9.根据权利要求8所述的方法，其中所述上下文信息包括以下中的至少一者：根据确定已从所述电子设备的用户检测到选择加入输入的位置信息，或根据确定已从所述电子设备的用户检测到选择加入输入的历史使用信息。
10.根据权利要求1至6和9中的任一项所述的方法，还包括：
检测随时间推移相对于所述环境的姿态变化；以及
响应于检测到所述姿态变化，将所述XR内容保持在所述环境内的所述相应候选内容放置位置处。
11.根据权利要求1至6和9中的任一项所述的方法，其中所述XR内容对应于静态XR内容。
12.根据权利要求11所述的方法，还包括：
根据确定用户感兴趣标准被满足，将所述XR内容从静态XR内容更新为动态XR内容。
13.根据权利要求1至6、9和12中的任一项所述的方法，还包括：
检测对应于选择所述XR内容的用户输入；以及
响应于检测到所述用户输入，显示与所述XR内容相关联的附加信息。
14.一种计算系统，包括：
一个或多个处理器；
非暂态存储器；
通信接口，所述通信接口用于与显示设备和一个或多个输入设备进行通信；以及
被存储在所述非暂态存储器中的一个或多个程序，所述一个或多个程序当由所述一个或多个处理器执行时使所述计算系统：
获取环境的表示；
基于所述环境的所述表示确定所述环境内的多个候选内容放置位置；
确定所述多个候选内容放置位置的表征参数；
获取扩展现实(XR)内容，所述XR内容基于与所述XR内容相关联的内容参数和所述多个候选内容放置位置中相应候选内容放置位置的表征参数之间的匹配而被选择；以及
在所述显示设备上在所述环境内的所述相应候选内容放置位置处显示所述XR内容。
15.一种存储一个或多个程序的非暂态存储器，所述一个或多个程序当由具有用于与显示设备和一个或多个输入设备进行通信的通信接口的计算系统的一个或多个处理器执行时，使所述设备：
获取环境的表示；
基于所述环境的所述表示确定所述环境内的多个候选内容放置位置；
确定所述多个候选内容放置位置的表征参数；
获取扩展现实(XR)内容，所述XR内容基于与所述XR内容相关联的内容参数和所述多个候选内容放置位置中相应候选内容放置位置的表征参数之间的匹配而被选择；以及
在所述显示设备上在所述环境内的所述相应候选内容放置位置处显示所述XR内容。
CN202011458325.6A 2019-12-18 2020-12-10 用于内容放置的方法和设备 Active CN112987914B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962949944P 2019-12-18 2019-12-18
US62/949,944 2019-12-18
US16/953,591 2020-11-20
US16/953,591 US11321926B2 (en) 2019-12-18 2020-11-20 Method and device for content placement

Publications (2)

Publication Number Publication Date
CN112987914A true CN112987914A (zh) 2021-06-18
CN112987914B CN112987914B (zh) 2024-08-16

Family

ID=76344940

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011458325.6A Active CN112987914B (zh) 2019-12-18 2020-12-10 用于内容放置的方法和设备

Country Status (2)

Country Link
US (1) US11321926B2 (zh)
CN (1) CN112987914B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11625806B2 (en) * 2019-01-23 2023-04-11 Qualcomm Incorporated Methods and apparatus for standardized APIs for split rendering
US11682180B1 (en) * 2021-12-09 2023-06-20 Qualcomm Incorporated Anchoring virtual content to physical surfaces

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060229896A1 (en) * 2005-04-11 2006-10-12 Howard Rosen Match-based employment system and method
CN101496413A (zh) * 2006-08-01 2009-07-29 高通股份有限公司 用单视场低功率移动装置实时捕获及产生立体图像及视频
US8884988B1 (en) * 2014-01-29 2014-11-11 Lg Electronics Inc. Portable device displaying an augmented reality image and method of controlling therefor
CN106445173A (zh) * 2016-11-25 2017-02-22 四川赞星科技有限公司 一种目标体状态转换方法及装置
WO2017145423A1 (ja) * 2016-02-25 2017-08-31 日本電気株式会社 情報処理システム、情報処理装置、制御方法、及びプログラム
US20190026936A1 (en) * 2017-07-20 2019-01-24 Qualcomm Incorporated Extended reality virtual assistant

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10535192B2 (en) * 2005-10-26 2020-01-14 Cortica Ltd. System and method for generating a customized augmented reality environment to a user
EP2704055A1 (en) * 2012-08-31 2014-03-05 Layar B.V. Determining space to display content in augmented reality
US9734634B1 (en) * 2014-09-26 2017-08-15 A9.Com, Inc. Augmented reality product preview
CN105338117B (zh) * 2015-11-27 2018-05-29 亮风台（上海）信息科技有限公司 用于生成ar应用和呈现ar实例的方法、设备与系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060229896A1 (en) * 2005-04-11 2006-10-12 Howard Rosen Match-based employment system and method
CN101496413A (zh) * 2006-08-01 2009-07-29 高通股份有限公司 用单视场低功率移动装置实时捕获及产生立体图像及视频
US8884988B1 (en) * 2014-01-29 2014-11-11 Lg Electronics Inc. Portable device displaying an augmented reality image and method of controlling therefor
WO2017145423A1 (ja) * 2016-02-25 2017-08-31 日本電気株式会社 情報処理システム、情報処理装置、制御方法、及びプログラム
CN106445173A (zh) * 2016-11-25 2017-02-22 四川赞星科技有限公司 一种目标体状态转换方法及装置
US20190026936A1 (en) * 2017-07-20 2019-01-24 Qualcomm Incorporated Extended reality virtual assistant

Also Published As

Publication number Publication date
US11321926B2 (en) 2022-05-03
CN112987914B (zh) 2024-08-16
US20210192847A1 (en) 2021-06-24

Similar Documents

Publication Publication Date Title
CN110908503B (zh) 跟踪设备的位置的方法
US20190371072A1 (en) Static occluder
KR20200016798A (ko) 2d/3d 혼합 콘텐츠의 검출 및 디스플레이
CN110888567A (zh) 三维内容中基于位置的虚拟元件模态
CN112105983B (zh) 增强的视觉能力
CN111602104B (zh) 用于与所识别的对象相关联地呈现合成现实内容的方法和设备
CN110633617A (zh) 使用语义分割的平面检测
US10984607B1 (en) Displaying 3D content shared from other devices
US12039659B2 (en) Method and device for tailoring a synthesized reality experience to a physical setting
US11868526B2 (en) Method and device for debugging program execution and content playback
US20240111911A1 (en) Method and Device for Spatially Designating Private Content
CN112987914B (zh) 用于内容放置的方法和设备
US11699412B2 (en) Application programming interface for setting the prominence of user interface elements
JP2024512040A (ja) マップのためのデバイス、方法、及びグラフィカルユーザインタフェース
CN113678173A (zh) 用于虚拟对象的基于图绘的放置的方法和设备
US20240248532A1 (en) Method and device for visualizing multi-modal inputs
CN116981978A (zh) 用于动态确定呈现和过渡区域的方法和设备
KR20230116765A (ko) 다중 카메라 홀 충전을 위한 방법 및 디바이스
US10964056B1 (en) Dense-based object tracking using multiple reference images
US11308716B1 (en) Tailoring a computer-generated reality experience based on a recognized object
US20240219998A1 (en) Method And Device For Dynamic Sensory And Input Modes Based On Contextual State
CN117581180A (zh) 用于在3d中导航窗口的方法和设备
CN116458881A (zh) 用于管理注意力累加器的方法和设备
CN117111729A (zh) 用于分层姿势感知的方法和设备
CN117916691A (zh) 用于基于情境状态启用输入模式的方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant