CN116941239A - 三维环境内的图像显示 - Google Patents

Abstract

本文所公开的各种具体实施包括提供三维(3D)环境的视图的设备、系统和方法，该3D环境包括3D图像诸如多向立体图像或视频内容的投影。例如，示例性过程可包括：获得包括立体图像对的三维(3D)图像，该立体图像对包括对应于左眼视点的左眼内容和对应于右眼视点的右眼内容；通过投影该3D图像的部分以在3D环境内形成形状来生成该3D图像在该3D环境内的投影，该形状基于该3D图像的视图角度，其中该3D环境包括与该3D图像分离的附加内容；以及提供包括该3D图像的该投影的该3D环境的视图。

Description

三维环境内的图像显示

技术领域

本公开整体涉及用于利用电子设备提供内容的技术，并且具体地涉及用于在三维(3D)环境的视图中提供视觉内容的系统、方法和设备。

背景技术

在摄影中，“视图角度”是指由相机成像的给定场景的角度范围。例如，具有标准80mm镜头的数码相机可提供40°视图角度，而具有广角镜头的数码相机可提供64°至84°视图角度。标准和广角镜头图像内容通常被展平到矩形图像上，然后以这种平面格式观看。相机还可用于捕获球形图像(例如，180°图像、360°图像等)，该球形图像在本文中被称为“基于球体的图像”，其表示从物理环境从相对于捕获视点的不同角度方向接收(例如，反射)的光。此类基于球体的图像的视图角度通常是180°或360°，尽管其他视图角度也是可能的。虽然这样的内容可以平面格式存储(例如，使用等矩形投影)，但是此类平面格式通常不提供期望的观看体验，因为变平引入失真的外观和/或降低真实感。相反，一些设备使得此类基于球体的图像能够在完全沉浸式体验中被观看，例如，其中设备专门地以实际尺寸显示基于球体的图像的内容，好像图像内容在观看者周围那样。然而，可能期望提供附加的和/或另选的观看体验。

发明内容

期望实现改善的用户内容体验。本文所公开的各种具体实施包括提供三维(3D)环境的视图的设备、系统和方法，该3D环境包括基于球体的图像(或视频)内容的入口(例如，“气泡视图”、“雪球视图”等)。例如，可投影180°图像/视频以形成被显示在3D空间中的形状(例如，空的半球体的内部)。3D图像/视频不是提供图像的完全沉浸式视图，而是被显示在较大的3D环境内的固定位置处的相对较小的观看入口处。在固定位置处提供较小(非沉浸式)视图使得能够进行大量体验并且可增强用户的舒适度。入口的形状可以是非平面的，例如，它可弯曲以对应于图像内容的视图角度。例如，3D图像内容可像空的半球体的内部那样弯曲以对应于图像的视图角度。3D图像可以是任何立体图像对，例如使得右眼视图与左眼视图之间的差异使得观看者能够感知在入口处描绘的图像内容内的深度。例如，3D图像可以是任何类型的立体图像对，诸如180°半球体、直线90°、等矩形投影等，使得具有已知投影的任何图像内容将起作用，只要该内容包括立体对。

在一些具体实施中，提供增强用户舒适度并使得能够改变图像体验的沉浸的附加特征。这些附加特征可基于控制立体投影的视差、用户或设备相对于投影的位置、用户的注视方向等。例如，设备(例如，手持式设备、膝上型电脑、台式计算机或头戴式设备(HMD))向用户提供3D环境的视图(例如，视觉体验和/或听觉体验)并利用传感器获得与用户的响应相关联的生理数据(例如，注视特性)和运动数据(例如，控制器移动化身、头部移动等)。基于所获得的生理数据，本文所述的技术可通过跟踪用户的注视特性和其他交互(例如，物理环境中的用户移动)来确定用户在观看3D环境(例如，XR环境)期间的前庭提示。基于前庭提示，这些技术可检测用户的位置和/或与3D图像的投影的交互并且提供一组不同的视图(例如，对入口的完全沉浸式体验)以在观看3D环境时改善用户体验。

在一些具体实施中，当用户在3D环境周围移动时，入口可改变取向以朝向该用户取向。例如，当用户在3D环境周围走动时，入口可改变外观(例如，大小、形状等)和/或随着用户在物理环境周围移动而与用户一起移动。3D环境可以是XR环境，并且因此可基于围绕用户的物理环境、虚拟环境或者真实环境和虚拟环境的组合。

在一些具体实施中，图像沉浸水平可例如基于用户与3D环境内的入口有多近来改变。例如，当用户更靠近入口时，入口的大小可增加。另外，如果用户走进入口的位置，则用户可完全沉浸在立体照片/视频内容内。

在一些具体实施中，可基于头部移动来在立体图像或视频内容内提供视觉效果以进一步减少晕动症(例如，基于对头部移动的对应性来针对3D照片创建伪视差，例如创建错觉)。例如，被投影在形状内的3D照片(“气泡视图”/“雪球视图”)可具有该形状的视场之外的附加内容。基于检测头部运动(例如，水平、垂直等)，可改变3D照片的视角和视场(例如，以观看当前不在视图中的3D照片中的附加内容)。另外，基于这些检测到的头部运动，可包括不同的视觉效果。例如，基于这些头部运动，可基于这些移动来改变3D照片的整个纹理。这些改变可被映射到纹理动画、到纹理的平移和/或旋转扭曲(例如，纹理空间中的旋转)。另外，视觉效果可基于将固定深度应用于运动(例如，平面单应性)以用于图像到图像操作。在一些具体实施中，视觉效果可基于头部移动的速度。例如，基于移动阈值，如果头部因为用户想要从3D照片的视图(例如，在雪球视图内)移开视线而移动得太快的话。在一些具体实施中，视觉效果可包括使其模糊、淡出、淡化为灰度或从立体视图变为单视场视图。

一般来讲，本说明书中所描述的主题的一个创新方面可体现在包括以下动作的方法中，这些动作为：获得三维(3D)图像；通过投影3D图像的部分以在3D环境内形成具有非平面(例如，弯曲、半球形等)表面的形状来生成3D图像在3D环境内的投影，其中3D环境包括与3D图像分离的附加内容；以及提供包括3D图像的投影的3D环境的视图。

这些实施方案和其他实施方案均可任选地包括以下特征中的一个或多个特征。

在一些方面中，3D图像包括立体图像对，该立体图像对包括对应于左眼视点的左眼内容和对应于右眼视点的右眼内容。在一些方面中，3D图像包括被存储为等矩形投影的立体视频内容。在一些方面中，3D图像包括立体照片、立体图、3D视频、闪烁立体图像、随机点立体图、立体动画或柱状透镜图像。在一些方面中，这些动作还包括：基于3D环境的视图的视点来确定用于在3D环境内投影3D图像的位置。

在一些方面中，当3D环境的视图的视点改变时，3D图像在3D环境内的投影的位置是恒定的。在一些方面中，当3D环境的视图的视点改变时，3D图像的投影的取向改变以面向视点。在一些方面中，该形状基于3D图像的视图角度。

在一些方面中，这些动作还包括：调整投影以控制视差。在一些方面中，调整投影以控制视差基于电子设备的用户相对于3D图像在3D环境内的投影的位置的注视方向。在一些方面中，调整投影以控制视差包括：基于3D图像的内容的深度来确定度量；以及基于度量来执行3D图像的投影的像素移位、扭曲或移动。在一些方面中，这些动作还包括：进一步调整投影以减小左眼视点与右眼视点之间的像素视差。

在一些方面中，这些动作还包括：确定视图的视点相对于3D图像在3D环境中的投影的位置关系；以及基于该位置关系来改变沉浸水平。

在一些方面中，3D图像的投影在球体的形状内，基于位置关系来改变沉浸水平包括将3D图像的投影的视图从球体的外部视图的视角改变为球体的内部视图的视角。在一些方面中，基于位置关系来改变沉浸水平包括将视图从3D图像的投影的内部视图改变为3D图像的投影的外部视图。

在一些方面中，3D图像包括360度内容，并且基于位置关系来改变沉浸水平包括从当视点的位置关系在3D图像的投影之外时包括3D图像的投影的一部分的第一视图改变为当视点的位置关系在3D图像的投影之内时包括全部3D图像的投影的第二视图。

在一些方面中，3D图像的投影描绘3D图像的一部分，使得3D图像的剩余部分被裁剪出投影。

在一些方面中，该方法还包括：确定视图的视点相对于3D图像在3D环境中的投影的位置关系；以及基于该位置关系来改变3D图像在3D环境内的投影。

在一些方面中，改变3D图像的投影包括使得基于位置关系满足第一标准来描绘3D图像的剩余部分中的一些剩余部分。在一些方面中，改变3D图像的投影包括基于位置关系满足第二标准来向3D图像的投影提供视觉效果。

在一些方面中，视觉效果包括使3D图像的投影的至少一部分模糊、淡出3D图像的投影的内容或将3D图像的投影的颜色内容的至少一部分转换为灰度。在一些方面中，3D图像的投影包括3D图像的立体视图，并且视觉效果包括从3D图像的立体视图到单视场视图的改变。

在一些方面中，视觉效果基于位置关系的改变速率。在一些方面中，3D图像的投影的改变基于使用固定深度将扭曲应用于3D图像的左帧和右帧。在一些方面中，3D图像的投影描绘3D图像的一部分，使得3D图像的剩余部分被裁剪出投影。

在一些方面中，该方法还包括：确定视图的视点相对于3D图像在3D环境中的投影的位置关系；以及基于该位置关系来改变3D图像在3D环境内的投影。在一些方面中，改变3D图像的投影包括使得基于位置关系满足第一标准来描绘3D图像的剩余部分中的一些剩余部分。在一些方面中，3D图像的投影的改变基于使用固定深度将扭曲应用于3D图像的左帧和右帧。

在一些方面中，改变3D图像的投影包括基于位置关系满足第二标准来向3D图像的投影提供视觉效果。在一些方面中，视觉效果包括使3D图像的投影的至少一部分模糊、淡出3D图像的投影的内容或将3D图像的投影的颜色内容的至少一部分转换为灰度。在一些方面中，3D图像的投影包括3D图像的立体视图，并且视觉效果包括从3D图像的立体视图到单视场视图的改变。在一些方面中，视觉效果基于位置关系的改变速率。

根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或使执行本文所述方法中的任一种的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，这些指令在由设备的一个或多个处理器执行时使该设备执行或使执行本文所述方法中的任一种。根据一些具体实施，一种设备包括：一个或多个处理器、非暂态存储器以及用于执行或使执行本文所述方法中的任一种的装置。

附图说明

因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。

图1示出了根据一些具体实施的在物理环境中操作的示例性电子设备。

图2示出了根据一些具体实施的基于图1的物理环境来生成的示例性三维(3D)环境和3D图像在3D环境内的投影。

图3示出了根据一些具体实施的图像的等矩形表示的示例。

图4示出了根据一些具体实施的由图2的设备提供的图3的图像的示例性视图。

图5示出了根据一些具体实施的由图2的设备提供的图3的图像的示例性视图，这些视图包括左眼视图和右眼视图。

图6示出了根据一些具体实施的基于图1的物理环境来生成的示例性3D环境和3D图像在3D环境内的投影。

图7示出了根据一些具体实施的由图6的设备提供的图3的图像的示例性视图。

图8是根据一些具体实施的用于在视觉上表示3D环境(包括3D图像在3D环境内的投影)的示例性方法的流程图表示。

图9示出了根据一些具体实施的具有附加内容的图3的图像的等矩形表示的示例。

图10A示出了根据一些具体实施的基于图1的物理环境来生成的示例性3D环境和3D图像在3D环境内的投影。

图10B示出了根据一些具体实施的图10A的图像的示例性视图。

图11A示出了根据一些具体实施的基于图1的物理环境来生成的示例性3D环境和3D图像在3D环境内的投影。

图11B示出了根据一些具体实施的图11A的图像的示例性视图。

图12是根据一些具体实施的用于在视觉上表示3D环境(包括3D图像在3D环境内的投影)的示例性方法的流程图表示。

图13是根据一些具体实施的示例性设备。

图14示出了根据一些具体实施的示例性头戴式设备(HMD)。

根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。

具体实施方式

描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将理解，其他有效方面和/或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。

图1示出了根据一些具体实施的在物理环境100中操作的示例性电子设备120。物理环境100包括门150和壁挂170。另外，物理环境100包括持有电子设备120的用户102。电子设备120包括可用于捕获或生成门150、壁挂170和物理环境100的其他对象的表示的一个或多个相机或其他传感器。在一些具体实施中，设备120被配置为向用户102呈现计算机生成的环境。所呈现的环境可包括扩展现实(XR)特征。

在一些具体实施中，设备120是手持式电子设备(例如，智能电话或平板电脑)。在一些具体实施中，设备120是近眼设备，诸如头戴式设备。设备120利用一个或多个显示元件来呈现视图。例如，设备120可显示包括扩展现实(XR)环境的上下文中的内容的视图。在一些具体实施中，设备120可包围用户102的视图角度。在一些具体实施中，设备120的功能由多于一个设备提供。在一些具体实施中，设备120与单独的控制器或服务器通信以管理和协调用户的体验。这样的控制器或服务器可位于物理环境100中或者可相对于该物理环境是远程的。

图2示出了基于图1的物理环境100来生成的示例性三维(3D)环境200和3D图像在3D环境200内的投影。3D图像的投影在本文中也被称为“入口”。3D环境200包括物理环境100的门150和壁挂170的相应的表示250和270。3D环境200还包括被显示以形成虚拟形状280(例如，3D虚拟形状诸如半球体，也称为“雪球”视图)的视觉内容285。正被显示以形成虚拟形状280的视觉内容285构成入口(例如，图像的投影)，如本文所讨论的。

电子设备120提供3D环境200的视图，其包括来自观看者位置220的3D环境的描绘，该观看者位置在本示例中是基于电子设备120在物理环境100中的位置来确定的。因此，当用户相对于物理环境100移动电子设备120时，对应于电子设备120位置的观看者位置220相对于3D环境200移动。由电子设备提供的3D环境的视图基于观看者位置220相对于3D环境200的改变而改变。在一些具体实施中，3D环境200不包括物理环境100的表示，例如仅包括对应于虚拟现实环境的虚拟内容。

在图1和图2的示例中，电子设备120被示出为单个手持式设备。电子设备120可以是移动电话、平板电脑、膝上型电脑等等。在一些具体实施中，电子设备120由用户穿戴。例如，电子设备120可以是手表、头盔式设备(HMD)、头戴式设备(眼镜)、耳机、耳挂式设备等。在一些具体实施中，设备120的功能通过两个或更多个设备来实现，例如移动设备和基站或头戴式显示器和耳挂式设备。各种功能可以分布在多个设备中，包括但不限于功率功能、CPU功能、GPU功能、存储功能、存储器功能、视觉内容显示功能、音频内容生产功能等。可以用于实现电子设备120的功能的多个设备可以通过有线或无线通信彼此通信。

人们可在不使用电子设备的情况下感测物理环境或世界或者与物理环境或世界交互。物理特征诸如物理对象或表面可被包括在物理环境内。例如，物理环境可对应于具有物理建筑物、道路和车辆的物理城市。人们可通过各种手段诸如嗅觉、视觉、味觉、听觉和触觉直接感知物理环境或者与物理环境交互。这可与扩展现实(XR)环境形成对比，该XR环境可以是指人们可使用电子设备感知或与之交互的部分或全部模拟的环境。XR环境可包括虚拟现实(VR)内容、混合现实(MR)内容、增强现实(AR)内容等。使用XR系统，人的物理运动或其表示的一部分可被跟踪，并且作为响应，可以符合至少一个自然定律的方式改变XR环境中的虚拟对象的属性。例如，XR系统可检测用户的头部移动，并且以模拟声音和视觉在物理环境中如何改变的方式来调整呈现给用户的听觉和图形内容。在其他示例中，XR系统可检测呈现XR环境的电子设备(例如，膝上型电脑、平板电脑、移动电话等)的移动。因此，XR系统可以模拟声音和视觉在物理环境中如何改变的方式来调整呈现给用户的听觉和图形内容。在一些实例中，其他输入诸如物理运动的表示(例如，语音命令)可使得XR系统调整图形内容的属性。

许多类型的电子系统可允许用户感测XR环境或与XR环境交互。示例的不完全列表包括待放置在用户眼睛上的具有集成显示能力的镜片(例如，接触镜片)、平视显示器(HUD)、基于投影的系统、头戴式系统、具有集成显示技术的窗或挡风玻璃、头戴式耳机/耳机、具有或不具有触觉反馈的输入系统(例如，手持式或可佩戴控制器)、智能电话、平板电脑、台式/膝上型计算机以及扬声器阵列。头戴式系统可包括不透明显示器和一个或多个扬声器。其他头戴式系统可被配置为接收不透明外部显示器诸如智能电话的外部显示器。头戴式系统可使用一个或多个图像传感器来捕获物理环境的图像/视频，或者使用一个或多个麦克风来捕获物理环境的音频。一些头戴式系统可包括透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可通过介质诸如全息介质、光学波导、光学组合器、光学反射器、其他类似技术或它们的组合将表示图像的光引导到用户的眼睛。可使用各种显示技术诸如硅基液晶、LED、uLED、OLED、激光扫描光源、数字光投射或它们的组合。在一些示例中，透明或半透明显示器可被选择性地控制而变得不透明。基于投影的系统可利用将图像投影到用户的视网膜上的视网膜投影技术，或者可将虚拟内容投影到物理环境中，诸如投影到物理表面上或者作为全息图。

图3示出了根据一些具体实施的图像的等矩形表示300的示例。具体地，等矩形表示300表示具有城市背景(例如，一组建筑物)的两个人的示例性图像。图4示出了根据一些具体实施的由图2的设备提供的图3的表示300的示例性视图400。例如，表示300被示出为被显示在电子设备(例如，电子设备120)的显示器上的虚拟形状280(例如，3D虚拟形状诸如半球体，也称为“雪球”视图)的表面上的视觉内容285。例如，示例性视图400表示他或她将在图2中观看在入口(例如，虚拟形状280)内提供的图像(例如，视觉内容285，即，具有城市背景的两个人的图像)的用户120的示例性视点。

示例性视图400中的入口视图(例如，虚拟图像/视频观看器应用程序窗口)为投影在其内的照片/视频提供“雪球”效果。视觉内容285可包括可以是一个或多个图像、视频、动画或记录或创建的其他可见内容的3D图像。视觉内容285可以是从相机(诸如具有鱼眼透镜的相机)捕获的非线性内容。此类相机可捕获对应于透镜形状的非线性内容而不使内容变平，并且此非线性内容可定位在3D环境中，例如，定位在形状的对应非线性(例如，弯曲、半球形等)表面上。例如，视觉内容285可被显示在近似球形形状(其可以是不可见的)的内部或外部的一部分上。可捕获和显示非线性视觉内容，而没有本来将用于在平面表面上呈现该内容的扭曲或调整。在一些具体实施中，视觉内容285可包括被存储为等矩形投影的180°立体图像对或180°立体视频内容。在一些具体实施中，空间化深度数据也可被获得并用于启用空间化视图。

图5示出了根据一些具体实施的由图2的设备提供的图3的表示300的示例性视图500a和500b，其中视图500a和500b分别包括左眼视图和右眼视图。例如，示例性视图500a的表示300被示出为被显示在电子设备(例如，电子设备120)的显示器上的虚拟形状280a(例如，3D虚拟形状诸如半球体，也称为“雪球”视图)的表面上的视觉内容285a。例如，示例性视图500a表示他或她将在图1中观看入口(例如，虚拟形状280a)内的图像(例如，具有城市背景的两个人的照片)的用户120的示例性左眼视点。第二视图500b中的视觉内容285b表示用户120的示例性右眼视点，并且基于不同的视点(例如，相对于用户的注视在感兴趣对象上的会聚的瞳孔距离)在不同位置处(与第一视图500a相比)。因此，如果在HMD上观看，则示例性视图500a和500b的组合将向用户呈现立体图像。

图6示出了基于图1的物理环境100来生成的示例性3D环境200和3D图像(例如，入口)在3D环境200内的投影。图7示出根据一些具体实施的由设备提供的并且相对于图6的观看者位置220的图3的表示300的示例性视图700。3D环境200包括物理环境100的门150和壁挂170的相应的表示250和270。3D环境200还包括被显示在虚拟形状280(例如，3D虚拟形状诸如球体)的表面上的视觉内容285。电子设备120提供3D环境200的视图，其包括来自观看者位置220的3D环境的描绘，该观看者位置在本示例中是基于电子设备120在物理环境100中的位置来确定的。在图6的该特定示例中，观看者位置220被确定为在由虚拟形状280限定的区域或体积之内。基于该位置关系，视觉内容285将基于设备120的视觉显示能力被显示为完全沉浸。例如，手持式电子设备(例如，智能电话、平板电脑等)的完全沉浸显示效果可包括如图7的示例性视图700所示的全屏显示。另选地，HMD的完全沉浸可包括用于用户的180°(或更大)视图，使得用户沉浸于视觉内容285。

在其中当观看者位置220在由虚拟形状280限定的区域或体积之外时，视觉内容285先前被显示在虚拟形状280的外表面上的一些示例中，当观看者位置220进入由虚拟形状280限定的区域或体积时，视觉内容285可被转变到虚拟形状280的内表面。在一些示例中，虚拟形状280的在其上呈现视觉内容285的部分可基于观看者位置220是否在由虚拟形状280限定的区域或体积内而改变。例如，当观看者位置220在虚拟形状280之外时，视觉内容285可呈现在虚拟形状280的前部的朝向观看者位置220的外表面上。然而，当观看者位置220转变到由虚拟形状280限定的区域或体积时，视觉内容280可呈现在虚拟形状285的后部的远离先前观看者位置的内表面上(或虚拟形状280的与先前呈现部分相对的部分的内表面上)。此外，当观看者位置220在虚拟形状280之外时先前未被显示的视觉内容可呈现在虚拟形状280的前部的内表面上(例如，示出用户后面的3D环境的内容)。

在其他示例中，当观看者位置220在虚拟形状280之外时，视觉内容285可呈现在虚拟形状280的后部的朝向观看者位置220的内表面上。在这些示例中，虚拟形状280的前部可不包括视觉内容或者以其他方式被制成透明的，使得虚拟形状280的后部的内表面从观看者位置220可见。当观看者位置220转变到由虚拟形状280限定的区域或体积时，虚拟形状280的后部上的视觉内容285可保留，但是当观看者位置220在虚拟形状280之外时先前未被显示的视觉内容可呈现在虚拟形状280的前部的内表面上(例如，示出用户后面的3D环境的内容)。

在一些示例中，由视觉内容285占据的表面的量可取决于由视觉内容285(例如，正在示出的图像、视频或动画的视图角度)表示的视觉内容(例如，图像、视频、动画等)的量。

图8是示出了示例性方法800的流程图。在一些具体实施中，设备诸如电子设备120(图1)执行方法800的技术以提供3D环境(包括3D图像(例如，虚拟“入口”)在3D环境内的投影)的视图。在一些具体实施中，在移动设备、台式计算机、膝上型电脑、HMD、耳挂式设备或服务器设备上执行方法800的技术。在一些具体实施中，方法800由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，在执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器上执行方法800。

在框802处，方法800获得3D图像。3D图像可以是一个或多个图像、视频、动画或记录或创建的其他可见内容。3D图像可以是从相机(诸如具有鱼眼透镜的相机)捕获的非线性内容。此类相机可捕获对应于透镜形状的非线性内容而不使内容变平，并且此非线性内容可定位在3D环境中，例如，定位在形状的对应非线性(例如，弯曲、半球形等)表面上。例如，内容可显示在近似球形形状(其可以是不可见的)的内部或外部的一部分上。可捕获和显示非线性视觉内容，而没有本来将用于在平面表面上呈现该内容的扭曲或调整。

在一些具体实施中，3D图像包括立体图像对，该立体图像对包括对应于左眼视点的左眼内容和对应于右眼视点的右眼内容。在一些具体实施中，3D图像可包括被存储为等矩形投影的立体图像对或立体视频内容(例如，180°立体图像内容)。例如，如图5所示，向用户显示3D图像的立体图像对(例如，视图500a为左眼视图并且视图500b为右眼视图)。在一些具体实施中，空间化深度数据也可被获得并用于启用空间化视图。在一些具体实施中，3D图像包括立体照片、立体图、闪烁立体图像、随机点立体图、立体动画、柱状透镜图像等。在一些具体实施中，3D图像可以是任何立体图像对，例如使得右眼视图与左眼视图之间的差异使得观看者能够感知在入口处描绘的图像内容内的深度。例如，3D图像可以是任何类型的立体图像对，诸如180°半球体、直线90°、等矩形投影等，使得具有已知投影的任何图像内容将起作用，只要该内容包括立体对。

在框804处，方法800通过投影3D图像的部分(像素)以在3D环境内形成形状(例如，半球体)来生成3D图像在3D环境内的投影，其中3D环境包括与3D图像分离的附加内容。例如，附加内容通过包括虚拟形状280来与3D图像分离。在一些具体实施中，该形状(例如，虚拟形状280)基于3D图像的视图角度(例如，半球体用于180°视图角度)。3D图像(例如，视觉内容285)的投影在本文中有时被称为入口(例如，也称为“雪球”视图)。

在框806处，方法800提供包括3D图像的投影的3D环境的视图。3D环境可以是包括XR环境的任何类型的环境，该XR环境包括真实或虚拟对象的表示。例如，如图4的视图400所示，电子设备的视图提供包括图像(例如，视觉内容285)在入口(例如，虚拟形状280)内的投影的3D环境的视图(例如，朝向示例性环境100的壁挂170的表示270的视点)。

在一些具体实施中，方法800还包括：基于3D环境的视图的视点来确定用于在3D环境内投影3D图像的位置。例如，入口(例如，虚拟形状280)可被世界锁定并固定到3D环境内的特定位置，或者可以是头部锁定的并且固定到用户的特定视点(例如，在佩戴HMD时，入口停留在与用户在3D环境周围移动时相同的视点处)。在一些具体实施中，当3D环境的视图的视点改变时，3D图像在3D环境内的位置是恒定的(例如，世界锁定定位)。例如，当用户四处移动时，形状(例如，半球体，也称为“雪球”)停留在固定位置中。在一些具体实施中，当3D环境的视图的视点改变时，3D图像的取向改变以面向视点。例如，当用户在真实世界、物理环境周围走动时，3D图像改变取向以不断地面向用户(例如，头部锁定定位)。

在一些具体实施中，基于球体的图像(或视频)内容的入口在3D环境内的位置或取向基于关于内容、用户或环境的一个或多个标准。例如，入口的主轴的取向可与用户的观看方向对准。这种对准可提供期望的立体观看。入口的取向可以是固定的，使得入口内容的地平线与用户的真实世界环境的地平线齐平。

入口可定位在沿着用户的当前或预期观看方向的位置处，并且可基于预期/期望沉浸水平来定位在沿着此类观看方向更接近或更远离观看者的距离处，例如，其中相对较近的位置提供更沉浸式的体验并且相对较远的位置提供更随意的观看体验。场景运动(在捕获时间期间)可用作预期/期望沉浸水平的指示，例如，可检测并确定稳定三脚架安装的捕获以指示高的预期沉浸水平，而可检测并确定具有许多捕获运动的头戴式捕获以指示低的预期沉浸水平。预期/期望沉浸量可基于附加的或另选的因素诸如可用空间、用户偏好、环境类型、其他人的存在等。入口的大小可附加地基于预期/期望沉浸水平来调整。

可确定入口高度以将入口与用户的眼睛水平对准(例如，将入口的中心定位成与用户的眼睛水平一致)，或者它可被放置成与用户的环境(或者在记录的内容内检测到的环境)相关。例如，真实世界地板可与所捕获内容中的检测到的地板对准。

在一些具体实施中，入口基于确定用户面对的方向、用户环境内的开放空间和/或在各种潜在位置处可能被入口遮挡的其他对象来定位。在一个示例中，如果给定开放空间或遮挡约束可能的情况下，则入口定位在用户以预定距离面对的位置的正前方。如果这种定位使得给定开放空间或遮挡约束不可能的情况下，则入口可定位成尽可能靠近这种位置。

在一些具体实施中，入口基于捕获到入口内容的捕获设备的定位来定位。例如，在捕获期间靠近地面(例如，上方两英尺)的捕获设备的距离可用于将入口定位在与查看环境中的地面类似的相对近的距离(例如，2英尺)处。这种放置可改善真实感和/或提供更自然和期望的用户观看体验。

在一些具体实施中，电子设备可使入口中的3D图像内容稳定并与3D环境对准，例如以补偿捕获期间的相机移动。例如，3D图像内容可包括在跑步时捕获立体视频的某人。通过在入口内提供立体视频内容，本文所述的方法可使入口内的不稳定视频(例如，跑步者的视频)稳定，以减少观看入口内的视频内容的观看者的晕动症。

在一些具体实施中，入口的表面(例如，包括3D图像的投影的半球体)可提供立体纹理并且当用户在3D环境周围移动时改变取向以朝向该用户取向。例如，当用户在3D环境周围走动时，入口可改变外观(例如，大小、形状等)和/或随着用户在物理环境周围移动而与用户一起移动。3D环境可以是物理环境(例如，经过HMD上的视频)，或者3D环境可包括物理环境的表示(XR环境)。

在一些具体实施中，本文所述的过程基于相对于3D图像的投影的位置的用户位置(例如，接近半球体或在半球体内)来改变沉浸水平。例如，在一些具体实施中，方法800还包括：确定视点(例如，用户的头部或设备)相对于3D图像在3D环境中的投影的位置关系(例如，距离、取向等)；以及基于该位置关系来改变沉浸水平。在一些具体实施中，确定位置关系涉及确定观看者在视觉内容的预定距离内。在一些具体实施中，确定位置关系涉及确定观看者在与视觉内容相关联的区域内。位置关系可在与视觉内容相距的阈值距离之内或之外、在基于视觉内容确定的球体内等。在一些具体实施中，当在3D环境中呈现视觉内容时，随时间推移跟踪观看者的位置。因此，当观看者在环境内移动或者3D图像的投影在环境内移动时，例如在每一帧处或时间瞬间、每5帧或时间瞬间等跟踪观看者与视觉内容之间的相对定位。在一些具体实施中，如果用户位于投影的阈值距离内(例如，几乎在半球体内，诸如在三英尺距离阈值内)，则3D图像的投影可从半球体视图(例如，也称为“雪球视图”)改变为完全沉浸视图(例如，全屏视图诸如图7的示例性视图700)。完全沉浸视图可包括佩戴HMD时的完全沉浸式视图(例如，涉及用于用户的整个感知视图的180°视图)。例如，当用户更靠近入口(例如，3D图像的投影)时，入口的大小可增加。另外，如果用户走进入口的位置，则用户可完全沉浸在立体照片/视频内容内。

在一些具体实施中，本文所述的过程调整3D图像的投影以改善用户舒适度。例如，当在非实物大小模式(也称为“雪球效果”)下观看立体照片时，调整主要对象上的感知立体视差。具体地，在一些具体实施中，方法800还包括：调整投影以控制视差。在一些具体实施中，调整投影以控制视差基于电子设备的用户相对于3D图像在3D环境内的位置的注视方向。例如，基于他或她的注视来确定用户想要场景的哪个部分具有最小视差。有效视差可基于所捕获的图像/视频的深度信息、电子设备120的屏幕大小以及相对于入口(例如，3D图像(视觉内容285)的投影)的用户距离。在一些具体实施中，调整投影以控制视差包括：基于3D图像的内容的深度来确定度量；以及基于度量来执行3D图像的投影的像素移位、扭曲或移动。

在一些具体实施中，方法800还包括：调整3D图像的投影以减小左眼视点与右眼视点之间的像素视差。例如，左眼视点与右眼视点之间的会聚角可基于用户的注视来确定。会聚角可基于用户位置的三点三角形、像素在用于左眼的对象上的投影3D点和像素在用于右眼的对象上的投影3D点来确定。随着用于左眼视图和右眼视图的两个投影的3D点移动，角度可变得更小或更大。对象可包括3D图像投影(例如，半球体)，或者对象可包括用户聚焦于的3D图像的投影内的特定对象(例如，人)。

图9示出了根据一些具体实施的图像的等矩形表示900的示例。具体地，等矩形表示900表示具有城市背景(例如，一组建筑物)的两个人的示例性图像。另外，与图3的等矩形表示300相比，等矩形表示900包括附加内容(例如，该组建筑物左侧的两棵树)。等矩形表示900的附加内容在180°视场(例如，-90°至90°)之外。

图10A示出了基于图1的物理环境100来生成的示例性3D环境1000A和3D图像在3D环境1000A内的投影。3D环境1000A包括物理环境100的门150和壁挂170的相应的表示1050和1070。3D环境1000A还包括被显示以形成虚拟形状1080(例如，3D虚拟形状诸如半球体，也称为“雪球”视图)的视觉内容1085。正被显示以形成虚拟形状1080的视觉内容1085构成入口(例如，图像的投影)，如本文所讨论的。另外，与图2的3D环境200相比，3D环境1000A示出了观看者位置1020与虚拟形状1080的距离比观看者位置220与虚拟形状280的距离更接近。

图10B示出了根据一些具体实施的由图2的设备提供的图9的表示900的示例性视图1000B。例如，表示900被示出为被显示在电子设备(例如，电子设备120)的显示器上的虚拟形状1080(例如，3D虚拟形状诸如半球体，也称为“雪球”视图)的表面上的视觉内容1085。例如，示例性视图1000B表示他或她将在图10A中观看在入口(例如，虚拟形状1080)内提供的图像(例如，视觉内容1085，即，具有城市背景的两个人的图像)的用户120的示例性视点。具体地，基于来自视点1020的当前视图，仅显示内容1085的180°(例如，因此建筑物左侧的树未被示出)。

图11A示出了基于图1的物理环境100来生成的示例性3D环境1100A和3D图像在3D环境1100A内的投影。3D环境1100A是与图10A的3D环境1000A相同的环境，不同的是，视点1120来自与视点1020不同的视点(例如，不同的视角)。例如，视点1120示出了在佩戴HMD时移动设备或转动他或她的头部的用户。例如，用户想要查看当前不在视觉内容1085的视图中的附加内容，因此做出了观看视觉内容的外边缘的移动。

图11B示出了根据一些具体实施的由图2的设备提供的图9的表示900的示例性视图1100B。例如，表示900被示出为被显示在电子设备(例如，电子设备120)的显示器上的虚拟形状1080(例如，3D虚拟形状诸如半球体，也称为“雪球”视图)的表面上的视觉内容1085。例如，示例性视图1100B表示他或她将在图11A中观看在入口(例如，虚拟形状1080)内提供的图像(例如，视觉内容1085，即，具有城市背景的两个人的图像)的用户120的示例性视点。具体地，基于来自视点1120的当前视图(例如，用户看向内容1085的视图的左侧)，向用户提供内容1085的附加内容，然后在示例性视图1000B中显示。因此，现在基于检测到的移动来向用户显示建筑物左侧的树(例如，视点1120已经从视点1020改变)。

图12是示出了示例性方法1200的流程图。在一些具体实施中，设备诸如电子设备120(图1)执行方法1200的技术以提供3D环境(包括3D图像(例如，虚拟“入口”)在3D环境内的投影)的视图。在一些具体实施中，在移动设备、台式计算机、膝上型电脑、HMD、耳挂式设备或服务器设备上执行方法1200的技术。在一些具体实施中，方法1200由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，在执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器上执行方法1200。

在框1202处，方法1200获得3D图像。3D图像可以是一个或多个图像、视频、动画或记录或创建的其他可见内容。3D图像可以是从相机(诸如具有鱼眼透镜的相机)捕获的非线性内容。此类相机可捕获对应于透镜形状的非线性内容而不使内容变平，并且此非线性内容可定位在3D环境中，例如，定位在形状的对应非线性(例如，弯曲、半球形等)表面上。例如，内容可显示在近似球形形状(其可以是不可见的)的内部或外部的一部分上。可捕获和显示非线性视觉内容，而没有本来将用于在平面表面上呈现该内容的扭曲或调整。

在一些具体实施中，3D图像包括立体图像对，该立体图像对包括对应于左眼视点的左眼内容和对应于右眼视点的右眼内容。在一些具体实施中，3D图像可包括被存储为等矩形投影的立体图像对或立体视频内容(例如，180°立体图像内容)。例如，如图5所示，向用户显示3D图像的立体图像对(例如，视图500a为左眼视图并且视图500b为右眼视图)。在一些具体实施中，空间化深度数据也可被获得并用于启用空间化视图。在一些具体实施中，3D图像包括立体照片、立体图、闪烁立体图像、随机点立体图、立体动画、柱状透镜图像等。在一些具体实施中，3D图像可以是任何立体图像对，例如使得右眼视图与左眼视图之间的差异使得观看者能够感知在入口处描绘的图像内容内的深度。例如，3D图像可以是任何类型的立体图像对，诸如180°半球体、直线90°、等矩形投影等，使得具有已知投影的任何图像内容将起作用，只要该内容包括立体对。

在框1204处，方法1200通过投影3D图像的部分(像素)以在3D环境内形成形状(例如，半球体)来生成3D图像在3D环境内的投影，其中3D环境包括与3D图像分离的附加内容。例如，附加内容通过包括虚拟形状280来与3D图像分离。在一些具体实施中，该形状(例如，虚拟形状280)基于3D图像的视图角度(例如，半球体用于180°视图角度)。3D图像(例如，视觉内容285)的投影在本文中有时被称为入口(例如，也称为“雪球”视图)。

在框1206处，方法1200提供包括3D图像的投影的3D环境的视图。3D环境可以是包括XR环境的任何类型的环境，该XR环境包括真实或虚拟对象的表示。例如，如图4的视图400所示，电子设备的视图提供包括图像(例如，视觉内容285)在入口(例如，虚拟形状280)内的投影的3D环境的视图(例如，朝向示例性环境100的壁挂170的表示270的视点)。

在一些具体实施中，方法1200还包括：基于3D环境的视图的视点来确定用于在3D环境内投影3D图像的位置。例如，入口(例如，虚拟形状280)可被世界锁定并固定到3D环境内的特定位置，或者可以是头部锁定的并且固定到用户的特定视点(例如，在佩戴HMD时，入口停留在与用户在3D环境周围移动时相同的视点处)。在一些具体实施中，当3D环境的视图的视点改变时，3D图像在3D环境内的位置是恒定的(例如，世界锁定定位)。例如，当用户四处移动时，形状(例如，半球体，也称为“雪球”)停留在固定位置中。在一些具体实施中，当3D环境的视图的视点改变时，3D图像的取向改变以面向视点。例如，当用户在真实世界、物理环境周围走动时，3D图像改变取向以不断地面向用户(例如，头部锁定定位)。

在一些具体实施中，电子设备可使入口中的3D图像内容稳定并与3D环境对准，例如以补偿捕获期间的相机移动。例如，3D图像内容可包括在跑步时捕获立体视频的某人。通过在入口内提供立体视频内容，本文所述的方法可使入口内的不稳定视频(例如，跑步者的视频)稳定，以减少观看入口内的视频内容的观看者的晕动症。

在一些具体实施中，入口的表面(例如，包括3D图像的投影的半球体)可提供立体纹理并且当用户在3D环境周围移动时改变取向以朝向该用户取向。例如，当用户在3D环境周围走动时，入口可改变外观(例如，大小、形状等)和/或随着用户在物理环境周围移动而与用户一起移动。3D环境可以是物理环境(例如，经过HMD上的视频)，或者3D环境可包括物理环境的表示(XR环境)。

在一些具体实施中，本文所述的过程基于相对于3D图像的投影的位置的用户位置(例如，接近半球体或在半球体内)来改变沉浸水平。例如，在一些具体实施中，方法1200还包括：确定视点(例如，用户的头部或设备)相对于3D图像在3D环境中的投影的位置关系(例如，距离、取向等)；以及基于该位置关系来改变沉浸水平。在一些具体实施中，确定位置关系涉及确定观看者在视觉内容的预定距离内。在一些具体实施中，确定位置关系涉及确定观看者在与视觉内容相关联的区域内。位置关系可在与视觉内容相距的阈值距离之内或之外、在基于视觉内容确定的球体内等。在一些具体实施中，当在3D环境中呈现视觉内容时，随时间推移跟踪观看者的位置。因此，当观看者在环境内移动或者3D图像的投影在环境内移动时，例如在每一帧处或时间瞬间、每5帧或时间瞬间等跟踪观看者与视觉内容之间的相对定位。在一些具体实施中，如果用户位于投影的阈值距离内(例如，几乎在半球体内，诸如在三英尺距离阈值内)，则3D图像的投影可从半球体视图(例如，也称为“雪球视图”)改变为完全沉浸视图(例如，全屏视图诸如图7的示例性视图700)。完全沉浸视图可包括佩戴HMD时的完全沉浸式视图(例如，涉及用于用户的整个感知视图的180°视图)。例如，当用户更靠近入口(例如，3D图像的投影)时，入口的大小可增加。另外，如果用户走进入口的位置，则用户可完全沉浸在立体照片/视频内容内。

在一些具体实施中，本文所述的过程调整3D图像的投影以改善用户舒适度。例如，当在非实物大小模式(也称为“雪球效果”)下观看立体照片时，调整主要对象上的感知立体视差。具体地，在一些具体实施中，方法1200还包括：调整投影以控制视差。在一些具体实施中，调整投影以控制视差基于电子设备的用户相对于3D图像在3D环境内的位置的注视方向。例如，基于他或她的注视来确定用户想要场景的哪个部分具有最小视差。有效视差可基于所捕获的图像/视频的深度信息、电子设备120的屏幕大小以及相对于入口(例如，3D图像(视觉内容285)的投影)的用户距离。在一些具体实施中，调整投影以控制视差包括：基于3D图像的内容的深度来确定度量；以及基于度量来执行3D图像的投影的像素移位、扭曲或移动。

在一些具体实施中，方法1200还包括：调整3D图像的投影以减小左眼视点与右眼视点之间的像素视差。例如，左眼视点与右眼视点之间的会聚角可基于用户的注视来确定。会聚角可基于用户位置的三点三角形、像素在用于左眼的对象上的投影3D点和像素在用于右眼的对象上的投影3D点来确定。随着用于左眼视图和右眼视图的两个投影的3D点移动，角度可变得更小或更大。对象可包括3D图像投影(例如，半球体)，或者对象可包括用户聚焦于的3D图像的投影内的特定对象(例如，人)。

在一些具体实施中，3D图像的投影描绘3D图像的一部分，使得3D图像的剩余部分被裁剪出投影。例如，如图9所示，当与等矩形表示300相比时，等矩形表示900包括180°视图之外的附加内容。因此，3D图像的投影可以是裁剪3D图像，使得存在未在球体内显示的附加内容(例如，建筑物左侧的树)。

在框1208处，方法1200确定视图的视点相对于3D图像在3D环境中的投影的位置关系。例如，确定位置关系可包括确定视点距用户的头部(例如，用户102)或视点距设备(例如，设备120)的距离、取向等。可确定相对于3D图像在3D环境中的投影(例如，从观看者位置220到视觉形状280上的投影的距离，如图2所示)的位置关系(例如，位置)。

在框1210处，方法1200基于位置关系来改变3D图像在3D环境内的投影。例如，改变3D图像在3D环境内的投影可包括基于位置关系(例如，检测到的头部或设备的运动)来观看当前不在视图中的3D照片中的附加内容(例如，等矩形表示900中的建筑物左侧的树)。

在一些具体实施中，改变3D图像的投影包括使得基于位置关系满足第一标准来描绘3D图像的剩余部分中的一些剩余部分。例如，当关系的改变落在可接受范围内时，响应于用户的移动(例如，连同平面单应性扭曲)而显露裁剪部分(例如，等矩形表示900中的建筑物左侧的树)。例如，检测用户的头部的移动(例如，如果用户正佩戴HMD的话)或检测设备的移动，使得用户或设备的视点看起来正看着当前显示的3D照片的边缘之外(例如，用户正试图查看当前视图之外是否存在附加图像数据)。

在一些具体实施中，改变3D图像的投影包括基于位置关系满足第二标准来向3D图像的投影提供视觉效果。例如，用于提供视觉效果的标准可以是如果用户横向移动超过视差错觉中断的阈值距离，则可提供视觉效果。附加地或另选地，用于提供视觉效果的标准可以是当关系的改变落在可接受范围之外时。例如，可基于头部移动来在立体图像或视频内容内(例如，形状280内)提供视觉效果以进一步减少晕动症(例如，基于对头部移动的对应性来针对3D照片创建伪视差，例如创建错觉)。在一些具体实施中，视觉效果包括使3D图像的投影的至少一部分模糊、淡出3D图像的投影的内容或将3D图像的投影的颜色内容的至少一部分转换为灰度。在一些具体实施中，3D图像的投影包括3D图像的立体视图，并且视觉效果包括从3D图像的立体视图到单视场视图的改变。

在一些具体实施中，视觉效果基于位置关系的改变速率。例如，位置关系的改变速率可基于速度阈值。例如，如果头部因为用户想要从投影(例如，在雪球中呈现的3D照片)移开视线而移动得太快，则视觉效果可被显示在3D照片上。例如，投影被世界锁定到特定位置，并且用户被打断并且想要看向房间的另一部分(例如，另一人进入该房间)，投影可能变模糊、变淡、从立体视图改变为单视场视图等。用户的焦点(例如，眼睛注视特性)不再朝向投影，因此图像质量(例如，帧速率)可被降低以改善系统的处理能力，因为用户当前未聚焦于3D图像。这种视觉效果也降低了用户的晕动症。另外，基于这些检测到的头部运动，可包括不同的视觉效果(例如，整个纹理基于运动来改变，并且可被映射到纹理动画、到纹理的平移、旋转扭曲(纹理空间中的旋转)等)。

在一些具体实施中，3D图像的投影的改变基于使用固定深度将扭曲应用于3D图像的左帧和右帧。例如，被提供以改变3D图像的投影的视觉效果可基于将固定深度应用于运动(例如，平面单应性)以用于图像到图像操作。

图13是示例性设备1300的框图。设备1300示出了图1的设备110的示例性设备配置。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，设备1300包括一个或多个处理单元1302(例如，微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备及传感器1306、一个或多个通信接口1308(例如，USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE802.16x、GSM、CDMA、TDMA、GPS、IR、BLUETOOTH、ZIGBEE、SPI、I2C和/或类似类型的接口)、一个或多个编程(例如，I/O)接口1310、一个或多个显示器1312、一个或多个面向内部和/或面向外部的图像传感器1314、存储器1320以及用于互连这些部件和各种其他部件的一条或多条通信总线1304。

在一些具体实施中，一条或多条通信总线1304包括互连和控制系统部件之间的通信的电路。在一些具体实施中，一个或多个I/O设备和传感器1306包括以下各项中的至少一者：惯性测量单元(IMU)、加速度计、磁力计、陀螺仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测仪、血氧传感器、血糖传感器等)、一个或多个麦克风、一个或多个扬声器、触觉引擎或一个或多个深度传感器(例如，结构光、飞行时间等)等。

在一些具体实施中，一个或多个显示器1312被配置为向用户呈现物理环境或图形环境的视图。在一些具体实施中，一个或多个显示器1312对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射器显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)和/或类似显示器类型。在一些具体实施中，一个或多个显示器1312对应于衍射、反射、偏振、全息等波导显示器。在一个示例中，设备1300包括单个显示器。在另一示例中，设备1300包括针对用户的每只眼睛的显示器。

在一些具体实施中，一个或多个图像传感器系统1314被配置为获得对应于物理环境105的至少一部分的图像数据。例如，一个或多个图像传感器系统1314包括一个或多个RGB相机(例如，具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器)、单色相机、IR相机、深度相机、基于事件的相机等。在各种具体实施中，一个或多个图像传感器系统1314还包括发射光的照明源，诸如闪光灯。在各种具体实施中，一个或多个图像传感器系统1314还包括相机上图像信号处理器(ISP)，该ISP被配置为对图像数据执行多个处理操作。

在一些具体实施中，设备120包括用于检测眼睛位置和眼睛移动(例如，眼睛注视检测)的眼睛跟踪系统。例如，眼睛跟踪系统可包括一个或多个红外(IR)发光二极管(LED)、眼睛跟踪相机(例如，近红外(NIR)相机)和向用户的眼睛发射光(例如，NIR光)的照明源(例如，NIR光源)。此外，设备120的照明源可发射NIR光以照明用户的眼睛，并且NIR相机可捕获用户的眼睛的图像。在一些具体实施中，可分析由眼睛跟踪系统捕获的图像以检测用户的眼睛的位置和移动，或检测关于眼睛的其他信息诸如瞳孔扩张或瞳孔直径。此外，从眼睛跟踪图像估计的注视点可使得能够与设备120的近眼显示器上示出的内容进行基于注视的交互。

存储器1320包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些具体实施中，存储器1320包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器1320任选地包括与一个或多个处理单元1302远程定位的一个或多个存储设备。存储器1320包括非暂态计算机可读存储介质。

在一些具体实施中，存储器1320或存储器1320的非暂态计算机可读存储介质存储可选的操作系统1330和一个或多个指令集1340。操作系统1330包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些具体实施中，指令集1340包括由以电荷形式存储的二进制信息定义的可执行软件。在一些具体实施中，指令集1340是能够由一个或多个处理单元1302执行以实施本文所述技术中的一种或多种的软件。

指令集1340包括3D图像指令集1342、位置跟踪指令集1344和生理(注视)跟踪指令集1346。指令集1340可体现为单个软件可执行文件或多个软件可执行文件。

3D图像指令集1342可由处理单元1302执行以提供视觉内容诸如一个或多个图像、视频、动画等。在一些具体实施中，执行3D图像指令集1342以生成3D环境，在3D环境中包括视觉内容，并且提供包括基于观看者位置的视觉内容的3D环境的视图。观看者位置可根据位置跟踪指令集1344来确定并且可基于物理环境中的观看者(例如，用户或设备)位置和移动。观看者的注视特性可由生理(注视)跟踪指令集1346确定。在一些具体实施中，执行3D图像指令集1342以在3D环境中包括真实或虚拟表面上的视觉内容，并且提供包括基于观看者位置和/或观看者的注视方向的表面上的视觉内容的3D环境的视图。真实或虚拟表面可对应于形状，例如，平坦平面、球体的一部分、对应于从中创建视觉内容的图像内容的形状等。

位置跟踪指令集1344可由处理单元1302执行以跟踪观看者(例如，用户或他/她的设备)相对于3D环境的位置。这可涉及跟踪观看者在物理环境中的位置或移动。可基于来自I/O设备和传感器1306或图像传感器系统1314的信息来跟踪位置(包括2D或3D坐标信息或取向)。在一些具体实施中，执行位置跟踪指令集1344以评估物理环境的图像，识别物理环境中的对象，并且确定相对于物理环境中的对象的观看者位置。在一些具体实施中，附加地或另选地使用惯性测量单元(IMU)、加速计、磁力计或陀螺仪来跟踪观看者位置。在一些具体实施中，应用视觉惯性测程(VIO)技术或同时定位和标测(SLAM)技术以跟踪观看者位置。在一些具体实施中，位置跟踪指令集1344实现使用图像数据或传感器数据来跟踪观看者位置的机器学习模型。

在一些具体实施中，生理跟踪(例如，眼睛注视特性)指令集1346可由处理单元1302执行以使用本文所讨论的技术中的一种或多种技术或另有可能适当的技术来跟踪用户的眼睛注视特性或其他生理属性。出于这些目的，在各种具体实施中，该指令包括指令和/或用于该指令的逻辑以及启发法和用于该启发法的元数据。

尽管指令集1340被示出为驻留在单个设备上，但应当理解，在其他具体实施中，元件的任何组合可位于单独的计算设备中。此外，图13更多地用作存在于特定具体实施中的各种特征部的功能描述，该各种特征部与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。指令集的实际数量以及如何在其中分配特征将根据具体实施而变化，并且可以部分地取决于为特定具体实施选择的硬件、软件和/或固件的特定组合。

图14示出了根据一些具体实施的示例性头戴式设备1400的框图。头戴式设备1400包括容纳头戴式设备1400的各种部件的外壳1401(或壳体)。外壳1401包括(或耦接到)设置在外壳1401的近侧(用户102的眼睛的)端部处的眼垫(未示出)。在各种具体实施中，眼垫是塑料或橡胶件，其舒适且贴合地将头戴式设备1400保持在用户102的面部上的适当位置(例如，围绕用户102的眼睛)。

外壳1401容纳显示器1410，该显示器显示图像，朝向用户102的眼睛发射光或将光发射到该用户的眼睛上。在各种具体实施中，显示器1410通过具有一个或多个透镜1405的目镜发射光，该目镜折射由显示器1410发射的光，使显示器对于用户102而言看起来处于比从眼睛到显示器1410的实际距离更远的虚拟距离。为了使用户102能够聚焦在显示器1410上，在各种具体实施中，该虚拟距离至少大于眼睛的最小焦距(例如，7cm)。此外，为了提供更好的用户体验，在各种具体实施中，虚拟距离大于1米。

外壳1401还容纳跟踪系统，该跟踪系统包括一个或多个光源1422、相机1424和控制器1480。一个或多个光源1422将光发射到用户102的眼睛上，该光反射为可由相机1424检测的光图案(例如，闪光圈)。基于该光图案，控制器1480可确定用户102的眼睛跟踪特征。例如，控制器1480可确定用户102的注视方向和/或眨眼状态(睁眼或闭眼)。又如，控制器1480可确定瞳孔中心、瞳孔大小或关注点。因此，在各种具体实施中，光由一个或多个光源1422发射，从用户102的眼睛反射，并且由相机1424检测。在各种具体实施中，来自用户102的眼睛的光在到达相机1424之前从热镜反射或通过目镜。

显示器1410发射第一波长范围内的光，并且一个或多个光源1422发射第二波长范围内的光。类似地，相机1424检测第二波长范围内的光。在各种具体实施中，第一波长范围是可见波长范围(例如，可见光谱内大约为400nm-700nm的波长范围)，并且第二波长范围是近红外波长范围(例如，近红外光谱内约为700nm-1400nm的波长范围)。

在各种具体实施中，眼睛跟踪(或者具体地，确定的注视方向)用于使用户能够进行交互(例如，用户102通过观看显示器1410上的选项来选择它)，提供有孔的渲染(例如，在用户102正在观看的显示器1410的区域中呈现更高的分辨率并且在显示器1410上的其他地方呈现更低的分辨率)，或者校正失真(例如，对于要在显示器1410上提供的图像)。在各种具体实施中，一个或多个光源1422朝向用户102的眼睛发射光，该光以多个闪光的形式反射。

在各种具体实施中，相机1424是基于帧/快门的相机，其以帧速率在特定时间点或多个时间点生成用户102的眼睛的图像。每个图像包括对应于图像的像素的像素值的矩阵，所述像素对应于相机的光传感器矩阵的位置。在具体实施中，每个图像用于通过测量与用户瞳孔中的一者或两者相关联的像素强度的变化来测量或跟踪瞳孔扩张。

在各种具体实施中，相机1424是包括在多个相应位置处的多个光传感器(例如，光传感器矩阵)的事件相机，该事件相机响应于特定光传感器检测到光强度的改变而生成指示特定光传感器的特定位置的事件消息。

在各种具体实施中，头戴式设备1400包括面向外部的传感器(例如，相机1430和相机1435)，以用于从头戴式设备1400之外捕获信息。例如，以捕获用户102正在观看的物理环境的图像数据。图像数据可包括光强度图像数据和/或深度数据。例如，相机1430(例如，图1的传感器122)可以是用于捕获RGB数据的视频相机，并且相机1435(例如，图1的传感器124)可以是用于捕获深度数据的深度传感器(例如，结构光、飞行时间等)。

本领域的那些普通技术人员将意识到没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。此外，其他有效方面和/或变体不包括本文所述的所有具体细节。因此，描述了若干细节以便提供对附图中所示的示例性方面的透彻理解。此外，附图仅示出了本公开的一些示例性实施方案，因此不应被视为限制。

虽然本说明书包含许多具体实施细节，但是这些具体实施细节不应被理解为是对任何发明或可能要求保护的内容的范围的限制，而应被理解为对特定于特定发明的特定实施方案的特征的描述。本说明书中在不同实施方案的上下文中描述的某些特征也可以在单个实施方案中组合地实现。相反地，在单个实施方案的上下文中描述的各种特征也可单独地或者以任何合适的子组合的形式在多个实施方案中实现。此外，虽然某些特征可能在上面被描述为以某些组合来起作用并且甚至最初也这样地来要求保护，但是要求保护的组合的一个或多个特征在某些情况下可从该组合中去除，并且要求保护的组合可涉及子组合或子组合的变型。

类似地，虽然操作在附图中以特定次序示出，但不应将此理解为要求以相继次序或所示的特定次序来执行此类操作，或者要求执行所有所示的操作以实现期望的结果。在某些情况中，多任务和并行处理可能是有利的。此外，上述实施方案中各个系统部件的划分不应被理解为在所有实施方式中都要求此类划分，并且应当理解，所述程序部件和系统可一般性地一起整合在单个软件产品中或者封装到多个软件产品中。

因此，已经描述了主题的特定实施方案。其他实施方案也在以下权利要求书的范围内。在某些情况下，权利要求书中所述的动作能够以不同的次序执行，并且仍能实现期望的结果。此外，附图中所示的过程未必要求所示的特定次序或者先后次序来实现期望的结果。在某些具体实施中，多任务和并行处理可能是有利的。

本说明书中描述的主题和操作的实施方案可在数字电子电路中或在计算机软件、固件或硬件中(包括本说明书中公开的结构及其结构等同物)或在它们中的一者或多者的组合中实现。本说明书中所述主题的实施方案可被实现为一个或多个计算机程序，即在计算机存储介质上编码的计算机程序指令的一个或多个模块，以用于由数据处理装置执行或控制数据处理装置的操作。另选地或除此之外，该程序指令可在人工生成的传播信号上被编码，例如机器生成的电信号、光信号或电磁信号，该电信号、光信号或电磁信号被生成以对信息进行编码以便传输到合适的接收器装置以供数据处理装置执行。计算机存储介质可以是计算机可读存储设备、计算机可读存储基板、随机或串行访问存储器阵列或设备，或者它们中的一者或多者的组合，或者包括在计算机可读存储设备、计算机可读存储基板、随机或串行访问存储器阵列或设备中。此外，虽然计算机存储介质并非传播信号，但计算机存储介质可以是在人工生成的传播信号中编码的计算机程序指令的源或目的地。计算机存储介质也可以是一个或多个单独的物理部件或介质(例如，多个CD、磁盘或其他存储设备)，或者包括在一个或多个单独的物理部件或介质中。

术语“数据处理装置”涵盖用于处理数据的所有种类的装置、设备和机器，例如包括可编程处理器、计算机、片上系统、或前述各项中的多项或组合。该装置可包括专用逻辑电路(例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路))。除了硬件之外，该装置还可包括为所考虑的计算机程序创建执行环境的代码，例如构成处理器固件、协议栈、数据库管理系统、操作系统、跨平台运行环境、虚拟机或它们中的一者或多者的组合的代码。该装置和执行环境可实现各种不同的计算模型基础结构，诸如web服务、分布式计算和网格计算基础结构。除非另外特别说明，否则应当理解，在整个说明书中，利用诸如“处理”、“计算”、“计算出”、“确定”和“标识”等术语的论述是指计算设备的动作或过程，诸如一个或多个计算机或类似的电子计算设备，其操纵或转换表示为计算平台的存储器、寄存器或其他信息存储设备、传输设备或显示设备内的物理电子量或磁量的数据。

本文论述的一个或多个系统不限于任何特定的硬件架构或配置。计算设备可以包括部件的提供以一个或多个输入为条件的结果的任何合适的布置。合适的计算设备包括基于多用途微处理器的计算机系统，其访问存储的软件，该软件将计算系统从通用计算装置编程或配置为实现本发明主题的一种或多种具体实施的专用计算装置。可以使用任何合适的编程、脚本或其他类型的语言或语言的组合来在用于编程或配置计算设备的软件中实现本文包含的教导内容。

本文所公开的方法的具体实施可以在这样的计算设备的操作中执行。上述示例中呈现的框的顺序可以变化，例如，可以将框重新排序、组合和/或分成子块。某些框或过程可以并行执行。本说明书中描述的操作可以被实施为由数据处理装置对存储在一个或多个计算机可读存储设备上或从其他源接收的数据执行的操作。

本文中“适用于”或“被配置为”的使用意味着开放和包容性的语言，其不排除适用于或被配置为执行额外任务或步骤的设备。另外，“基于”的使用意味着开放和包容性，因为“基于”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。本文包括的标题、列表和编号仅是为了便于解释而并非旨在为限制性的。

还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种元素，但是这些元素不应当被这些术语限定。这些术语只是用于将一个元件与另一元件区分开。例如，第一节点可以被称为第二节点，并且类似地，第二节点可以被称为第一节点，其改变描述的含义，只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点，但它们不是同一个节点。

本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求中所使用的那样，单数形式的“一个”和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件，和/或其分组。

如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。

Claims (38)

1.一种方法，所述方法包括：

在具有处理器的电子设备处：

获得三维(3D)图像；

通过投影所述3D图像的部分以在3D环境内形成具有非平面表面的形状来生成所述3D图像在所述3D环境内的投影，其中所述3D环境包括与所述3D图像分离的附加内容；以及

提供包括所述3D图像的所述投影的所述3D环境的视图。

2.根据权利要求1所述的方法，其中所述3D图像包括立体图像对，所述立体图像对包括对应于左眼视点的左眼内容和对应于右眼视点的右眼内容。

3.根据权利要求1所述的方法，其中所述3D图像包括被存储为等矩形投影的立体视频内容。

4.根据权利要求1所述的方法，其中所述3D图像包括立体照片、立体图、3D视频、闪烁立体图像、随机点立体图、立体动画或柱状透镜图像。

5.根据权利要求1至4中任一项所述的方法，所述方法还包括：基于所述3D环境的所述视图的视点来确定用于在所述3D环境内投影所述3D图像的位置。

6.根据权利要求1至5中任一项所述的方法，其中当所述3D环境的所述视图的视点改变时，所述3D图像在所述3D环境内的所述投影的位置是恒定的。

7.根据权利要求1至6中任一项所述的方法，其中当所述3D环境的所述视图的视点改变时，所述3D图像的所述投影的取向改变以面向视点。

8.根据权利要求1至7中任一项所述的方法，其中所述形状基于所述3D图像的视图角度。

9.根据权利要求1至8中任一项所述的方法，所述方法还包括：调整所述投影以控制视差。

10.根据权利要求9所述的方法，其中调整所述投影以控制视差基于所述电子设备的用户相对于所述3D图像在所述3D环境内的所述投影的所述位置的注视方向。

11.根据权利要求9或10所述的方法，其中调整所述投影以控制视差包括：

基于所述3D图像的内容的深度来确定度量；以及

基于所述度量来执行所述3D图像的所述投影的像素移位、扭曲或移动。

12.根据权利要求9至11中任一项所述的方法，所述方法还包括：进一步调整所述投影以减小左眼视点与右眼视点之间的像素视差。

13.根据权利要求1至12中任一项所述的方法，所述方法还包括：

确定所述视图的视点相对于所述3D图像在所述3D环境中的所述投影的位置关系；以及

基于所述位置关系来改变沉浸水平。

14.根据权利要求13所述的方法，其中所述3D图像的所述投影在球体的形状内，基于所述位置关系来改变沉浸水平包括将所述3D图像的所述投影的视图从所述球体的外部视图的视角改变为所述球体的内部视图的视角。

15.根据权利要求13所述的方法，其中基于所述位置关系来改变沉浸水平包括将视图从所述3D图像的所述投影的内部视图改变为所述3D图像的所述投影的外部视图。

16.根据权利要求13所述的方法，其中所述3D图像包括360度内容，并且基于所述位置关系来改变沉浸水平包括从当所述视点的所述位置关系在所述3D图像的所述投影之外时包括所述3D图像的所述投影的一部分的第一视图改变为当所述视点的所述位置关系在所述3D图像的所述投影之内时包括全部所述3D图像的所述投影的第二视图。

17.根据权利要求1至16中任一项所述的方法，其中所述3D图像的所述投影描绘所述3D图像的一部分，使得所述3D图像的剩余部分被裁剪出所述投影。

18.根据权利要求1至17中任一项所述的方法，所述方法还包括

确定所述视图的视点相对于所述3D图像在所述3D环境中的所述投影的位置关系；以及

基于所述位置关系来改变所述3D图像在所述3D环境内的所述投影。

19.根据权利要求18所述的方法，其中改变所述3D图像的所述投影包括使得基于所述位置关系满足第一标准来描绘所述3D图像的所述剩余部分中的一些剩余部分。

20.根据权利要求18或19所述的方法，其中改变所述3D图像的所述投影包括基于所述位置关系满足第二标准来向所述3D图像的所述投影提供视觉效果。

21.根据权利要求20所述的方法，其中所述视觉效果包括使所述3D图像的所述投影的至少一部分模糊、淡出所述3D图像的所述投影的内容或将所述3D图像的所述投影的颜色内容的至少一部分转换为灰度。

22.根据权利要求20或21所述的方法，其中所述3D图像的所述投影包括所述3D图像的立体视图，并且所述视觉效果包括从所述3D图像的所述立体视图到单视场视图的改变。

23.根据权利要求20至22中任一项所述的方法，其中所述视觉效果基于所述位置关系的改变速率。

24.根据权利要求17至23中任一项所述的方法，其中所述3D图像的所述投影的所述改变基于使用固定深度将扭曲应用于所述3D图像的左帧和右帧。

25.一种系统，所述系统包括：

非暂态计算机可读存储介质；和

一个或多个处理器，所述一个或多个处理器耦接到所述非暂态计算机可读存储介质，其中所述非暂态计算机可读存储介质包括程序指令，所述程序指令在所述一个或多个处理器上执行时，使所述系统执行包括以下项的操作：

获得三维(3D)图像；

通过投影所述3D图像的部分以在3D环境内形成具有非平面表面的形状来生成所述3D图像在所述3D环境内在所述3D环境内的投影，其中所述3D环境包括与所述3D图像分离的附加内容；以及

提供包括所述3D图像的所述投影的所述3D环境的视图。

26.根据权利要求25所述的系统，其中所述3D图像包括立体图像对，所述立体图像对包括对应于左眼视点的左眼内容和对应于右眼视点的右眼内容。

27.根据权利要求25所述的系统，其中所述3D图像包括被存储为等矩形投影的立体视频内容。

28.根据权利要求25所述的系统，其中所述3D图像包括立体照片、立体图、3D视频、闪烁立体图像、随机点立体图、立体动画或柱状透镜图像。

29.根据权利要求25至28中任一项所述的系统，其中所述程序指令还使得所述系统执行操作，所述操作包括基于所述3D环境的所述视图的视点来确定用于在所述3D环境内投影所述3D图像的位置。

30.根据权利要求25至29中任一项所述的系统，其中当所述3D环境的所述视图的视点改变时，所述3D图像在所述3D环境内的所述投影的位置是恒定的。

31.根据权利要求25至30中任一项所述的系统，其中当所述3D环境的所述视图的视点改变时，所述3D图像的所述投影的取向改变以面向视点。

32.根据权利要求25至31中任一项所述的系统，其中所述形状基于所述3D图像的视图角度。

33.根据权利要求25至32中任一项所述的系统，其中所述程序指令还使得所述系统执行操作，所述操作包括调整所述投影以控制视差。

34.根据权利要求33所述的系统，其中调整所述投影以控制视差基于所述电子设备的用户相对于所述3D图像在所述3D环境内的所述投影的所述位置的注视方向。

35.根据权利要求33或34所述的系统，其中调整所述投影以控制视差包括：

基于所述3D图像的内容的深度来确定度量；以及

基于所述度量来执行所述3D图像的所述投影的像素移位、扭曲或移动。

36.根据权利要求33至35中任一项所述的系统，其中所述程序指令还使得所述系统执行操作，所述操作包括进一步调整所述投影以减小左眼视点与右眼视点之间的像素视差。

37.根据权利要求25至36中任一项所述的系统，其中所述程序指令还使得所述系统执行操作，所述操作还包括：

确定所述视图的视点相对于所述3D图像在所述3D环境中的所述投影的位置关系；以及

基于所述位置关系来改变沉浸水平。

38.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储能够在设备上执行以执行操作的程序指令，所述操作包括：

获得三维(3D)图像；

通过投影所述3D图像的部分以在3D环境内形成具有非平面表面的形状来生成所述3D图像在所述3D环境内在所述3D环境内的投影，其中所述3D环境包括与所述3D图像分离的附加内容；以及

提供包括所述3D图像的所述投影的所述3D环境的视图。