CN113632457A - 包含全息内容的视频通信 - Google Patents

Abstract

一种视频通信系统使用光场显示器来呈现远程场景的全息图像(例如，远程参与者的全息图)。所述系统可以包含本地光场显示组合件和控制器。所述控制器基于与从远程图像捕获系统(例如，远程光场显示系统)接收的远程场景相对应的视觉数据生成显示指令。所述显示指令使所述本地光场显示组合件生成所述远程场景的全息图像。

Description

包含全息内容的视频通信

相关申请的交叉引用

本申请涉及国际申请第PCT/US2017/042275号、第PCT/US2017/042276、第PCT/US2017/042418号、第PCT/US2017/042452号、第PCT/US2017/042462号、第PCT/US2017/042466号、第PCT/US2017/042467号、第PCT/US2017/042468号、第PCT/US2017/042469号、第PCT/US2017/042470号和第PCT/US2017/042679号，所有所述国际申请通过引用以其全文并入本文。

背景技术

本公开总体上涉及通信系统，并且更具体地说涉及使用光场显示系统的视频通信。

随着通信带宽可用性的提高和数码相机成本的下降，视频已成为越来越流行的通信方式。然而，若干因素限制了现有视频通信解决方案的用户体验质量。通常，相机和屏幕被定位成靠近在一起，但位置明显不同。因此，参与者不会进行眼神接触，并且通常不会注意到人类用来为所说的话添加背景的其它手势和表情。直接交互也很困难，因为呈现视频的显示器充当参与者之间的障碍。虽然一些现有的视频通信技术允许通过屏幕共享功能观看文档，但这会导致参与者的视频被去除或在大小上有所减小。

发明内容

一种视频通信系统使用光场显示器来呈现远程场景的全息图像，所述远程场景可以包含一个或多个远程参与者。在一个实施例中，所述系统包含本地光场显示组合件和控制器。所述控制器基于与从远程图像捕获系统(如另一个光场显示组合件或远程光场显示系统)接收的远程场景相对应的视觉数据生成显示指令。所述显示指令使所述本地光场显示组合件生成所述远程场景的全息图像。

附图说明

图1是根据一个或多个实施例的呈现全息对象的光场显示模块的图。

图2A是根据一个或多个实施例的光场显示模块的一部分的横截面。

图2B是根据一个或多个实施例的光场显示模块的一部分的横截面。

图3A是根据一个或多个实施例的光场显示模块的透视图。

图3B是根据一个或多个实施例的包含交织的能量中继装置的光场显示模块的横截面视图。

图4A是根据一个或多个实施例的以二维方式平铺以形成单面无缝表面环境的光场显示系统的一部分的透视图。

图4B是根据一个或多个实施例的在多面无缝表面环境中的光场显示系统的一部分的透视图。

图4C是根据一个或多个实施例的具有处于翼状配置的聚合表面的光场显示系统的俯视图。

图4D是根据一个或多个实施例的具有处于倾斜配置的聚合表面的光场显示系统的侧视图。

图4E是根据一个或多个实施例的在房间的前壁上具有聚合表面的光场显示系统的俯视图。

图4F是根据一个或多个实施例的在房间的前壁上具有聚合表面的光场显示系统的侧视图的侧视图。

图5是根据一个或多个实施例的光场显示系统的框图。

图6是根据一个或多个实施例的用于视频会议的示例光场显示系统的图示。

图7是根据一个或多个实施例的用于视频会议空间的替代性配置的图示。

图8A是根据一个或多个实施例的呈现包含全息视频聊天参与者的全息内容的光场显示系统的图示。

图8B是根据一个或多个实施例的图8A的呈现包含视频聊天参与者的图像的全息内容的光场显示系统的图示。

图9是根据一个或多个实施例的呈现包含群组视频聊天中的参与者的表示的全息内容的LF显示系统的图示。

具体实施方式

光场(LF)显示系统提供视频通信，如视频会议、视频聊天或预先录制的视频消息。视频通信包含表示远程场景的全息内容，如远程参与者的全息图像、道具的全息图像和全息白板。尽管术语“视频会议”和“视频聊天”为了方便起见分别用于指代更正式和不太正式的通信，但是参考一个术语描述的任何功能可以在另一个术语中提供。

在各个实施例中，处于一个位置的参与者的全息图像被呈现给处于不同位置的参与者。全息图像提供参与者的三维(3D)表示，无需眼镜、耳机或其它观看设备即可观看。在进行实时通信的情况下，可以使用既发射光又吸收光的双向表面。因此，处于两个位置的参与者的注视方向之间可以存在一一对应关系，使参与者能够进行眼神接触，就好像在同一物理空间中一样。此外，3D图像的存在可以帮助参与者注意到传达传统视频通信可能遗漏的信息的手势和/或表情。因此，LF显示系统的使用可以给参与者提供其位于同一空间的印象，即使相隔数千英里。

在一些实施例中，可以提供另外的全息图像以改进和/或促进通信体验。例如，可以提供如产品原型等全息道具以进一步促进通信，就好像参与者都位于同一空间中一样。类似地，可以提供参与者可以在其上绘制的全息白板，并且可以在两个或更多个位置之间同步内容。因为白板是全息的，所以不需要被限制在二维(2D)表面上。在一个实施例中，参与者可以在被指定为虚拟白板的空间区域(例如，盒子)内以3D方式绘制。作为另一个实例，参与者可以能够改变其自身的外观和/或其它参与者的外观。这可以包含部分改变，如改变衣服、头发颜色、照明等以及完全改变，如用化身表示参与者，所述化身的运动被映射到对应参与者的运动。

由LF显示系统呈现的全息内容还可以通过其它感觉刺激(例如，触觉和/或音频)进行增强。例如，LF显示系统中的超声源可以投影产生体触觉投影的超声压力波。体触觉投影提供与所投影的全息对象中的一些或全部全息对象相对应的触觉表面。全息内容也可以包含另外的视觉内容(即，2D或3D视觉内容)。在具有多个能量源的实施方案中(即，在任何给定时间点提供正确触觉感受和感觉刺激的全息对象)，实现凝聚性体验的能量源的协调是LF系统的一部分。例如，LF系统可以包含协调全息内容和触觉表面的呈现的控制器。

在一些实施例中，LF显示系统可以包含使系统能够投影至少一种类型的能量，并且同时感测至少一种类型的能量的元件。感测到的能量可以用于记录观看者如何响应全息内容。例如，LF显示系统可以投影用于观看的全息对象以及用于触觉感知的超声波两者，并且并同时记录成像信息以用于跟踪观看者(例如，视频会议参与者)和其它场景分析。作为一个实例，此类系统可以投影参与者可以通过触摸(例如，通过伸出并旋转全息原型以从不同角度观看其)操纵的全息产品原型，其中与全息原型的此交互是由LF显示系统记录的。执行环境能量感测的LF显示系统组件可以集成到显示表面中，或者其可以是与显示表面分开的专用传感器。

光场显示系统概述

图1是根据一个或多个实施例的呈现全息对象120的光场(LF)显示模块110的图100。LF显示模块110是光场(LF)显示系统的一部分。LF显示系统使用一个或多个LF显示模块来呈现包含至少一个全息对象的全息内容。LF显示系统可以向一个或多个观看者呈现全息内容。在一些实施例中，LF显示系统还可以用其它感觉内容(例如，触摸、音频、气味、温度等)来增强全息内容。例如，如下文所讨论的，聚焦超声波的投影可以生成可以模拟全息对象中的一些或全部全息对象的表面的半空中触觉感觉。LF显示系统包含一个或多个LF显示模块110，并且下文关于图2-9详细地讨论。

LF显示模块110是向一个或多个观看者(例如，观看者140)呈现全息对象(例如，全息对象120)的全息显示器。LF显示模块110包含能量装置层(例如，发射电子显示器或声学投影装置)和能量波导层(例如，光学透镜阵列)。另外，LF显示模块110可以包含能量中继层，以出于将多个能量源或检测器组合在一起以形成单个表面的目的。在高水平处，能量装置层生成能量(例如，全息内容)，然后根据一个或多个四维(4D)光场函数使用能量波导层将所述能量引导到空间中的区域。LF显示模块110还可以同时投影和/或感测一种或多种类型的能量。例如，LF显示模块110可以能够在观看体中投影全息图像以及超声触觉表面，同时从观看体检测成像数据。LF显示模块110的操作在下文关于图2-3更详细地讨论。

LF显示模块110使用一个或多个4D光场函数(例如，从全光函数派生)来在全息对象体160内生成全息对象。全息对象可以是三维(3D)、二维(2D)或其某种组合。此外，全息对象可以是多色的(例如，全色)。全息对象可以投影在屏幕平面前面、屏幕平面后面，或者被屏幕平面分开。可以呈现全息对象120，使得在全息对象体160内的任何地方都可以感知到所述全息对象。全息对象体160内的全息对象对观看者140来说可以看起来是漂浮在空间中的。

全息对象体160表示观看者140可以在其中感知全息对象的体。全息对象体160可以在显示区域150的表面前面延伸(即，朝向观看者140)，使得全息对象可以呈现在显示区域150的平面前面。另外，全息对象体160可以在显示区域150的表面后面延伸(即，远离观看者140)，从而允许将全息对象呈现为好像其在显示区域150的平面后面。换句话说，全息对象体160可以包含源自显示区域150的所有光线(例如，被投影)，并且可以会聚以创建全息对象。本文中，光线可以会聚在显示表面前面、显示表面处或显示表面后面的点处。更简单地，全息对象体160涵盖观看者可以从中感知全息对象的所有体。

观看体130是空间的体，从所述空间可完全看到通过LF显示系统呈现在全息对象体160内的全息对象(例如，全息对象120)。可以将全息对象呈现在全息对象体160内，并在观看体130内对其进行观看，使得所述全息对象与实际对象没有区别。全息对象是通过投影与物理上存在时从对象表面生成的相同光线而形成的。

在一些情况下，全息对象体160和对应的观看体130可以相对较小-使得其被设计用于单个观看者。在其它实施例中，如下文关于例如图4和6-9详细地讨论的，可以放大和/或平铺LF显示模块以创建更大的全息对象体和可以容纳大范围观看者(例如，一到数千个)的对应的观看体。可以构建本公开中所呈现的LF显示模块，使得LF显示器的整个表面含有全息成像光学装置，没有无效或死角空间，并且不需要边框。在这些实施例中，LF显示模块可以被平铺，使得成像区域在LF显示模块之间的接缝上是连续的，并且使用眼睛的视敏度几乎无法检测到平铺的模块之间的结合线。值得注意的是，在一些配置中，尽管在本文中不详细地描述，但是显示表面的一些部分可以不包含全息成像光学装置。

观看体130的柔性尺寸和/或形状允许观看者不受约束在观看体130内。例如，观看者140可以移动到观看体130内的不同定位，并且从对应的视角看到全息对象120的不同视图。为了说明，参考图1，观看者140相对于全息对象120位于第一定位，使得全息对象120看起来是海豚的正面视图。观看者140可以相对于全息对象120移动到其它位置以看到海豚的不同视图。例如，观看者140可以移动使得他/她看到海豚的左侧、海豚的右侧等，就非常像观看者140正在观看实际的海豚一样并且改变他/她与实际的海豚的相对定位以看到海豚的不同视图。在一些实施例中，全息对象120对于观看体130内的所有观看者可见，所有观看者到全息对象120的视线不受阻碍(即，未被对象/人阻挡)。这些观看者可以不受约束，使得其可以在观看体内四处移动以看到全息对象120的不同视角。因此，LF显示系统可以呈现全息对象，使得多个不受约束的观看者可以在现实世界空间中同时看到全息对象的不同视角，就好像全息对象是物理上存在的一样。

相比之下，常规显示器(例如，立体、虚拟现实、增强现实或混合现实)通常要求每个观看者穿戴某种外部装置(例如，3-D眼镜、近眼显示器或头戴式显示器)以看到内容。另外地和/或可替代地，常规的显示器可以要求观看者被约束到特定的观看定位(例如，在相对于显示器具有固定位置的椅子上)。例如，当观看由立体显示器示出的对象时，观看者总是聚焦在显示表面上，而不是聚焦在对象上，并且显示器将始终呈现对象的仅两个视图，所述视图将跟随试图在所述感知的对象周围移动的观看者，从而导致所述对象的感知失真。然而，利用光场显示器，通过LF显示系统呈现的全息对象的观看者不需要穿戴外部装置，也不必被限制在特定定位以看到全息对象。LF显示系统以观看者可见的方式呈现全息对象，与观看者可看见物理对象的方式几乎相同，而无需特殊的护目镜、眼镜或头戴式附件。进一步地，观看者可以从观看体内的任何位置观看全息内容。

值得注意的是，全息对象体160内的全息对象的潜在位置受体的大小的限制。为了增加全息对象体160的大小，可以增加LF显示模块110的显示区域150的大小和/或可以以形成无缝显示表面的方式将多个LF显示模块平铺在一起。无缝显示表面的有效显示区域大于各个LF显示模块的显示区域。下文关于图4和6-9讨论与平铺LF显示模块相关的一些实施例。如图1所展示的，显示区域150是矩形的，从而导致全息对象体160是角锥形。在其它实施例中，显示区域可以具有某个其它形状(例如，六边形)，这也影响对应的观看体的形状。

另外，尽管上文讨论聚焦于将全息对象120呈现在全息对象体160的位于LF显示模块110与观看者140之间的一部分内，但是LF显示模块110可以另外将内容呈现在显示区域150的平面后面的全息对象体160中。例如，LF显示模块110可以使显示区域150看起来是全息对象120正跳出的海洋表面。并且所显示的内容可以使得观看者140能够通过所显示的表面进行观看以看到水下的海洋生物。此外，LF显示系统可以生成在全息对象体160周围无缝地移动的内容，包含在显示区域150的平面后面和前面。

图2A展示了根据一个或多个实施例的LF显示模块210的一部分的横截面200。LF显示模块210可以是LF显示模块110。在其它实施例中，LF显示模块210可以是显示区域形状与显示区域150不同的另一LF显示模块。在所展示的实施例中，LF显示模块210包含能量装置层220、能量中继层230和能量波导层240。LF显示模块210的一些实施例具有与此处所描述的组件不同的组件。例如，在一些实施例中，LF显示模块210不包含能量中继层230。类似地，可以以与此处所描述的方式不同的方式在组件之间分配功能。

此处所描述的显示系统呈现了复制了现实世界中通常包围对象的能量的能量发射。此处，将发射的能量从显示表面上的每个坐标引导朝向特定的方向。换句话说，显示表面上的各个坐标充当发射的能量的投影位置。来自显示表面的定向能量使许多能量射线汇聚，这由此可以创建全息对象。例如，对于可见光，LF显示器将从投影位置投影出非常多的可以会聚在全息对象体的任何点处的光线，因此从定位得比被投影的对象更远的观看者的视角看，所述光线似乎来自定位在此空间的区域中的真实对象的表面。以此方式，LF显示器生成了从观看者的视角离开此对象表面的反射光线。观看者视角可以在任何给定的全息对象上发生变化，并且观看者将看到所述全息对象的不同视图。

如本文所描述的，能量装置层220包含一个或多个电子显示器(例如，发射显示器，如OLED)和一个或多个其它能量投影和/或能量接收装置。一个或多个电子显示器被配置成根据显示指令(例如，来自LF显示系统的控制器)显示内容。一个或多个电子显示器包含多个像素，每个像素具有独立控制的强度。可以在LF显示器中使用许多类型的商用显示器，如发射LED和OLED显示器。

能量装置层220还可以包含一个或多个声学投影装置和/或一个或多个声学接收装置。声学声投影装置生成与全息对象250互补的一个或多个压力波。所生成的压力波可以是例如可听的、超声的或其某种组合。超声压力波的阵列可以用于体触觉感觉(例如，在全息对象250的表面处)。可听压力波用于提供可以补充全息对象250的音频内容(例如，沉浸式音频)。例如，假设全息对象250是海豚，则可以使用一个或多个声学投影装置来(1)生成与海豚的表面并置的触觉表面，使得观看者可以触摸全息对象250；并且(2)提供与海豚发出的响声(如咔哒声、唧喳声或吱吱)相对应的音频内容。声学接收装置(例如，麦克风或麦克风阵列)可以被配置成监测LF显示模块210的本地区域内的超声和/或可听压力波。

能量装置层220还可以包含一个或多个成像传感器。成像传感器可以对可见光波段中的光敏感，并且在一些情况下，可以对其它波段中的光(例如，红外)敏感。成像传感器可以是例如互补金属氧化物半导体(CMOS)阵列、电荷耦接装置(CCD)、光电检测器阵列、捕获光的某个其它传感器或其某种组合。LF显示系统可以使用由一个或多个成像传感器捕获的数据来用于定位跟踪观看者的位置。

在一些配置中，能量中继层230在能量装置层220与能量波导层240之间中继能量(例如，电磁能量、机械压力波等)。能量中继层230包含一个或多个能量中继元件260。每个能量中继元件包含第一表面265和第二表面270，并且其在两个表面之间中继能量。每个能量中继元件的第一表面265可以耦接到一个或多个能量设备(例如，电子显示器或声学投影装置)。能量中继元件可以由例如玻璃、碳、光纤、光学膜、塑料、聚合物或其某种组合构成。另外，在一些实施例中，能量中继元件可以调整在第一表面265与第二表面270之间通过的能量的放大率(增加或减少)。如果中继器提供放大率，则中继器可以采取被称为锥体的粘合锥形中继器的阵列的形式，其中锥体的一端的面积可以基本上大于相对端的面积。锥体的大端可以粘合在一起以形成无缝能量表面275。一个优点在于每个锥体的多个小端上都创建了空间，以容纳多个能量的机械包膜，如多个显示器的边框。此另外的房间允许将能量源并排放置在小锥体侧上，其中每个能量源的有效区域将能量引导到小锥体表面中并中继到大无缝能量表面。使用锥形中继器的另一个优点是，在由锥体的大端形成的组合的无缝能量表面上没有非成像死空间。不存在边界或边框，并且因此然后可以根据眼睛的视敏度将无缝能量表面平铺在一起以形成几乎没有接缝的更大的表面。

相邻的能量中继元件的第二表面汇聚在一起以形成能量表面275。在一些实施例中，相邻的能量中继元件的边缘之间的间隔小于由具有例如20/40视力的人眼的视敏度所定义的最小可感知轮廓，使得能量表面275从观看体285内的观看者280的视角来看是有效地无缝的。

在一些实施例中，相邻的能量中继元件的第二表面与可以包含压力、热和化学反应中的一个或多个的处理步骤融合在一起，以这种方式在其之间不存在接缝。并且仍在其它实施例中，通过将连续的中继材料块的一侧模制成小锥体端的阵列来形成能量中继元件的阵列，每个能量中继元件被配置成将能量从附接到小锥形端的能量装置传输到面积较大的从未细分的单个组合表面。

在一些实施例中，能量中继元件中的一个或多个能量中继元件表现出能量局部化，其中在基本上法向于表面265和270的纵向方向上的能量传输效率远高于在垂直横向平面中的传输效率，并且其中在能量波在表面265与表面270之间传播时，能量密度在此横向平面中是高度局部的。能量的这种局部化使得能量分布(如图像)在这些表面之间高效地中继，而分辨率没有任何显著的损失。

能量波导层240使用能量波导层240中的波导元件将能量从能量表面275上的位置(例如，坐标)引导到从显示表面向外进入全息观看体285的特定能量传播路径。能量传播路径由至少由相对于波导的能量表面坐标位置确定的两个角度尺寸限定。波导与空间2D坐标相关联。这四个坐标一起形成一个四维(4D)能量场。作为实例，对于电磁能量，能量波导层240中的波导元件将来自无缝能量表面275上的位置的光沿着不同的传播方向引导通过观看体285。在各个实例中，根据4D光场函数将光进行引导以在全息对象体255内形成全息对象250。

能量波导层240中的每个波导元件可以是例如由一个或多个元件构成的小透镜。在一些配置中，小透镜可以是正透镜。正透镜可以具有球形、非球形或自由形式的表面轮廓。另外，在一些实施例中，波导元件中的一些或全部波导元件可以包含一个或多个另外的光学组件。另外的光学组件可以是例如能量抑制结构，如挡板、正透镜、负透镜、球形透镜、非球形透镜、自由形式的透镜、液晶透镜、液体透镜、折射元件、衍射元件或其某种组合。在一些实施例中，小透镜和/或另外的光学组件中的至少一个能够动态地调整其光功率。例如，小透镜可以是液晶透镜或液体透镜。小透镜和/或至少一个另外的光学组件的表面轮廓的动态调整可以提供对从波导元件投影的光的另外的方向控制。

在所展示的实例中，LF显示器的全息对象体255具有由光线256和光线257形成的边界，但是可以由其它射线形成。全息对象体255是连续的在能量波导层240前面(即，朝向观看者280)和在其后面(即，远离观看者280)两者延伸的体。在所展示的实例中，用户可以感知的射线256和射线257以相对于显示表面277的法线的最大角度从LF显示模块210的相对边缘投影，但是射线可以是其它投影的射线。射线限定了显示器的视场，并因此限定了全息观看体285的边界。在一些情况下，射线限定了全息观看体，在所述全息观看体中可以在没有渐晕的情况下(例如，理想的观看体)观察整个显示器。随着显示器的视场增加，射线256和射线257的会聚点将更靠近显示器。因此，具有较大视场的显示器允许观看者280在更近的观看距离处看到整个显示器。另外，射线256和257可以形成理想的全息对象体。可以在观看体285中的任何地方看到以理想全息对象体呈现的全息对象。

在一些实例中，可以将全息对象呈现给观看体285的仅一部分。换句话说，全息对象体可以被划分成任何数量的观看子体(例如，观看子体290)。另外，可以将全息对象投影到全息对象体255的外部。例如，全息对象251呈现在全息对象体255之外。因为全息对象251呈现在全息对象体255之外，所以不能从观看体285中的每个位置对其进行观看。例如，全息对象251可以从观看子体290中的位置可见，但是从观看者280的位置不可见。

例如，转到图2B以展示从不同观看子体观看全息内容。图2B展示了根据一个或多个实施例的LF显示模块的一部分的横截面200。图2B的横截面与图2A的横截面相同。然而，图2B展示了从LF显示模块210投影的不同组光线。射线256和射线257仍形成全息对象体255和观看体285。然而，如所示的，从LF显示模块210的顶部投影的射线和从LF显示模块210的底部投影的射线重叠以在观看体285内形成各个观看子体(例如，观看子体290A、290B、290C和290D)。第一观看子体(例如，290A)中的观看者可以能够感知在全息对象体255中呈现的全息内容，其它观看子体(例如，290B、290C和290D)中的观看者则无法进行感知。

更简单地，如图2A所展示的，全息对象体255是其中全息对象可以通过LF显示系统呈现的体，使得所述全息对象可以被观看体285中的观看者(例如，观看者280)感知。以此方式，观看体285是理想观看体的实例，而全息对象体255是理想对象体的实例。然而，在各种配置中，观看者可以在其它示例全息对象体中感知通过LF显示系统200呈现的全息对象。更一般而言，当观看从LF显示模块投影的全息内容时，将应用“视线指南”。视线指南断言，由观看者的眼睛定位和正在被观看的全息对象形成的线必须与LF显示表面相交。

因为根据4D光场函数呈现了全息内容，因此当观看通过LF显示模块210呈现的全息内容时，观看者280的每只眼睛看到全息对象250的不同视角。此外，在观看者280在观看体285内移动时，他/她还将看到全息对象250的不同视角，如同在观看体285内的其它观看者一样。如本领域普通技术人员将意识到的，4D光场函数在本领域中是众所周知的，并且在本文中将不进一步详细说明。

如本文中更详细描述的，在一些实施例中，LF显示器可以投影多于一种类型的能量。例如，LF显示器可以投影两种类型的能量，例如，机械能量和电磁能量。在此配置中，能量中继层230可以包含两个单独的能量中继器，所述能量中继器在能量表面275处交织在一起，但是被分离使得能量被中继到两个不同的能量装置层220。此处，一个中继器可以被配置成传输电磁能量，而另一个中继器可以被配置成传输机械能量。在一些实施例中，机械能量可以从能量波导层240上的电磁波导元件之间的位置投影，从而有助于形成抑制光从一个电磁波导元件传输到另一个的结构。在一些实施例中，能量波导层240还可以包含根据来自控制器的显示指令沿特定传播路径传输聚焦的超声的波导元件。

注意，在替代性实施例(未示出)中，LF显示模块210不包含能量中继层230。在这种情况下，能量表面275是使用能量装置层220内的一个或多个相邻电子显示器形成的发射表面。并且在一些实施例中，在没有能量中继层的情况下，相邻电子显示器的边缘之间的间隔小于由具有20/40视力的人眼的视敏度所定义的最小可感知轮廓，使得能量表面从观看体285内的观看者280的视角来看是有效地无缝的。

LF显示模块

图3A是根据一个或多个实施例的LF显示模块300A的透视图。LF显示模块300A可以是LF显示模块110和/或LF显示模块210。在其它实施例中，LF显示模块300A可以是某个其它LF显示模块。在所展示的实施例中，LF显示模块300A包含能量装置层310和能量中继层320以及能量波导层330。LF显示模块300A被配置成从显示表面365呈现全息内容，如本文所描述的。为方便起见，显示表面365在LF显示模块300A的框架390上以虚线轮廓展示，但更准确地说是直接在由框架390的内边缘界定的波导元件前面的表面。显示表面365包含可以从其投影能量的多个投影位置。LF显示模块300A的一些实施例具有与此处所描述的组件不同的组件。例如，在一些实施例中，LF显示模块300A不包含能量中继层320。类似地，可以以与此处所描述的方式不同的方式在组件之间分配功能。

能量装置层310是能量装置层220的实施例。能量装置层310包含四个能量装置340(在图中三个是可见的)。能量装置340可以全部是相同类型(例如，所有电子显示器)或者可以包含一种或多种不同类型(例如，包含电子显示器和至少一个声学能量装置)。

能量中继层320是能量中继层230的实施例。能量中继层320包含四个能量中继装置350(在图中三个是可见的)。能量中继装置350可以全部中继相同类型的能量(例如，光)或者可以中继一种或多种不同类型(例如，光和声音)。中继装置350中的每个中继装置包含第一表面和第二表面，能量中继装置350的第二表面被布置成形成单个无缝能量表面360。在所展示的实施例中，中继装置350中的每个中继装置是锥形的，使得第一表面具有比第二表面小的表面积，这允许在锥体的小端上容纳能量装置340的机械包膜。由于整个区域都可以投影能量，因此这也可以使无缝能量表面无边界。这意味着可以通过将LF显示模块300A的多个实例放置在一起而没有死空间或边框的方式来平铺此无缝能量表面，使得整个组合的表面是无缝的。在其它实施例中，第一表面和第二表面的表面积相同。

能量波导层330是能量波导层240的实施例。能量波导层330包含多个波导元件370。如上文关于图2所讨论的，能量波导层330被配置成根据4D光场函数沿着特定的传播路径从无缝能量表面360引导能量，以形成全息对象。注意，在所展示的实施例中，能量波导层330由框架390界定。在其它实施例中，不存在框架390和/或减小框架390的厚度。框架390的厚度的去除或减小可以有助于将LF显示模块300A与另外的LF显示模块平铺。

注意，在所展示的实施例中，无缝能量表面360和能量波导层330是平坦的。在未示出的替代性实施例中，无缝能量表面360和能量波导层330可以在一个或多个维度上弯曲。

LF显示模块300A可以配置有驻留在无缝能量表面的表面上的另外的能量源，并允许除了光场之外的能量场的投影。在一个实施例中，声学能量场可以从安装在无缝能表面360上的任何数量的位置处的静电扬声器(未展示)投影出来。进一步地，LF显示模块300A的静电扬声器定位在光场显示模块300A内，使得双能量表面同时投影声场和全息内容。例如，静电扬声器可以形成有一个或多个传输一些波长的电磁能量的隔膜元件，并由一个或多个导电元件(例如，将一个或多个隔膜元件夹在中间的平面)驱动。静电扬声器可以被安装在无缝能量表面360上，使得隔膜元件覆盖波导元件中的一些波导元件。扬声器的导电电极可以与被设计成抑制电磁波导之间的光传输的结构定位在同一位置，和/或定位在电磁波导元件(例如，框架390)之间的位置处。在各种配置中，扬声器可以投影可听的声音和/或产生触觉表面的聚焦超声能量的许多来源。

在一些配置中，能量装置340可以感测能量。例如，能量装置可以是麦克风、光传感器、声学换能器等。如此，能量中继装置还可以将能量从无缝能量表面360中继到能量装置层310。换句话说，当能量装置和能量中继装置340被配置成同时发射和感测能量(例如，发射光场和感测声音)时，LF显示模块的无缝能量表面360形成双向能量表面。

更广泛地，LF显示模块340的能量装置340可以是能量源或能量传感器。LF显示模块300A可以包含充当能量源和/或能量传感器的各种类型的能量装置，以促进向用户投影高质量全息内容。其它源和/或传感器可以包含热传感器或源、红外传感器或源、图像传感器或源、生成声学能量的机械能量换能器、反馈源等。许多其它传感器或源也是可能的。进一步地，LF显示模块可以平铺使得LF显示模块可以形成组合件，所述组合件从大聚合无缝能量表面投影和感测多种类型的能量。

在LF显示模块300A的各个实施例中，无缝能量表面360可以具有各个表面部分，其中每个表面部分被配置成投影和/或发射特定类型的能量。例如，当无缝能量表面是双能量表面时，无缝能量表面360包含一个或多个投影电磁能量的表面部分以及一个或多个投影超声能量的其它表面部分。投影超声能量的表面部分可以定位于电磁波导元件之间的无缝能量表面360上，和/或与被设计成抑制电磁波导元件之间的光传输的结构处于同一位置。在无缝能量表面是双向能量表面的实例中，能量中继层320可以包含在无缝能量表面360处交织的两种类型的能量中继装置。在各个实施例中，无缝能量表面360可以被配置成使得表面的在任何特定波导元件370下方的部分是所有能量源、所有能量传感器或能量源和能量传感器的混合。

图3B是根据一个或多个实施例的包含交织的能量中继装置的LF显示模块300B的横截面视图。能量中继装置350A在连接到能量装置340A的能量中继第一表面345A与无缝能量表面360之间传输能量。能量中继器350B在连接到能量装置340B的能量中继第一表面345B与无缝能量表面360之间传输能量。两个中继装置在连接到无缝能量表面360的交织的能量中继装置352处交织。在此配置中，表面360含有能量装置340A和340B两者的交织的能量位置，所述两者可以是能量源或能量传感器。因此，LF显示模块300B可以被配置为用于投影多于一种类型的能量的双能量投影装置，或者被配置为用于同时投影一种类型的能量并且感测另一种类型的能量的双向能量装置。LF显示模块300B可以是LF显示模块110和/或LF显示模块210。在其它实施例中，LF显示模块300B可以是某个其它LF显示模块。

LF显示模块300B包含与图3A中的LF显示模块300A的组件类似地配置的许多组件。例如，在所展示的实施例中，LF显示模块300B包含能量装置层310、能量中继层320、无缝能量表面360和能量波导层330，包含至少与关于图3A所描述的功能相同的功能。另外，LF显示模块300B可以呈现和/或接收来自显示表面365的能量。值得注意的是，与图3A中的LF显示模块300A的组件相比，LF显示模块300B的组件可替代地连接和/或定向。LF显示模块300B的一些实施例具有与此处所描述的组件不同的组件。类似地，可以以与此处所描述的方式不同的方式在组件之间分配功能。图3B展示了可以被平铺以产生具有更大面积的双能量投影表面或双向能量表面的单个LF显示模块300B的设计。

在一个实施例中，LF显示模块300B是双向LF显示系统的LF显示模块。双向LF显示系统可以同时从显示表面365投影能量并感测能量。无缝能量表面360含有在无缝能量表面360上紧密交织的能量投影位置和能量感测位置两者。因此，在图3B的实例中，能量中继层320以与图3A的能量中继层不同的方式进行配置。为方便起见，LF显示模块300B的能量中继层在本文中将被称为“交织的能量中继层”。

交织的能量中继层320包含两个支脚：第一能量中继装置350A和第二能量中继装置350B。在图3B中，支脚中的每个支脚被展示为浅色阴影区域。支脚中的每个支脚可以由柔性中继材料制成，并形成有足够的长度以用于各种尺寸和形状的能量装置。在交织的能量中继层的一些区域中，两个支脚在接近无缝能量表面360时紧紧地交织在一起。在所展示的实例中，交织的能量中继装置352被展示为深色阴影区域。

当在无缝能量表面360处交织时，能量中继装置被配置成向/从不同能量装置中继能量。能量装置位于能量装置层310处。如所展示的，能量装置340A连接到能量中继装置350A，并且能量装置340B连接到能量中继装置350B。在各个实施例中，每个能量装置可以是能量源或能量传感器。

能量波导层330包含波导元件370，以将来自无缝能量表面360的能量波沿着投影的路径引导朝向一系列会聚点。在此实例中，在一系列会聚点处形成了全息对象380。值得注意的是，如所展示的，全息对象380处的能量的会聚发生在显示表面365的观看者侧(即，前侧)。然而，在其它实例中，能量的会聚可以在全息对象体中的任何地方，在显示表面365前面和显示表面365后面两者延伸。波导元件370可以同时将进入的能量引导到能量装置(例如，能量传感器)，如下文所描述的。

在LF显示模块300B的一个示例实施例中，发射显示器用作能量源(例如，能量装置340A)，并且成像传感器用作能量传感器(例如，能量装置340B)。以此方式，LF显示模块300B可以同时投影全息内容并且检测来自显示表面365前面的体的光。以此方式，LF显示模块300B的此实施例同时用作LF显示器和LF传感器。

在一个实施例中，LF显示模块300B被配置成同时将光场从显示表面上的投影位置投影到显示表面前面，并在投影位置处捕获来自显示表面前面的光场。在此实施例中，能量中继装置350A将无缝能量表面360处的定位在波导元件370下方的第一组位置连接到能量装置340A。在一个实例中，能量装置340A是具有源像素阵列的发射显示器。能量中继装置340B将无缝能量表面360处的定位在波导元件370下方的第二组位置连接到能量装置340B。在一个实例中，能量装置340B是具有传感器像素阵列的成像传感器。LF显示模块300B可以被配置成使得无缝能量表面365处的在特定波导元件370下方的位置是所有发射显示位置、所有成像传感器位置或这些位置的某种组合。在其它实施例中，双向能量表面可以投影和接收各种其它形式的能量。

在LF显示模块300B的另一个示例实施例中，LF显示模块被配置成投影两种不同类型的能量。例如，在一个实施例中，能量装置340A是被配置成发射电磁能量的发射显示器，并且能量装置340B是被配置成发射机械能量的超声换能器。如此，可以从无缝能量表面360处的各个位置投影光和声音两者。在此配置中，能量中继装置350A将能量装置340A连接到无缝能量表面360并中继电磁能量。能量中继装置被配置成具有使得所述能量中继装置高效传输电磁能量的性质(例如，变化的折射率)。能量中继装置350B将能量装置340B连接到无缝能量表面360并中继机械能量。能量中继装置350B被配置成具有用于超声能量的高效传输的性质(例如，具有不同声学阻抗的材料的分布)。在一些实施例中，机械能量可以从能量波导层330上的波导元件370之间的位置投影。投影机械能量的位置可以形成用于抑制光从一个电磁波导元件传输到另一个电磁波导元件的结构。在一个实例中，投影超声机械能量的在空间上分离的位置阵列可以被配置成在空中形成三维触觉形状和表面。表面可以与投影的全息对象(例如，全息对象380)重合。在一些实例中，阵列上的相位延迟和幅度变化可以帮助形成触觉形状。

在各个实施例中，具有交织的能量中继装置的LF显示模块300B可以包含多个能量装置层，其中每个能量装置层包含特定类型的能量装置。在这些实例中，能量中继层被配置成在无缝能量表面360与能量装置层310之间中继适当类型的能量。

平铺的LF显示模块

图4A是根据一个或多个实施例的以二维方式平铺以形成单面无缝表面环境的LF显示系统400的一部分的透视图。LF显示系统400包含被平铺以形成阵列410的多个LF显示模块。更明确地，阵列410中的小方块中的每个小方块表示平铺的LF显示模块412。LF显示模块412可以与LF显示模块300A或300B相同。阵列410可以覆盖例如房间的表面(例如，壁)的一些或全部。LF阵列可以覆盖其它表面，例如，桌面、隔间分隔物等。

阵列410可以投影一个或多个全息对象。例如，在所展示的实施例中，阵列410投影全息对象420和全息对象422。LF显示模块412的平铺允许更大的观看体，并且允许对象被投影到距阵列410更远的距离。例如，在所展示的实施例中，观看体是大约阵列410前面和后面的整个区域，而不是LF显示模块412前面(和后面)的局部体。

在一些实施例中，LF显示系统400将全息对象420呈现给观看者430和观看者434。观看者430和观看者434接收全息对象420的不同视角。例如，向观看者430呈现全息对象420的直接视图，而向观看者434呈现全息对象420的更倾斜的视图。随着观看者430和/或观看者434的移动，向其呈现全息对象420的不同视角。这允许观看者通过相对于全息对象移动而在视觉上与全息对象进行交互。例如，在观看者430在全息对象420周围行走时，只要全息对象420保留在阵列410的全息对象体中，观看者430就看到全息对象420的不同侧面。因此，观看者430和观看者434可以同时在真实世界空间中看到全息对象420，就好像所述全息对象真实存在一样。另外，观看者430和观看者434不需要为了观看全息对象420而穿戴外部装置，因为全息对象420以与物理对象将是可见的几乎相同的方式对观看者可见。另外，此处，全息对象422被展示在阵列后面，因为阵列的观看体在阵列的表面后面延伸。以此方式，可以将全息对象422呈现给观看者430和/或观看者434。

在一些实施例中，LF显示系统400可以包含跟踪系统，所述跟踪系统跟踪观看者430和观看者434的定位。在一些实施例中，所跟踪的定位是观看者的定位。在其它实施例中，所跟踪的定位是观看者的眼睛的定位。眼睛的定位跟踪与注视跟踪不同，后者跟踪眼睛正在看的地方(例如，使用定向来确定注视位置)。观看者430的眼睛和观看者434的眼睛位于不同的位置。

在各种配置中，LF显示系统400可以包含一个或多个跟踪系统。例如，在所展示的图4A的实施例中，LF显示系统包含在阵列410外部的跟踪系统440。此处，跟踪系统可以是耦接到阵列410的相机系统。关于图5更详细地描述了外部跟踪系统。在其它示例实施例中，跟踪系统可以如本文所描述的并入到阵列410中。例如，包含在阵列410中的含有双向能量表面的一个或多个LF显示模块412的能量装置(例如，能量装置340)可以被配置成捕获阵列410前面的观看者的图像。在任何情况下，LF显示系统400的一个或多个跟踪系统确定关于观看通过阵列410呈现的全息内容的观看者(例如，观看者430和/或观看者434)的跟踪信息。

跟踪信息描述了观看者的定位或观看者的一部分(例如，观看者的一只或两只眼睛，或观看者的肢体)的定位在空间(例如，相对于跟踪系统)中的定位。跟踪系统可以使用任何数量的深度确定技术来确定跟踪信息。深度确定技术可以包含例如结构光、飞行时间、立体成像、某个其它深度确定技术或其某种组合。跟踪系统可以包含被配置成确定跟踪信息的各种系统。例如，跟踪系统可以包含一个或多个红外源(例如，结构化光源)、可以捕获红外图像的一个或多个成像传感器(例如，红-蓝-绿-红外相机)以及执行跟踪算法的处理器。跟踪系统可以使用深度估计技术来确定观看者的定位。在一些实施例中，如本文所描述的，LF显示系统400基于观看者430和/或观看者434的所跟踪的定位、运动或手势来生成全息对象。例如，LF显示系统400可以响应于观看者进入阵列410的阈值距离和/或特定定位内而生成全息对象。

LF显示系统400可以部分地基于跟踪信息来呈现针对每个观看者定制的一个或多个全息对象。例如，可以向观看者430呈现全息对象420，而不是全息对象422。类似地，可以向观看者434呈现全息对象422，而不是全息对象420。例如，LF显示系统400跟踪观看者430和观看者434中的每个观看者的定位。LF显示系统400基于观看者相对于全息对象要被呈现的地方的定位来确定对所述观看者应当可见的全息对象的视角。LF显示系统400选择性地投影来自与所确定的视角相对应的特定像素的光。因此，观看者434和观看者430可以同时具有可能完全不同的体验。换句话说，LF显示系统400可以将全息内容呈现给观看体的观看子体(即，类似于图2B中所示的观看子体290A、290B、290C和290D)。例如，如所展示的，因为LF显示系统400可以跟踪观看者430的定位，所以LF显示系统400可以向包围观看者430的观看子体呈现空间内容(例如，全息对象420)，并且向包围观看者434的观看子体呈现野生动物园内容(例如，全息对象422)。相比之下，常规系统将必须使用单独的耳机来提供类似的体验。

在一些实施例中，LF显示系统400可以包含一个或多个感觉反馈系统。感觉反馈系统提供增强全息对象420和422的其它感觉刺激(例如，触觉、音频或气味)。例如，在所展示的图4A的实施例中，LF显示系统400包含在阵列410外部的感觉反馈系统442。在一个实例中，感觉反馈系统442可以是耦接到阵列410的静电扬声器。关于图5更详细地描述了外部感觉反馈系统。在其它示例实施例中，如本文所描述的，可以将感觉反馈系统并入到阵列410中。例如，包含在阵列410中的LF显示模块412的能量装置(例如，图3B中的能量装置340A)可以被配置成将超声能量投影到阵列前面的观看者和/或从阵列前面的观看者接收成像信息。在任何情况下，感觉反馈系统向观看通过阵列410呈现的全息内容(例如，全息对象420和/或全息对象422)的观看者(例如，观看者430和/或观看者434)呈现感觉内容和/或从所述观看者接收感觉内容。

LF显示系统400可以包含感觉反馈系统442，所述感觉反馈系统包含在阵列外部的一个或多个声学投影装置。可替代地或另外地，LF显示系统400可以包含一个或多个集成到阵列410中的声学投影装置，如本文所描述的。声学投影装置可以由被配置成投影体触觉表面的超声源阵列组成。在一些实施例中，对于全息对象的一个或多个表面，如果观看者的一部分在一个或多个表面的阈值距离内，则触觉表面可以与全息对象重合(例如，在全息对象420的表面处)。体触觉感觉可以允许用户触摸和感觉全息对象的表面。多个声学投影装置还可以投影可听压力波，所述可听压力波向观看者提供音频内容(例如，沉浸式音频)。因此，超声压力波和/或可听压力波可以起到补充全息对象的作用。

在各个实施例中，LF显示系统400可以部分地基于观看者的所跟踪的定位来提供其它感觉刺激。例如，图4A中所展示的全息对象422是狮子，并且LF显示系统400可以使全息对象422在视觉上(即，全息对象422似乎在咆哮)和听觉上(即，一个或多个声学投影装置投影压力波)均咆哮，使观看者430将其感知为全息对象422发出的狮子的咆哮。

注意，在所展示的配置中，可以以类似于图2中的LF显示系统200的观看体285的方式来限制全息观看体。这可以限制观看者将用单个壁显示单元经历的感知的沉浸感。解决此问题的一种方法是使用沿着多个侧面被平铺的多个LF显示模块，如下文关于图4B-4F所描述的。

图4B是根据一个或多个实施例的在多面无缝表面环境中的LF显示系统402的一部分的透视图。LF显示系统402与LF显示系统400基本上类似，除了将多个LF显示模块平铺以创建多面无缝表面环境之外。更具体地，将LF显示模块平铺以形成作为六面聚合无缝表面环境的阵列。在图4B中，多个LF显示模块覆盖房间的所有壁、天花板和地板。在其它实施例中，多个LF显示模块可以覆盖壁、地板、天花板或其某种组合中的一些但不是全部。在其它实施例中，多个LF显示模块被平铺以形成某个其它聚合无缝表面。例如，壁可以是弯曲的，使得形成圆柱形的聚合能量环境。此外，如下文关于图6-9所描述的，在一些实施例中，LF显示模块可以平铺以形成会议室或办公室中的表面(例如，壁等)。

LF显示系统402可以投影一个或多个全息对象。例如，在所展示的实施例中，LF显示系统402将全息对象420投影到由六面聚合无缝表面环境包围的区域中。在此实例中，LF显示系统的观看体也含在六面聚合无缝表面环境内。注意，在所展示的配置中，观看者434可以定位在全息对象420与LF显示模块414之间，所述LF显示模块投影用于形成全息对象420的能量(例如，光和/或压力波)。因此，观看者434的定位可以防止观看者430感知由来自LF显示模块414的能量形成的全息对象420。然而，在所展示的配置中，存在至少一个其它LF显示模块，例如，LF显示模块416，所述LF显示模块不受阻碍(例如，被观看者434)并且可以投影能量以形成全息对象420并且被观看者430观察到。以此方式，在空间中被观看者遮挡可能导致全息投影的一些部分消失，但是这种影响比如果体的仅一侧填充有全息显示面板的影响小得多。全息对象422被展示为六面聚合无缝表面环境的壁的“外部”，因为全息对象体在聚合表面后面延伸。因此，观看者430和/或观看者434可以将全息对象422感知为其可以在整个中移动的经包围的六面环境的“外部”。

如上文参考图4A所描述的，在一些实施例中，LF显示系统402主动跟踪观看者的定位并且可以基于所跟踪的定位动态地指示不同的LF显示模块呈现全息内容。因此，多面配置可以提供更稳健的环境(例如，相对于图4A)，以提供全息对象，其中不受约束的观看者可以自由地在由多面无缝表面环境包围的整个区域中移动。

值得注意的是，各种LF显示系统可以具有不同的配置。进一步地，每种配置可以具有表面的特定定向，所述表面聚合形成无缝显示表面(“聚合表面”)。换言之，可以将LF显示系统的LF显示模块平铺以形成各种聚合表面。例如，在图4B中，LF显示系统402包含平铺以形成近似于房间的壁的六面聚合表面的LF显示模块。在一些其它实例中，聚合表面可以仅出现在表面的一部分(例如，壁的一半)上，而不是整个表面(例如，整个壁)上。本文描述了一些实例。

在一些配置中，LF显示系统的聚合表面可以包含聚合表面，所述聚合表面被配置成朝向局部观看体投影能量。将能量投影到局部观看体允许通过例如以下方式的更高质量的观看体验：增加特定观看体中的投影的能量的密度，增加观看者在所述观看体中的FOV，并使观看体更接近显示表面。

例如，图4C展示了具有呈“翼状”配置的聚合表面的LF显示系统450A的俯视图。在此实例中，LF显示系统450A定位在具有前壁452、后壁454、第一侧壁456、第二侧壁458、天花板(未示出)和地板(未示出)的房间中。第一侧壁456、第二侧壁458、后壁454、地板和天花板都正交。LF显示系统450A包含平铺以形成覆盖前壁的聚合表面460的LF显示模块。前壁452以及因此聚合表面460包含三个部分：(i)第一部分462，所述第一部分与后壁454(即，中心表面)大致上平行，(ii)第二部分464，所述第二部分将第一部分462连接到第一侧壁456并成一定角度放置以朝向房间的中心(即，第一侧表面)投影能量，以及(iii)第三部分466，所述第三部分将第一部分462连接到第二侧壁458并成一定角度放置以朝向房间的中心(即，第二侧面)投影能量。第一部分是房间中的竖直平面，并具有水平轴和竖直轴。第二部分和第三部分沿水平轴朝向房间的中心成角度。

在此实例中，LF显示系统450A的观看体468A位于房间的中心，并且被聚合表面460的三个部分部分地包围。至少部分包围观看者的聚合表面(“包围表面”)增加了观看者的沉浸式体验。

为了说明，考虑例如仅具有中心表面的聚合表面。参考图2A，如上文所描述的，从显示表面的任一端投影的射线创建理想的全息体和理想的观看体。现在考虑，例如，中心表面是否包含两个朝向观看者成角度的侧面。在这种情况下，射线256和射线257将从中心表面的法线以更大的角度投影。因此，观看体的视场将增加。类似地，全息观看体将更靠近显示表面。另外，由于两个第二部分和第三部分倾斜得更靠近观看体，所以从显示表面以固定距离投影的全息对象更靠近所述观看体。

为简化起见，仅具有中心表面的显示表面具有平面视场、(中心)显示表面与观看体之间的平面阈值间隔以及全息对象与观看体之间的平面接近度。添加一个或多个朝向观看者成角度的侧表面，增加了相对于平面视场的视场，相对于平面间隔，减小了显示表面与观看体之间的间隔，并相对于平面接近度，增加了显示表面与全息对象之间的接近度。使侧表面朝向观看者进一步成角度进一步增加了视场，减小了间隔并增加了接近度。换句话说，侧表面的成角度的放置增加了观看者的沉浸式体验。另外，偏转光学装置可以用于优化观看体针对LF显示参数的观看体的大小和定位(例如，尺寸和FOV)。

返回到图4D，在类似的实例中，图4D展示了具有呈“倾斜”配置的聚合表面的LF显示系统450B的侧视图。在此实例中，LF显示系统450B定位在具有前壁452、后壁454、第一侧壁(未示出)、第二侧壁(未示出)、天花板472和地板474的房间中。第一侧壁、第二侧壁、后壁454、地板474和天花板472都正交。LF显示系统450B包含平铺以形成覆盖前壁的聚合表面460的LF显示模块。前壁452以及因此聚合表面460包含三个部分：(i)第一部分462，所述第一部分与后壁454(即，中心表面)大致上平行，(ii)第二部分464，所述第二部分将第一部分462连接到天花板472并成一定角度以朝向房间的中心(即，第一侧表面)投影能量，以及(iii)第三部分464，所述第三部分将第一部分462连接到地板474并成角度以朝向房间的中心(即，第二侧表面)投影能量。第一部分是房间中的竖直平面，并具有水平轴和竖直轴。第二部分和第三部分沿竖直轴朝向房间的中心成角度。

在此实例中，LF显示系统450B的观看体468B位于房间的中心，并且被聚合表面460的三个部分部分地包围。与图4C所示的配置类似，两个侧面部分(例如，第二部分464和第三部分466)成一定角度以包围观看者并形成包围表面。从全息观看体468B中的任何观看者的视角来看，包围表面增加了观看FOV。另外，包围表面允许观看体468B更靠近显示器的表面，使得投影的对象显得更靠近。换句话说，侧表面的成角度放置增加了视场，减小了间隔，并增加了聚合表面的接近度，由此增加了观看者的沉浸式体验。进一步地，如下文将要讨论的，偏转光学装置可以用于优化观看体468B的大小和定位。

与如果第三部分466没有倾斜相比，聚合表面460的侧面部分的倾斜配置使得全息内容能够被呈现为更靠近观看体468B。例如，与如果使用具有平坦的前壁的LF显示系统相比，从呈倾斜配置的LF显示系统呈现的人物的下肢(例如，腿)可能看起来更靠近并且更真实。

另外，LF显示系统的配置及其所处的环境可以通知观看体和观看子体的形状和位置。

图4E例如展示了具有在房间的前壁452上的聚合表面460的LF显示系统450C的俯视图。在此实例中，LF显示系统450D定位在具有前壁452、后壁454、第一侧壁456、第二侧壁458、天花板(未示出)和地板(未示出)的房间中。

LF显示系统450C从聚合表面460投影各种射线。光线从显示表面上的每个定位投影到以观看体为中心的角度范围中。从聚合表面460的左侧投影的射线具有水平角度范围481，从聚合表面的右侧投影的射线具有水平角度范围482，并且从聚合表面460的中心投影的射线具有水平角度范围483。在这些点之间，投影射线可以具有角度范围的中间值。以此方式在穿过显示表面的投影的射线中具有梯度偏转角创建了观看体468C。进一步地，此配置避免了在将射线投影到侧壁456和458中时浪费显示器的分辨率。

图4F展示了具有在房间的前壁452上的聚合表面460的LF显示系统450D的侧视图。在此实例中，LF显示系统450E定位在具有前壁452、后壁454、第一侧壁(未示出)、第二侧壁(未示出)、天花板472和地板474的房间中。在此实例中，地板是分层的使得每一层都从前壁向后壁逐步移动上升。此处，地板的每一层包含观看子体(例如，观看子体470A和470B)。分层地板允许不重叠的观看子体。换句话说，每个观看子体具有从观看子体到不通过另一观看子体的聚合表面460的视线。换句话说，这种定向产生了“体育场就座”效果，其中各层之间的竖直偏移使每一层都可以“查看”其它层的观看子体。包含不重叠的观看子体的LF显示系统可以提供比具有确实重叠的观看体的LF显示系统更高的观看体验。例如，在图4F所示的配置中，可以向观看子体470A和470B中的观看者投影不同的全息内容。

LF显示系统的控制

图5是根据一个或多个实施例的LF显示系统500的框图。LF显示系统500包括LF显示组合件510和控制器520。LF显示组合件510包含投影光场的一个或多个LF显示模块512。LF显示模块512可以包含源/传感器系统514，所述源/传感器系统包含投影和/或感测其它类型的能量的集成能量源和/或能量传感器。控制器520包含数据存储器522、网络接口524和LF处理引擎530。控制器520还可以包含跟踪模块526和观看者概况分析模块528。在一些实施例中，LF显示系统500还包含感觉反馈系统570和跟踪系统580。在图1-4的背景下描述的LF显示系统讨论了LF显示系统500的实施例。在其它实施例中，LF显示系统500包括比本文所描述的模块另外的或更少的模块。类似地，可以以与此处描述的方式不同的方式在模块和/或不同实体之间分配功能。LF显示系统500的应用也将在下文关于图6-9详细地讨论。

LF显示组合件510在全息对象体中提供全息内容，所述全息对象体对于定位在观看体内的观看者可以是可见的。LF显示组合件510可以通过执行从控制器520接收的显示指令来提供全息内容。全息内容可以包含投影在LF显示组合件510的聚合表面前面、LF显示组合件510的聚集表面后面或其某种组合的一个或多个全息对象。下文更详细地描述用控制器520生成显示指令。

LF显示组合件510使用包含在LF显示组合件510中的一个或多个LF显示模块(例如，LF显示模块110、LF显示系统200和LF显示模块300中的任一个)来提供全息内容(例如，参与者的图像、参与者的化身、全息对象和/或其它感觉内容)。为了方便起见，一个或多个LF显示模块在本文中可以被描述为LF显示模块512。LF显示模块512可以被平铺以形成LF显示组合件510。LF显示模块512可以被构造为各种无缝表面环境(例如，单面、多面、电影院的壁、弯曲的表面等)。换句话说，平铺的LF显示模块形成聚合表面。如先前所描述的，LF显示模块512包含呈现全息内容的能量装置层(例如，能量装置层220)和能量波导层(例如，能量波导层240)。LF显示模块512还可以包含能量中继层(例如，能量中继层230)，当呈现全息内容时，所述能量中继层在能量装置层与能量波导层之间转移能量。

LF显示模块512还可以包含其它集成系统，所述其它集成系统被配置成用于如先前所描述的能量投影和/或能量感测。例如，光场显示模块512可以包含被配置成投影和/或感测能量的任何数量的能量装置(例如，能量装置340)。为了方便起见，本文可以将LF显示模块512的集成能量投影系统和集成能量感测系统聚合描述为源/传感器系统514。源/传感器系统514被集成在LF显示模块512内，使得源/传感器系统514与LF显示模块512共享相同的无缝能量表面。换句话说，LF显示组合件510的聚合表面包含LF显示模块512和源/传感器模块514两者的功能。换句话说，包含具有源/传感器系统514的LF显示模块512的LF组合件510可以在当投影光场的同时投影能量和/或感测能量。例如，LF显示组合件510可以包含LF显示模块512和源/传感器系统514，所述源/传感器系统被配置为如先前所描述的双能量表面或双向能量表面。

在一些实施例中，LF显示系统500使用感觉反馈系统570用其它感觉内容(例如，协调的触摸、音频或气味等)增强所生成的全息内容。感觉反馈系统570可以通过执行从控制器520接收的显示指令来增强全息内容的投影。通常，感觉反馈系统570包含在LF显示组合件510外部的任何数量的感觉反馈装置(例如，感觉反馈系统442)。一些示例感觉反馈装置可以包含协调的声学投影和接收装置、香气投影装置、温度调整装置、力致动装置、压力传感器、换能器等。在一些情况下，感觉反馈系统570可以具有与光场显示组合件510类似的功能，并且反之亦然。例如，感觉反馈系统570和光场显示组合件510两者都可以被配置成产生声场。作为另一个实例，感觉反馈系统570可以被配置成在没有光场显示器510组合件的情况下生成触觉表面。

为了说明，在光场显示系统500的示例实施例中，感觉反馈系统570可以包含一个或多个声学投影装置。一个或多个声学投影装置被配置成在执行从控制器520接收的显示指令时产生与全息内容互补的一个或多个压力波。所生成的压力波可以是例如可听的(用于声音)、超声的(用于触摸)或其某种组合。类似地，感觉反馈系统570可以包含香气投影装置。香气投影装置可以被配置成在执行从控制器接收到的显示指令时向目标区域中的部分或全部目标区域提供气味。香气装置可以连接到空气循环系统(例如，管道、风扇或通风口)中，以协调目标区域内的空气流动。进一步地，感觉反馈系统570可以包含温度调整装置。温度调整装置被配置成在执行从控制器520接收的显示指令时增加或降低目标区域中的一些或全部目标区域的温度。

在一些实施例中，感觉反馈系统570被配置成从LF显示系统500的观看者接收输入。在这种情况下，感觉反馈系统570包含用于从观看者接收输入的各种感觉反馈装置。传感器反馈装置可以包含如声学接收装置(例如，麦克风)、压力传感器、操纵杆、运动检测器、换能器等装置。感觉反馈系统可以将检测到的输入传输到控制器520以协调生成全息内容和/或感觉反馈。

为了说明，在光场显示组合件510的示例实施例中，感觉反馈系统570包含麦克风。麦克风被配置成记录由一个或多个观看者(例如，视频会议的参与者)产生的音频。感觉反馈系统570将所记录的音频作为观看者输入提供给控制器520。控制器520可以使用观看者输入来生成全息内容。例如，如果参与者提到特定产品，则可以生成产品的全息表示以为参与者的评论提供背景。类似地，感觉反馈系统570可以包含压力传感器。压力传感器被配置成测量由观看者施加到压力传感器的力。感觉反馈系统570可以将所测量的力作为观看者输入提供给控制器520。

在一些实施例中，LF显示系统500包含跟踪系统580。跟踪系统580包含被配置成确定目标区域中的观看者的定位、移动和/或特征的任何数量的跟踪装置。通常，跟踪装置在LF显示组合件510的外部。一些示例跟踪装置包含相机组合件(“相机”)、深度传感器、结构化灯、LIDAR系统、卡片扫描系统或可以跟踪目标区域内的观看者的任何其它跟踪装置。

跟踪系统580可以包含用光照亮目标区域中的一些或全部目标区域的一个或多个能量源。然而，在一些情况下，当呈现全息内容时，目标区域被来自LF显示组合件510的自然光和/或环境光照亮。当执行从控制器520接收的指令时，能量源投影光。光可以是例如结构化光图案、光脉冲(例如，IR闪光灯)或其某种组合。跟踪系统可以投影以下中的光：可见波段(约380nm到750nm)、红外(IR)波段(约750nm到1700nm)、紫外波段(10nm到380nm)、电磁频谱的某个其它部分或其某种组合。源可以包含例如发光二极管(LED)、微型LED、激光二极管、TOF深度传感器、可调激光器等。

当执行从控制器520接收的指令时，跟踪系统580可以调整一个或多个发射参数。发射参数是影响光如何从跟踪系统580的源投影的参数。发射参数可以包含例如亮度、脉冲率(包含连续照明)、波长、脉冲长度、影响光如何从源组合件投影的某个其它参数或其某种组合。在一个实施例中，源在飞行时间操作中投影光脉冲。

跟踪系统580的相机捕获从目标区域反射的光(例如，结构化光图案)的图像。当执行从控制器520接收的跟踪指令时，相机捕获图像。如先前所描述的，光可以由跟踪系统580的源投影。相机可以包含一个或多个相机。换句话说，相机可以是例如光二极管的阵列(1D或2D)、CCD传感器、CMOS传感器、检测由跟踪系统580投影的光中的一些或全部光的某个其它装置或其某种组合。在一个实施例中，跟踪系统580可以含有在LF显示组合件510外部的光场相机。在其它实施例中，相机被包含作为包含在LF显示组合件510中的LF显示源/传感器模块514的一部分。例如，如先前所描述的，如果光场模块512的能量中继元件是在能量装置层220处交织发射显示器和成像传感器两者的双向能量层，则LF显示组合件510可以被配置成同时投影光场并记录来自显示器前面观看区域的成像信息。在一个实施例中，从双向能量表面捕获的图像形成光场相机。相机将捕获的图像提供给控制器520。

当执行从控制器520接收的跟踪指令时，跟踪系统580的相机可以调整一个或多个成像参数。成像参数是影响相机如何捕获图像的参数。成像参数可以包含例如帧速率、光圈、增益、曝光长度、帧定时、滚动快门或全局快门捕获模式、影响相机如何捕获图像的某个其它参数或其某种组合。

控制器520控制LF显示组合件510和LF显示系统500的任何其它组件。控制器520包括数据存储522、网络接口524、跟踪模块526、观看者概况分析模块528和光场处理引擎530。在其它实施例中，控制器520包括比本文所描述的模块另外的或更少的模块。类似地，可以以与此处描述的方式不同的方式在模块和/或不同实体之间分配功能。例如，跟踪模块526可以是LF显示组合件510或跟踪系统580的一部分。

数据存储522是存储用于LF显示系统500的信息的存储器。所存储的信息可以包含显示指令、跟踪指令、发射参数、成像参数、目标区域的虚拟模型、跟踪信息、由相机捕获的图像、一个或多个观看者简档、用于光场显示组合件510的校准数据、LF显示系统510的配置数据(包含LF模块512的分辨率和定向)、所期望的观看体几何形状、用于包含3D模型的图形创建的内容、场景和环境、材质和纹理以及LF显示系统500可以使用的其它信息或其某种组合。数据存储522是存储器，如只读存储器(ROM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)或其某种组合。

网络接口524允许光场显示系统通过网络与其它系统或环境进行通信。在一个实例中，LF显示系统500通过网络接口524从远程光场显示系统接收全息内容。在另一个实例中，LF显示系统500使用网络接口524将全息内容传输到远程数据存储。

跟踪模块526跟踪观看者观看由LF显示系统500呈现的内容。为此，跟踪模块526生成控制跟踪系统580的或源和/或相机的操作的跟踪指令，并将跟踪指令提供给跟踪系统580。跟踪系统580执行跟踪指令，并将跟踪输入提供给跟踪模块526。

跟踪模块526可以确定一个或多个观看者在目标区域内的定位(例如，坐在会议室的特定椅子上，在会议室四处走动等)。所确定的定位可以相对于例如某个参考点(例如，显示表面、会议桌)。在其它实施例中，所确定的定位可以在目标区域的虚拟模型内。所跟踪定位可以是例如观看者的所跟踪定位和/或观看者的一部分的所跟踪定位(例如，眼睛位置、手位置等)。跟踪模块526使用来自跟踪系统580的相机的一个或多个捕获的图像来确定定位。跟踪系统580的相机可以分布在LF显示系统500周围，并且可以捕获立体图像，从而允许跟踪模块526被动地跟踪观看者。在其它实施例中，跟踪模块526主动跟踪观看者。换句话说，跟踪系统580照亮目标区域的某个部分，对目标区域进行成像，并且跟踪模块526使用飞行时间和/或结构化光深度确定技术来确定定位。跟踪模块526使用所确定的定位来生成跟踪信息。

跟踪模块526还可以从LF显示系统500的观看者接收跟踪信息作为输入。跟踪信息可以包含与由LF显示系统500向观看者提供的各种输入选项相对应的身体移动。例如，跟踪模块526可以跟踪观看者的身体移动，并且将任何各种移动分配为LF处理引擎530的输入。跟踪模块526可以将跟踪信息提供给数据存储522、LF处理引擎530、观看者概况分析模块528、LF显示系统500的任何其它组件或其某种组合。

为了为跟踪模块526提供背景，考虑为会议提供视频会议的LF显示系统500的示例实施例。响应于一个参与者对提案进行投票，一个或多个参与者举手。跟踪系统580可以记录参与者的手的移动，并将记录传输到跟踪模块526。跟踪模块526在记录中跟踪参与者的手的运动，并将输入发送到LF处理引擎530。如下文所描述的，观看者概况分析模块528确定图像中的信息是否指示参与者的手的运动与投票支持提案相关联。LF处理引擎530可以生成指示投票结果的适当全息内容。例如，LF处理引擎530可以在场景中投影投票数。

LF显示系统500包含被配置成标识和对观看者进行概况分析的观看者概况分析模块528。观看者概况分析模块528生成一个观看者(或多个观看者)观看由LF显示系统500显示的全息内容的简档。观看者概况分析模块528部分地基于观看者输入和所监测的观看者行为、动作和反应来生成观看者简档。观看者概况分析模块528可以访问从跟踪系统580获得的信息(例如，所记录的图像、视频、声音等)并处理所述信息以确定各种信息。在各个实例中，观看者概况分析模块528可以使用任何数量的机器视力或机器听力算法来确定观看者行为、动作和反应。所监测的观看者行为可以包含例如观看者的微笑、举手、欢呼、鼓掌、笑和/或其它手势改变或移动等。

更一般地，观看者简档可以包含所接收和/或所确定的关于观看来自LF显示系统的全息内容的观看者的任何信息。例如，每个观看者简档可以记录所述观看者对由LF显示系统500显示的内容的动作或响应。下文提供了可以包含在观看者简档中的一些示例信息。

在一些实施例中，观看者简档可以指示与组织或群组相关的与LF显示系统500相关联的观看者的角色。例如，在由企业运营的视频会议系统中，观看者简档可能包含例如观看者的职称、职责、观看机密信息的授权等。观看者简档可以另外地或可替代地指示更一般的观看者特性，例如，年龄、性别、种族、服装、位置等。

在一些实施例中，观看者简档可以指示观看者关于全息内容的呈现的偏好。例如，观看者简档可以指示全息对象体显示全息内容(例如，在观看者的右边)，和/或指示全息对象体不显示全息内容(例如，在观看者的左边)。观看者简档还可以指示观看者更喜欢在其附近呈现触觉接口，或者更喜欢避开所述触觉接口。

在一些实施例中，观看者简档也可以描述一组观看者而不是特定观看者的特性和偏好。例如，观看者概况分析模块528可以生成用于视频会议中观看者的特定组合的观看者简档。在一个实例中，观看者概况分析模块528为一对观看者创建简档，表明当所述一对观看者使用LF显示系统500参加视频会议会话时，其更喜欢全息观看区、触觉接口、背景图像和/或化身等的特定配置。先前所描述的信息和特性中的任一项都可以应用于一组观看者。

观看者概况分析模块528还可以从一个或多个第三方系统访问与一个特定观看者(或多个特定观看者)相关联的简档，以建立观看者简档。例如，观看者可以将一个或多个社交媒体账户连接到由观看者概况分析模块528维护的观看者简档。观看者概况分析模块528可以访问来自社交媒体账户中的一个或多个社交媒体账户的信息以建立(或增加)观看者简档。

在一些实施例中，数据存储522包含存储由观看者概况分析模块528生成、更新和/或维护的观看者简档的观看者简档存储。可以由观看者概况分析模块528随时在数据存储中更新观看者观看者简档。例如，在一个实施例中，当特定观看者观看由LF显示系统500提供的全息内容时，观看者简档存储在其观看者简档中接收并存储关于特定观看者的信息。在此实例中，观看者概况分析模块528包含面部识别算法，所述面部识别算法可以识别观看者并在其观看呈现的全息内容时肯定地标识所述观看者。为了说明，在观看者进入LF显示系统500的目标区域时，跟踪系统580获得观看者的图像。观看者概况分析模块528输入所捕获的图像，并使用面部识别算法来标识观看者的面部。所标识的面部与简档存储中的观看者简档相关联，并且如此，所获得的关于所述观看者的所有输入信息可以存储在其简档中。观看者概况分析模块528还可以利用卡标识扫描仪、语音标识符、射频标识(RFID)芯片扫描仪、条形码扫描仪等来肯定地标识观看者。

在观看者概况分析模块528可以肯定地标识观看者的实施例中，观看者概况分析模块528可以确定每个观看者对LF显示系统500的每次访问。观看者概况分析模块528然后可以将每次访问的时间和日期存储在每个观看者的观看者简档中。类似地，观看者概况分析模块528可以在每次其出现时存储从观看者接收的来自感觉反馈系统570、跟踪系统580和/或LF显示组合件510的任何组合的输入。观看者简档系统528可以另外从控制器520的其它模块或组件接收关于观看者的另外的信息，然后可以将所述另外的信息与观看者简档一起存储。控制器520的其它组件然后也可以访问所存储的观看者简档，以用于确定随后要提供给所述观看者的内容。

LF处理引擎530生成包含光场数据以及由LF显示系统500支持的所有感觉域的数据的全息内容。例如，LF处理引擎530可以以光栅化格式(“光栅化数据”)生成4D坐标，所述4D坐标当由LF显示组合件510执行时使LF显示组合件510呈现全息内容。LF处理引擎530可以从数据存储522访问光栅化数据。另外，LF处理引擎530可以从矢量化数据集构建光栅化数据。矢量化数据描述如下。LF处理引擎530还可以生成提供增强全息对象的感觉内容所需的感觉指令。如上文所描述的，当由LF显示系统500执行时，感觉指令可以生成由LF显示系统500支持的触觉表面、声场和其它形式的感觉能量。LF处理引擎530可以访问来自数据存储522的感觉指令或者构建感觉指令形成矢量化数据集。4D坐标和感觉数据聚合地将全息数据表示为可由LF显示系统执行以生成全息和感觉内容的显示指令。更一般地，全息内容可以采取具有以下的计算机图形(CG)内容的形式：理想的光场坐标、实景动作内容、光栅化数据、矢量化数据、由一组中继器传输的电磁能量、发送给一组能量装置的指令、一个或多个能量表面上的能量位置、从显示表面投影的一组能量传播路径、对观看者或观看者可见的全息对象以及许多其它类似形式。

描述通过LF显示系统500中的各种能量源的能量流的光栅化数据量非常大。虽然当从数据存储522访问时在LF显示系统500上显示光栅化数据是可能的，但有效地传输、接收(例如，通过网络接口524)并随后在LF显示系统500上显示光栅化数据是不可行的。以由LF显示系统500全息投影的短片的光栅化数据为例。在此实例中，LF显示系统500包含含有数千兆像素的显示器并且光栅化数据含有显示器上每个像素位置的信息。光栅化数据的对应大小是巨大的(例如，电影显示时间每秒数千兆字节)，并且对于通过网络接口524在商业网络上进行高效传送来说是难管理的。对于包含全息内容的实时流式传输的应用，高效传送问题可能会被放大。当需要使用来自传感反馈系统570或跟踪模块526的输入进行交互式体验时，会出现仅在数据存储522上存储光栅化数据的另外的问题。为了实现交互式体验，由LF处理引擎530生成的光场内容可以响应于感觉或跟踪输入而实时修改。换句话说，在一些情况下，不能简单地从数据存储522读取LF内容。

因此，在一些配置中，表示由LF显示系统500显示的全息内容的数据可以以矢量化数据格式(“矢量化数据”)传送到LF处理引擎530。矢量化数据可以比光栅化数据小几个数量级。进一步地，矢量化数据提供高图像质量，同时具有能够高效共享数据的数据集大小。例如，矢量化数据可以是从更密集的数据集导出的稀疏数据集。因此，基于如何从密集光栅化数据中采样稀疏矢量化数据，矢量化数据可以在图像质量与数据传输大小之间具有可调整的平衡。用于生成矢量化数据的可调采样能够优化给定网络速度的图像质量。因此，矢量化数据能够通过网络接口524高效传输全息内容。矢量化数据还使全息内容能够通过商业网络进行实时流式传输。

总之，LF处理引擎530可以生成从以下导出的全息内容：从数据存储522访问的光栅化数据、从数据存储522访问的矢量化数据或通过网络接口524接收的矢量化数据。在各种配置中，可以在数据传输之前对矢量化数据进行编码并且在由LF控制器520接收之后对其进行解码。在一些实例中，对矢量化数据进行编码以用于增加与数据压缩相关的数据安全性和性能改进。例如，由网络接口接收的矢量化数据可以是从全息流式传输应用接收的经编码矢量化数据。在一些实例中，矢量化数据可以需要解码器、LF处理引擎530或这两者来访问在矢量化数据中编码的信息内容。编码器和/或解码器系统可以可供客户使用或授权给第三方供应商。

矢量化数据以可以支持交互式体验的方式含有由LF显示系统500支持的感觉域中的每个感觉域的所有信息。例如，用于交互式全息体验的矢量化数据可以包含可以为由LF显示系统500支持的感觉域中的每个感觉域提供准确物理学的任何矢量化性质。矢量化性质可以包含可以合成地编程、捕获、计算评估等的任何性质。LF处理引擎530可以被配置成将矢量化数据中的矢量化性质转换为光栅化数据。LF处理引擎530然后可以使用LF显示组合件510投影从矢量化数据转换的全息内容。在各种配置中，矢量化性质可以包含以下：一个或多个红/绿/蓝/α通道(RGBA)+深度图像；具有或不具有不同分辨率的深度信息的多视图图像，所述多视图图像可以包括一张高分辨率中心图像和其它分辨率较低的视图；材料性质，如反照率和反射率；表面法线；其它光学效果；表面标识；几何对象坐标；虚拟相机坐标；显示平面位置；照明坐标；表面的触觉刚度；触觉延展性；触觉强度；声场的振幅和坐标、环境条件、与用于纹理或温度的机械感受器有关的体感能量矢量、音频和任何其它感觉域性质。许多其它矢量化性质也是可能的。

LF显示系统500还可以生成交互式观看体验。换句话说，全息内容可以响应于输入刺激，所述输入刺激含有关于观看者位置、手势、交互、与全息内容进行的交互的信息或从观看者概况分析模块528和/或跟踪模块526导出的其它信息。例如，在一个实施例中，LF处理系统500使用通过网络接口524接收的实时性能的矢量化数据来创建交互式观看体验。在另一个实例中，如果全息对象需要响应于观看者交互而立即沿某个方向移动，则LF处理引擎530可以更新场景的渲染，使得全息对象沿所述所需方向移动。这可能需要LF处理引擎530施用矢量化数据集来基于具有适当的对象放置和移动、碰撞检测、遮挡、颜色、阴影、照明等的3D图形场景实时地渲染光场，从而正确地响应于观看者交互。LF处理引擎530将矢量化数据转换成光栅化数据以供LF显示组合件510呈现。

光栅化数据包含全息内容指令和表示实时性能的感觉指令(显示指令)。LF显示组合件510通过执行显示指令同时投影实时性能的全息和感觉内容。LF显示系统500使用跟踪模块526和观看者概况分析模块528来监测观看者与所呈现的实时性能进行的交互(例如，声音响应、触摸等)。响应于观看者交互，LF处理引擎可以通过生成另外的全息和/或感觉内容以显示给观看者来创建交互式体验。

为了说明，考虑包含LF处理引擎530的LF显示系统500的示例实施例，所述LF处理引擎生成表示产品原型的全息对象。观看者可以移动以触摸表示产品原型的全息对象。相应地，跟踪系统580跟踪观看者的手相对于全息对象的移动。观看者的移动由跟踪系统580记录并发送到控制器520。跟踪模块526连续确定观看者的手的运动并将已确定的运动发送到LF处理引擎530。LF处理引擎530确定观看者的手在场景中的放置，调整图形的实时渲染以在全息对象中包含任何所需的改变(如定位、颜色或遮挡)。LF处理引擎530指示LF显示组合件510(和/或感觉反馈系统570)使用体触觉投影系统(例如，使用超声扬声器)生成触觉表面。所生成的触觉表面对应于全息对象的至少一部分，并且占据与全息对象的外部表面中的一些或全部外部表面基本上相同的空间。LF处理引擎530使用跟踪信息来动态地指示LF显示组合件510将触觉表面的位置与经渲染的全息对象的位置一起移动，使得给予观看者触摸产品原型的视觉和触觉感知两者。更简单地，当观看者观看他的手触摸全息原型时，观看者同时感觉到指示其手触摸了全息原型的触觉反馈，并且原型响应于触摸而改变定位或运动。在一些实例中，不是呈现从数据存储522访问的交互式原型，而是可以将交互式原型作为通过网络接口524从实时流式应用接收的全息内容的一部分接收(例如，全息原型可以是在不同物理位置处的由不同LF显示系统500成像的物理原型的全息表示)。

在LF显示系统用于提供视频会议的实施例中，全息内容可以包含视频会议中一个或多个参与者的全息图像。全息内容还可以包含其它全息对象，例如，全息讲义、全息白板、全息电影或视频、全息模拟、全息产品原型、全息模型、全息体验、全息游戏、全息物品、全息助理、任何其它全息对象或其任何组合。在一些实施例中，可以从与LF显示系统500分开的第三方系统接收全息内容。

在视频会议配置中，参与者定位在两个或多个物理位置。物理位置中的至少一个物理位置具有LF捕获系统。位于LF显示器的外部的LF捕获系统可以是全光光场相机或者是具有多个透镜和传感器的多视图相机系统。可替代地，LF捕获系统可以集成到LF显示组合件510中，作为既投影LF又吸收入射光并将入射光中继到成像传感器的双向能量表面。

在捕获完整LF时生成的数据集对于大多数处理器以及高效的网络传输来说可能是难管理的。为了解决这个问题，可以压缩从光场捕获系统记录的数据。在一些实施例中，将数据简化为矢量化格式，包含例如以下任一项：N个红/绿/蓝/α通道(RGBA)+深度图像；具有或不具有不同分辨率的深度的N视图图像，所述N视图图像可以包含一个高分辨率中心图像和其它分辨率较低的视图；或任何简化的数据集。通过此方式，表示完整LF所需的数据量可以显著减少(例如，减少多个数量级)，从而创建可行的路径来实现真正全息数据集的传输。此类技术可以提供高图像质量，同时平衡数据集大小以高效共享数据，从而提供优势，包含例如减少存储要求、使数据能够通过网络实时流式传输等。

在一些实施例中，数据由专有编码块编码。此编码过程是专有编码/解码对的一部分。接收系统或系统包含匹配解码块。这些编码块和解码块可以由第三方供应商授权。编码块可以压缩矢量化格式，同时平衡图像质量和传输速度，并自动调整到网络速度，例如为可用带宽提供尽可能高的图像质量。编码过程可以使用可选择的或可变的压缩比，所述编码过程可以包含实时或离线图像处理、其它计算和/或将数据减少到更稀疏的数据集。

经编码数据通过网络接口(例如，网络接口524，在LF捕获系统与LF显示系统500集成的情况下)从LF捕获系统发送到一个或多个LF显示系统500(例如，定位在其它一个参与者或多个参与者的一个物理位置或多个物理位置)。经编码数据由LF显示系统500接收、解码(例如，由专有解码器)。解码器处理经编码信号，并与显示驱动器和显示硬件配置相组合，允许LF处理引擎530不可知地将可用信息投影为完全光栅化的4D光场，同时考虑到LF显示组合件510的分辨率以及LF显示系统500的可用触觉接口和其它感官投影功能。

如先前所描述的，通过网络发送的经编码数据呈矢量化格式。LF处理引擎530获取此数据并将其转换成驱动LF显示组合件510的光栅化格式。光栅化格式可以比矢量化数据集大许多数量级。在一些实施例中，发送全息视频会议信息和CG内容两者。

在一些实施例中，经编码数据还包含用于全息对象中的一些或全部全息对象的匹配触觉表面指令。在一个实施例中，从光场显示组合件510产生的矢量化格式包含为多个感觉域提供准确物理学的矢量化性质，其特性可以被合成地编程、捕获或计算评估，包含例如以下任一项：N个红/绿/蓝/α通道(RGBA)+深度图像；具有或不具有不同分辨率的深度的N视图图像，所述N视图图像可以包含一个高分辨率中心图像和其它分辨率较低的视图；材料性质，如反照率和反射率；表面法线；其它光学效果；表面标识；几何对象坐标；虚拟相机坐标；显示平面位置；照明坐标；表面的触觉刚度；触觉延展性；触觉强度；声场的振幅和坐标、环境条件、与用于纹理或温度的机械感受器有关的体感能量矢量、游戏音频和任何其它感觉域性质。数据的矢量化可以消除多个数量级的所需数据，从而创建可行的路径来实现包含多个感觉域中的性质的数据集的传输。

LF处理引擎500还可以修改全息内容以适于呈现全息内容的空间。例如，并非每个会议室都具有相同的大小、相同的座椅数量或相同的技术配置。如此，LF处理引擎530可以修改全息内容，使得其将被适当地显示在会议室中。在一个实施例中，LF处理引擎530可以访问会议室的配置文件，包含会议室的布局、分辨率、视场、其它技术规范等。LF处理引擎530可以基于配置文件中包含的信息来渲染和呈现全息内容。

LF处理引擎530还可以创建全息内容以由LF显示系统500显示。重要的是，此处，创建用于显示的全息内容不同于访问或接收用于显示的全息内容。换句话说，当创建内容时，LF处理引擎530生成用于显示的全新内容，而不是访问先前生成和/或接收的内容。LF处理引擎530可以使用来自跟踪系统580、感觉反馈系统570、观看者概况分析模块528、跟踪模块526或其某种组合的信息来创建用于显示的全息内容。在一些实例中，LF处理引擎530可以访问来自LF显示系统500的元件的信息(例如，跟踪信息和/或观看者简档)，基于所述信息创建全息内容，并且作为响应，使用LF显示系统500显示创建的全息内容。当由LF显示系统500显示时，创建的全息内容可以用其它感觉内容(例如，触摸、音频或气味)增强。

LF显示系统的动态内容生成

在一些实施例中，LF处理引擎530并入人工智能(AI)模型以创建全息内容以供LF显示系统500显示。AI模型可以包含监督或无监督的学习算法，包含但不限于回归模型、神经网络、分类器或任何其它AI算法。AI模型可以用于基于由LF显示系统500(例如，通过跟踪系统580)记录的观看者信息来确定观看者偏好，所述观看者信息可以包含关于观看者的行为的信息。

AI模型可以从数据存储522访问信息以创建全息内容。例如，AI模型可以从数据存储522中的一个观看者简档或多个观看者简档访问观看者信息，或者可以从LF显示系统500的各个组件接收观看者信息。为了说明，AI模型可以确定一个观看者更喜欢在图表中查看财务数据，而另一个则更喜欢在表格中查看财务数据。AI模型可以基于观看者对先前观看的包含财务数据的全息内容的反应或响应来确定偏好(例如，观看者是否要求说明？用户是否要求查看不同格式的数据？等等)。LF显示系统500然后可以使用不同类型的全息表示向不同用户呈现相同数据。换句话说，AI模型可以根据学习到的那些观看者的偏好来创建个性化针对一组观看者的全息内容。因此，例如，AI模型可以为一个用户创建财务数据的全息图表，并为另一个用户创建相同数据的全息表格。AI模型还可以将学习到的每个观看者的偏好存储在数据存储522的观看者简档存储中。在一些实例中，AI模型可以创建为一组观看者而不是单个观看者量身定制的全息内容。

可以用于标识观看者的特性、标识反应和/或基于所标识的信息生成全息内容的AI模型的一个实例是具有节点层的卷积神经网络模型，其中当前层的节点处的值是先前层的节点处的值的变换。通过连接当前层和先前层的一组权重和参数确定模型中的变换。例如，并且AI模型可以包含五个节点层：层A、B、C、D和E。从层A到层B的变换由函数W₁给出，从层B到层C的变换由W₂给出，从层C到层D的变换由W₃给出，并且从层D到层E的变换由W₄给出。在一些实例中，还可以通过用于在模型中的先前层之间进行变换的一组权重和参数来确定变换。例如，从层D到层E的变换W₄可以基于用于完成从层A到B的变换W₁的参数。

到模型的输入可以是由跟踪系统580拍摄的被编码到卷积层A上的图像，并且模型的输出是从输出层E解码的全息内容。可替代地或另外地，输出可以是所确定的图像中的观看者的特性。在此实例中，AI模型在识别层C中识别表示观看者特征的图像中的潜在信息。AI模型将卷积层A的维度降低到识别层C的维度，以识别图像中的任何特性、动作、响应等。在一些实例中，AI模型然后增加标识层C的维度以生成全息内容。

来自跟踪系统580的图像被编码到卷积层A。在卷积层A中输入的图像可以与标识层C中的各种特性和/或反应信息等相关。这些元件之间的相关性信息可以通过在对应层之间应用一组变换来检索。换句话说，AI模型的卷积层A表示经过编码的图像，并且模型的标识层C表示微笑的观看者。给定图像中微笑的观看者可以通过将变换W₁和W₂应用于卷积层A的空间中的图像的像素值来标识。用于变换的权重和参数可以指示图像中含有的信息与微笑的观看者的标识之间的关系。例如，权重和参数可以是包含在表示图像中的微笑的观看者的信息中的形状、颜色、大小等的量化。权重和参数可以基于历史数据(例如，先前跟踪的观看者)。

在标识层C中标识图像中的微笑的观看者。标识层C基于关于图像中的微笑的观看者的潜在信息表示所标识的微笑的观看者。

所标识的图像中的微笑的观看者可以用来生成全息内容。为了生成全息内容，AI模型从标识层C开始，并将变换W₂和W₃应用于标识层C中给定的所标识的微笑的观看者的值。变换产生输出层E中的一组节点。用于变换的权重和参数可以指示所标识的微笑的观看者与特定的全息内容和/或偏好之间的关系。在一些情况下，全息内容直接从输出层E的节点输出，而在其它情况下，内容生成系统将输出层E的节点解码到全息内容。例如，如果输出是一组标识的特性，则LF处理引擎可以使用特性来生成全息内容。

另外，AI模型可以包含被称为中间层的层。中间层是不对应于图像、不标识特性/反应等或不生成全息内容的层。例如，在给出的实例中，层B是卷积层A与标识层C之间的中间层。层D是标识层C与输出层E之间的中间层。隐藏层是标识的不同方面的潜在表示，所述潜在表示在数据中未观察到，但是当标识特性和生成全息内容时可以控制图像的元件之间的关系。例如，隐藏层中的节点可以与共享“笑的人微笑”的共性的输入值和标识值具有强连接(例如，大的权重值)。作为另一个实例，隐藏层中的另一个节点可以与共享“害怕的人尖叫”的共性的输入值和标识值具有强连接。当然，神经网络中可以存在任何数量的链接。另外，每个中间层是功能的组合，例如，残差块、卷积层、池化操作、跳过连接、串联等。任何数量的中间层B都可以用于将卷积层减少到标识层，并且任何数量的中间层D都可以用于将标识层增加到输出层。

在一个实施例中，AI模型包含已经用强化学习训练的确定性方法(由此创建强化学习模型)。使用来自跟踪系统580的测量结果作为输入，并且将对所创建的全息内容的改变作为输出来训练模型以提高性能的质量。

强化学习是机器学习系统，其中机器学习“做什么”-如何将情况映射到动作-从而最大化数字奖励信号。不告知学习者(例如，LF处理引擎530)要采取哪些动作(例如，生成规定的全息内容)，而是通过尝试所述动作发现哪些动作产生最高的奖励(例如，通过使更多人欢呼来提高全息内容的质量)。在一些情况下，动作不仅可以影响即时奖励，而且影响下一种情况，并因此影响所有后续奖励。试错搜索和延迟奖励这两个特性是强化学习的两个区别特征。

强化学习不是通过表征学习方法来定义的，而是通过表征学习问题来定义的。基本上，强化学习系统捕获学习代理与其环境进行交互以实现目标所面临的问题的那些重要方面。换句话说，在为表演者生成歌曲的实例中，强化学习系统捕获关于场地中的观看者的信息(例如，年龄、性情等)。这种代理感测环境的状态并且采取影响状态的动作以实现一个目标或多个目标(例如，创建观看者将为其欢呼的流行歌曲)。在其最基本形式中，强化学习的制定包含学习者的三个方面：感觉、动作和目标。继续以歌曲为例，LF处理引擎530使用跟踪系统580的传感器来感测环境的状态，向环境中的观看者显示全息内容，并实现作为观看者对所述歌曲的接收的度量的目标。

强化学习中出现的挑战之一是探索与利用之间的权衡。为了增加系统中的奖励，强化学习代理更喜欢过去尝试过的并且发现要有效产生奖励的动作。然而，要发现产生奖励的动作，学习代理会选择之前未选择的动作。代理“利用”其已经知道的信息以获得奖励，但是其也“探索”信息以便将来做出更好的动作选择。学习代理尝试各种动作，并逐渐偏爱那些看起来最好的动作，同时仍尝试新动作。在随机任务上，每个动作通常都会尝试多次，以获得对其预期奖励的可靠估计。例如，如果LF处理引擎创建了LF处理引擎知道的将导致观看者在长时间段后笑的全息内容，则LF处理引擎可以改变全息内容，使得直到观看者笑的时间减少。

进一步地，强化学习考虑了目标导向的代理与不确定的环境进行交互的整个问题。强化学习代理有明确的目标，可以感测其环境的各方面，并可以选择接收高奖励的动作(即，咆哮的人群)。此外，尽管代理面临的环境存在显著的不确定性，但其通常仍在进行操作。当强化学习涉及计划时，系统将解决计划与实时动作选择之间的相互作用，以及如何获取和改善环境要素的问题。为了使强化学习取得进步，必须分离和研究重要的子问题，子问题在完整的交互式寻求目标的代理中起明确作用。

强化学习问题是机器学习问题的框架，在所述框架中，处理交互并执行动作以实现目标。学习者和决策者被称为代理(例如，LF处理引擎530)。与之交互的事物(包括代理外部的所有事物)被称为环境(例如，场地中的观看者等)。这两个持续地进行交互，代理选择动作(例如，创建全息内容)，并且环境响应于这些动作并将新情况呈现给代理。环境还带来了奖励，即，代理试图随时间最大化的特殊数值。在一种背景下，奖励起到使观看者对全息内容的肯定反应最大化的作用。完整的环境规范定义了作为强化学习问题的一个实例的任务。

为了提供更多的背景，代理(例如，LF处理引擎530)与环境在一系列离散时间步长(即，t＝0、1、2、3等)中的每个离散时间步长中进行交互。在每个时间步长t处，代理接收一些环境状态s_t的表示(例如，来自跟踪系统580的测量结果)。状态s_t在S内，其中S是可能状态的集合。基于状态s_t和时间步长t，代理选择动作at(例如，使表演者进行拆分)。动作at在A(s_t)内，其中A(s_t)是可能动作的集合。之后的一个时间状态(部分作为其动作的结果)，代理接收数字奖励r_t+1。状态r_t+1在R内，其中R是可能的奖励的集合。一旦代理接收到奖励，代理就会选择新状态s_t+1。

在每个时间步长处，代理都会实施从状态到选择每个可能动作的概率的映射。此映射被称为代理的政策并且被表示为π_t，其中如果s_t＝s，则π_t(s，a)是a_t＝a的概率。强化学习方法可以决定代理如何由于代理动作产生的状态和奖励来更改其策略。代理的目标是使随着时间的推移接收的奖励总数最大化。

这种强化学习框架非常灵活，并且可以以许多不同的方式(例如，生成全息内容)应用于许多不同的问题。框架提出，无论感觉、记忆和控制设备的细节如何，学习目标导向行为的任何问题(或目的)都可以减少到代理与其环境之间来回传递的三个信号：一个信号表示由代理做出的选择(动作)、一个信号表示做出选择的依据(状态)以及一个信号定义代理目标(奖励)。

当然，AI模型可以包含任何数量的机器学习算法。可以采用的一些其它AI模型是线性和/或逻辑回归、分类和回归树、k均值聚类、矢量量化等。无论情况如何，通常，LF处理引擎530从跟踪模块526和/或观看者概况分析模块528采取输入，并且作为响应，机器学习模型创建全息内容。类似地，AI模型可以引导全息内容的呈现。

在一些实施例中，LF处理引擎530生成用于向视频会议中的参与者呈现全息助理的显示指令。此类助理可以向参与者提供与视频会议有关的信息、协助呈现等。LF处理引擎530可以检索作为全息对象存储在数据存储中的全息助理。每个全息助理可以具有决定呈现全息助理的各种参数。例如，全息助理可以具有的参数包含但不限于助理的类型(例如，人化身、外星人、机器人、类人等)、助理的大小、助理的性别(当可用时)、助理的声音、助理的个性或其任何组合。

在另外的实施例中，LF处理引擎530进一步访问可以具有参与者对助理的偏好的观看者简档。例如，观看者简档可以包含参与者更喜欢助理是具有棕色头发和低沉声音的男性人类、具有黑色头发和高音调声音的女性外星人等的偏好(例如，由参与者提供或由观看者概况分析模块528推断)。另外，LF处理引擎530可以并入如上文所描述的AI模型，以生成用于呈现助理的指令从而呈现与参与者互动的全息助理。AI模型可以用于不断地为感觉反馈系统570生成指令以响应于来自参与者的语音输入而提供音频反馈，即，模拟参与者与全息助理之间的实时对话。此外，LF处理引擎530可以使用来自跟踪系统580和/或跟踪模块526的跟踪信息来生成用于LF显示组合件510的显示指令以调整全息助理的眼睛的呈现以随着参与者的注视或身体移动而移动或跟踪。

创建内容的前述实例不是限制性的。最广泛地，LF处理引擎530创建全息内容以用于显示给LF显示系统500的观看者。可以基于LF显示系统500中包含的信息中的任何信息来创建全息内容。

光场显示视频会议系统

图6是根据一个或多个实施例的用于视频会议的LF显示系统600的图示。LF显示系统600是LF显示系统500的实施例。LF显示系统600定位在会议空间610中。会议空间610通常是包含由LF显示组合件510的LF显示模块620形成的LF显示器的房间。在图6所示的配置中，LF显示模块620被设置为覆盖视频会议室的一面壁。然而，会议空间610可以是可以临时或永久安装LF显示模块620的任何物理空间。在一个实施例中，LF显示系统600具有集成到LF显示组合件510中的成像系统。因此，LF显示组合件510可以充当双向显示表面，所述双向显示表面既投影光场又将来自显示表面的光中继到至少一个成像传感器。LF显示系统可以另外地或可替代地具有显示器外部的相机，其中使用控制器520中的跟踪软件分析图像以用于光场显示组合件510。

在图6中，会议空间610还包含桌子630和椅子640。桌子640抵靠具有LF显示模块620的壁定位，并且椅子640被定位成使参与者坐在桌子630处。LF显示模块620正在生成定位在另一个视频会议参与者所定位于的不同物理空间612中的桌子632和椅子642的全息图像。全息图像可以基于由定位在远程会议空间612中的远程光场显示组合件(例如，一个或多个远程LF显示模块)收集的视觉数据生成。例如，在一个实施例中，每个会议空间包含具有集成到LF显示组合件510中的成像系统的LF显示系统600。因此，每个显示组合件510充当双向表面，所述双向表面可以被配置成给出两个会议空间物理上彼此相邻的印象，其中LF显示组合件510用作其之间的窗口。

用于生成全息图像的视觉数据可以是由一个或多个成像传感器(例如，一个或多个LF显示模块620的成像传感器)检测到的光的数字表示。例如，在椅子642的情况下，视觉数据可以是从椅子反射并由远程会议空间612中的LF显示系统600的LF显示模块620检测到的光。可替代地或另外地，远程光场显示组合件510可以使用如独立相机等其它传感器来收集视觉数据。在一些实施例中，视觉数据可以被矢量化和/或压缩，如先前关于图5所描述的。

全息桌子632邻接物理桌子630。因此，对于会议空间610中的参与者(例如，坐在椅子640上)而言，物理椅子640和另一个物理位置612中的椅子642的图像围绕单个桌子(由物理桌子630和另一个物理位置中的桌子632的图像构成)。类似地，在另一个物理位置612中，全息桌子632与全息椅子642一起被呈现为邻接桌子630的物理实例。虽然图6示出了使用两个相同的桌子来改善其是单个桌子的两半的假象，但是可以使用不同大小和形状的桌子。

当参与者坐在椅子640、642上(或以其它方式将自己定位在相应观看空间中)时，可以在另一个物理位置中提供参与者的全息图。例如，可以在第二会议空间612中提供坐在椅子640上的第一用户的全息图，并且可以在第一会议空间610中提供坐在椅子642上的第二参与者的全息图。尽管每个物理位置被描述为具有单个椅子和参与者，但是应当理解，其中一个或两个位置可以包含多个参与者。还应当理解，在一些实施例中，可以存在多于两个物理位置。

在一个实施例中，远程会议空间612不含LF显示系统，而是用LF相机拍摄，并将图像发送到会议空间610中的LF显示系统600。在其它实施例中，远程会议空间612和本地会议空间610两者都含有LF显示系统600以及光场捕获装置。在另一个实施例中，使用一个或多个传统2D相机以及深度传感器在任一空间中捕获全息数据。在仍另一个实施例中，在远程或本地会议空间中用一个或多个2D相机捕获2D图像数据，并且使用本领域已知的2D到3D转换技术从2D图像数据生成全息数据。在一个实施例中，LF显示模块620包含双向表面，所述双向表面投影光场并同时吸收入射光，将其中继到一个或多个图像传感器，所述图像传感器可以用于记录来自显示表面附近区域的光场。在存在定位在视频会议所涉及的两个位置处的具有此类双向表面的光场显示系统600的配置中，则由视频会议解决方案连接的物理位置中的参与者的注视方向之间可以存在一一对应关系，因为LF显示模块620充当共同定位的显示器和相机。因此，参与者可以进行眼神接触，就好像其定位在同一物理空间内一样。换句话说，LF显示模块620充当两个位置之间的窗口，留下参与者坐在一张桌子周围的印象。

LF显示模块620还可以包含可听声场投影系统。这可以从安装在显示器表面上的静电扬声器发出，所述静电扬声器具有光学透明膜、位于波导元件之间的位置处、与被设计成用于抑制波导之间的光传输的结构共定位或帮助形成所述结构，以允许声场和光场两者同时从显示表面投影。由一个物理位置中的麦克风检测到的声音可以由另一个物理位置中的对应的LF显示模块620发射。因此，当一个物理位置中的参与者说话或以其它方式发出声音时，其可以看起来处于另一个物理位置中，就好像声音来自参与者的全息图。可替代地，可以使用单独麦克风和扬声器在物理位置之间建立音频连接。

在一些实施例中，触觉投影系统被集成到由LF显示模块620形成的显示表面中。因此，显示表面可以是双向能量表面，所述双向能量表面同时投影光场和聚焦超声能量两者以产生触觉表面。这可以使视频会议中的参与者体验与远程参与者进行身体接触的感觉，如握手。其还可以用于生成参与者可以触摸和操纵的全息对象(例如，全息道具650，其在下文更详细地描述)。

在一些实施例中，显示表面包含用于生成音频场的扬声器(例如，静电扬声器)。因此，系统可以控制参与者听到声音的方向。例如，LF显示系统600的控制器520可以使用跟踪软件来确定哪个远程参与者正在说话，并使扬声器发射基本上共定位所生成音频的表观源和正在说话的参与者的全息表示的音频场。这可以进一步增加参与者都定位在同一物理空间中的印象。另外地或可替代地，LF系统600可以包含显示器外部的一个或多个扬声器。

在图6所示的实施例中，会议空间610还包含移动LF系统660。移动LF系统660可以具有小于一个或多个其它LF显示器的显示表面积的显示表面积，如用LF模块620形成的表面。尽管移动LF系统660被示为轮子上的机器人，但也可以使用其它形式的移动。例如，移动LF系统660可以安装在轨道上、安装在铰接式机器人臂上，或者由人类参与者携带。无论采用何种精确形式，移动LF系统660都可以提供功能以进一步增加来自不同物理位置的参与者存在于同一空间内的印象。

在各个实施例中，移动LF系统660可以包含图像捕获系统、图像显示系统或两者。移动LF系统660的图像捕获系统可以包含一个或多个2D相机、深度传感器和/或LF相机。因此，移动LF系统660可以被配置成捕获移动LF系统660附近(例如，在移动LF系统前面)的区域的2D图像数据和/或全息数据。移动LF系统660还可以在捕获2D图像数据的配置中将2D图像数据转换成全息数据(例如，使用深度传感器数据和/或本领域已知的2D到3D技术)。移动LF系统660还可以被配置成捕获其它类型的数据。例如，移动LF系统660可以包含被配置成捕获音频数据的麦克风。

移动LF系统660的图像显示系统可以包含2D显示器、LF显示系统或两者。在一些实施例中，移动LF系统660包含可以被配置成同时捕获LF图像数据和投影全息内容的双向表面。

在一个实施例中，移动LF系统660定位在一个空间(例如，本地会议空间610)中，但由定位在远程位置(例如，远程会议空间612)中的参与者控制。因此，控制参与者可以在会议空间610周围导航移动LF系统660以查看以其它方式可能不可用的视角(例如，椅子640的背部)。此外，移动LF显示器660可以创建一些(例如，头部和肩部)或所有控制参与者(或控制参与者的化身)的全息图像。因此，控制参与者可以探索会议空间610，并且物理上定位在会议空间610内的其它参与者可以与控制参与者的全息图像交互，就好像其实际存在一样。这可以进一步增加参与者定位在共同物理空间内的印象。

LF显示系统600还可以在会议空间610中呈现补充全息内容。图6所示的实施例包含补充全息内容的两个实例：全息道具650(在此情况下，汽车的全息图像)和全息白板670。全息道具650和全息白板670可以显示在本地会议空间和远程会议空间两者中，或仅这些空间之一中。在其它实施例中，可以由LF显示系统呈现不同的和/或另外的补充全息内容。

全息道具650是如3D CAD模型等全息对象。全息道具650可以是物理对象(例如，定位在第二会议空间612中的产品原型)或CG虚拟对象(例如，从如控制器520等计算机上的文件生成)的图像。这可以进一步使处于不同物理位置的参与者能够进行交互，就好像其在同一空间中一样。例如，第二会议空间612中的参与者可以选择3D CAD模型并且LF显示系统600在第一会议空间610中的全息观看体中生成全息道具650。可以基于定位在会议空间610中的一个或多个参与者的偏好来选择全息观看体的位置。可替代地，全息道具650可以出现在默认位置处。

在一些实施例中，如先前所描述的，超声波用于为全息道具650提供触觉表面。LF显示系统600的跟踪系统580可以跟踪会议空间610中参与者的运动以实现全息道具的操纵。例如，参与者可以能够伸出并“抓握”全息道具650以旋转和/或移动其。跟踪系统580还可以将某些手势识别为与全息道具650有关的命令。例如，如果参与者将双手放在全息道具650上(或其附近)并且将其手移动分开或移动到一起，则跟踪系统580可以将这些手势解释为分别增大和减小全息道具650大小的命令。

如果会议空间610、612两者都包含LF显示系统600，则可以在每个会议空间中形成全息道具650的共享实例。因此，一个空间中的参与者与全息道具650的交互可以反映在另一个空间中的全息道具650的呈现中。例如，如果全息道具650是从3D CAD模型生成的，则一个空间中的参与者可以旋转模型以使特定特征可见，同时将所述特征描述为呈现的一部分。在另一个空间中的全息道具650可以以使所有参与者看到所描述的特征的相同的方式自动地旋转。在一些实施例中，参与者可以使用触笔(或其它此类工具)来注释全息道具650。跟踪系统580可以跟踪触笔的运动并将注释添加到生成全息讲义的文件和/或结合全息道具650显示注释的全息版本。返回到先前实例，演示者可以在所描述的特征周围画圆圈，提供提供了关于特征的另外的信息的书面注释，添加指示特征在操作中如何移动的箭头等。

全息白板670为参与者提供了类似于物理白板的在其上绘制的接口。在一些实施例中，LF显示系统600提供指示每个会议空间610、612中的全息白板670的范围的全息图像(例如，物理白板的全息图像)。例如，在图6所示的配置中，每个会议空间610、612可以包含紧邻物理桌630、632的全息白板670。每个位置中的全息白板670是同步的，这意味着对一个白板所做的任何添加或修改都会出现在其它白板上。因此，处于不同物理位置的参与者可以在全息白板670上协作，就好像其存在于同一物理空间中一样。超声可以用于为全息白板670的一些或全部全息白板创建触觉表面以给予参与者在物理白板(或某个其它表面，如纸、黑板、帆布等)上绘制的感觉。

在一个实施例中，不同参与者的贡献被存储为不同层。参与者可以选择在全息白板670上显示哪些层(例如，使用物理遥控器和/或全息控件)。层选择可以跨全息白板670的实例同步。可替代地，每个位置的参与者可以独立选择要显示哪个层。在其它实施例中，可以以不同方式添加、使用和显示层。例如，可以向参与者提供(例如，物理或全息)控件以添加和删除层以及选择哪个层当前是有效的。可以将新内容添加到当前有效层。控件还可以使参与者能够拆分层并在层之间移动内容。因此，参与者可以控制全息白板670上的哪些内容在哪些层中。

在一些实施例中，全息白板670是3D的。因为白板是全息的，所以不需要限制于2D表面。参与者可以绘制向前/向后以及向上/向下和/或向左/向右移动的线。这可以使与参与者直接绘制3D结构，并且可能比限制于2D表示时更容易表达复杂的概念和关系。在一个实施例中，3D白板沿着前/后轴被分成切片。参与者可以选择显示哪些切片以观看所描绘3D结构的不同横截面。

在一些实施例中，全息白板670可以用于显示3D全息对象，如CAD模型、建筑示意图、公园计划等。3D对象可以从数据文件生成或通过对定位在会议空间之一(例如，远程会议空间612)内的物理对象(例如，产品原型、一组蓝图等)成像来生成。在一个实例中，文档的每一页可以被呈现为全息白板670上的不同层。参与者可以选择观看哪些层以阅读特定页面。参与者还可以在全息白板的3D体内独立地四处移动页面。因此，参与者可以观看页面的任何组合(例如，并排)。类似地，参与者可以布置文档的两个不同版本的对应页面，以便于比较。作为另一个实例，LF处理引擎530可以采用建筑的一组蓝图并使用其来创建建筑的近似3D模型。参与者然后可以与全息白板670交互以例如观看建筑的不同横截面，从显示的模型中移除某些元件(例如，布线、门、特定壁等)，对模型进行修改(其然后可以用于生成经更新的蓝图)、添加注释等。

LF显示系统600可以修改参与者和/或其它全息对象的图像。在一个实施例中，为了改进全息对象定位在会议空间610内的印象，LF显示系统600确定会议空间610内的照明参数(例如，整体亮度和光谱分布)并调整全息图像以更好地匹配照明参数。例如，如果会议空间610在左侧具有明亮的光，则可以调整全息图像使得左侧更亮而右侧处于阴影中。这可以增加图像是定位在会议空间610内的物理对象的印象。

LF显示系统600还可以对用于所生成的可听声音的音频参数进行调整以说明会议空间610内的声学效果。例如，如果一个角落通常具有低沉的声音，则LF显示系统可以对朝向所述角落的声学能量的高频带应用均衡增强以提供更清晰的声音。LF显示系统还可以提供噪声消除。例如，会议空间610后面处的一个或多个LF显示模块620可以发射声波，所述声波部分或完全抵消从会议空间610前面的LF显示模块620发射的声波。

光场显示视频聊天系统

图7示出了根据一个或多个实施例的包含LF显示系统700的会议空间710的替代性配置。LF显示系统700是LF显示系统500的实施例。在图7中，LF显示系统700不是生成定位在显示表面后面的桌子和椅子的全息图像，而是生成显示表面前面的桌子730和椅子742的全息图像。因此，会议空间710中的物理桌子730和椅子740并不像其在图6中那样抵靠LF显示模块720定位。为此，LF显示系统通过投影全息图像来转换所述全息图像，使得其出现在LF显示模块720前面，而不是LF显示模块720后面(如图6中所做的那样)。类似地，在另一个物理位置(桌子732和椅子742所定位于的位置)中，桌子730和椅子740的全息图像可以通过投影这些图像使得其也出现在另一个物理位置的显示表面前面来转换所述图像来形成。

以此方式转换图像可以改进所有全息图像(包含参与者)都定位在同一物理空间中的印象。LF显示模块720不是充当参与者可以看到但不能通过的窗口，而是将远程参与者的图像投影到会议空间710中。因此，参与者可以走到彼此身边。此外，超声触觉表面可以用于模拟远程位置中的参与者接触彼此。虽然图7未示出，会议空间710还可以包含另外的全息对象，如全息讲义、白板等，如上文参考图6所描述的。

图8A是根据一个或多个实施例的呈现包含全息视频聊天参与者的全息内容的LF显示系统800的图示。LF显示系统800是LF显示系统500的实施例。LF显示系统800具有形成单侧无缝表面环境的LF显示组合件的LF显示模块820。LF显示系统800提供视频聊天功能，其中参与者观看其它参与者中的一些或所有其它参与者的由LF显示模块820生成的全息图像。LF显示系统800还可以包含LF显示系统500的其它组件的任何组合，如感觉反馈组合件570、跟踪系统580、观看者概况分析模块528和控制器520。在其它实施例中，LF显示系统900包含与跟踪系统分开的用于捕获图像数据的另外的相机。

在图8A的图示中，第一视频聊天参与者830定位在LF显示系统800的观看区。LF显示系统800通过跟踪系统(例如，跟踪系统580)、LF显示模块820、LF显示系统800中包含的一个或多个相机以及任何另外的跟踪装置的任何组合来捕获第一参与者830的图像数据。在一些实例中，LF显示系统800从多个视角接收第一参与者830的图像数据，如从一个或多个LF显示模块820或从与跟踪系统分开或作为跟踪系统的一部分的一个或多个相机。在一些实施例中，LF显示系统800具有围绕第一参与者830的相机，所述相机捕获涵盖所有360°视角的图像数据。可替代地，LF显示系统800可以是“单向的”，意味着向第一参与者830呈现第二参与者840的全息表示，但LF显示系统800不收集第一参与者830的图像数据和/或不向正在由第二参与者840使用的显示装置提供流此类图像数据。

LF显示系统800产生包含第二视频聊天参与者840的全息表示的全息内容。第二视频聊天参与者840的全息表示是全息图像。在一个实施例中，LF显示模块820是双向表面，所述LF显示模块还收集第一参与者830的图像数据并将其发送到第二参与者840的LF显示系统以作为全息图像呈现。换句话说，LF显示模块820可以充当参与者可以通过其观看彼此的窗口。与参考图6所描述的视频会议系统一样，参与者之间的注视方向之间可以存在一一对应关系，使这些参与者能够彼此进行眼神接触，就好像其定位在同一物理空间中一样。可替代地，LF显示系统800可以是“单向”的，其中向仅参与者之一呈现另一个参与者的全息表示。

图8B是根据一个或多个实施例的图8A的呈现包含第二视频聊天参与者850的全息图像的全息内容的LF显示系统800的图示。类似于图7所展示的视频会议配置，LF显示系统800将第二参与者850的全息图像投影到与第一参与者730相同的物理空间中。因此，与图8A中所示的实例相反，第一参与者830体验到第二参与者850与其处于相同物理位置的印象。可以应用与先前所描述的用于调整照明和/或声音参数以改进整体体验的相同或类似的技术。此外，如先前所描述的，超声投影系统可以用于为参与者的全息表示中的一些或所有全息表示创建体触觉的触觉表面。这些触觉表面可以模拟参与者接触彼此，从而进一步留下其定位在同一物理空间内的印象。超声投影系统可以与跟踪系统580结合工作以更新触觉表面。例如，使用此方法，视频聊天中的远程参与者可以体验彼此握手的感觉，其中每个参与者体验到的触觉的触觉表面基于另一个参与者的手的运动而更新。

LF显示系统800还可以使视频聊天参与者能够改变其外观和/或声音。在一个实施例中，LF显示系统800提供(例如，物理或全息)控件使参与者能够调整呈现给其它参与者的其全息表示的参数。例如，参与者可以模糊自己的脸，选择自定义背景，添加气球或其它漂浮在其周围的对象，使其看起来像是坐在桌子后面，等等。类似地，LF显示系统800可以使参与者能够应用滤波器来改变其声音，如增大或减小音高、使其听起来像机器人、选择性地减小某些频率的强度等。

在其它实施例中，LF显示系统800提供(例如，物理或全息)控件使参与者能够应用滤波器来改变自己或其它参与者的外观的各个方面。例如，滤波器可以改变参与者的服装、改变参与者的头发颜色、用映射到参与者的移动的化身替代参与者的图像和/或将任何其它视觉滤波器应用于参与者如何出现。在一个实施例中，滤波器是模块化的并且参与者可以安装(例如，通过从网上商店等下载)其希望使用的滤波器。在一些情况下，第三方可以提供另外的滤波器。此类第三方滤波器可以是免费的和/或有价提供(例如，通过市场系统)。

图9是根据一个或多个实施例的呈现包含群组视频聊天中的参与者的全息表示的全息内容的LF显示系统900的图示。LF显示系统900是LF显示系统500的实施例。第一视频聊天参与者930与LF显示系统900处于同一物理位置。LF显示系统包含LF显示模块920，所述LF显示模块在语音聊天中生成有效参与者950的全息图像表示。LF显示模块920还生成一个或多个另外的参与者960的全息图像表示。表示可以是参与者的图像和/或参与者的化身。在图9中，示出了两个另外的参与者960，但是语音聊天可以包含任何数量的另外的参与者(包含零个参与者)。此外，虽然另外的参与者960的表示被示为大小有所减小，但在其它实施例中，其它指示符可以用于有效参与者950，如在特定位置(例如，集中地)显示有效参与者950的表示、结合有效参与者950的表示显示特定的视觉指示(例如，参与者头部的表示上方的发光等)，或任何其它合适的指示符。在一些实施例中，并非所有参与者都由全息表示来表示。例如，无权访问LF相机(或选择不使用其)的参与者可以由静态化身表示。

LF显示系统900可以使用任何合适的方法确定哪个参与者是有效参与者950。在一个实施例中，LF显示系统基于收集到的声学能量将当前正在讲话的参与者识别为有效参与者950。在另一个实施例中，第一参与者930可以使用由LF显示系统900提供的控件(例如，通过指向另外的参与者960的全息表示之一)来改变有效参与者950。虽然图9将全息表示展示为站立，但不必如此。例如，参与者的表示可以被呈现为坐在全息(或物理)桌子周围，其中有效参与者950被放置在桌子的头部处。

在各个实施例中，LF显示系统500提供全息语音邮件功能。除了LF显示系统500通过收集与个人相对应的音频和视觉数据并将其保存(例如，在数据存储530中)而不是在另一个位置处基本上实时呈现来创建用于稍后呈现的消息之外，这基本上如上文参考视频聊天所描述的那样操作。例如，个人可以使用物理和/或全息控件来开始、暂停和结束记录，并且然后选择一个或多个个人来接收所记录的消息。稍后，接收者可以使用LF显示系统500(其可以是与用于记录消息的系统不同或相同的系统)的物理和/或全息控件来触发消息的回放。在回放期间，LF显示系统500呈现记录消息的个人的全息图像以及对应的音频内容。在一些实施例中，可以使用与上文所描述的用于修改个人的外观和/或声音的相同或类似的技术。

在一个实施例中，LF显示系统500提供控件以使接收者能够控制消息的回放，如开始、暂停、快进、倒带和/或结束回放等控件。在LF显示系统500从视觉数据创建全息内容时，接收者可以四处移动以从不同的视角观看消息的视觉内容。可替代地，控件可以包含用于旋转、平移、放大和缩小等的控件，以便接收者可以在不移动的情况下观看不同的视角。因此，接收者可以多次播放消息以从不同的视角观看其。

在一些实施例中，可以为视频会议和/或视频聊天会话的记录提供类似的回放功能。LF显示系统可以提供用于记录视频通信会话的选项。参与者(以及其它任何有权访问记录的人)然后可以回放所记录的会话以从不同的视角观看所记录的场景。

另外的配置信息

对本公开的实施例的前述描述出于说明的目的而呈现；这并不旨在穷举或将本公开限制于所公开的精确形式。相关领域的技术人员可以理解，根据以上公开，LF显示系统的许多修改和变化是可能的。

此描述的一些部分根据信息上的操作的算法和符号表示来描述本公开的实施例。这些算法描述和表示通常由数据处理领域的技术人员用来将其工作的实质有效地传递给本领域的其它技术人员。这些操作虽然在功能上、计算上或逻辑上进行了描述，但应理解为通过计算机程序或等效电路、微代码等来实施。此外，在不失一般性的情况下，将这些操作的布置称为模块有时也被证明很方便。所描述的操作及其相关模块可以以软件、固件、硬件或其任何组合具体化。

可以单独地或与其它装置组合地利用一个或多个硬件或软件模块来执行或实施本文所描述的步骤、操作或过程中的任何步骤、操作或过程。在一些实施例中，用计算机程序产品来实施软件模块，所述计算机程序产品包括含有计算机程序代码的计算机可读介质，所述计算机可读介质可以由计算机处理器执行以执行所描述的步骤、操作或过程中的任何或所有步骤、操作或过程。

本公开的实施例还可以涉及用于执行本文中的操作的设备。此设备可以被特殊构造用于所需目的，和/或其可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算装置。可以将这种计算机程序存储在非暂时性有形计算机可读存储介质中，或者可以耦接到计算机系统总线的适合于存储电子指令的任何类型的介质。此外，说明书中提到的任何计算系统可以包含单个处理器，或者可以是采用多个处理器设计以提高计算能力的架构。

本公开的实施例还可以涉及通过本文所描述的计算过程生产的产品。这种产品可以包括由计算过程产生的信息，其中信息被存储在非暂时性有形计算机可读存储介质上，并且可以包含计算机程序产品的任何实施例或本文所描述的其它数据组合。

最后，说明书中使用的语言主要是出于可读性和指导目的而选择的，并且可能未选择其来描绘或限制本发明的主题。因此，意图是本公开的范围不受此具体实施方式的限制，而是受基于其所附的申请的任何权利要求的限制。因此，实施例的公开旨在说明而非限制在以下权利要求中所阐述的本公开的范围。

Claims (39)

1.一种用于视频通信的光场显示系统，所述光场显示系统包括：

本地光场显示组合件；以及

控制器，所述控制器被配置成基于与远程场景相对应的视觉数据生成显示指令，所述视觉数据是从远程图像捕获系统接收的，

其中所述显示指令使所述本地光场显示组合件生成所述远程场景的全息图像。

2.根据权利要求1所述的光场显示系统，其中所述本地光场显示组合件包括多个光场显示模块。

3.根据权利要求2所述的光场显示系统，其中所述多个光场显示模块被平铺成形成无缝显示表面。

4.根据权利要求1所述的光场显示系统，其中所述本地光场显示组合件被配置成生成与本地场景相对应的视觉数据，并将与所述本地场景相对应的所述视觉数据发送到远程光场显示系统。

5.根据权利要求1所述的光场显示系统，其中所述远程图像捕获系统是远程光场显示系统，所述远程光场显示系统包括双向表面，所述双向表面同时捕获与所述远程场景相对应的光场图像数据并投影全息内容。

6.根据权利要求5所述的光场显示系统，其中包含所述本地光场显示组合件的本地物理空间与包含所述远程图像捕获系统的远程物理空间中的注视方向之间存在一一对应关系。

7.根据权利要求1所述的光场显示系统，其中所述显示指令进一步使所述本地光场显示组合件生成全息道具。

8.根据权利要求7所述的光场显示系统，其中所述全息道具是从对象的3D模型生成的全息图像。

9.根据权利要求7所述的光场显示系统，其进一步包括跟踪系统，所述跟踪系统被配置成生成表示定位在包含所述本地光场显示组合件的物理空间内的本地参与者的运动的跟踪数据，其中所述全息道具基于所述跟踪数据进行操纵。

10.根据权利要求1所述的光场显示系统，其中所述显示指令进一步使所述本地光场显示组合件生成全息白板，其中所述全息白板上的内容与由远程光场显示组合件生成的对应全息白板同步。

11.根据权利要求10所述的光场显示系统，其中所述全息白板是三维全息白板。

12.根据权利要求1所述的光场显示系统，其中所述显示指令进一步使所述本地光场显示组合件发射超声以产生触觉表面。

13.根据权利要求12所述的光场显示系统，其中所述触觉表面与全息图像的至少一部分并置。

14.根据权利要求13所述的光场显示系统，其中所述全息图像是远程参与者的全息图像。

15.根据权利要求13所述的光场显示系统，其中所述全息图像是全息道具。

16.根据权利要求1所述的光场显示系统，其进一步包括移动光场系统，所述移动光场系统定位在包含所述本地光场显示组合件的物理空间内。

17.根据权利要求16所述的光场显示系统，其中远程参与者控制所述移动光场系统在包含所述本地光场显示组合件的所述物理空间内的运动。

18.根据权利要求17所述的光场显示系统，其中所述移动光场系统被配置成捕获与所述移动光场系统附近的区域相对应的图像数据，并将所捕获的图像数据提供给远程光场显示组合件，以用于在远程物理空间中生成全息内容。

19.根据权利要求1所述的光场显示系统，其进一步包括移动光场系统，所述移动光场系统包含双向表面，所述双向表面被配置成同时捕获光场图像数据并投影全息内容。

20.根据权利要求19所述的光场显示系统，其中远程参与者控制所述移动光场系统在包含所述本地光场显示组合件的本地物理空间内的移动。

21.根据权利要求20所述的光场显示系统，其中将由所述移动光场系统捕获的图像数据作为全息内容投影到所述远程参与者。

22.根据权利要求21所述的光场显示系统，其中在将所述全息内容投影到所述远程参与者的同时，将所述远程参与者的至少一部分的全息图投影到所述本地物理空间中。

23.根据权利要求1所述的光场显示系统，其中使所述本地光场显示组合件生成所述远程场景的所述全息图像的所述显示指令包含使所述本地光场显示组合件生成一个或多个远程参与者的全息图像的指令。

24.根据权利要求23所述的光场显示系统，其中所述一个或多个另外的远程参与者中的第一远程参与者的所述全息图像相对于所述一个或多个另外的远程参与者中的第二远程参与者的所述全息图像在大小上有所减小。

25.根据权利要求24所述的光场显示系统，其中响应于确定所述第二远程参与者当前正在说话，减小所述第一远程参与者的所述全息图像的大小。

26.根据权利要求1所述的光场显示系统，其中所述远程场景的所述全息图像包含远程参与者的化身，其中所述化身的运动同步到所述远程参与者的运动。

27.根据权利要求1所述的光场显示系统，其中所述远程场景的所述全息图像包含远程参与者的全息图像，所述远程参与者的所述全息图像被调整成与所述本地光场显示组合件所定位于的物理位置的一个或多个照明参数相匹配。

28.根据权利要求1所述的光场显示系统，其中将所述视觉数据矢量化，并且所述光场显示系统进一步包括处理引擎，所述处理引擎被配置成将矢量化视觉数据转换成光栅化视觉数据，所述显示指令是从所述光栅化视觉数据生成的。

29.根据权利要求1所述的光场显示系统，其中所述光场显示系统进一步包括与用于压缩所述视觉数据的远程编码块相匹配的本地解码块，所述本地解码块被配置成解压缩所述视觉数据。

30.根据权利要求29所述的光场显示系统，其中所述光场显示系统进一步包括：

本地光场捕获系统，所述本地光场捕获系统被配置成生成与本地参与者相对应的视觉数据；

本地编码块，所述本地编码块被配置成压缩与所述本地参与者相对应的所述视觉数据；以及

网络接口，所述网络接口被配置成将与所述本地参与者相对应的压缩视觉数据发送到远程光场显示系统。

31.根据权利要求1所述的光场显示系统，其中所述视觉数据对应于预先录制的全息视频，所述视觉数据使所述本地光场显示组合件响应于由本地参与者提供的用户输入而生成所述全息视频。

32.根据权利要求31所述的光场显示系统，其中所述光场显示系统进一步包括控件，所述控件被配置成使所述本地参与者能够改变观看所述全息视频的视角。

33.根据权利要求1所述的光场显示系统，其中所述控制器接收音频数据，并且所述光场显示系统进一步包括一个或多个静电扬声器，所述一个或多个静电扬声器安装在所述光场显示组合件的显示表面上并被配置成基于所述音频数据产生音频场。

34.根据权利要求33所述的光场显示系统，其中所述一个或多个静电扬声器包含对可见光透明的膜。

35.根据权利要求33所述的光场显示系统，其中所述音频数据包含音频内容和方向信息，并且所述静电扬声器被配置成再现所述音频内容，使得本地参与者感知到所述音频内容来自根据所述方向信息确定的方向。

36.根据权利要求33所述的光场显示系统，其中所述一个或多个静电扬声器被配置成生成形成触觉表面的超声能量。

37.根据权利要求1所述的光场显示系统，其中对所述远程场景的所述全息图像进行修改。

38.根据权利要求37所述的光场显示系统，其中通过以下中的至少一项对所述远程场景的所述全息图像进行修改：对所述全息图像应用模糊效果、改变远程参与者的服装、改变所述远程参与者的头发颜色、用映射到所述远程参与者的移动的化身替代所述远程参与者的图像、应用自定义背景或者用一个或多个全息对象增强所述远程场景。

39.根据权利要求37所述的光场显示系统，其中所述远程场景的所述全息图像是由第三方所提供的滤波器修改的。

Images