CN110892706A

CN110892706A - 用于在2d显示设备上显示从光场数据导出的内容的方法

Info

Publication number: CN110892706A
Application number: CN201880046768.9A
Authority: CN
Inventors: V.艾莉; P.科比里欧; T.兰格洛伊斯
Original assignee: InterDigital CE Patent Holdings SAS
Current assignee: InterDigital CE Patent Holdings SAS
Priority date: 2017-06-12
Filing date: 2018-06-07
Publication date: 2020-03-17
Anticipated expiration: 2038-06-07
Also published as: CN110892706B; EP3639511B1; KR20200016363A; BR112019026421A2; US20200204780A1; US11202052B2; EP3416371A1; WO2018228918A1; KR102517205B1; EP3639511A1

Abstract

本公开涉及一种基于用户的观看位置在2D显示设备上显示从4D光场数据导出的内容的方法。4D光场数据对应于由几个相机或由全光设备获取的数据。该方法包括：获得在所述2D显示设备前面的其中不存在去遮挡的体积，所述体积根据已经获取所述4D光场数据的获取设备的光学和几何参数、所述2D显示设备的屏幕大小以及所述内容中的锚平面来定义，在用户相对于所述2D显示设备移动的情况下，所述锚平面被感知为静态的；从所述体积确定修改的体积，包括修改所述体积的大小，用于与在所述体积内的所述用户的移动相比、修改位于所述修改的体积内的用户的可能移动；根据所述用户的所述观看位置，提供用于在所述修改的体积内指导所述用户的部件。

Description

用于在2D显示设备上显示从光场数据导出的内容的方法

技术领域

本公开涉及在2D显示设备上呈现从多视图内容中获得的内容。特别地，但不排他地，本公开针对在可以显示2D内容的显示设备上呈现从光场内容(为一系列光场图像(即，光场视频)或仅为光场图像)导出的内容。

背景技术

本部分旨在向读者介绍技术的各个方面，这些方面可能与下面描述和/或要求保护的本发明的各个方面相关。相信该讨论有助于向读者提供背景信息，以便于更好地理解本发明的各个方面。因此，应当理解，这些陈述要在该角度上来阅读，而不是作为对现有技术的承认。

4D光场数据(也称为光场内容)的获取和呈现是个繁忙的研究课题，其可以视为4D光场的采样(即光线的记录，如Anat Levin等人发表于ECCV2008会议记录的文章“通过对光场投影的贝叶斯分析来了解相机的权衡(Understanding camera trade-offs through aBayesian analysis of light field projections)”的图1中所解释的那样)。

实际上，与从相机获得的经典2D图像相比，4D光场数据使得用户能够访问更多的增强了图像的呈现和/或与用户的交互性的后处理特征。例如，利用4D光场数据，轻松地执行后验图像重聚焦(即，用自由选择的聚焦距离来重聚焦，意味着可以后验指定/选择焦平面的位置)以及略微地改变图像场景中的视点是可能的。可以通过不同的技术(例如经由使用全光相机，如文档WO 2013/180192或文档GB 2488905中所描述；或者经由使用相机列阵，如文档WO 2014/149403中所描述)来进行4D光场数据的获取。

在现有技术中，有几种方式来表示(或定义)4D光场数据。实际上，在Ren Ng发表于2006年7月的题为“数字光场摄影(Digital Light Field Photography)”的第3.3章中，描述了表示4D光场数据的三种不同方式。第一，4D光场数据在由全光相机记录时可以通过收集微透镜图像(在现有技术中也称为微图像)来表示。该表示下的4D光场数据称为原始图像(或原始4D光场数据)。第二，可以通过一组子孔径(sub-aperture)图像来表示4D光场数据。子孔径图像对应于从视点捕获的场景图像，该视点在两个子孔径图像之间略微地不同。这些子孔径图像给出关于成像场景的视差和深度的信息。第三，可以通过一组对极(epipolar)图像来表示4D光场数据(例如参见S.Wanner等人发表于ISVC 2011会议记录的题为“用单镜头聚焦全光摄像机生成4D光场的EPI表示(Generating EPI Representationof a 4D Light Fields with a Single Lens Focused Plenoptic Camera)”的文章。

应当注意，除了这些表示之外，深度图也可以被导出并与视图矩阵一起存储在电子设备上，以便加快应用于4D光场数据的一些图像处理方法。然后，可能经由使用多视角视频加深度(multiview video plus depth，MVD)格式对4D光场数据进行编码，如题为“多视点视频编码的有效预测结构(Efficient prediction structures for multiview videocoding)”(Merkle P，Smolic A，Muller K，Wiegand T.，IEEE视频技术电路与系统汇刊，2007；17：1461-1473)的文档中所述。在下文中，通过语言的过度使用，MVD数据可以涉及一组图像(具有RGB像素值)，并且这些图像中的每一个都与深度图相关联。

通常，4D光场数据可以用于显示至少一个2D图像，其中可以进行后验重聚焦(即，显示设备是传统显示设备)。但是，也可能经由光场显示设备来显示这些4D光场数据，如文档US 8933862或文档US 8416289中所描述。在变型中，光场显示设备可以是M.Hirsch，G.Wetzstein，R.Raska发表于SIGGRAPH 2014会议记录的题为“压缩光场投影系统(ACompressive Light Field Projection System)”的文章中描述的一种。在该文档中，4D光场数据对应于由几个相机或由全光设备获取的数据(即，4D光场数据对应于实际获取的数据)。因此，不能将4D光场数据同化(assimilate)为CGI内容。

然而，光场显示设备目前并不普遍。因此，为了即使在传统显示设备(即，可以传递2D内容的显示设备，诸如传统的移动电话或传统的平板等)上也能够受益于从对获取的光场内容的处理中提供的灵活性(就观看可能性而言)，看来必须对从获取设备(为相机阵列或全光相机)获取的光场内容进行替代处理。

本领域技术人员可以尝试采用Wenjing Geng等人的文章“Flat3D：在传统屏幕上浏览立体图像(Flat3D:browsing stereo images on a conventional screen)”中描述的技术，该技术提出经由一系列图像的特定显示(即动画)来使用运动视差。

然而，由于光场内容的特定属性(尤其是视图矩阵中子孔径图像的不同视角)，确定要显示的一系列图像以用于获得动画是困难的任务。

在旨在在传统显示设备上显示从光场内容导出的内容的意义上，所提出的技术是先前引用的文章中提到的技术的替代。

发明内容

说明书中对“一个实施例”、“实施例”、“示例实施例”的引用指示所描述的实施例可以包括特定的特征、结构或特性，但是每个实施例可以不一定包括该特定的特征、结构或特性。此外，这样的短语不一定指代相同的实施例。此外，当结合实施例描述特定的特征、结构或特性时，无论是否明确描述，都认为结合其他实施例来影响这样的特征、结构或特性是在本领域技术人员的知识范围内的。

本公开针对一种基于用户的观看位置、在2D显示设备上显示从4D光场数据导出的内容的方法。该方法的显著之处在于它包括：

获得在所述2D显示设备前面的其中不存在去遮挡(disocclusion)的体积(volume)，所述体积根据已经获取所述4D光场数据的获取设备的光学和几何参数、所述2D显示设备的屏幕大小以及所述内容中的锚平面来定义，所述锚平面在用户移动的情况下被感知为静态的；

从所述体积确定修改的体积，包括修改所述体积的大小，用于与在所述体积内的所述用户的移动相比、修改位于所述修改的体积内的用户的可能移动；

根据所述用户的所述观看位置，提供用于在所述修改的体积内指导所述用户的部件(means)。

应当注意，所述2D显示设备前面的其中不存在去遮挡的体积与获取系统(全光设备或一组相机)的参数以及2D显示设备的大小(宽度和高度)相关联。因此，在所述2D显示设备前面有其中存在去遮挡的一些体积。

因此，根据本公开的一个实施例，提出从传统显示设备(诸如移动电话或平板等)显示从4D光场数据导出的内容，使得用户能够通过在位于2D显示设备前面的特定的区/体积中移动头部而具有通过窗口观看内容的感觉，其中该特定的区/体积不包括去遮挡(即，没有可用的信息(诸如照明(illumination)和/或深度值)的像素)。应当注意，在使用CGI内容时，不会出现存在孔或去遮挡。然而，在本上下文中，由于操纵来自4D光场数据的内容，所以存在去遮挡区域(即，由于使用获取设备而可能存在孔或去遮挡的区域)，并且本技术向用户提供关于屏幕前面的、其中存在这种孔和去遮挡的区域不必被显示的体积的信息。

此外，即使用户移动其头部，包括在锚平面中的元素或物体也应该看起来是静态的或固定的(在包括在这种锚平面中的元素或物体没有发生运动视差的意义上)。因此，可以以某种方式将这种锚平面视为2D显示设备的屏幕的平面。

根据本技术，当可能显示去遮挡区域时，通知用户。与经由修复过程(诸如在S.M.Muddala等人的题为“视图合成中用于去遮挡归档的包括深度的曲率损伤(Depth-Included Curvature Impainting for disocclusion filing in view synthesis)”的文章中)用一些值填充去遮挡区域的现有技术相反，所提出的技术使得能够指导用户以用于防止去遮挡区域的出现。

在优选的实施例中，所述修改使用所述用户的头部敏感度参数和/或所述用户与所述2D显示设备的所述屏幕之间的估计距离。

在优选的实施例中，获取设备是相机阵列设备或全光相机。

在优选的实施例中，该方法还包括经由眼睛跟踪器设备获得所述用户的所述观看位置。

在优选的实施例中，该方法还包括由所述用户选择所述至少一个锚平面。

因此，在本公开的一个实施例中，例如，用户可以经由用户界面明确地选择或选定特定的锚平面(即，经由深度值的输入或选择)。

在优选的实施例中，该方法还包括根据所述用户的位置自动地确定所述至少一个锚平面。

在本公开的变型中，电子设备可以经由用户的位置自动地选择或确定特定的锚平面(即深度值)。可以经由眼睛跟踪器设备来估计用户的位置。因此，用户总是位于修改的体积中。可以预先确定与锚平面相关联的深度值的值并将其存储在存储单元中。在变型中，一旦执行自动过程，用户仍然可以具有根据他的观看偏好来修改深度值的可能性。

在优选的实施例中，经由点云表示来表示4D光场数据。

在优选的实施例中，经由视图矩阵和深度图来表示4D光场数据。

在优选的实施例中，所述提供包括在所述显示设备的所述屏幕上显示与视觉指示器相对应的用于指导的部件。

在优选的实施例中，所述视觉指示器属于包括以下的组：

-与从4D光场数据导出的所述显示内容相关联的场景的亮度(luminosity)变化；

-箭头。

在本公开的一个实施例中，提出在用户接近包括去遮挡的区域的情况下减小场景的亮度(或明度(brightness))。在这种情况下，场景越黑，用户就越靠近该区域。因此，场景逐渐变黑。在变型中，提出在用户接近包括去遮挡的区域的情况下增加场景的亮度。在这种情况下，场景越亮，用户就越靠近该区域。因此，场景逐渐变白。

在优选的实施例中，所述提供包括由所述显示设备传递与音频指示器相对应的用于指导的部件。

在优选的实施例中，所述体积还根据由所述用户选择的场景缩放参数和/或场景平移参数来定义。

在优选的实施例中，所述修改所述体积的大小还包括与所述体积相比增加修改的体积的大小，用于与在所述体积内的所述用户的移动相比、使位于修改的体积内的用户的移动更宽。

在优选的实施例中，所述修改所述体积的大小还包括与所述体积相比减小修改的体积的大小，用于与在所述体积内的所述用户的移动相比、减小位于修改的体积内的用户的移动的范围。

根据示例性实现方式，该方法的不同步骤由一个或多个计算机软件程序实现，该软件程序包括被设计为由根据本公开的中继模块的数据处理器执行、并且被设计为控制该方法的不同步骤的执行的软件指令。

因此，本公开的方面还涉及易于由计算机或由数据处理器执行的程序，该程序包括指令以命令执行如上所述的方法的步骤。

该程序可以使用任何编程语言，并且可以是以源代码、目标代码或介于源代码和目标代码之间的代码的形式，诸如以部分编译的形式或以任何其他期望的形式。

本公开还涉及数据处理器可读并且包括如上所述的程序的指令的信息介质。

信息介质可以是能够存储程序的任何实体或设备。例如，该介质可以包括存储部件(诸如ROM(代表“只读存储器(Read Only Memory)”)，例如CD-ROM(代表“压缩盘只读存储器(Compact Disc-Read Only Memory)”)或微电子电路ROM或还有磁记录部件，例如软盘或硬盘驱动器。

此外，信息介质可以是可传输载体，诸如可以通过电缆或光缆、通过无线电或通过其他部件传达的电信号或光信号。程序可以被特别地下载到互联网类型的网络中。

可替代地，信息介质可以是并入了程序的集成电路，该电路适于执行或被用于执行所讨论的方法。

根据一个实施例，本公开的实施例借助于软件和/或硬件组件来实现。从这个观点来看，术语“模块”在本文中可以对应于软件组件和硬件组件二者，或对应于一组硬件和软件组件。

软件组件对应于一个或多个计算机程序、程序的一个或多个子程序，或者更一般地对应于能够根据下面针对相关模块所描述的来实现一个功能或一组功能的程序或软件程序的任何元素。一个这样的软件组件由物理实体(终端、服务器等)的数据处理器执行并且能够访问该物理实体的硬件资源(存储器、记录介质、通信总线、输入/输出电子板、用户界面等)。

类似地，硬件组件对应于能够根据下面针对相关模块所描述的来实现一个功能或一组功能的硬件单元的任何元素。硬件组件可以是可编程硬件组件或具有用于执行软件的集成电路的组件，例如集成电路、智能卡、存储卡、用于执行固件的电子板等。在变型中，硬件组件包括作为集成电路的处理器(诸如中央处理单元)、和/或微处理器，和/或专用集成电路(ASIC，Application-specific integrated circuit)、和/或专用指令集处理器(ASIP，Application-specific instruction-set processor)、和/或图形处理单元(GPU，graphics processing unit)、和/或物理处理单元(PPU，physics processing unit)、和/或数字信号处理器(DSP，digital signal processor)、和/或图像处理器、和/或协作处理器、和/或浮点单元、和/或网络处理器、和/或音频处理器、和/或多核处理器。此外，硬件组件还可以包括基带处理器(包括例如存储单元和固件)和/或接收或发送无线电信号的无线电电子电路(可以包括天线)。在一个实施例中，硬件组件符合一个或多个标准，诸如ISO/IEC 18092/ECMA-340、ISO/IEC 21481/ECMA-352、GSMA、StoLPaN、ETSI/SCP(智能卡平台)、GlobalPlatform(即安全元件)。在变型中，硬件组件是射频识别(RFID，Radio-frequencyidentification)标签。在一个实施例中，硬件组件包括实现蓝牙通信和/或Wi-Fi通信和/或Zigbee通信和/或USB通信和/或火线(Firewire)通信和/或NFC(用于近场)通信的电路。

还应当注意，本文档中获得元素/值的步骤可以被视为在电子设备的存储单元中读取这种元素/值的步骤或者经由通信部件从另一电子设备接收这种元素/值的步骤。

在本公开的另一实施例中，提出一种电子设备，其被配置为基于用户的观看位置在2D显示设备上显示从4D光场数据导出的内容。该电子设备包括至少一个存储单元和耦接到所述至少一个存储单元的处理器，所述处理器被配置为：

获得在所述2D显示设备前面的其中不存在去遮挡的体积，所述体积根据已经获取所述4D光场数据的获取设备的光学和几何参数、所述2D显示设备的屏幕大小以及所述内容中的锚平面来定义，所述锚平面在用户移动的情况下被感知为静态的；

根据所述用户的所述观看位置，提供用于在所述修改的体积内指导所述用户的部件。

附图说明

通过参考附图对本发明的示例性实施例的以下详细描述，本发明的以上和其他方面将变得更加明显，附图中：

-图1描绘了对MVD数据进行的一些处理(去投影(un-projection)、变换和再投影(re-projection)计算)；

-图2展示了用户的头部相对于屏幕坐标系的位置；

-图3展示了几种方式来适应场景相对于屏幕的固定平面；三角形是相机看到的区(左侧：沉浸差；中央：感觉通过具有贴在窗户外面的圆形物体的窗户看到场景；右侧：在屏幕外看到场景，并且沉浸感很好)；

-图4展示了在没有内容的变换(归一化屏幕宽度)的情况下合并内容和屏幕的示例；

-图5展示了平移内容以获得“窗口”效应的示例；

-图6展示了另一平移-缩放变换以获得“窗口”效应的示例；

-图7展示了另一平移-缩放变换以获得“窗口效应”的示例；

-图8展示了没有去遮挡的视点的体积(黑色的点是遮挡区域可见的位置的示例)；

-图9展示了由于用于可视化的场景平移/缩放所导致的菱形体积的缩放；

-图10展示了用于修改菱形体积的一些参数；

-图11示意性地展示了根据本公开的一个实施例的菱形体积的修改；

-图12描绘了与原始菱形体积相比的修改的菱形体积的示例；

-图13展示了作为归一化距离的函数的不透明度(opacity)因子的变化；

-图14展示了根据本公开的一个实施例的系统的框图；

-图15展示了根据本公开的一个实施例的用于选择一些参数的图形用户界面(GUI，graphic user interface)的示例；

-图16展示了可用于执行本文档中公开的方法的一个或几个步骤的设备的示例。

具体实施方式

在本公开的一个实施例中，从4D光场数据获取设备(或系统)的配置(例如可以是内在和/或外在参数)，以及从显示设备的屏幕的配置(诸如移动电话或平板的屏幕的大小/尺寸)，提出确定显示设备前面的特定体积(这种特定体积的大小独立于用户在显示设备前面的存在与否)。这种特定体积具有以下特性：当用户位于该特定体积内时，可以以没有去遮挡这样的视角看到内容。更准确地，诸如眼睛跟踪器的设备可以跟踪用户的位置，并且显示设备根据用户的位置显示特定的2D图像视图(从4D光场数据获得的)。因此，如果用户在特定体积内并且在其中移动，则显示设备显示没有去遮挡发生的一系列2D图像。由于运动视差效应(其为一类深度感知线索，其中更近的物体看起来比更远的物体移动得更快)，用户在与显示内容相关联的场景中感知到沉浸式效果，并且这样没有发生去遮挡。然而，一旦用户不再在特定体积中(或者在特定体积的边界处)，显示设备可能提供去遮挡区域(即对于属于它们的像素没有可用信息的区域)。在本公开的一个实施例中，提出指导用户(在三维空间中)，以便将用户保持在该特定体积内。应当注意，体积的大小可以不与用户的预期相适应。实际上，如果显示设备是电视机，则用户可以位于显示设备前面几米处。然而，用户的位置可能在特定体积的范围之外。在变型中，提出根据由用户定义的一些参数来适应这种特定体积。还应当注意，特定体积还取决于锚平面(其可以控制用户的沉浸感)的选择，如本文档的“场景适应”部分中所指定的。

根据本公开的一个实施例，可以经由如图1中描绘的一些处理操作来进行从由一组图像加深度图表示的4D光场数据(即MVD数据)在传统显示设备上呈现特定图像：

-标记为101的原始MVD数据的去投影，以获得场景的3D表示；

-变换H的应用(用于考虑所选的锚平面和场景的缩放的改变)；

-那些变换的3D数据的再投影，以获得从中可以获得要显示的特定图像的修改的MVD数据。

该最后的过程被逐像素执行，以便获得快速的实现，尽管可以先将其分割以获得3D点云，然后对该云进行再投影以获得显示图像。

在下文中，给出了关于这三个操作中的每一个的细节：

关于去投影操作

在本公开的一个实施例中，4D光场数据可以由相机装备获取(即，相机装备在本文档中被定义为平面中一组几个几乎对齐的相机，并且也可以称为相机阵列(其具有相同或不同的光学参数))。对于包括在所述相机装备中的每个相机c，两个矩阵可以与相机相关联，并且例如，通过校准过程来估计它们。这两个矩阵是：

·相机c的投影矩阵(也称为内在相机矩阵)定义为

其中

οf_u和f_v分别是水平和垂直方向上的焦距(单位是像素)；

οc_u和c_v是光轴与传感器图像的交点的水平和垂直坐标(单位是像素)。

·相机c的姿态(pose)矩阵(也称为外在相机矩阵)定义为

其中

οr₁₁元素至r₃₃元素定义3D旋转矩阵，其描述相机c相对于世界坐标系的旋转。

ο

和

是相机c相对于世界坐标系的平移分量(单位是米)。

为了方便起见，假定世界坐标系在相机装备的中心。

考虑相机c的像素(u，v)，其颜色(RGB)和深度(z(u，v，c))是可用的(在图像和相关联的深度图中)。然后，通过使用以下等式对3D空间中的像素(u，v)进行去投影是可能的：

因此，电子设备可以实现这种处理，以便(从表示为MVD数据的4D光场数据)获得三维空间中的一组点，该组点可以存储在电子设备的存储单元中，并且由电子设备的处理器处理。

关于再投影操作

在本公开的一个实施例中，在图2中描述的上下文中，提出针对投影使用OpenGL投影矩阵。这种OpenGL matrix例如在文档“OpenGL编程指南第九版，附录E(OpenGLProgramming Guide 9th edition,Appendix E)”(Dave Shreiner，Graham Sellers，JohnKessenich(Khronos OpenGL ARB工作小组)Addison Wesley编者)中描述。

在下文中，作为参考坐标系(CS，Coordinate System)，使用屏幕中心点(参考图2中的(X_w，Y_w，Z_w))，并且用W_screen/2或H_screen/2(其中W_screen是屏幕宽度并且H_screen是屏幕高度)对尺寸进行归一化，以便在[-1+1]范围内对x和y尺寸进行变换。

那么投影矩阵定义为：

其中

·(X_eyeY_eyeZ_eye)T表示用户在该CS中的位置；

·Z_near是距眼睛位置的Z值，场景中在该值以下的点被丢弃(不显示)；

·Z_far是距眼睛位置的Z值，场景中在该值之后的点被丢弃(不显示)；

还定义表示头部相对于屏幕的位移的矩阵(因为使用了归一化屏幕，所以用于考虑用户平移的矩阵如下)。

因此，可以通过使用以下等式对3D点进行变换：

然后通过使4D矢量齐次(homogeneous)，可以将其投影到图像中：

应当注意，可以进行以下评述：

·负号可能是令人惊讶的，但是在OpenGL表示中，Z轴朝向眼睛，所以所有3D点都具有负的Z值。

·Z_eye值与度量值一致，而Z′_eye＝A-B/Z_eye是具有便于Z缓冲算法的格式的Z的函数。

最后，用于将像素从MVD数据投影到用户观看的屏幕的以下等式可以通过以下等式获得：

其中，H是变换，其应该用于适应场景以用于可视化(就锚平面的选择而言(经由平移)，并且最终修改场景的缩放)。

可以阐述下面的附加评述：视觉中使用的3D CS是X向右以及Y向下；因此，正的Z值在相机的前面，而在3D CGI中，X轴向右，但Y向上，使得相机前面的点具有Z负值(K_eye(4，3)＝-1的原因)。因此，需要在两个区(视觉和CGI)以及先前的矩阵线之间进行简单的变换。该变换是PI(即π)围绕X轴的旋转。

完整的等式变成：

场景适应

因此，在本公开的一个实施例中，如果用户想要强烈的沉浸感，因此，整个内容应该看起来在屏幕之外(见图3，右侧)。在另一实施例中，如果用户想要看到场景好像是通过窗口被看到的，则必须平移场景，使得场景中的前景物体是贴在窗口外面的(图3，中央)。在另一实施例中，当场景被平移以使期望的平面贴到屏幕时，则有必要缩放内容以使整个场景能够被观看(图3，左侧)。

因此，应该选定锚平面，以便为用户获得期望的沉浸感。锚平面与物体或元素看起来静态(与用户的移动相比)或者看起来被放置在显示设备的屏幕的平面上的平面(在场景中)相对应。

在下文中，提供了关于如何执行这种平移和缩放操作的描述，允许定义变换矩阵H。

在第一步骤中，使用具有被定义为单位矩阵(identity matrix)的H矩阵的投影公式，使得能够获得图4上所示的配置。

在第二步骤中，用户可以选择哪个平面必须“贴”在屏幕平面上(即锚平面)。这定义来自MVD数据的3D点的Z方向上的平移。

其中t_z对应于平移参数。

然而，通过看图5，明显地看起来用户失去具有这种配置的大部分可能的可视化体验。因此，在本公开的一个实施例中，提出执行内容的缩小。这表示在图6中。注意，取决于内容、获取系统和条件，缩放因子可能大于1.0。因此，在第三步骤中，电子设备如下确定/计算变换矩阵H：

事实上，可以自动地计算缩放因子，以使整个视场在屏幕上。从校准过程中，可能获得获取视场角(写为α)；那么可以用以下等式来估计作为第一近似值的s：

然而，如果考虑如图7中表示的装备宽度(与相机装备中两个相机之间的最大水平距离相对应)，则获得准确的公式。

简而言之，用于场景适应屏幕的变换可以包括以下步骤：

-用户取决于其想要的体验类型来定义其想要应用于场景的在Z方向上的平移(即，确定锚平面)；

-计算缩放因子以获得场景的最大视场(应当注意，在本公开的一个实施例中，这种步骤不是必需的)。

关于用户定位

因为用户位置通常不是固定的，所以归功于头部或眼睛跟踪器的使用，确定用户相对于屏幕的位置是可能的。

仅考虑获取系统，在具有场景中所有可见点的信息的条件下，确定我们处于哪个体积是可能的。这在图8中表示为标记为801的菱形，事实上知道这是个体积。

根据本公开的一个实施例，提出一种技术，该技术可以：

-当场景被投影到屏幕上时，表征该体积；

-提供增加或减少其大小的可能性(在原始大小太小的情况下或原始大小太大的情况下)；以及

-指导用户保持在该修改且正确的体积内(就存在去遮挡而言)。

为了确定体积，必须考虑的第一元素是由tg(α/2)和W_rig表征的获取系统的宽度和视场。

此外，还必须考虑对场景做出的变换，以按用户要求(经由参数s和t_z)执行可视化。已经看到，为了得到正确的可视化，必须缩放场景大小。不幸地，这也缩放了正确可视化的菱形体积。第二个影响是，当缩放低于1.0时，使菱形体积更靠近屏幕。

图9描绘了应用菱形体积的缩放的效果。

这意味着：

-对于大型场景，一般地，大型装备是优选的(中型装备(20cm*20cm)适用于靠近相机的小型场景)；

-为了获得相对高的可视化的Z范围，建议使用具有小视场的相机。

菱形体积的参数如下(在先前定义的变换之后)

W_diamond＝W_rig*s*W_screen

D_diamond＝W_rig*tg(α/2)*W_screen

Z_diamond＝s*t_z*W_screen

在许多配置中，这些尺寸不适合内容的良好可视化，尤其是在尺寸(宽度和深度)太小的情况下，或者在用户太靠近屏幕(Z)的情况下。

在本公开的一个实施例中，为了克服该限制，提出修改体积的大小。

图11示出了将如何继续进行。在图11的右侧部分，标记为110的菱形体积对应于正确的可视化区，但是该区太小，并且也太靠近屏幕。因此，当用户想要时定义标记为111的区，但是计算图像就像用户在绿色菱形里面一样。

这需要定义真实区110和变换区111之间的变换。

因此，移动有点不太真实，但是大脑足够灵活地接受差异。

可以进行以下评述：可以用非常广泛传播的情况做出类比：当观众在屏幕上看电影，而获取相机的视场(焦点)与和观众的眼睛以及屏幕的表面组成的三角形相对应的焦点完全不同时。

为了对菱形体积进行变换，有必要定义一些参数：因为有许多管理这种变换的可能性，所以提出经由使用以下两个参数来定义一种方式：

-head_sensitivity是通过其减小头部移动的敏感度的因子。敏感度越低，用户可以移动的菱形越大(蓝色)。所以head_sensitivity通常<1.0。例如，参考图12，head_sensitivity＝W₀/W₁

-

是通过用该因子除以Z_diamond来增大菱形体积的距离的因子(所以

通常<1.0)。例如，参考图12，

应当注意，一般作为示例展示场景被缩小以使场景宽度适应屏幕的情况，因此，可以正确观看内容的原始菱形体积被减小和/或变得太靠近屏幕。然而，所提出的等式和方法也可以适用于场景被放大并且菱形体积变得太大和/或离屏幕太远而无法获得舒适体验的情况。这些情况可能在几种不同且复杂的条件下发生，例如，当场景中的物体非常靠近获取系统(显微镜是示例，但并不排他)和/或用户靠近宽屏幕并且场景的必要缩放相比之下是小的时。

在下文中，提供关于使用这些参数的细节：

通常，在由头部检测器提供的头部的位置和K_eye矩阵中使用的眼睛位置之间存在直接相等。为了操作菱形区的变换，计算期望的菱形体积111中的头部位置，并且对其进行变换，使得头部变成在原始的菱形体积110中。

根据本公开的一个实施例，提出一种用于在修改的菱形体积中指导用户的技术。

在本公开的一个实施例中，提出使用显示内容的衰减(attenuation)。更准确地，当用户离开菱形体积时，将看到看起来像洞的未定义表面。实际上，在该体积之外，存在去遮挡区域，并且显示设备可能必须使用与这些区域相关联的像素值(可以是固定的和预定的值)。为了防止显示这些值，提出使用图像的衰减和用信号通知用户在菱形外面并且为了回到正确的体积中而必须朝哪个方向走的箭头的图。

可以使用相对于菱形中心的L1归一化距离来计算呈现场景的衰减：

然后，还定义衰减斜率(slope_attenuation)，以便当用户离开菱形体积时使衰减或多或少地渐进，并且计算不透明度因子：

function_opacity＝1.0+slope_attenuation*(1-D_eye)

然后

在本公开的另一实施例中，提出使用指导箭头来帮助用户得到修改的菱形体积内的良好观看位置。

计算每个方向上的箭头的不透明度因子，并且在以下因子中选定具有最大值的方向：

然后，计算对应于所选方向的箭头的不透明度因子。

这里只给出了X_right的示例(在该情况下，X是负的并且箭头建议用户向右走)。

然后不透明度因子被裁剪在0与1之间。

因此，根据本公开，可以在没有去遮挡的条件下得到由4D光场获取设备或系统获取的真实内容的沉浸式体验。

这是通过以下技术特征实现的：

·用于确定显示设备前面的正确的理论可视化体积的部件；

·用于适应体积尺寸和位置以更加便于用户的部件；

·用于向用户传递指导信息以在用户离开体积时使用户准备的部件。

图14展示了根据本公开的一个实施例的系统的一些框。

该系统已经在Windows下，以C++和GLSL(OpenGL)语言以及用于人机界面的QT来开发。头部跟踪器功能已经使用由OpenCV库提供的功能来实现。

图15展示了用于调整(tune)参数的GUI(图形用户界面)的示例。

图16展示了可用于执行本文档中公开的方法的一个或几个步骤的设备的示例。

这种标记为1700的设备包括标记为1701的计算单元(例如CPU，代表“中央处理单元”)，和标记为1702的一个或多个存储器单元(例如RAM，代表“随机存取存储器”)块，在执行计算机程序的指令期间，中间结果可以被暂时地存储在该块中，或者其中除了别的之外还存储计算机程序的ROM块，或者EEPROM(“电可擦除可编程只读存储器”)块，或者闪存块)。计算机程序由可由计算单元执行的指令组成。这种设备1700还可以包括标记为1703的专用单元，其构成输入-输出界面，以允许设备1700与其他设备通信。具体地，该专用单元1703可以与天线连接(以便在没有接触的情况下执行通信)，或者与串行端口连接(以承载通信“接触”)。应当注意，例如，图16中的箭头表示链接的单元可以一起通过总线交换数据。

在替代的实施例中，前述方法的一些或所有步骤可以在可编程FPGA(“现场可编程门阵列”)组件或ASIC(“专用集成电路”)组件中的硬件中实现。

在替代的实施例中，前述方法的一些或所有步骤可以在如图16中公开的包括存储单元和处理单元的电子设备上执行。

Claims

1.一种用于基于用户的观看位置在2D显示设备上显示从4D光场数据导出的内容的方法，所述4D光场数据与由几个相机或由全光设备获取的数据相对应，其中所述方法包括：

获得在所述2D显示设备前面的其中不存在去遮挡的体积，所述体积根据已经获取所述4D光场数据的获取设备的光学和几何参数、所述2D显示设备的屏幕大小以及所述内容中的锚平面来定义，在用户相对于所述2D显示设备移动的情况下，所述锚平面被感知为静态的；

2.根据权利要求1所述的用于显示的方法，其中所述修改使用所述用户的头部敏感度参数和/或所述用户与所述2D显示设备的所述屏幕之间的估计距离。

3.根据权利要求1至2中任一项所述的用于显示的方法，其中所述获取设备是相机阵列设备或全光相机。

4.根据权利要求1至3中任一项所述的用于显示的方法，其中所述方法包括经由眼睛跟踪器设备获得所述用户的所述观看位置。

5.根据权利要求1至4中任一项所述的用于显示的方法，其中所述方法包括由所述用户选择所述至少一个锚平面。

6.根据权利要求1至4中任一项所述的用于显示的方法，其中所述方法包括根据所述用户的位置自动地确定所述至少一个锚平面。

7.根据权利要求1至6中任一项所述的用于显示的方法，其中经由点云表示来表示所述4D光场数据。

8.根据权利要求1至6中任一项所述的用于显示的方法，其中经由视图矩阵和深度图来表示所述4D光场数据。

9.根据权利要求1至8中任一项所述的用于显示的方法，其中所述提供包括在所述显示设备的所述屏幕上显示与视觉指示器相对应的用于指导的部件。

10.根据权利要求9所述的用于显示的方法，其中所述视觉指示器属于包括以下的组：

-与从4D光场数据导出的所显示的内容相关联的场景的亮度变化；

-箭头。

11.根据权利要求1至10中任一项所述的用于显示的方法，其中所述提供包括由所述显示设备传递与音频指示器相对应的用于指导的部件。

12.根据权利要求1至11中任一项所述的用于显示的方法，其中所述体积还根据由所述用户选定的场景缩放参数和/或场景平移参数来定义。

13.根据权利要求1至12中任一项所述的用于显示的方法，其中所述修改所述体积的大小还包括与所述体积相比增加修改的体积的大小，用于与在所述体积内的所述用户的移动相比、使位于所述修改的体积内的用户的移动更宽。

14.根据权利要求1至12中任一项所述的用于显示的方法，其中所述修改所述体积的大小还包括与所述体积相比减小修改的体积的大小，用于与在所述体积内的所述用户的移动相比、减小位于所述修改的体积内的用户的移动的范围。

15.一种存储计算机程序的计算机可读和非瞬态的存储介质，所述计算机程序包括一组计算机可执行的指令，以当所述指令由计算机执行时实现用于处理4D光场数据的方法，其中所述指令包括当被执行时将所述计算机配置为执行权利要求1至14所述的方法的指令。

16.一种被配置为基于用户的观看位置在2D显示设备上显示从4D光场数据导出的内容的电子设备，所述4D光场数据与由几个相机或由全光设备获取的数据相对应，其中所述电子设备包括至少一个存储单元和耦接到所述至少一个存储单元的处理器，所述处理器被配置为：