CN113613011A - 一种光场图像压缩方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请关于一种光场图像压缩方法、装置、电子设备及存储介质，涉及计算机图形学技术领域，可以减小光场数据压缩后的数据量。该方法包括：获取光场数据；该光场数据包括：通过多个预设采样点在不同的采集条件下对同一场景采集得到的图像；不同的采集条件是指采集位置和时刻中的至少一个不同；从多个预设采样点中选择多个目标采样点；根据光场数据，确定多个目标采样点对应的转移张量；其中，转移张量表示位置变化到光流变化之间的转换关系；对在多个目标采样点上所采集的场景的图像和多个目标采样点对应的转移张量进行压缩，得到光场数据对应的压缩数据。

Description

一种光场图像压缩方法、装置、电子设备及存储介质

技术领域

本申请涉及计算机图形学(Computer Graphics，CG)技术领域，尤其涉及一种光场图像压缩方法、装置、电子设备及存储介质。

背景技术

目前，针对一个场景内的有向光线组成的光场，获取光场数据。然后，可以利用该光场数据生成任意视点下的该场景的视图。其中，由于光场数据记录了三个维度以上的空间数据，导致光场数据的数量过大。对此提出了一些压缩方法，这些压缩方法先将光场数据转换成维度更小的数据再进行压缩。

然而，为了保证数据的完整性，这些压缩方法在将光场数据转换成维度更小的数据的过程中会保留较多的数据。这样就导致压缩后的数据的数量仍然较大。

发明内容

本申请实施例提供一种光场图像压缩方法、装置、电子设备及存储介质，可以减小光场数据压缩后的数据量。

为实现上述技术目的，本申请实施例采用如下技术方案：

第一方面，本申请实施例提供了一种光场图像压缩方法，该方法包括：获取光场数据；该光场数据包括：通过多个预设采样点在不同的采集条件下对同一场景采集得到的图像；从多个预设采样点中选择多个目标采样点；根据光场数据，确定多个目标采样点对应的转移张量；对在多个目标采样点上所采集的场景的图像和多个目标采样点对应的转移张量进行压缩，得到光场数据对应的压缩数据。

其中，不同的采集条件是指采集位置和采集时刻中的至少一个不同。多个目标采样点上对场景采集的所有图像能够表征场景中的物体特征。转移张量表示位置变化到光流变化之间的转换关系；位置变化是指任意两个目标采样点在以时间和采集位置为坐标的三维空间中的位置变化；光流变化是指在任意两个目标采样点上所采集的场景的图像之间的光流变化。

在一种可能的实施方式中，光场数据还包括每个预设采样点在三维空间中的位置信息，位置信息由每个预设采样点对应的时刻和采集位置组成。其中，上述根据光场数据，确定多个目标采样点对应的转移张量，包括：根据多个预设采样点在三维空间中的位置信息，在三维空间中对多个目标采样点进行四面体化，得到每个目标采样点对应的至少一个四面体；对在目标采样点上所采集的场景的图像进行三角化，得到多个三角形上的多个第一顶点；根据至少一个四面体、在目标采样点上所采集的场景的图像和在四面体中多个第二顶点上所采集的场景的图像，得到第一顶点的转移张量。

其中，至少一个四面体均满足：一个顶点是目标采样点，除了目标采样点之外的其他顶点是预设采样点。多个三角形覆盖了在目标采样点上所采集的场景的图像所在的区域。第二顶点是四面体中除目标采样点之外的顶点；多个三角形上的多个第一顶点的转移张量是目标采样点对应的转移张量。

另一种可能的实施方式中，上述根据至少一个四面体、在目标采样点上所采集的场景的图像和在四面体中多个第二顶点上所采集的场景的图像，得到第一顶点的转移张量，包括：根据在目标采样点上所采集的场景的图像和在四面体中多个第二顶点上所采集的场景的图像，得到第一顶点从目标采样点分别运动到四面体中多个第二顶点的多个光流向量；根据目标采样点的坐标、四面体中多个第二顶点的坐标和多个光流向量，得到四面体对应的转移张量；其中，目标采样点的坐标和多个第二顶点的坐标都是在三维空间中的坐标；对至少一个四面体对应的所有转移张量进行求平均，得到第一顶点的转移张量。

另一种可能的实施方式中，上述根据目标采样点的坐标、四面体中多个第二顶点的坐标和多个光流向量，得到四面体对应的转移张量，包括：分别用四面体中多个第二顶点的坐标减去目标采样点的坐标，得到四面体中多个第二顶点与目标采样点的坐标差；利用坐标差组成坐标差矩阵、多个光流向量组成光流矩阵；用光流矩阵乘以坐标差矩阵的逆矩阵，得到四面体对应的转移张量。

另一种可能的实施方式中，上述从多个预设采样点中选择多个目标采样点，包括：获取压缩信息；压缩信息包括以下至少一项：场景中物体的位置信息、场景中物体的变化时间、目标采样点的分布信息、目标采样点的数量信息；根据压缩信息，从多个预设采样点中选择多个目标采样点。

另一种可能的实施方式中，光场数据对应的压缩数据包括压缩后的张量数据和压缩后的图像。其中，上述对在多个目标采样点上所采集的场景的图像和多个目标采样点对应的转移张量进行压缩，得到光场数据对应的压缩数据，包括：根据多个目标采样点在三维空间中的相邻关系，分别对在多个目标采样点上所采集的场景的图像和多个目标采样点对应的转移张量进行排列，得到排列后的图像流和多个目标采样点对应的排列后的转移张量；分别对排列后的图像流、多个目标采样点对应的排列后的转移张量进行压缩，得到压缩后的图像和压缩后的张量数据。

另一种可能的实施方式中，在上述对在多个目标采样点上所采集的场景的图像和多个目标采样点对应的转移张量进行压缩，得到光场数据对应的压缩数据之后，该方法还包括：获取目标时间和目标视点的位置信息；根据目标时间和目标视点的位置信息，从多个预设采样点确定至少一个待解压采样点；从压缩数据中解压出在至少一个待解压采样点上所采集的场景的图像和至少一个待解压采样点对应的转移张量；根据在至少一个待解压采样点上所采集的场景的图像和至少一个待解压采样点对应的转移张量，还原出目标视点下的场景的图像。

其中，至少一个待解压采样点的采集时间与目标时间之间的时间差在预设时间差内、且至少一个待解压采样点的采集位置与目标视点的位置之间的距离在预设距离内。

第二方面，本申请实施例还提供了一种光场图像压缩装置，该装置包括：数据获取模块、选择模块、转移张量获取模块和压缩模块。

其中，数据获取模块，用于获取光场数据；光场数据包括：通过多个预设采样点在不同的采集条件下对同一场景采集得到的图像，其中，不同的采集条件是指采集位置和采集时刻中的至少一个不同；选择模块，用于从多个预设采样点中选择多个目标采样点；多个目标采样点上对场景采集的所有图像能够表征场景中的物体特征；转移张量获取模块，用于根据光场数据，确定多个目标采样点对应的转移张量；压缩模块，用于对在多个目标采样点上所采集的场景的图像和多个目标采样点对应的转移张量进行压缩，得到光场数据对应的压缩数据。

其中，转移张量表示位置变化到光流变化之间的转换关系；位置变化是指任意两个目标采样点在以时间和采集位置为坐标的三维空间中的位置变化；光流变化是指在任意两个目标采样点上所采集的场景的图像之间的光流变化。

在一种可能的实施方式中，光场数据还包括每个预设采样点在三维空间中的位置信息，位置信息由每个预设采样点对应的时刻和采集位置组成。其中，转移张量获取模块，具体用于：根据多个预设采样点在三维空间中的位置信息，在三维空间中对多个目标采样点进行四面体化，得到每个目标采样点对应的至少一个四面体；对在目标采样点上所采集的场景的图像进行三角化，得到多个三角形上的多个第一顶点；根据至少一个四面体、在目标采样点上所采集的场景的图像和在四面体中多个第二顶点上所采集的场景的图像，得到第一顶点的转移张量。

其中，至少一个四面体均满足：一个顶点是目标采样点，除了目标采样点之外的其他顶点是预设采样点。多个三角形覆盖了在目标采样点上所采集的场景的图像所在的区域。第二顶点是四面体中除目标采样点之外的顶点；多个三角形上的多个第一顶点的转移张量是目标采样点对应的转移张量。

另一种可能的实施方式中，转移张量获取模块，具体用于：根据在目标采样点上所采集的场景的图像和在四面体中多个第二顶点上所采集的场景的图像，得到第一顶点从目标采样点分别运动到四面体中多个第二顶点的多个光流向量；根据目标采样点的坐标、四面体中多个第二顶点的坐标和多个光流向量，得到四面体对应的转移张量；其中，目标采样点的坐标和多个第二顶点的坐标都是在三维空间中的坐标；对至少一个四面体对应的所有转移张量进行求平均，得到第一顶点的转移张量。

另一种可能的实施方式中，转移张量获取模块，具体用于：分别用四面体中多个第二顶点的坐标减去目标采样点的坐标，得到四面体中多个第二顶点与目标采样点的坐标差；利用坐标差组成坐标差矩阵、多个光流向量组成光流矩阵；用光流矩阵乘以坐标差矩阵的逆矩阵，得到四面体对应的转移张量。

另一种可能的实施方式中，选择模块，具体用于：获取压缩信息；压缩信息包括以下至少一项：场景中物体的位置信息、场景中物体的变化时间、目标采样点的分布信息、目标采样点的数量信息；根据压缩信息，从多个预设采样点中选择多个目标采样点。

另一种可能的实施方式中，光场数据对应的压缩数据包括压缩后的张量数据和压缩后的图像。其中，压缩模块，具体用于：根据多个目标采样点在三维空间中的相邻关系，分别对在多个目标采样点上所采集的场景的图像和多个目标采样点对应的转移张量进行排列，得到排列后的图像流和多个目标采样点对应的排列后的转移张量；分别对排列后的图像流、多个目标采样点对应的排列后的转移张量进行压缩，得到压缩后的图像和压缩后的张量数据。

另一种可能的实施方式中，该装置还包括：解码还原模块。解码还原模块，用于：在对在多个目标采样点上所采集的场景的图像和多个目标采样点对应的转移张量进行压缩，得到光场数据对应的压缩数据之后，获取目标时间和目标视点的位置信息；根据目标时间和目标视点的位置信息，从多个预设采样点确定至少一个待解压采样点；从压缩数据中解压出在至少一个待解压采样点上所采集的场景的图像和至少一个待解压采样点对应的转移张量；根据在至少一个待解压采样点上所采集的场景的图像和至少一个待解压采样点对应的转移张量，还原出目标视点下的场景的图像。

其中，至少一个待解压采样点的采集时间与目标时间之间的时间差在预设时间差内、且至少一个待解压采样点的采集位置与目标视点的位置之间的距离在预设距离内。

第三方面，本申请实施例还提供了一种电子设备，包括：处理器和用于存储处理器可执行指令的存储器；其中，处理器被配置为执行指令，以实现如第一方面及其任一种可能的实施方式的光场图像压缩方法。

第四方面，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行如第一方面及其任一种可能的实施方式的光场图像压缩方法。

第五方面，本申请实施例还提供一种计算机程序产品，计算机程序产品包括计算机程序，当该计算机程序在电子设备上运行时，使得电子设备执行如第一方面及其任一种可能的实施方式的光场图像压缩方法。

可以理解的是，在多个目标采样点上对一个场景采集的图像只是光场数据中的部分图像。多个目标采样点对应的转移张量是一些数字，相较于图像的数据量，该转移张量的数据量较小。因此，电子设备对在多个目标采样上对场景采集的图像和多个目标采样点对应的转移张量进行压缩，可以减小压缩量，进而减小光场数据压缩后的数据量，即减小对光场数据的压缩率。该压缩率是指压缩后数据大小与压缩前数据大小的比值。

并且，光场数据对应的压缩数据除了记录在多个目标采样点上对该场景采集的图像，还记录了多个目标采样点对应的转移张量。其中，转移张量表示任意两个目标采样点在该三维空间中的位置变化到该两个目标采样点之间的光流变化的转换关系。那么，在该三维空间中某一个目标采样点上对该场景采集的图像，以及该目标采样点与另一个采样点在该三维空间中的位置变化可知的情况下，根据该转移张量、以及该目标采样点与另一个采样点在该三维空间中的位置变化，就可以确定该目标采样点到另一个采样点的光流变化。由于光流变化可以反映该三维空间下相邻的两个采样点之间在图像上的变化，因此，根据该光流变化、以及在该目标采样点上对该场景采集的图像，就可以还原以另一个采样点为视点下的场景的图像。那么，利用光场数据对应的压缩数据除了得到在多个目标采样点上对该场景采集的图像，还可以得到在该三维空间中与多个目标采样点相邻的采样点上的图像。这样保证了对该光场数据对应的压缩数据解压除了可以直接得到多个目标采样点下的图像，还可以还原出该三维空间中较多视点下的画面。

附图说明

图1是本申请实施例提供的一种光场图像压缩方法所涉及的实施环境示意图；

图2是本申请实施例提供的一种光场图像压缩方法的流程图一；

图3是本申请实施例提供的一种光场图像压缩方法的流程图二；

图4是本申请实施例提供的一种对目标采样点进行四面体化的示意图；

图5是本申请实施例提供的一种对图像进行三角形化的示意图；

图6是本申请实施例提供的一种光场图像压缩装置的结构示意图；

图7是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

以下对本申请实施例中涉及的术语进行介绍：

(1)光场(Light Field，LF)：描述的是一个空间中任意一点沿着一定方向的光线辐射度值，该空间内所有的有向光线集构成了光场数据。这里所描述的光线是一个矢量。光场是一种利用离散化的图像数据表达三维场景的表达方式。由于光场数据记录了弥散在空间中的任意一条光线的颜色(包括亮度、色度等分量信息)，而不是该空间中物体的几何、纹理等属性。因此，利用光场数据可以更直接地用于合成在该空间中任意一个视点下的画面，并且该画面具有高保真度的特点。

(2)光场渲染技术：是针对一个空间内的任意一个视点，在不需要图像的深度信息或相关性的情况下，利用该空间的光场数据，还原出该视点下的图像。如此，可以实现对该空间内整个场景的漫游。

(3)静态光场：通过四个维度(也可以称为自由度)表征一个空间中的任一个光线方向的光场。静态光场可以通过图像采集设备在一个空间中的不同位置对该空间进行拍摄得到。

其中，任一个位置和该位置采集到的图像中的任一个像素就可以表征一个四维的光线。这四个维度包括图像所在平面的两个维度(例如，图像中像素点的位置)、以及与图像采集设备的位置或姿态相关的两个维度(如，图像采集设备的位置)。图像所在平面的两个维度可以表示为u和v；与图像采集设备的位置或姿态相关的两个维度可以表示为φ和θ。静态光场可以看作是一个四维离散空间中的向量场，静态光场所记录的任一个方向的光线是一个四维向量，即(u，v，φ，θ)。

其中，与图像采集设备的位置或姿态相关的两个维度可以简称为图像采集位置的维度(φ，θ)；与采集的图像相关的两个维度可以简称为图像维度(u，v)。

(4)时变光场：通过五个维度表征一个空间中的任一个光线方向。时变光场可以通过图像采集设备在不同时间和一个空间中的不同位置对该空间进行拍摄得到。

其中，任一个时间、该时间下的任一个位置、以及该位置采集到的图像中的任一个像素就可以表征一个四维的光线。这五个维度包括上述静态光场中的四个维度和一个时间维度。时变光场可以看作是一个五维离散空间中的向量场，时变光场所记录的任一个方向的光线是一个五维向量，即(u，v，φ，θ，t)。任一个方向的光线(u，v，φ，θ，t)记录的数值可以是表征光线属性的向量C。例如，C＝(r，g，b)；r，g和b分别表示一个光线的红光的强度、绿光的强度和蓝光的强度。

需要说明的是，光场所记录的数据量往往比较大，引入时间维度得到的时变光场所记录的数据量更大，这对存储、传输和处理时变光场都带来了一定的难度。因此，需要对光场进行压缩后使用。

(5)有损压缩：是利用人类对图像或声波中的某些频率成分不敏感的特性，允许压缩过程中损失一定的信息。虽然这样就不能完全恢复原始数据，但是所损失的部分对理解原始数据的影响缩小，并且，能够换来了小得多的压缩率。其中，本申请实施例中的压缩率是指压缩后数据大小与压缩前数据大小的比值。

(6)光流(Optical Flow，OF)，是指时变图像中亮度模式的运动速度。因为当物体在运动时，它在图像上对应点的亮度模式也在运动。光流表达了图像的变化，由于它包含了物体运动的信息，因此可被观察者用来确定物体的运动情况。由光流的定义可以引申出光流场，它是指图像中所有像素点构成的一种二维瞬时速度场，其中的二维速度矢量是景物中可见点的三维速度矢量在成像表面的投影。所以光流不仅包含了被观察物体的运动信息，而且还包含有关景物三维结构的丰富信息。

目前，针对静态光场的有损压缩方法主要包括以下几种：

第一种压缩方法，是将静态光场的光场数据展平为二维图像，然后利用图像压缩算法对二维图像进行压缩。该方法就是将静态光场的四个维度展开到两个维度中。具体地，将图像采集位置的维度(φ，θ)中的多个采样点采集的多个图像，合并到一张图像中。这样就消除了图像采集位置的维度(φ，θ)，只保留了图像维度(u，v)。该合并后的图像是一个宽度和高度都较大的二维图像；该二维图像便于压缩和处理。

第一种压缩方法要求设置在图像采集位置的维度(φ，θ)中的采样点比较少(例如，几十个采样点)，否则合并得到的二维图像的尺寸太大。尺寸太大的二维图像对内存和计算机处理资源都有较大的要求。另外，仅仅对合并后的二维图像进行压缩，没有考虑到图像采集位置的维度(φ，θ)中多个采样点之间的连续性和关联性；因此，需要将图像采集位置的维度(φ，θ)中的多个采样点采集的多个图像尽可能多的保留在合并后的二维图像中，提高了光场数据的压缩率。

同理地，第一种压缩方法用于时变光场，就是对时间维度和图像采集位置的维度中的多个采样点采集的多个图像，合并到一张图像中。对该时变光场的光场数据进行压缩，也需要将时间维度和图像采集位置的维度中的多个采样点采集的多个图像尽可能多的保留在合并后的二维图像中，提高了光场数据的压缩率。并且，时间维度和图像采集位置的维度中的多个采样点的个数更多，合并得到的二维图像的尺寸太大，增加了二维图像处理的难度。

第二种压缩方法，将光场展平为三维视频，然后利用视频压缩算法对三维视频进行压缩。具体地，保留图像维度，并选择一条遍历图像采集位置的维度中的所有采样点的路径，按照这条路径的顺序将这些采样点对应的图像串联为一个视频；再利用视频压缩算法对该视频进行压缩。其中，这条路径的选择条件是，尽可能保证沿着这条路径采样得到的图像的变化要保持连续。这样得到的视频中的相邻帧的相似度将较高，进而可以实现较小的压缩率。

虽然第二种压缩方法考虑到了图像采集位置的维度(φ，θ)中多个采样点之间的关联性，但是，在选择上述路径的过程实际是将二维采样点直接投射到一维。这样尽管利用了图像采集位置的维度(φ，θ)中多个采样点之间的关联性，但实际上是只利用了一个维度上的关联性，没有充分利用到多个采样点在图像采集位置的维度这个二维空间中的关联性。这样就需要遍历图像采集位置的维度这个二维空间中所有的采样点对应的图像，得到视频。对于采样点比较密的光场，压缩率仍然较大。

同理地，第二种压缩方法用于时变光场，选择一条遍历时间维度和图像采集位置的维度中的所有采样点的路径，按照这条路径的顺序将这些采样点对应的图像串联为一个视频。对于时变光场，在选择上述路径的过程实际是将三维采样点直接投射到一维。同理地，需要遍历时间维度和图像采集位置的维度组成的这个三维空间(即以时间和采集位置为坐标的三维空间)中所有的采样点对应的图像，得到视频，压缩率会更大。

第三种压缩方法，是针对静态光场的光场数据这个四维数据，对四维数据构成的场进行频域分解。例如，可以将JPEG压缩方法中采用的离散余弦变化升阶到四维；再通过四维离散余弦变换，对四维数据构成的场进行处理。

第三种压缩方法往往需要将光场数据整体加载入内存，或压缩的过程中频繁反复遍历这个光场数据，压缩速度慢，且内存占用大。其次，如果图像维度的连续性和图像采集位置的维度的连续性不匹配的时候，例如，光流随图像像素点的变化速度明显区别于光流随图像采集位置的变化速度，则从数值上看，图像维度与图像采集位置的维度之间的连续相关性不强。而图像维度与图像采集位置的维度之间的连续相关性不强，会导致压缩率较大。

同理地，第三种压缩方法用于时变光场，时变光场的光场数据更大，则也存在压缩速度慢，内存占用大，以及由于图像维度与图像采集位置的维度之间的连续相关性不强所导致的压缩率较大的问题。

本申请实施例提供一种光场图像压缩方法，通过该方法可以减小光场数据压缩后的数据量，即减小了对光场数据的压缩率。

下面将结合附图对本申请实施例的实施方式进行详细描述。

请参考图1，其示出本申请实施例提供的一种光场图像压缩方法所涉及的实施环境示意图。如图1所示，该实施环境可以包括服务器101、多个图像采集设备102和终端103。

其中，多个图像采集设备102可以按照时间维度和采集位置维度安装在一个场景中。多个图像采集设备102可以在不同位置对该场景采集图像。服务器101接收多个图像采集设备102对该场景采集的图像、以及多个图像采集设备102所在的采样点在时间维度和采集位置维度所形成的三维空间(即以时间和采集位置为坐标的三维空间)中的位置信息。由该图像和该位置信息组成时变光场的光场数据。然后，服务器101可以从光场数据选择在部分采样点上所采集的场景的图像，并获取该三维空间与采集的图像之间的关联关系，即该三维空间与图像空间之间的关联关系。进而，利用在该部分采样点上所采集的场景的图像、以及该三维空间与图像空间之间的关联关系，就能够表征该三维空间中除了部分采样点以外的更多其他采样点上所采集的场景的图像。对该部分采样点上所采集的场景的图像、以及该三维空间与图像空间之间的关联关系进行压缩，减少了压缩率，从而减小了对光场数据的压缩率。

其中，终端103可以接收用户输入的压缩信息，并将该压缩信息发送至服务器101。服务器101根据该压缩信息从光场数据包括的所有采样点中选择部分采样点。

示例性的，本申请实施例中的终端可以是手机、平板电脑、桌面型、膝上型、手持计算机、笔记本电脑、车载设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)、增强现实设备、虚拟现实设备等，本申请实施例对该终端的具体形态不作特殊限制。

需要说明的是，本申请实施例提供的光场图像压缩方法可以应用于服务器，也可以应用于终端。该服务器和终端可以统称为电子设备。本申请实施例提供的光场图像压缩方法的执行主体可以为光场图像压缩装置，该装置可以为上述电子设备(如服务器或终端)。该装置还可以为该电子设备安装的提供光场图像压缩功能的应用程序(application，APP)；或者，可以为该电子设备中的中央处理器(Central Processing Unit，CPU)；又或者，可以为该电子设备中的用于执行光场图像压缩方法的控制模块。

请参考图2，为本申请实施例提供的一种光场图像压缩方法的流程图。如图2所示，该方法可以包括S201-S204。

S201、获取光场数据。

其中，光场数据包括在多个预设采样点上对同一个场景采集的图像(即通过多个预设采样点在不同的采集条件下对该场景采集得到的图像)。不同的采集条件是指采集位置和时刻中的至少一个不同。该光场数据还可以包括每个预设采样点在时间维度和采集位置维度所形成的三维空间(即以时间和采集位置为坐标的三维空间)中的位置信息，该位置信息由每个预设采样点对应的时刻和采集位置组成。该场景可以是任意一个空间。

其中，该光场数据可以是指时变光场的光场数据。时变光场是该场景的多个维度下的光场，多个维度包括时间维度和采集位置维度。

具体地，电子设备连接安装在一个该场景内的多个图像采集设备，任一个图像采集设备可以在该场景内的任意一个预设采样点上采集图像。电子设备可以针对每一个图像采集设备，获取该图像采集设备所在的位置信息，并获取该图像采集设备采集的图像和图像采集时间。由该图像、该图像采集时间和该图像采集设备所在的位置信息组成了一个光场数据。进而，电子设备可以得到该场景内的时变光场的光场数据。

本申请实施例中，时变光场的多个维度除了包括时间维度和采集位置维度，还包括图像维度。图像维度是指图像采集设备采集的图像所在平面的二维维度。也就是说，时变光场可以是由时间维度、采集位置维度和图像维度组成的五个维度下的光场。

本申请实施例中，多个预设采样点可以是在时间维度上按照一定时间间隔，且在采集位置维度上按照一定位置间隔设置在该场景内。或者，多个预设采样点可以是在时间维度上不按照时间间隔，且在采集位置维度上也不按照位置间隔设置在该场景内，即随机设置在该场景内。

又或者，多个预设采样点是根据场景内的物体的相关信息，按照时间维度和采集位置维度设置在该场景内的，以使得在这些预设采样点上获取的光场数据能够反映出该场景内的尽可能多的物体信息。如果光场数据反映出该场景内的尽可能多的物体信息，则利用该光场数据就能够还原出更多视点下的该场景的画面。任一个视点是指任一个时间和任一个角度所决定的视点。

其中，场景内的物体的相关信息可以包括：场景内的物体的位置、场景内的物体变化范围、场景内的物体变化速度。

示例性地，如果在一个预设时长内，场景内的物体的位置主要在场景内的区域A内，且场景内的物体在预设时长内的时段T1内有较大的变化。则多个预设采样点中较多的采样点能够采集到区域A的画面的、且较多的采样点在时段T1内采集图像。

S202、从多个预设采样点中选择多个目标采样点；多个目标采样点上对场景采集的所有图像能够表征场景中的物体特征。

电子设备可以按照一定选择规则，从多个预设采样点中选出部分采样点作为多个目标采样点。然后，电子设备对在多个目标采样上对场景采集的图像进行压缩。由于减少了被压缩的数据量，就可以进一步减小压缩率。其中，多个目标采样点可以表征整个时变光场的特征。

本申请实施例中，电子设备获取压缩信息。压缩信息包括以下至少一项：场景中物体的位置信息、场景中物体的变化时间、目标采样点的分步信息(如，选择间距)、目标采样点的数量信息(如，选择比例)。然后，电子设备根据压缩信息，从多个预设采样点中选择多个目标采样点。

电子设备可以获取用户输入的压缩信息、或者预存的压缩信息。其中，目标采样点的选择间距可以包括目标采样点的位置间隔、目标采样点的时间间隔。物体的位置信息可以是指物体所在区域的位置信息。

需要说明的是，多个目标采样点是按照时间维度和采集位置维度设置在该场景内，因此，每个目标采样点对应一个采集时间和采集位置。进而，电子设备可以根据压缩信息、以及每个目标采样点对应的采集时间和采集位置，从多个预设采样点中选出多个目标采样点。

示例性地，如果压缩信息包括场景中物体的变化时间和物体的位置信息，则电子设备可以从多个预设采样点中选出多个目标采样点。该多个目标采样点对应的采集时间均在该物体的变化时间内、且该多个目标采样点对应的采集位置所形成的范围能够包括该物体的位置信息所指示的位置。

示例性地，如果压缩信息除了包括场景中物体的变化时间和物体的位置信息，还包括目标采样点的选择比例，则电子设备可以利用多个预设采样点的总数乘以该选择比例，得到目标采样点的数量H。然后，从多个预设采样点中选出H个目标采样点。该H个目标采样点对应的采集时间均在该物体的变化时间内、且该H个目标采样点对应的采集位置所形成的范围能够包括该物体的位置信息所指示的位置。

可以理解的是，通过压缩信息中的目标采样点的选择比例，可以控制多个目标采样点的数量。多个目标采样点的数量又会影响光场数据的压缩率，因此，通过压缩信息中的目标采样点的选择比例，可以控制压缩率。其中，多个目标采样点的数量越少，压缩率越小。

其次，通过压缩信息包括的场景中物体的位置信息、场景中物体的变化时间、目标采样点的选择间距等，可以控制多个目标采样点的分布。多个目标采样点的分布，又会影响利用对光场数据压缩后的数据还原该空间任一视点下的画面的误差大小。上述选择的多个目标采样点上对场景采集的所有图像能够表征场景中的物体特征，可以提高利用压缩后的数据还原任一视点下该场景的画面的还原度。

可以理解的是，本申请实施例中不要求多个目标采样点在时间维度上按照一定时间间隔等间隔设置，也不要求多个目标采样点在采集位置维度上按照一定位置间隔等间隔设置，即目标采样点的位置可以灵活变化。

S203、根据光场数据，确定多个目标采样点对应的转移张量。

电子设备可以根据光场数据，确定每个目标采样点对应的转移张量。其中，转移张量表示位置变化到光流变化之间的转换关系；位置变化是指在时间维度和采集位置维度所形成的三维空间中的任意两个目标采样点在该三维空间中的位置变化；光流变化是指在任意两个目标采样点上所采集的场景的图像之间的光流变化。其中，在目标采样点上采集的场景的图像也可以称为在目标采样点上对场景采集的图像。

可以理解的是，多个目标采样点分布在时间维度和采集位置维度所形成的三维空间中，在多个目标采样点上对一个场景采集的图像都仅仅表达了以该三维空间中的这多个目标采样点为视点下的场景的画面。虽然，可以获取到多个目标采样点与该三维空间中除这多个目标采样点以外的其他采样点在该三维空间中的位置变化，但是根据在这多个目标采样点上对该场景采集的图像无法得到该三维空间中其他采样点为视点下的场景的画面。为了能够利用在多个目标采样点上对该场景采集的图像，得到该三维空间中其他采样点为视点下的该空间的画面，需要获取该三维空间与采集的图像之间的关联关系，即该三维空间与图像空间之间的关联关系。

由于光流变化可以反映该三维空间下相邻的两个采样点之间在图像上的变化，也就是说，光流变化记录了该三维空间与图像空间之间的关联关系。因此，在该三维空间中某一个目标采样点上对该场景采集的图像，以及该目标采样点与其相邻的采样点在该三维空间中的位置变化可知的情况下，可以获取该目标采样点与其相邻的采样点在该三维空间中的位置变化到该目标采样点与其相邻的采样点之间的光流变化的转换关系，即转移张量。进而，根据该转移张量、以及该目标采样点与其相邻的采样点在该三维空间中的位置变化，就可以确定该目标采样点到其相邻的采样点的光流变化。进而，根据该光流变化、以及在该目标采样点上对该场景采集的图像，就可以还原以该目标采样点相邻的采样点为视点下的场景的图像。

本申请实施例中，光场数据还可以包括多个预设采样点在上述三维空间中的位置信息。如图3所示，S203可以包括S301-S303。

S301、根据多个预设采样点在三维空间中的位置信息，在三维空间中对多个目标采样点进行四面体化，得到每个目标采样点对应的至少一个四面体。

电子设备可以根据多个预设采样点在三维空间中的位置信息，对所有的目标采样点，在时间维度和采集位置维度所形成的三维空间中进行四面体化，得到每个目标采样点对应的至少一个四面体。其中，每个目标采样点对应的至少一个四面体均满足：一个顶点是该目标采样点，除了该目标采样点之外的其他顶点是预设采样点。

进一步地，电子设备得到所有目标采样点各自对应的至少一个四面体后，可以针对每个目标采样点，执行S302-S303，以得到每个目标采样点对应的转移张量。

其中，四面体化得到的所有四面体之间互不重叠，能够覆盖所有目标采样点，并且，所有四面体的顶点都属于多个预设采样点。也就是说，任意一个四面体的任意一个顶点都对应光场数据中一个采集的图像。

示例性地，电子设备可以根据多个预设采样点在三维空间(φ，θ，t)中的位置信息，在三维空间(φ，θ，t)中标记出所有预设采样点。如图4所示的部分预设采样点，部分预设采样点包括：P_Y1、P_Y2、P_Y3、P_Y4、P_Y5、P_Y6、P_Y7、P_Y8、P_Y9、P_Y10。然后，针对所有目标采样点，在标记预设采样点的三维空间(φ，θ，t)中进行四面体化，得到每个目标采样点对应的至少一个四面体，如图4所示的部分四面体。

S302、对在目标采样点上所采集的场景的图像进行三角化，得到多个三角形上的多个第一顶点；多个三角形覆盖了在目标采样点上所采集的场景的图像所在的区域。

电子设备对在每个目标采样点上所采集的场景的图像进行三角化，得到多个三角形。其中，多个三角形互相不重叠，并且，多个三角形覆盖了在该目标采样点上对该场景采集的图像所在的区域。这多个三角形上的任意一个顶点称为第一顶点。多个预设采样点上对该场景采集的图像包括每个目标采样点上对该场景采集的图像。

本申请实施例中，三角化得到的多个三角形中的任意两个相邻的三角形之间的像素点的像素值差异较大，即任意两个相邻的三角形之间的图像内容差异较大。多个三角形中的任意一个三角形内的所有像素点之间的像素值差异较小。

示例性地，电子设备对在任一个目标采样点上对该场景采集的图像进行三角化，得到多个三角形。这多个三角形互不重叠。如图5所示的三角化后的图像所包括的部分三角形。

S303、根据至少一个四面体、在目标采样点上所采集的场景的图像和在四面体中多个第二顶点上所采集的场景的图像，得到第一顶点的转移张量；其中，第二顶点是四面体中除目标采样点之外的顶点；多个三角形上的多个第一顶点的转移张量是目标采样点对应的转移张量。

电子设备可以针对每个目标采样点对应的多个三角形上的每个第一顶点，执行S303得到该第一顶点的转移张量。由多个三角形中的所有第一顶点的转移张量组成该目标采样点对应的转移张量。

其中，多个第二顶点是每个目标采样点对应的至少一个四面体中除该目标采样点之外的所有顶点，则多个第二顶点也属于多个预设采样点。多个预设采样点上所采集的场景的图像包括：在多个第二顶点上所采集的场景的图像(即在多个第二顶点上对场景采集的图像)。

可以理解的是，电子设备针对每个目标采样点执行S302-S303，则可以同时对多个目标采样点执行S302-S303，即并行处理得到多个目标采样点对应的第一顶点的转移张量。如此，可以提高电子设备压缩光场数据的处理速度。

本申请实施例中，电子设备可以根据在目标采样点上所采集的场景的图像和在四面体中多个第二顶点上所采集的场景的图像，得到第一顶点从目标采样点分别运动到四面体中多个第二顶点的多个光流向量。然后，电子设备根据目标采样点的坐标、四面体中多个第二顶点的坐标和多个光流向量，得到四面体对应的转移张量。电子设备再对至少一个四面体对应的所有转移张量进行求平均，得到第一顶点的转移张量。

其中，多个第二顶点和多个光流向量为一一对应。目标采样点的坐标和多个第二顶点的坐标都是在上述三维空间中的坐标。

电子设备针对以每个目标采样点为一个顶点的至少一个四面体中的每个四面体，根据在该目标采样点上所采集的场景的图像和在该四面体中多个顶点上所采集的场景的图像，得到每个第一顶点从该目标采样点分别运动到该四面体中多个第二顶点的多个光流向量。然后，根据该目标采样点的坐标、该四面体中多个第二顶点的坐标和多个光流向量，计算得到该四面体对应的转移张量。最后，电子设备对以该目标采样点为一个顶点的所有四面体对应的转移张量进行求平均，得到该第一顶点的转移张量。

可以理解的是，由于转移张量表示位置变化到光流变化之间的转换关系，则电子设备可以先根据目标采样点的坐标、以及四面体中多个第二顶点的坐标得到位置变化，还根据在目标采样点上所采集的场景的图像和在四面体中多个第二顶点上所采集的场景的图像得到光流变化。然后，电子设备根据得到的位置变化和光流变化，就能够得到转移张量。

本申请实施例中，电子设备可以分别用四面体中多个第二顶点的坐标减去目标采样点的坐标，得到四面体中多个第二顶点与目标采样点的坐标差。然后，电子设备利用坐标差组成坐标差矩阵、多个光流向量组成光流矩阵。电子设备再用光流矩阵乘以坐标差矩阵的逆矩阵，得到四面体对应的转移张量。

其中，预设的映射关系指示转移张量与坐标差矩阵之间的乘积等于光流矩阵，则电子设备根据该映射关系，可以先用多个第二顶点与目标采样点的坐标差组成坐标差矩阵，还用多个光流向量组成光流矩阵。然后，电子设备用光流矩阵和坐标差矩阵计算得到四面体对应的转移张量。

电子设备针对以每个目标采样点为一个顶点的至少一个四面体中的每个四面体，分别用该四面体中多个第二顶点的坐标减去该目标采样点的坐标，得到该四面体中多个第二顶点与该目标采样点的坐标差。

需要说明的是，每个四面体除去一个是目标采样点的顶点之外还包括3个顶点，也就是说，该四面体中多个第二顶点是3个第二顶点。由3个第二顶点分别减去该目标采样点的坐标，得到3个坐标差。由于该目标采样点的坐标和该四面体中多个第二顶点的坐标都是在上述三维空间中的坐标，则这些坐标都是一个三维向量，坐标差也是一个三维向量。由3个三维向量的坐标差组成的坐标差矩阵是一个3*3维的矩阵。

示例性地，预设的映射关系可以如下式(1)所示：

其中，一个目标采样点P0的坐标是Z_P0，以该目标采样点为一个顶点的一个四面体中3个第二顶点包括：P1、P2、P3。3个第二顶点的坐标分别是Z_P1、Z_P2、Z_P3。Z是该四面体中多个第二顶点与该目标采样点的坐标差组成的坐标差矩阵。M是该四面体对应的转移张量。V是光流矩阵。针对该目标采样点对应的多个三角形上的一个第一顶点，v1是该第一顶点从该目标采样点P0运动至第二顶点P1的光流向量，v2是该第一顶点从该目标采样点P0运动至第二顶点P2的光流向量，v3是该第一顶点从该目标采样点P0运动至第二顶点P3的光流向量。其中，该第一顶点通过在该目标采样点上所采集的场景的图像中偏移v1，可以得到在第二顶点P1上对场景采集的图像中与第一顶点的图像内容最为相近的局部图像内容。同理地，该第一顶点通过在该目标采样点上所采集的场景的图像中偏移v2，可以得到第二顶点P2上对场景采集的图像中与第一顶点的图像内容最为相近的局部图像内容。该第一顶点通过在该目标采样点上所采集的场景的图像中偏移v3，可以得到在第二顶点P3上对场景采集的图像中与第一顶点的图像内容最为相近的局部图像内容。

其中，坐标差矩阵Z是一个3*3维的矩阵，光流矩阵V的行数等于3、列数等于2，则该四面体对应的转移张量M是一个3*2维的矩阵。

进一步地，在已知坐标差矩阵Z和光流矩阵V的情况下，在公式(1)中的等式两端的最左侧乘以坐标差矩阵Z的逆矩阵，计算得到转移张量M。

S204、对在多个目标采样上对场景采集的图像和多个目标采样点对应的转移张量进行压缩，得到光场数据对应的压缩数据。

其中，每个目标采样点对应的转移张量包括该目标采样点对应的多个三角形上的所有第一顶点的转移张量。电子设备可以对在多个目标采样点中每个目标采样点上所采集的场景的图像、以及每个目标采样点对应的多个三角形上的所有第一顶点在上述三维空间中的位置信息和所有第一顶点的转移张量进行压缩，得到光场数据对应的压缩数据。

需要说明的是，电子设备在光场数据对应的压缩数据中，记录每个目标采样点上所采集的场景的图像和该目标采样点对应的转移张量之间的对应关系，还记录该目标采样点对应的多个三角形上的所有第一顶点在上述三维空间中的的位置信息和所有第一顶点的转移张量之间的对应关系。

可以理解的是，在多个目标采样点上所采集的场景的图像只是光场数据中的部分图像。多个目标采样点对应的转移张量是一些数字，相较于图像的数据量，该转移张量的数据量较小。因此，电子设备对在多个目标采样上对场景采集的图像和多个目标采样点对应的转移张量进行压缩，可以减小压缩量，进而减小了对光场数据的压缩率。其次，对在多个目标采样上对场景采集的图像和多个目标采样点对应的转移张量进行压缩的压缩量较小，则对电子设备的计算能力的要求较小。

并且，光场数据对应的压缩数据除了记录在多个目标采样点上所采集的场景的图像，还记录了多个目标采样点对应的转移张量。而根据上述分析得到的“根据该转移张量、以及该目标采样点与其相邻的采样点在三维空间中的位置变化，就可以确定该目标采样点到其相邻的采样点的光流变化。进而，根据该光流变化、以及在该目标采样点上所采集的场景的图像，就可以还原以该目标采样点相邻的采样点为视点下的场景的图像”可知，根据任一个目标采样点对应的转移张量可以得到该目标采样点到其相邻的采样点的光流变化；再根据该光流变化、以及在该目标采样点上所采集的场景的图像，可以还原以该目标采样点相邻的采样点为视点下的场景的图像。那么，利用时变光场的光场数据还可以得到在该三维空间中与多个目标采样点相邻的采样点上的图像。这样保证了对该光场数据对应的压缩数据解压除了可以直接得到多个目标采样点下的图像，还可以还原出该三维空间中较多视点下的画面。

本申请实施例中，光场数据对应的压缩数据可以包括压缩后的数据和压缩后的图像。电子设备可以先根据多个目标采样点在三维空间中的相邻关系，分别对在多个目标采样上对场景采集的图像和多个目标采样点对应的转移张量进行排列，得到排列后的图像流和多个目标采样点对应的排列后的转移张量。然后，电子设备分别对排列后的图像流、多个目标采样点对应的排列后的转移张量进行压缩，得到压缩后的图像、压缩后的数据。

其中，可以利用h265等视频压缩算法对排列后的图像流进行压缩，得到压缩后的图像。

可以理解的是，电子设备按照多个目标采样点在三维空间中的相邻关系，分别对在多个目标采样上对场景采集的图像和多个目标采样点对应的转移张量进行排列，则对于任一个目标采样点而言，在该目标采样点上所采集的场景的图像在排列后的图像流中的顺序，与该目标采样点对应的转移张量在多个目标采样点对应的排列后的转移张量中的顺序相同。这样的话，排列后的图像流和多个目标采样点对应的排列后的转移张量，记录了在每个目标采样点上所采集的场景的图像和该目标采样点对应的转移张量之间的对应关系。进而，电子设备分别对排列后的图像流和多个目标采样点对应的排列后的转移张量进行压缩，得到的压缩后的图像和压缩后的数据也记录了在每个目标采样点上所采集的场景的图像和该目标采样点对应的转移张量之间的对应关系。

进而，在对光场数据对应的压缩数据解压时，能够解压获取在任一个目标采样点上所采集的场景的图像和该目标采样点对应的转移张量。

本申请实施例中，电子设备可以在得到光场数据对应的压缩数据之后，计算该压缩数据的大小与光场数据的大小之间的比值，得到该压缩数据对应的压缩率。然后，如果该压缩率大于预设压缩率阈值，可以重新选择目标采样点，并利用更新后的多个目标采样点更新光场数据对应的压缩数据。直至压缩数据对应的压缩率小于或等于预设压缩率阈值，以得到压缩率不超过预设压缩率阈值的光场数据对应的压缩数据。

本申请实施例中，电子设备可以根据至少一个目标采样点和至少一个目标采样点对应的转移变量，还原上述三维空间中与该至少一个目标采样点相邻的一个采样点上的图像。再将还原的图像和这个采样点上所采集的场景的图像进行对比，根据对比结果判断是否更新多个目标采样点、更新光场数据对应的压缩数据。直至确定对比结果符合还原要求，确定利用此时的多个目标采样点得到光场数据对应的压缩数据。

本申请实施例中，电子设备在得到光场数据对应的压缩数据之后，可以获取目标时间和目标视点的位置信息。然后，根据目标时间和目标视点的位置信息，从多个预设采样点确定至少一个待解压采样点。电子设备再从压缩数据中解压出在至少一个待解压采样点上所采集的场景的图像和至少一个待解压采样点对应的转移张量。最后，电子设备根据在至少一个待解压采样点上所采集的场景的图像和至少一个待解压采样点对应的转移张量，还原出目标视点下的场景的图像。

其中，至少一个待解压采样点的采集时间与目标时间之间的时间差在预设时间差内、且至少一个待解压采样点的采集位置与目标视点的位置之间的距离在预设距离内。

可以理解的是，电子设备针对目标时间和目标视点的位置信息，可以从光场数据对应的压缩数据中只解压出在至少一个待解压采样点上所采集的场景的图像和至少一个待解压采样点对应的转移张量，即只解压出与目标时间和目标视点的位置信息相关的少量的数据，用于还原出目标视点下的场景的图像。因此，利用该光场数据对应的压缩数据还原任意一个视点下的场景的图像，对电子设备的计算能力要求较低。计算能力较低的电子设备也可以利用光场数据对应的压缩数据还原任意一个视点下的场景的图像。

可以理解的是，上述方法可以由光场图像压缩装置实现。光场图像压缩装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。

本申请实施例可以根据上述方法示例对上述光场图像压缩装置等进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在采用对应各个功能划分各个功能模块的情况下，图6示出了上述实施例中所涉及的光场图像压缩装置的一种可能的结构示意图，该装置600包括：数据获取模块601、选择模块602、转移张量获取模块603和压缩模块604。

其中，数据获取模块601，用于获取光场数据；光场数据包括：通过多个预设采样点在不同的采集条件下对同一场景采集得到的图像；选择模块602，用于从多个预设采样点中选择多个目标采样点；多个目标采样点上对场景采集的所有图像能够表征场景中的物体特征；转移张量获取模块603，用于根据光场数据，确定多个目标采样点对应的转移张量；压缩模块604，用于对在多个目标采样点上所采集的场景的图像和多个目标采样点对应的转移张量进行压缩，得到光场数据对应的压缩数据。

其中，不同的采集条件是指采集位置和时刻中的至少一个不同。转移张量表示位置变化到光流变化之间的转换关系；位置变化是指任意两个目标采样点在以时间和采集位置为坐标的三维空间中的位置变化；光流变化是指在任意两个目标采样点上所采集的场景的图像之间的光流变化。

在一种可能的实施方式中，光场数据还包括每个预设采样点在三维空间中的位置信息，位置信息由每个预设采样点对应的时刻和采集位置组成。其中，转移张量获取模块603，具体用于：根据多个预设采样点在三维空间中的位置信息，在三维空间中对多个目标采样点进行四面体化，得到每个目标采样点对应的至少一个四面体；对在目标采样点上所采集的场景的图像进行三角化，得到多个三角形上的多个第一顶点；根据至少一个四面体、在目标采样点上所采集的场景的图像和在四面体中多个第二顶点上所采集的场景的图像，得到第一顶点的转移张量。

其中，至少一个四面体均满足：一个顶点是目标采样点，除了目标采样点之外的其他顶点是预设采样点。多个三角形覆盖了在目标采样点上所采集的场景的图像所在的区域。第二顶点是四面体中除目标采样点之外的顶点；多个三角形上的多个第一顶点的转移张量是目标采样点对应的转移张量。

另一种可能的实施方式中，转移张量获取模块603，具体用于：根据在目标采样点上所采集的场景的图像和在四面体中多个第二顶点上所采集的场景的图像，得到第一顶点从目标采样点分别运动到四面体中多个第二顶点的多个光流向量；根据目标采样点的坐标、四面体中多个第二顶点的坐标和多个光流向量，得到四面体对应的转移张量；其中，目标采样点的坐标和多个第二顶点的坐标都是在三维空间中的坐标；对至少一个四面体对应的所有转移张量进行求平均，得到第一顶点的转移张量。

另一种可能的实施方式中，转移张量获取模块603，具体用于：分别用四面体中多个第二顶点的坐标减去目标采样点的坐标，得到四面体中多个第二顶点与目标采样点的坐标差；利用坐标差组成坐标差矩阵、多个光流向量组成光流矩阵；用光流矩阵乘以坐标差矩阵的逆矩阵，得到四面体对应的转移张量。

另一种可能的实施方式中，选择模块602，具体用于：获取压缩信息；压缩信息包括以下至少一项：场景中物体的位置信息、场景中物体的变化时间、目标采样点的分布信息、目标采样点的数量信息；根据压缩信息，从多个预设采样点中选择多个目标采样点。

另一种可能的实施方式中，光场数据对应的压缩数据包括压缩后的张量数据和压缩后的图像。其中，压缩模块604，具体用于：根据多个目标采样点在三维空间中的相邻关系，分别对在多个目标采样点上所采集的场景的图像和多个目标采样点对应的转移张量进行排列，得到排列后的图像流和多个目标采样点对应的排列后的转移张量；分别对排列后的图像流、多个目标采样点对应的排列后的转移张量进行压缩，得到压缩后的图像和压缩后的张量数据。

另一种可能的实施方式中，该装置600还包括：解码还原模块605。解码还原模块605，用于：在对在多个目标采样点上所采集的场景的图像和多个目标采样点对应的转移张量进行压缩，得到光场数据对应的压缩数据之后，获取目标时间和目标视点的位置信息；根据目标时间和目标视点的位置信息，从多个预设采样点确定至少一个待解压采样点；从压缩数据中解压出在至少一个待解压采样点上所采集的场景的图像和至少一个待解压采样点对应的转移张量；根据在至少一个待解压采样点上所采集的场景的图像和至少一个待解压采样点对应的转移张量，还原出目标视点下的场景的图像。

其中，至少一个待解压采样点的采集时间与目标时间之间的时间差在预设时间差内、且至少一个待解压采样点的采集位置与目标视点的位置之间的距离在预设距离内。

当然，光场图像压缩装置600包括但不限于上述所列举的单元模块。例如，光场图像压缩装置600还可以包括存储模块。该存储模块可以用于保存上述光场数据对应的压缩数据。并且，上述功能单元的具体所能够实现的功能也包括但不限于上述实例所述的方法步骤对应的功能，光场图像压缩装置600的其他模块的详细描述可以参考其所对应方法步骤的详细描述，本申请实施例这里不再赘述。

在采用集成的单元的情况下，图7示出了上述实施例中所涉及的电子设备700的一种可能的结构示意图。该电子设备700可以包括：处理器701、存储器702和通信模块703。处理器701用于对电子设备的动作进行控制管理。存储器702，用于保存电子设备的程序代码和数据，如光场图像压缩方法，光场数据等。通信模块703用于支持电子设备与其他网络实体的通信，以实现数据交互等功能，如该通信模块703支持电子设备与终端的通信，以实现数据交互功能。

其中，处理器701可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器701可以包括AP，调制解调处理器，GPU，ISP，控制器，存储器，视频编解码器，DSP，基带处理器，和/或NPU等。

存储器702可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器702还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器702中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器701所执行以实现本申请实施例提供的光场图像压缩方法。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质包括计算机指令，当计算机指令在上述电子设备上运行时，使得该电子设备执行上述方法实施例中的各个功能或者步骤。例如，该计算机可读存储介质可以是只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact DiscRead-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。

本申请实施例还提供一种计算机程序产品，计算机程序产品包括计算机程序，当该计算机程序在上述电子设备上运行时，使得该电子设备执行上述方法实施例中的各个功能或者步骤。

通过以上实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种光场图像压缩方法，其特征在于，所述方法包括：

获取光场数据；其中，所述光场数据包括：通过多个预设采样点在不同的采集条件下对同一场景采集得到的图像；所述不同的采集条件是指采集位置和采集时刻中的至少一个不同；

从所述多个预设采样点中选择多个目标采样点；所述多个目标采样点上对所述场景采集的所有图像能够表征所述场景中的物体特征；

根据所述光场数据，确定所述多个目标采样点对应的转移张量；其中，所述转移张量表示位置变化到光流变化之间的转换关系；所述位置变化是指任意两个目标采样点在以时间和采集位置为坐标的三维空间中的位置变化；所述光流变化是指在所述任意两个目标采样点上所采集的所述场景的图像之间的光流变化；

对在所述多个目标采样点上所采集的所述场景的图像和所述多个目标采样点对应的转移张量进行压缩，得到所述光场数据对应的压缩数据。

2.根据权利要求1所述的方法，其特征在于，所述光场数据还包括每个预设采样点在所述三维空间中的位置信息，所述位置信息由所述每个预设采样点对应的时刻和采集位置组成；

其中，所述根据所述光场数据，确定所述多个目标采样点对应的转移张量，包括：

根据所述多个预设采样点在所述三维空间中的位置信息，在所述三维空间中对所述多个目标采样点进行四面体化，得到每个所述目标采样点对应的至少一个四面体；所述至少一个四面体均满足：一个顶点是所述目标采样点，除了所述目标采样点之外的其他顶点是所述预设采样点；

对在所述目标采样点上所采集的所述场景的图像进行三角化，得到多个三角形上的多个第一顶点；所述多个三角形覆盖了在所述目标采样点上所采集的所述场景的图像所在的区域；

根据所述至少一个四面体、在所述目标采样点上所采集的所述场景的图像和在所述四面体中多个第二顶点上所采集的所述场景的图像，得到所述第一顶点的转移张量；其中，所述第二顶点是所述四面体中除所述目标采样点之外的顶点；所述多个三角形上的多个第一顶点的转移张量是所述目标采样点对应的转移张量。

3.根据权利要求2所述的方法，其特征在于，所述根据所述至少一个四面体、在所述目标采样点上所采集的所述场景的图像和在所述四面体中多个第二顶点上所采集的所述场景的图像，得到所述第一顶点的转移张量，包括：

根据在所述目标采样点上所采集的所述场景的图像和在所述四面体中多个第二顶点上所采集的所述场景的图像，得到所述第一顶点从所述目标采样点分别运动到所述四面体中多个第二顶点的多个光流向量；

根据所述目标采样点的坐标、所述四面体中多个第二顶点的坐标和所述多个光流向量，得到所述四面体对应的转移张量；其中，所述目标采样点的坐标和所述多个第二顶点的坐标都是在所述三维空间中的坐标；

对所述至少一个四面体对应的所有转移张量进行求平均，得到所述第一顶点的转移张量。

4.根据权利要求3所述的方法，其特征在于，所述根据所述目标采样点的坐标、所述四面体中多个第二顶点的坐标和所述多个光流向量，得到所述四面体对应的转移张量，包括：

分别用所述四面体中多个第二顶点的坐标减去所述目标采样点的坐标，得到所述四面体中多个第二顶点与所述目标采样点的坐标差；

利用所述坐标差组成坐标差矩阵、所述多个光流向量组成光流矩阵；

用所述光流矩阵乘以所述坐标差矩阵的逆矩阵，得到所述四面体对应的转移张量。

5.根据权利要求1-4中任一项所述的方法，其特征在于，所述从所述多个预设采样点中选择多个目标采样点，包括：

获取压缩信息；所述压缩信息包括以下至少一项：所述场景中物体的位置信息、所述场景中物体的变化时间、所述目标采样点的分布信息、所述目标采样点的数量信息；

根据所述压缩信息，从所述多个预设采样点中选择所述多个目标采样点。

6.根据权利要求1-4中任一项所述的方法，其特征在于，所述光场数据对应的压缩数据包括压缩后的张量数据和压缩后的图像；

其中，所述对在所述多个目标采样点上所采集的所述场景的图像和所述多个目标采样点对应的转移张量进行压缩，得到所述光场数据对应的压缩数据，包括：

根据所述多个目标采样点在所述三维空间中的相邻关系，分别对在所述多个目标采样点上所采集的所述场景的图像和所述多个目标采样点对应的转移张量进行排列，得到排列后的图像流和所述多个目标采样点对应的排列后的转移张量；

分别对所述排列后的图像流、所述多个目标采样点对应的排列后的转移张量进行压缩，得到所述压缩后的图像和所述压缩后的张量数据。

7.一种光场图像压缩装置，其特征在于，所述装置包括：

数据获取模块，用于获取光场数据；其中，所述光场数据包括：通过多个预设采样点在不同的采集条件下对同一场景采集得到的图像；所述不同的采集条件是指采集位置和采集时刻中的至少一个不同；

选择模块，用于从所述多个预设采样点中选择多个目标采样点；所述多个目标采样点上对所述场景采集的所有图像能够表征所述场景中的物体特征；

转移张量获取模块，用于根据所述光场数据，确定所述多个目标采样点对应的转移张量；其中，所述转移张量表示位置变化到光流变化之间的转换关系；所述位置变化是指任意两个目标采样点在以时间和采集位置为坐标的三维空间中的位置变化；所述光流变化是指在所述任意两个目标采样点上所采集的所述场景的图像之间的光流变化；

压缩模块，用于对在所述多个目标采样点上所采集的所述场景的图像和所述多个目标采样点对应的转移张量进行压缩，得到所述光场数据对应的压缩数据。

8.一种电子设备，其特征在于，所述电子设备包括：处理器和用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，使得所述电子设备执行如权利要求1-6中任一项所述的光场图像压缩方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求1-6中任一项所述的光场图像压缩方法。

10.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，当所述计算机程序在电子设备上运行时，使得所述电子设备执行如权利要求1-6任一项所述的光场图像压缩方法。

Images