CN107027025A - 一种基于宏像素块自适应预测的光场图像压缩方法 - Google Patents

Abstract

本发明公开了一种基于宏像素块自适应预测的光场图像压缩方法，包括：输入原始光场图像f(x,y)，对所述原始光场图像f(x,y)中的宏像素块进行处理得到规则化光场图像L(x,y)；将所述规则化光场图像L(x,y)输入至视频编码器，依据当前编码块B₀的位置及大小选择邻域内的预测参考块B_i；基于所述当前编码块B₀和所述预测参考块B_i，分别通过线性加权组合预测方法和单一直接预测方法得到所述当前编码块B₀的预测值B′₀；选择最优的编码预测方法，进行光场图像的压缩。本发明充分利用光场图像中宏像素块的排布特点，实现对当前编码块的准确预测，有效地降低空域内的冗余信息，进而实现编码效率的有效提升。

Description

一种基于宏像素块自适应预测的光场图像压缩方法

技术领域

本发明涉及计算机视觉与数字图像处理领域，尤其涉及一种基于宏像素块自适应预测的光场图像压缩方法。

背景技术

手持式光场相机能够在一次曝光时间下同时记录光线的位置信息和方向信息，获取所得的光场数据可应用于3D立体显示、显著性检验、深度估计等诸多计算机视觉领域，展现出极强的应用前景，引发包括学术界在内的人们广泛关注。光场相机捕获的光场图像在记录了光线角度和位置信息的同时，也具有超高分辨率和特殊的像素分布，这给数据的存储和传输带来了巨大挑战，制约了光场相机的发展和应用。因此，寻找针对光场图像高效的压缩方法成为众多研究学者关心的课题。

针对光场图像的压缩，当前的压缩方案可以大致分为两类：基于图像的直接压缩方法和基于伪视频序列的间接压缩方法。其中基于图像的直接压缩方法是利用现有的图像或视频编码器直接对光场图像进行压缩，并引入诸如矢量帧内预测、视差补偿等编码工具，该类方案不可避免地引入块的赝像，同时光场图像中宏像素间的相似关系也未能被有效利用；而基于伪视频序列的间接压缩方法是指从原始光场数据中提取出一系列子光圈图像以不同的扫描方式生成伪视频序列，利用现有的视频编码器对该视频序列进行压缩，该方案虽然提升编码效率，但是计算复杂度也极大增加。两类方案都存在以下问题：由于光场图像中宏像素排布结构与编码器基于块的编码架构的不匹配，导致现有编码工具无法充分利用宏像素之间的相关性，限制了编码效率的进一步提升。

以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

为解决上述技术问题，本发明提出一种基于宏像素块自适应预测的光场图像压缩方法，充分利用光场图像中宏像素块的排布特点，实现对当前编码块的准确预测，有效地降低空域内的冗余信息，进而实现编码效率的有效提升。

为达到上述目的，本发明采用以下技术方案：

本发明公开了一种基于宏像素块自适应预测的光场图像压缩方法，包括以下步骤：

A1：输入原始光场图像f(x,y)，对所述原始光场图像f(x,y)中的宏像素块进行处理得到规则化光场图像L(x,y)；

A2：将所述规则化光场图像L(x,y)输入至视频编码器，依据当前编码块B₀的位置及大小选择邻域内的预测参考块B_i；

A3：基于所述当前编码块B₀和所述预测参考块B_i，分别通过线性加权组合预测方法和单一直接预测方法得到所述当前编码块B₀的预测值B₀′；

A4：从步骤A3中选择最优的编码预测方法，进行光场图像的压缩。

优选地，步骤A1中具体还包括：是通过对所述原始光场图像f(x,y)中的宏像素块进行坐标变换和无效像素点插值，得到所述规则化光场图像L(x,y)。

优选地，步骤A1中输入的所述原始光场图像f(x,y)是通过光场相机采集后经过前期处理生成的正交排列的微透镜阵列图像，得到的所述规则化光场图像L(x,y)中的所有宏像素块的中心点在横向和纵向上都正交对齐。

优选地，其中1≤i≤4。

优选地，步骤A2具体包括：

比较所述视频编码器的当前编码块的大小与所述规则化光场图像L(x,y)的宏像素块的大小；

如果所述当前编码块的大小大于或等于所述宏像素块，则所述预测参考块B_i是位于当前编码块B₀的左、左上、上和右上相邻的四个正方形块，该正方形块包含一个或多个宏像素块；

如果所述当前编码块的大小小于所述宏像素块，则所述预测参考块B_i是位于当前编码块B₀的左、左上、上和右上相邻的四个宏像素块中与所述当前编码块在其所在的宏像素块中具有相同位置的正方形块，该正方形块为部分宏像素块。

优选地，步骤A3中的线性加权组合预测方法具体包括：利用所述预测参考块B_i的线性加权组合进行预测，其中所述预测参考块B_i对应的权值w_i是通过最小化B₀和B_i线性组合的二范数求得。

优选地，所述预测参考块B_i对应的权值w_i的计算公式为：

其中，B₀与B_i分别是所述当前编码块B₀和所述预测参考块B_i内的像素值构成的向量，通过对数障碍法或CVX法求解式(1)得到所述当前编码块的预测值B₀′：

B₀′＝∑B_iw_i (2)。

优选地，步骤A3中的线性加权组合预测方法还包括通过熵编码方式对权值w_i的编码。

优选地，步骤A3中的单一直接预测方法，是依据式(3)得到预测值B₀′：

B₀′＝B_i (3)。

优选地，步骤A4具体包括：分别计算步骤A3中不同模式下预测值B₀′和当前编码块B₀的实际值的残差，对不同模式下的模式号进行编码，通过率失真模型自适应选择最优的编码预测方法，进行光场图像的压缩。

与现有技术相比，本发明的有益效果在于：本发明的基于宏像素块自适应预测的光场图像压缩方法，首先利用重新排布的规则化光场图像，通过当前编码块周围邻域内预测参考块的选取，以线性加权组合预测方法和单一直接预测方法完成编码块的预测，最后自适应选择最佳模式后进行光场图像的压缩，有效地避免了传统方法中空域相邻宏像素间的相关性未能充分利用的缺陷，充分利用光场数据中彼此相邻宏像素具有相似的光场信息，实现对当前编码块的准确预测，有效地降低空域内的冗余信息，进而实现编码效率的有效提升，使得光场编码技术大受裨益。

在进一步的方案中，步骤A1中通过对原始光场图像中的宏像素块进行坐标变换和非有效像素点插值，实现了光场数据的重新排布，从而搭建所有宏像素块的中心点在横向和纵向上都正交对齐的编码友好的数据处理模型。进一步地，步骤A3中的线性加权组合预测方法利用当前编码块领域的预测参考块实现线性组合精准预测，并且进行权值编码；单一直接预测方法利用单一预测参考块完成当前编码块的直接预测，两种模式达到相互均衡和相互补充。更进一步地，在步骤A4中，通过计算不同模式下预测值和实际值的残差，对不同预测模式下的模式号进行编码，结合权值编码，通过率失真模型自适应选择最优的编码预测模式，实现了对当前编码块的更加准确的预测。

附图说明

图1是本发明优选实施例的光场图像压缩方法的流程示意图；

图2a是本发明优选实施例的原始光场图像的示意图；

图2b是本发明优选实施例的规则化光场图像的示意图；

图3a是本发明优选实施例的选择预测参考块的示例一；

图3b是本发明优选实施例的选择预测参考块的示例二；

图3c是本发明优选实施例的选择预测参考块的示例三；

图3d是本发明优选实施例的选择预测参考块的示例四。

具体实施方式

下面对照附图并结合优选的实施方式对本发明作进一步说明。

如图1所示，本发明的光场图像压缩方法是基于宏像素块自适应预测的，包括以下步骤：

A1：输入一幅原始光场图像f(x,y)，对原始光场图像f(x,y)中的宏像素块进行坐标变换和无效像素点插值，得到规则化光场图像L(x,y)；具体地：

输入的原始光场图像f(x,y)为通过光场相机(如Lytro Illum)采集所得经过一系列前期处理后生成的正交排列的微透镜阵列图像，如图2a所示，该图像由一系列正交的宏像素组成。图像中每个宏像素对应实际场景中的一点，它能够同时记录光线的位置信息和角度信息，为场景重建提供可能。根据像素检测，得到图像中的宏像素在其水平垂直方向上排布的像素距离，以包含单个完整宏像素的n×n正方形块为单位(其中n的大小和编码器中编码块尺寸一致)，通过纵向和横向的空间坐标变换，使得彼此交叠的包含一个宏像素的n×n正方形块彼此分离且均匀排布，对于变换后生成的无效像素点利用最临近元法、双线性内插法等进行插值，最终生成所有宏像素的中心点在横向和纵向上都正交对齐的规则化光场图像L(x,y)，如图2b所示。

A2：将规则化光场图像L(x,y)输入至视频编码器，依据当前编码块B₀的位置及大小选择邻域内的预测参考块B_i，具体地：

将规则化光场图像L(x,y)输入至已嵌入宏像素块自适应预测模式的视频编码器中，对规则化图像L(x,y)中的当前编码块B₀周围邻域内预测参考块B_i(1≤i≤4)进行选取，根据编码器当前编码块所在宏像素中位置及其大小m×m(以HEVC为例，m的取值为4、8、16、32和64)的不同，预测参考块的选取原则也有所不同。

当m≥n时，即编码块尺寸大于宏像素块尺寸，预测参考块B_i为位于当前编码块B₀的左、左上、上和右上相邻的四个正方形块，该正方形块包含单一或多个宏像素，如图3a的示例一和图3b的示例二。

当m＜n时，即编码块尺寸小于宏像素块尺寸，预测参考块B_i为位于当前编码块B₀的左、左上、上和右上的相邻宏像素块中与当前编码块在其所在宏像素块中具有相同位置的正方形块，该正方形块为部分宏像素,如图3c的示例三和图3d的示例四；若其中部分预测参考块不可用，选取其中可用块，其中i代表可用预测块的个数。

A3：基于当前编码块B₀和预测参考块B_i，通过两类方法分别得到当前编码块B₀的预测值B₀′，一类利用预测参考块B_i的线性加权组合预测，对应的权值w_i则基于最小化B₀和B_i线性组合的二范数进行求取，完成权值编码，另一类利用不同位置的B_i实现B₀的单一直接预测，具体地：

采用宏像素块自适应预测方法实现对当前编码块的的预测。预测方法可以分为两大类：

一类为线性加权组合方法，该方法中，预测值B₀′的获取通过预测参考块B_i的线性加权组合所得，权值w_i的求解基于最小化B₀与B_i线性加权组合之间的欧式距离，利用当前编码块和预测参考块内的像素值分别构成向量B₀与B_i，B_i对应的权值为w_i，其计算方法如下：

subject to∑w_i＝1

w_i≥0

上式的求解可利用对数障碍法、CVX等方法，进而得到当前编码块的预测值B₀′:

B₀′＝∑B_iw_i。

对于权值w_i的编码，采用类似于视频编码中对亮度分量帧内预测模式号的熵编码方式，首先将权值量化至0到N的整数区间，构建三个常用权值数据集，对属于该集合内的权值，利用集合中代码号进行CABAC编码；对不属于该集合的权值，直接进行算数编码。

另一类为单一直接预测方法，当前编码块的单一直接预测方法中，依据下式得到预测值B₀′:

B₀′＝B_i。

A4：计算不同模式下预测值B₀′和当前编码块B₀的实际值的残差，对不同预测模式下的模式号编码，结合权值编码，通过率失真模型自适应选择最优的编码预测模式，进而完成光场图像的压缩，具体地：

对于不同预测方法下获得的预测值B₀′，首先计算预测值B₀′与编码块B₀的残差，赋予两类预测方法中不同预测模式以新的模式号，对该模式号进行编码，其编码方法与编码器自身帧内模式号的编码方式一致，进而利用编码器自身的率失真模型，同编码器已有的帧内预测模式一起，选择出最优预测方法，进而完成光场图像的压缩。

本发明优选实施例的光场图像压缩方式是基于宏像素块自适应预测的，首先通过对原始光场图像中的宏像素块进行坐标变换和非有效像素点插值，实现了光场数据的重新排布，从而搭建所有宏像素块的中心点在横向和纵向上都正交对齐的编码友好的数据处理模型；然后基于规则化的光场数据，并选取当前编码块周围邻域内的预测参考块，在此基础上提出基于宏像素自适应帧内预测模式，该模式下分别通过线性加权组合和单一直接预测两种方法，其中线性加权组合预测方法利用当前编码块领域的预测参考块实现线性组合精准预测，并且进行权值编码；单一直接预测方法利用单一预测参考块完成当前编码块的直接预测，两种模式达到完好的相互均衡和相互补充；最后通过计算不同模式下预测值和实际值的残差，对不同预测模式下的模式号进行编码，结合权值编码，通过率失真模型自适应选择最优的编码预测模式，实现当前编码块的精准预测，有效地避免了传统方法中空域相邻宏像素间的相关性未能充分利用的缺陷，充分利用光场数据中彼此相邻宏像素具有相似的光场信息，有效地降低空域内的冗余信息，进而实现编码效率的有效提升，使得光场编码技术大受裨益。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于宏像素块自适应预测的光场图像压缩方法，其特征在于，包括以下步骤：

A1：输入原始光场图像f(x,y)，对所述原始光场图像f(x,y)中的宏像素块进行处理得到规则化光场图像L(x,y)；

A2：将所述规则化光场图像L(x,y)输入至视频编码器，依据当前编码块B₀的位置及大小选择邻域内的预测参考块B_i；

A3：基于所述当前编码块B₀和所述预测参考块B_i，分别通过线性加权组合预测方法和单一直接预测方法得到所述当前编码块B₀的预测值B′₀；

A4：从步骤A3中选择最优的编码预测方法，进行光场图像的压缩。

2.根据权利要求1所述的光场图像压缩方法，其特征在于，步骤A1中具体还包括：是通过对所述原始光场图像f(x,y)中的宏像素块进行坐标变换和无效像素点插值，得到所述规则化光场图像L(x,y)。

3.根据权利要求1所述的光场图像压缩方法，其特征在于，步骤A1中输入的所述原始光场图像f(x,y)是通过光场相机采集后经过前期处理生成的正交排列的微透镜阵列图像，得到的所述规则化光场图像L(x,y)中的所有宏像素块的中心点在横向和纵向上都正交对齐。

4.根据权利要求1所述的光场图像压缩方法，其特征在于，其中1≤i≤4。

5.根据权利要求4所述的光场图像压缩方法，其特征在于，步骤A2具体包括：

比较所述视频编码器的当前编码块的大小与所述规则化光场图像L(x,y)的宏像素块的大小；

如果所述当前编码块的大小大于或等于所述宏像素块，则所述预测参考块B_i是位于当前编码块B₀的左、左上、上和右上相邻的四个正方形块，该正方形块包含一个或多个宏像素块；

如果所述当前编码块的大小小于所述宏像素块，则所述预测参考块B_i是位于当前编码块B₀的左、左上、上和右上相邻的四个宏像素块中与所述当前编码块在其所在的宏像素块中具有相同位置的正方形块，该正方形块为部分宏像素块。

6.根据权利要求1所述的光场图像压缩方法，其特征在于，步骤A3中的线性加权组合预测方法具体包括：利用所述预测参考块B_i的线性加权组合进行预测，其中所述预测参考块B_i对应的权值w_i是通过最小化B₀和B_i线性组合的二范数求得。

7.根据权利要求6所述的光场图像压缩方法，其特征在于，所述预测参考块B_i对应的权值w_i的计算公式为：

其中，B₀与B_i分别是所述当前编码块B₀和所述预测参考块B_i内的像素值构成的向量，通过对数障碍法或CVX法求解式(1)得到所述当前编码块的预测值B′₀：

B′₀＝∑B_iw_i (2)。

8.根据权利要求6或7所述的光场图像压缩方法，其特征在于，步骤A3中的线性加权组合预测方法还包括通过熵编码方式对权值w_i的编码。

9.根据权利要求1所述的光场图像压缩方法，其特征在于，步骤A3中的单一直接预测方法，是依据式(3)得到预测值B′₀：

B′₀＝B_i (3)。

10.根据权利要求1所述的光场图像压缩方法，其特征在于，步骤A4具体包括：分别计算步骤A3中不同模式下预测值B′₀和当前编码块B₀的实际值的残差，对不同模式下的模式号进行编码，通过率失真模型自适应选择最优的编码预测方法，进行光场图像的压缩。