CN106961605A - 一种基于宏像素边界匹配的光场图像压缩方法 - Google Patents

Abstract

本发明公开了一种基于宏像素边界匹配的光场图像压缩方法，包括：输入原始光场图像f(x,y)，对原始光场图像f(x,y)的宏像素块进行重新排布，得到规则化光场图像L(x,y)；将规则化光场图像L(x,y)输入至视频编码器，依据当前编码块B₀的位置及大小选择邻域内的预测参考块B_i，选取当前编码块B₀之外的边界像素P₀和预测参考块B_i之外的边界像素P_i，设定预测参考块B_i之外的边界像素P_i的相应权值w_i；根据权值w_i,通过预测参考块B_i的线性加权组合得到当前编码块的预测值B′₀；根据当前编码块的预测值B′₀和当前编码块B₀的实际值，选择最优的编码预测方法，进行光场图像的压缩。本发明有效地降低空域内的冗余信息，有效地提升编码效率。

Description

一种基于宏像素边界匹配的光场图像压缩方法

技术领域

本发明涉及计算机视觉与数字图像处理领域，尤其涉及一种基于宏像素边界匹配的光场图像压缩方法。

背景技术

近年来，光场相机所捕获的光场图像在立体显示、三维重建、虚拟现实等计算机视觉领域引发了人们的广泛关注。光场图像在记录了光线角度和位置信息的同时，也具有超高分辨率和特殊的像素分布，这使得相对于传统相机采集的图像，光场数据量急剧增大。数据量的激增给光场图像的存储和传输带来了巨大压力，对现有解码算法和编解码软硬件架构提出了巨大挑战，也将制约了光场相机的发展和应用。因此，研究针对光场数据的编码技术，寻找针对光场数据高效的压缩方法成为由平面多媒体迈向立体影像时代急需且必须解决的核心技术。

目前已有的针对光场图像利用帧内预测技术的直接压缩方法中有三类：第一类是分别使用如JPEG、JPEG2000等图像编码器直接进行光场图像压缩，该方案虽然相对较低的计算复杂度，但是能够获得压缩率十分有限；第二类则基于视差补偿的帧内编码算法，利用光场数据中微透镜图像间的视差关系，通过中心微透镜图像和视差集实现编解码，该方案相对较好的利用微透镜图像之间的相关性，但是会带来额外的码率开销和解码端的压力；第三类则为帧内搜索预测，引入的矢量帧内预测、自身相似性预测和HEVC针对屏幕内容提出的帧内块复制模式(Intra Block Copy)都利用该原理，通过帧内搜索寻找相似的匹配块，并建立相应的向量，通过线性或者非线性关系完成当前编码块的预测和补偿，更能有效地利用光场数据中微透镜图像之间的相似性，获得不错的压缩效率，但是帧内搜索的过程将带来计算复杂度的急剧增长，同时表征搜索向量也将带来而外的码率开销。目前利用帧内预测进行光场图像的直接压缩方法中，统一存在的缺陷就是由于图像中宏像素结构和编码器架构不匹配导致宏像素间的相关性未能充分利用，进而影响了编码效率。

以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

为解决上述技术问题，本发明提出一种基于宏像素边界匹配的光场图像压缩方法，充分利用光场图像中空域内彼此相邻宏像素具有相似的光强排布的特点，有效地降低空域内的冗余信息，进而实现编码效率的有效提升。

为达到上述目的，本发明采用以下技术方案：

本发明公开了一种基于宏像素边界匹配的光场图像压缩方法，包括以下步骤：

A1：输入原始光场图像f(x,y)，对所述原始光场图像f(x,y)的宏像素块进行重新排布，得到规则化光场图像L(x,y)；

A2：将所述规则化光场图像L(x,y)输入至视频编码器，依据当前编码块B₀的位置及大小选择邻域内的预测参考块B_i，选取所述当前编码块B₀之外的边界像素P₀和所述预测参考块B_i之外的边界像素P_i，设定所述预测参考块B_i之外的边界像素P_i的相应权值w_i；

A3：根据所述权值w_i,通过预测参考块B_i的线性加权组合得到当前编码块的预测值B′₀；

A4：根据当前编码块的预测值B′₀和当前编码块B₀的实际值，选择最优的编码预测方法，进行光场图像的压缩。

优选地，步骤A1中具体还包括：是基于光场相机的参数实现对所述原始光场图像f(x,y)的宏像素块进行重新排布，得到所述规则化光场图像L(x,y)。

优选地，步骤A1中输入的所述原始光场图像f(x,y)是通过光场相机采集后经过前期处理生成的正交排列的微透镜阵列图像，得到的所述规则化光场图像L(x,y)中的所有宏像素块的中心点在横向和纵向上都正交对齐。

优选地，其中1≤i≤4。

优选地，步骤A2中依据当前编码块B₀的位置及大小选择邻域内的预测参考块B_i的步骤具体包括：

比较所述视频编码器的当前编码块的大小与所述规则化光场图像L(x,y)的宏像素块的大小；

如果所述当前编码块的大小大于或等于所述宏像素块，则所述预测参考块B_i是位于当前编码块B₀的左、左上、上和右上相邻的四个正方形块，该正方形块包含一个或多个宏像素块；

如果所述当前编码块的大小小于所述宏像素块，则所述预测参考块B_i是位于当前编码块B₀的左、左上、上和右上相邻的四个宏像素块中与所述当前编码块在其所在的宏像素块中具有相同位置的正方形块，该正方形块为部分宏像素块。

优选地，步骤A2中所述当前编码块B₀之外的边界像素P₀是指所述当前编码块B₀的上部的外边界像素，所述预测参考块B_i之外的边界像素P_i是指所述预测参考块B_i的上部的外边界像素。

优选地，步骤A2中设定所述预测参考块B_i之外的边界像素P_i的相应权值w_i的步骤是通过最小化P₀与P_i的线性加权组合之间的欧式距离，具体为：

其中，P₀和P_i分别是所述当前编码块B₀之外的边界像素P₀和所述预测参考块B_i之外的边界像素P_i构成的向量。

优选地，通过对数障碍法或CVX法求解式(1)得到权值w_i。

优选地，步骤A3中的当前编码块的预测值B′₀的计算式为：

B′₀＝∑B_iw_i (2)。

优选地，步骤A4具体包括：计算当前编码块的预测值B′₀和当前编码块B₀的实际值的残差，并进行帧内预测模式号编码，通过所述视频编码器自身的率失真模型，选择出最优的编码预测方法，进行光场图像的压缩。

与现有技术相比，本发明的有益效果在于：本发明的基于宏像素边界匹配的光场图像压缩方法，首先利用重新排布的规则化光场图像，然后通过边界像素匹配完成宏像素块的线性权值预测，最后选择最佳模式后进行光场图像的压缩，充分利用光场图像中空域内彼此相邻宏像素具有相似的光强排布的特点，有效地降低空域内的冗余信息，进而实现编码效率的有效提升。

在进一步的方案中，步骤A1中基于光场数据中微透镜阵列图像的光强和几何排布特点的分析，利用光场相机的光学参数来实现光场图像的重新排布和规则化，从而搭建所有宏像素块的中心点在横向和纵向上都正交对齐的编码友好的数据处理模型。进一步地，步骤A2中基于规则化的光场数据，利用宏像素之间的相关性，选取邻域内的宏像素块实现当前编码块的帧内线性预测，从而降低空域的冗余信息。并且，线性预测权值的选取基于最小化边界像素的欧式距离，有效地避免了权值编码的引入，充分减小码率开销。更进一步地，将该帧内预测编码方案与当前编码器基于块的混合编码架构友好兼容，充分地利用了宏像素之间相似的光强排布关系，避免了因帧内搜索中运动向量所带来的码率增长，同时避免了在编解码两端引入较大的计算复杂度，提高了压缩效率，使得光场图像研究领域和光场相机的市场化广泛受益。

附图说明

图1是本发明优选实施例的光场图像压缩方法的流程示意图；

图2a是本发明优选实施例的原始光场图像的示意图；

图2b是本发明优选实施例的规则化光场图像的示意图；

图3a是本发明优选实施例的选择预测参考块的示例一；

图3b是本发明优选实施例的选择预测参考块的示例二；

图3c是本发明优选实施例的选择预测参考块的示例三；

图3d是本发明优选实施例的选择预测参考块的示例四；

图4是本发明优选实施例的选择外界像素的示意图。

具体实施方式

下面对照附图并结合优选的实施方式对本发明作进一步说明。

如图1所示，本发明优选实施例公开了一种基于宏像素边界匹配的光场图像压缩方法，包括以下步骤：

A1：输入一幅原始光场图像f(x,y)，基于光场相机参数实现对f(x,y)的重新排布，得到规则化光场图像L(x,y)；具体地：

输入的原始光场图像f(x,y)为通过光场相机(如Lytro Illum)采集所得经过一系列前期处理后生成的正交排列的微透镜阵列图像，如图2a，该图像由一系列正交的宏像素组成。以光场相机LytroIllmu所采集光场图像为例，图像中每个宏像素对应实际场景中的一点，它能够同时记录光线的位置信息和角度信息。依据光场相机的光学参数，可知单个宏像素的水平h/垂直像素距离v、边界不完整宏像素的空间偏置等，以包含单个完整宏像素的n×n正方形块为单位，通过纵向和横向空间坐标变换，使得彼此交叠的包含一个宏像素的n×n正方形块彼此分离且均匀排布，生成规则化光场图像L(x,y)，即规则化的微透镜阵列图像如图2b中所示，其中多个宏像素的中心点在横向和纵向上都正交对齐。

A2：选取规则化光场图像L(x,y)中的当前编码块B₀之外的边界像素P₀，及其邻域内预测参考块B_i(1≤i≤4)之外的边界像素P_i，通过最小化P₀与P_i线性加权组合之间的欧式距离，得到相应的权值w_i；具体地：

将规则化光场图像L(x,y)输入到视频编码器中，该编码器已经嵌入了提出的基于宏像素块边界匹配的帧内预测模式。在该模式下，首先根据编码器当前编码块的所在位置及其大小m×m选取预测参考块，其中m不同(以HEVC为例，m的取值为4、8、16、32和64)，预测参考块的选取原则也有所不同。

当m≥n时，预测参考块B_i为位于当前编码块B₀的左、左上、上和右上相邻的四个正方形块，该正方形块包含一个或多个宏像素，如图3a的示例一和图3b的示例二。

当m＜n时，预测参考块B_i为位于当前编码块B₀的左、左上、上和右上的相邻宏像素块中与当前编码块在其所在宏像素块中具有相同位置的正方形块，该正方形块为部分宏像素,如图3c的示例三和图3d的示例四。若其中有预测参考块不可用，选取其中可用块，其中i代表可用预测参考块的个数。

选择当前编码块B₀左侧和上部的外边界像素P₀,选择四个预测参考块B_i左侧和上部的外边界像素P_i，如图4所示。

进而，最小化P₀与P_i线性加权组合之间的欧式距离，求取P_i对应权值w_i。由当前编码块B₀和预测参考块B_i的外边界像素构成的向量P₀与P_i，P_i对应的权值为w_i，其计算方法如下：

subject to∑w_i＝1

w_i≥0

上式的求解可利用对数障碍法、CVX等方法，但不局限于这些方法。

A3：利用所得权值w_i,通过预测参考块B_i的线性加权组合得到当前编码块的预测值B′₀；

利用上述A2步骤获取的权值w_i，进行当前编码块的预测，依据下式w_i对应的预测参考块B_i的线性加权求和，得到：

B′₀＝∑B_iw_i

其中B′₀为预测值。

A4：计算B′₀与B₀之间残差和进行该帧内预测模式号编码，进而利用编码器自身的率失真模型进行最优模式选择，完成光场图像的压缩。

计算预测值B′₀与当前编码块B₀的残差，同时赋予该基于宏像素边界匹配的帧内预测方法以新的模式号，利用编码器对自身帧内预测预测模式号的编码方式对该模式号进行编码，进而利用编码器自身的率失真模型，同编码器已有的帧内预测模式一起，选择出最优的帧内编码方法，从而完成光场图像的压缩。

本发明的基于宏像素边界匹配的光场图像压缩方法，首先针对输入的光场图像中宏像素交叠排布的规律特点，利用光场相机的光学参数如宏像素水平垂直的像素距离、空间偏置等，利用坐标变换实现光场图像的重新排布和规则化；然后基于规则化的光场数据，利用宏像素之间的相关性，选取邻域内的宏像素块实现当前编码块的帧内线性预测，降低空域的冗余信息；其中，线性预测权值的选取基于最小化边界像素的欧式距离，有效地避免了权值编码的引入，充分减小码率开销；最后将该帧内预测编码方案与当前编码器基于块的混合编码架构友好兼容，充分地利用了宏像素之间相似的光强排布关系，避免了因帧内搜索中运动向量所带来的码率增长，同时避免了在编解码两端引入较大的计算复杂度，提高了压缩效率，使得光场图像研究领域和光场相机的市场化广泛受益。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于宏像素边界匹配的光场图像压缩方法，其特征在于，包括以下步骤：

A1：输入原始光场图像f(x,y)，对所述原始光场图像f(x,y)的宏像素块进行重新排布，得到规则化光场图像L(x,y)；

A2：将所述规则化光场图像L(x,y)输入至视频编码器，依据当前编码块B₀的位置及大小选择邻域内的预测参考块B_i，选取所述当前编码块B₀之外的边界像素P₀和所述预测参考块B_i之外的边界像素P_i，设定所述预测参考块B_i之外的边界像素P_i的相应权值w_i；

A3：根据所述权值w_i,通过预测参考块B_i的线性加权组合得到当前编码块的预测值B₀′；

A4：根据当前编码块的预测值B₀′和当前编码块B₀的实际值，选择最优的编码预测方法，进行光场图像的压缩。

2.根据权利要求1所述的光场图像压缩方法，其特征在于，步骤A1中具体还包括：是基于光场相机的参数实现对所述原始光场图像f(x,y)的宏像素块进行重新排布，得到所述规则化光场图像L(x,y)。

3.根据权利要求1所述的光场图像压缩方法，其特征在于，步骤A1中输入的所述原始光场图像f(x,y)是通过光场相机采集后经过前期处理生成的正交排列的微透镜阵列图像，得到的所述规则化光场图像L(x,y)中的所有宏像素块的中心点在横向和纵向上都正交对齐。

4.根据权利要求1所述的光场图像压缩方法，其特征在于，其中1≤i≤4。

5.根据权利要求4所述的光场图像压缩方法，其特征在于，步骤A2中依据当前编码块B₀的位置及大小选择邻域内的预测参考块B_i的步骤具体包括：

比较所述视频编码器的当前编码块的大小与所述规则化光场图像L(x,y)的宏像素块的大小；

如果所述当前编码块的大小大于或等于所述宏像素块，则所述预测参考块B_i是位于当前编码块B₀的左、左上、上和右上相邻的四个正方形块，该正方形块包含一个或多个宏像素块；

如果所述当前编码块的大小小于所述宏像素块，则所述预测参考块B_i是位于当前编码块B₀的左、左上、上和右上相邻的四个宏像素块中与所述当前编码块在其所在的宏像素块中具有相同位置的正方形块，该正方形块为部分宏像素块。

6.根据权利要求1所述的光场图像压缩方法，其特征在于，步骤A2中所述当前编码块B₀之外的边界像素P₀是指所述当前编码块B₀的上部的外边界像素，所述预测参考块B_i之外的边界像素P_i是指所述预测参考块B_i的上部的外边界像素。

7.根据权利要求1所述的光场图像压缩方法，其特征在于，步骤A2中设定所述预测参考块B_i之外的边界像素P_i的相应权值w_i的步骤是通过最小化P₀与P_i的线性加权组合之间的欧式距离，具体为：

$\begin{array}{cc}\min imize& \left|\right|{\mathrm{\ΣP}}_i{w}_i-P_0|{|}_2^2\\ subjectto& {\mathrm{\Σw}}_i=1\\ & w_i\≥0\end{array}---\left(1\right)$

其中，P₀和P_i分别是所述当前编码块B₀之外的边界像素P₀和所述预测参考块B_i之外的边界像素P_i构成的向量。

8.根据权利要求7所述的光场图像压缩方法，其特征在于，通过对数障碍法或CVX法求解式(1)得到权值w_i。

9.根据权利要求1所述的光场图像压缩方法，其特征在于，步骤A3中的当前编码块的预测值B₀′的计算式为：

B₀′＝∑B_iw_i (2)。

10.根据权利要求1所述的光场图像压缩方法，其特征在于，步骤A4具体包括：计算当前编码块的预测值B₀′和当前编码块B₀的实际值的残差，并进行帧内预测模式号编码，通过所述视频编码器自身的率失真模型，选择出最优的编码预测方法，进行光场图像的压缩。