CN106254719A

CN106254719A - 一种光场图像压缩方法

Info

Publication number: CN106254719A
Application number: CN201610592362.3A
Authority: CN
Inventors: 金欣; 韩海旭; 戴琼海
Original assignee: Shenzhen Graduate School Tsinghua University
Current assignee: Shenzhen Graduate School Tsinghua University
Priority date: 2016-07-25
Filing date: 2016-07-25
Publication date: 2016-12-21
Anticipated expiration: 2036-07-25
Also published as: CN106254719B

Abstract

本发明公开了一种光场图像压缩方法，包括：输入原始光场图像f(x,y)，进行前期数据处理，生成正交排列的微透镜阵列图像L(x,y)；对微透镜阵列图像L(x,y)进行线性变换，使得多个相互交叠的宏像素模块彼此分离且均匀排布，构成规则化光场图像L_t(x,y)；对规则化光场图像L_t(x,y)中的待插值像素点进行插值；根据编码器格式需求对规则化光场图像L_t(x,y)进行图像或色度空间处理，利用编码器对进行图像或色度空间处理后的规则化光场图像L_t(x,y)进行编解码得到压缩解码图像，对压缩解码图像进行图像或色度空间逆处理，并进行反线性变换，生成与微透镜阵列图像L(x,y)相同结构的重建图像L'(x,y)。本发明提出的基于线性变换和插值的光场图像压缩方法，避免引入较大的计算复杂度，有效提高了编码效率。

Description

一种光场图像压缩方法

技术领域

本发明涉及计算机视觉与数字图像处理技术领域，尤其涉及一种光场图像压缩方法。

背景技术

伴随着消费级手持式光场相机的问世，其先拍照后聚焦的功能引起了广泛关注。与传统相机图片不同，光场相机因其独特的光学结构能够同时记录光强信息和光线角度信息，光场图像的分辨率也因此巨大增加，使得光场图像的数据量急剧膨胀。随着移动终端设备的大量使用和对实时数据传输的巨大需求，如此庞大的数据量势必给光场数据的存储和传输带来巨大的压力，也将制约手持式光场相机的广泛应用。因此，针对光场图像的数据特点，提出一种高效压缩方法势在必行。

针对光场图像的压缩，当前的压缩方案可以大致分为两类：基于图像的压缩方法和基于视频的压缩方法。基于图像的压缩方法是利用现有的压缩工具如JPEG和JPEG2000，直接对光场图像进行压缩；该方案不可避免地给压缩图像带引入基于块的压缩分块赝像，同时光场图像中宏像素的相对关系也未能被有效利用。基于视频的压缩方案是指从原始光场数据中提取出一系列子光圈图像，基于现有的视频编码器如H.265或HEVC，对由子光圈图像生成的视频序列进行压缩，该方案虽然有效的提升了编码效率，但是计算复杂度也极大增加，影响了编码的实时性。在这两类压缩方案的基础上，分层表示、压缩感知等算法也被引入到压缩方案中来，这些算法的引入要么需要改变原有相机的光学架构，要么为解码端带来巨大的复杂度。

发明内容

为解决上述技术问题，本发明提出一种基于线性变换和插值的光场图像压缩方法，避免引入较大的计算复杂度，有效提高了编码效率。

为了达到上述目的，本发明采用以下技术方案：

本发明公开了一种光场图像压缩方法，包括以下步骤：

A1：输入原始光场图像f(x,y)，对所述原始光场图像f(x,y)进行前期数据处理，生成正交排列的微透镜阵列图像L(x,y)；

A2：对所述微透镜阵列图像L(x,y)进行线性变换，使得多个相互交叠的宏像素模块彼此分离且均匀排布，构成规则化光场图像L_t(x,y)，其中所述宏像素模块是仅包含一个宏像素的n×n正方形子块；

A3：对所述规则化光场图像L_t(x,y)中的待插值像素点进行插值；

A4：根据编码器格式需求对所述规则化光场图像L_t(x,y)进行图像或色度空间处理，利用编码器对进行图像或色度空间处理后的所述规则化光场图像L_t(x,y)进行编解码得到压缩解码图像，对所述压缩解码图像进行图像或色度空间逆处理，并进行反线性变换，生成与所述微透镜阵列图像L(x,y)相同结构的重建图像L'(x,y)。

优选地，步骤A1具体包括：输入原始光场图像f(x,y)，对所述原始光场图像f(x,y)进行Bayer格式解码、去渐晕效果、微透镜中心标定和从六边形格点向正交格点矫正的一系列前期数据处理，生成正交排列的微透镜阵列图像L(x,y)。

优选地，步骤A2中具体还包括：对所述微透镜阵列图像L(x,y)进行线性变换后，所述微透镜阵列图像L(x,y)中的多个所述宏像素的中心点在横向和纵向上都正交对齐。

优选地，步骤A2中对所述微透镜阵列图像L(x,y)进行线性变换具体包括以下步骤：

A21：根据式(1)对所述微透镜阵列图像L(x,y)进行纵向的线性变换，使得每个所述宏像素模块相互交叠部分在纵向实现分离；

其中，m为每个所述宏像素的纵向像素点距离，x₀为空域水平方向的初始偏置，y₀为空域垂直方向的初始偏置；

A22：根据式(1)对所述微透镜阵列图像L(x,y)进行纵向的线性变换后，每个所述宏像素的边界上会有S个像素点未被移动，根据式(2)将S个像素点移回到原所述宏像素所在的位置；

\begin{matrix} L_{t} (i + p n + x_{0}, q n + y_{0}) = L_{t} (i + p n + x_{0}, q n + y_{0} + 2) \\ i = 1, 2, ... S \\ p = 1, 2, ..., (W / n) \\ q = 1, 2, ..., (H / n) \end{matrix} - - - (2)

其中，W为L_t(x,y)的宽，H为L_t(x,y)的高；

A23：根据式(3)将多个所述宏像素的中心点纵向对齐，构成所述规则化光场图像L_t(x,y)。

\begin{matrix} L_{t} (x, y) = L_{t} (x + \frac{n \times s i g n (y)}{2}, y) \\ = s i g n (y) \{\begin{matrix} 0 & q n < y \leq (q + 1) n, q = 2 i - 1 \\ 1 & (q + 1) n < y \leq (q + 2) n, q = 2 i \end{matrix}, i = 1, 2, ... (H / m) \end{matrix} - - - (3)

优选地，步骤A3中所述待插值像素点是指除了能捕捉到有效光场信息的所述宏像素点之外的其他外围像素点。

优选地，步骤A3中所述插值步骤是根据所述待插值像素点的自身所处位置和周围可利用像素点进行的。

优选地，步骤A3具体包括：

A31：根据式(4)计算待插值的像素点(x,y)的横向的边界检测因子H_detector和纵向的边界检测因子V_detector；

\begin{matrix} H_{\det e c t o r} = \frac{L_{t} (x - h_{l}, y) - L_{t} (x + h_{r}, y)}{h_{l} + h_{r}} \\ V_{\det e c t o r} = \frac{L_{t} (x, y - v_{u}) - L_{t} (x, y + v_{d})}{v_{u} + v_{d}} \end{matrix} - - - (4)

其中，h_l为水平方向上所述待插值像素点和左侧最近可利用像素点的距离，h_r为水平方向上所述待插值像素点和右侧最近可利用像素点的距离，v_u为垂直方向上所述待插值像素点和上方最近可利用像素点的距离，v_d为垂直方向上待所述插值像素点和下方最近可利用像素点的距离；

A32：根据式(5)计算待插值像素点(x,y)的像素值；

L_t(x,y)＝w_v(L_t(x,y+v_d)+v_d×V_detector)+w_h(L_t(x+h_r,y)+h_r×H_detector) (5)

其中，w_v为水平方向的权值，w_h为垂直方向的权值，其中w_v和w_h的大小根据H_detector和V_detector进行优化。

优选地，其中当H_detector≥V_detector时，w_v≥w_h；当H_detector＜V_detector时，w_v＜w_h。

优选地，步骤A4中对所述规则化光场图像L_t(x,y)进行的图像或色度空间处理具体包括颜色空间转换和下采样；对所述压缩解码图像进行的图像或色度空间逆处理具体包括颜色空间反转换和上采样。

优选地，步骤A4中对所述规则化光场图像L_t(x,y)进行颜色空间转换和下采样具体为从RGB转换为YCbCr 4:2:0、YCbCr 4:2:2、YCbCr 4:1:1或YCbCr 4:4:4。

与现有技术相比，本发明的有益效果在于：本发明的光场图像压缩方法，利用光场图像中具有相似结构的宏像素交叠排布的特点，在原始光场图像输入编码器进行压缩之前，对光场图像中的宏像素以块为单位进行重新划分和规则排布；其中重新划分和规则排布是将经过前期数据处理的光场图像中彼此交叠排布的宏像素，以与压缩技术的块大小相一致的仅包含一个宏像素的正方形子块为单位实现彼此分离并均匀排布；进行了重新划分和规则排布后，对规则化光场图像中的待插值像素点进行插值，并进行图像或色度处理后输入编码器，实现光场数据的有效压缩。该基于线性变换和图像插值的光场图像压缩方法，充分利用了光场图像中记录光线方向信息的相邻宏像素具有相似结构的特点，重新划分和规则排布的光场图像和当前编码器基于块的混合编码架构相匹配，实现光场数据的高效压缩，有效提高编码效率；且避免了在编解码两端引入较大的计算复杂度，使得光场图像研究领域和光场相机的市场化都将广泛受益。

在进一步的方案中，在进行线性变化过程中，使得多个宏像素的中心点横纵向正交对齐；另外在进行插值过程中，将除了每个宏像素中用于生成子光圈图像的有效像素点之外的其他像素点作为待插值像素点，插值的方法采用基于位置和梯度检测的自适应插值方法，使得利用具有基于块的混合式编码架构的编码器对该规则化光场图像进行压缩时的效率得到进一步提高。

附图说明

图1是本发明的一个实施例的光场图像压缩方法的流程示意图；

图2是本发明优选实施例的光场图像压缩方法的流程示意图；

图3a至图3f是本发明优选实施例的光场图像压缩方法的过程示意图。

具体实施方式

下面对照附图并结合优选的实施方式对本发明作进一步说明。

如图1所示，本发明的一个实施例提出一种光场图像压缩方法，包括以下步骤：

下述结合优选实施例对本发明的实施例的光场图像压缩方法进行进一步说明，需要注意的是，在下面的实施过程中所述的光场图像类型和插值方法都仅为列举说明，本发明所涵盖的范围不局限于所列举的这些方法。

如图2所示，本发明的优选实施例的光场图像压缩方法包括以下步骤：

A1：输入原始光场图像f(x,y)(如图3a所示为通过光场相机(如Lytro Illum)采集所得，数据格式为原始光场数据或RGB图像)，在对该原始光场图像f(x,y)经过Bayer格式解码、去渐晕效果、微透镜中心标定和从六边形格点向正交格点矫正等一系列前期数据处理后，生成如图3b所示的正交排列的微透镜阵列图像L(x,y)，该图像由一系列正交的宏像素组成。

以Lytro Illmu所采集图像为例，图像中每个宏像素对应实际场景中的一点，由于每个微透镜相对于相机的主透镜而言代表某角度上的子孔径，宏像素记录了其相应场景点通过整个微透镜阵列的角度信息，将各点的强度值与分布位置保留下来。

A2：对正交排列的微透镜阵列图像L(x,y)进行线性变换，实现相互交叠的仅包含一个宏像素的n×n正方形子块彼此分离且均匀排布，各个宏像素的中心点横纵方向对齐。n×n正方形子块大小的确定则依据仅包含一个完整宏像素并且与所采用的压缩技术的块大小相一致，同样以Lytro Illmu所采集图像为例，L(x,y)宏像素的大小为15×15，当采用HEVC编码器，该正方形子块大小则为16×16，即n＝16。

A21：首先对L(x,y)进行纵向的线性变换，实现包含每个宏像素的n×n正方形块交叠部分在纵向实现分离，依据公式如下：

L_t(x+x₀,y+y₀+2(n-m)k)＝L(x+x₀,y+y₀)

其中，m代表每个宏像素的纵向像素点距离，(x₀，y₀)为空域水平和垂直方向的初始偏置，即光场图像中左上角第一个非完整宏像素所占横向和纵向距离。

A22：如图3c所示，经过纵向线性变换后，每个宏像素的边界上会有S个像素点未被移动，根据下式：

L_t(i+pn+x₀,qn+y₀)＝L_t(i+pn+x₀,qn+y₀+2)

i＝1,2,…S

p＝1,2,…,(W/n)

q＝1,2,…,(H/n)

其中，W×H为L_t(x,y)的大小，即W和H分别为L_t(x,y)的宽和高。如图3d所示，S个像素点移回至其在原宏像素的所在位置，最终实现交替的宏像素模块(仅包含一个宏像素的n×n正方形子块)彼此纵向分离，但是图像中行与行之间的宏像素中心点彼此交错。

A23：依据下式实现宏像素中心点的纵向对齐，如图3e所示：

L_{t} (x, y) = L_{t} (x + \frac{n \times s i g n (y)}{2}, y)

s i g n (y) \{\begin{matrix} 0 & q n < y \leq (q + 1) n, q = 2 i - 1 \\ 1 & (q + 1) n < y \leq (q + 2) n, q = 2 i \end{matrix}, i = 1, 2, ... (H / m)

A3：对规则化光场图像L_t(x,y)中的待插值像素点进行插值；其中待插值像素点指除了能捕捉到有效光场信息的所述宏像素点之外的其他外围像素点；插值步骤是根据待插值像素点的自身所处位置和周围可利用像素点来进行。即：本发明具体实施例中，除捕捉到有效光场信息的宏像素点以外，正方形子块中其他无实际意义的像素点根据其位置和上下左右可利用像素值，提出一种自适应边界插值方法。

A31：首先计算待插值像素点(x,y)的横纵方向梯度，即横向的边界检测因子H_detector和纵向的边界检测因子V_detector，如图3f所示，依据下式：

H_{\det e c t o r} = \frac{L_{t} (x - h_{l}, y) - L_{t} (x + h_{r}, y)}{h_{l} + h_{r}}

V_{\det e c t o r} = \frac{L_{t} (x, y - v_{u}) - L_{t} (x, y + v_{d})}{v_{u} + v_{d}}

其中，v_u和v_d表示L_t(x,y)垂直方向上当前插值像素点和上下最近可利用像素点的距离，而h_l和h_r表示L_t(x,y)水平方向上当前插值像素点和左右最近可利用像素点的距离。

A32：进而计算待插值像素点(x,y)点的像素值：

L_t(x,y)＝w_v(L_t(x,y+v_d)+v_d×V_detector)+w_h(L_t(x+h_r,y)+h_r×H_detector)

其中，w_v和w_h表示水平和垂直方向的权值。根据H_detector和V_detector的大小对横纵方向不同的权值进行优化，实现自适应插值，保证宏像素模块之间的连续性和一致性。在更具体的实例中，可以根据当H_detector≥V_detector时，w_v≥w_h；当H_detector＜V_detector时，w_v＜w_h的关系来对w_v和w_h进行优化。

A4：重新划分和规则排布后的图像，依据编码器格式需求进行图像或色度空间处理，该处理过程进一步可以包括色度空间转换、下采样等；在具体的实例中，规则化光场图像L_t(x,y)进行颜色空间转换和下采样具体为从RGB转换为YCbCr 4:2:0、YCbCr 4:2:2、YCbCr 4:1:1或YCbCr 4:4:4。将处理所得图像输入至具有基于块的压缩技术的视频/图像编码器中，实现压缩。解码后的压缩解码图像经过诸如色度空间转换和上采样等图像或色度空间逆处理，进而利用与A2步骤相反的反线性变换生成与A1中微透镜阵列图像L(x,y)相同结构的重建图像L′(x,y)。

本发明的光场图像压缩方法，利用原始光场图像中相邻宏像素具有相似结构的特点，通过线性变换和图像插值，以涵盖每个宏像素的正方形子块为单位，实现对光场图像的重新划分和规则排布，进而对规则化的光场图像实现压缩；本发明的方法通过将光场图像的结构特点和当前编码器基于块的混合编码结构相匹配，从而实现编码效率的有效提升。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims

1.一种光场图像压缩方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的光场图像压缩方法，其特征在于，步骤A1具体包括：输入原始光场图像f(x,y)，对所述原始光场图像f(x,y)进行Bayer格式解码、去渐晕效果、微透镜中心标定和从六边形格点向正交格点矫正的一系列前期数据处理，生成正交排列的微透镜阵列图像L(x,y)。

3.根据权利要求1所述的光场图像压缩方法，其特征在于，步骤A2中具体还包括：对所述微透镜阵列图像L(x,y)进行线性变换后，所述微透镜阵列图像L(x,y)中的多个所述宏像素的中心点在横向和纵向上都正交对齐。

4.根据权利要求3所述的光场图像压缩方法，其特征在于，步骤A2中对所述微透镜阵列图像L(x,y)进行线性变换具体包括以下步骤：

\begin{matrix} L_{t} (i + pn + x_{0}, qn + y_{0}) = L_{t} (i + pn + x_{0}, qn + y_{0} + 2) \\ i = 1,2, \cdot \cdot \cdot S \\ p = 1,2, \cdot \cdot \cdot, (W / n) \\ q = 1,2, \cdot \cdot \cdot, (H / n) \end{matrix} - - - (2)

其中，W为L_t(x,y)的宽，H为L_t(x,y)的高；

\begin{matrix} L_{t} (x, y) = L_{t} (x + \frac{n \times s i g n (y)}{2}, y) \\ s i g n (y) = {\begin{matrix} 0 & q n < y \leq (q + 1) n, q = 2 i - 1 \\ 1 & (q + 1) n < y \leq (q + 2) n, q = 2 i \end{matrix}, i = 1, 2, ... (H / m) \end{matrix} - - - (3)

5.根据权利要求1所述的光场图像压缩方法，其特征在于，步骤A3中所述待插值像素点是指除了能捕捉到有效光场信息的所述宏像素点之外的其他外围像素点。

6.根据权利要求1所述的光场图像压缩方法，其特征在于，步骤A3中所述插值步骤是根据所述待插值像素点的自身所处位置和周围可利用像素点进行的。

7.根据权利要求1所述的光场图像压缩方法，其特征在于，步骤A3具体包括：

H_{\det e c t o r} = \frac{L_{t} (x - h_{l}, y) - L_{t} (x + h_{r}, y)}{h_{l} + h_{r}}

V_{\det e c t o r} = \frac{L_{t} (x, y - v_{u}) - L_{t} (x, y + v_{d})}{v_{u} + v_{d}} - - - (4)

A32：根据式(5)计算待插值像素点(x,y)的像素值；

8.根据权利要求7所述的光场图像压缩方法，其特征在于，其中当H_detector≥V_detector时，w_v≥w_h；当H_detector＜V_detector时，w_v＜w_h。

9.根据权利要求1至8任一项所述的光场图像压缩方法，其特征在于，步骤A4中对所述规则化光场图像L_t(x,y)进行的图像或色度空间处理具体包括颜色空间转换和下采样；对所述压缩解码图像进行的图像或色度空间逆处理具体包括颜色空间反转换和上采样。

10.根据权利要求9所述的光场图像压缩方法，其特征在于，步骤A4中对所述规则化光场图像L_t(x,y)进行颜色空间转换和下采样具体为从RGB转换为YCbCr 4:2:0、YCbCr 4:2:2、YCbCr 4:1:1或YCbCr 4:4:4。