CN108184064A - 一种视角图阵列划分方法 - Google Patents

Abstract

本发明公开了一种视角图阵列划分方法，包括：对光场图像进行分解，获得视角图阵列；利用ADP或SMP算法对视角图阵列进行参考视角图与重建视角图的划分，使得划分后的视角图阵列中的参考视角图比例及稀疏程度均低于预设目标。该方法可以使得参考视角图的比例更低、采样更为稀疏，从而降低总体的编解码复杂度。

Description

一种视角图阵列划分方法

技术领域

本发明涉及光场图像压缩技术领域，尤其涉及一种视角图阵列划分方法。

背景技术

光场相机可以记录空间场景中的光线强度和方向信息(即光场信息)。在光场相机内部，一个微透镜阵列被放置在CCD传感器前方，并位于主透镜的焦距附近。每个微透镜对应于一个像素块(即宏像素)，光场图像由N*M个宏像素组成，其中N和M分别为微透镜阵列的高和宽。若将每个微透镜视为小孔，则主透镜背面在每个宏像素上成倒立的像——即每个宏像素可视为对主透镜在特定方向上的一个采样。

将每个宏像素相同位置的像素点取出依次排列，可以得到2D视角图(或称子孔径图)。光场图像可以利用此方法分解为视角图阵列。显然，相同空间分辨率下，光场图像数据量要数百倍于传统2D图像(Lytro二代光场相机拍摄单幅YUV图像大小50M左右)，这是制约光场技术应用的一个重要因素。因此一套光场图像的高效压缩方案对于图像的存储传输是必须的。

目前(2017年)最高效的编码方式由中国科学技术大学的Zhao等人提出：首先将光场图像分解为视角图阵列，然后将之分为两个部分：参考视角图部分和重建视角图部分。对于前者，重新排列为图像序列，使用HEVC直接编码；对于后者，利用解码后的参考视角图进行重建。但在参考视角图、重建视角图两者划分上面，Zhao的方法仅仅考虑了棋盘格划分，而没有考虑更为稀疏的划分方式。

发明内容

本发明的目的是提供一种视角图阵列划分方法，使得参考视角图的比例更低、采样更为稀疏，可以降低总体的编解码复杂度。

本发明的目的是通过以下技术方案实现的：

一种视角图阵列划分方法，包括：

对光场图像进行分解，获得视角图阵列；

利用ADP或SMP算法对视角图阵列进行参考视角图与重建视角图的划分，使得划分后的视角图阵列中的参考视角图比例及稀疏程度均低于预设目标。

ADP算法公式如下：

其中，(u,v)表示光场图像在角度域平面的坐标，1表示相应视角图为重建视角图，0表示相应视角图为参考视角图，表示自然数集。

SMP算法公式如下：

其中，(u,v)表示光场图像在角度域平面的坐标，1表示相应视角图为重建视角图，0表示相应视角图为参考视角图，表示自然数集。

由上述本发明提供的技术方案可以看出，采用ADP或SMP算法对视角图阵列参考视角图的比例更低、采样更为稀疏；同时，由于重建视角图的编解码复杂度低于视频编码器编码复杂度，因此本方案可以降低总体的编解码复杂度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种视角图阵列划分方法的流程图；

图2为本发明实施例提供的典型的光场图像；

图3为本发明实施例提供的光场图像进行分解的原理图；

图4为本发明实施例提供的视角图阵列划分结果示意图；

图5为本发明实施例提供的编码流程图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明实施例提供一种视角图阵列划分方法，如图1所示，其主要包括如下步骤：

步骤1、对光场图像进行分解，获得视角图阵列。

本步骤可以通过常规技术来实现光场图像的分解，从而获得视角图阵列。

步骤2、利用ADP或SMP算法对视角图阵列进行参考视角图与重建视角图的划分，使得划分后的视角图阵列中的参考视角图比例及稀疏程度均低于预设目标。

本发明实施例中，可以将划分方法看作一个二值函数M(u,v)，ADP(AntidiagnalPattern)与SMP(Sparse Mesh Pattern)算法的公式依次如下：

其中，(u,v)表示光场图像在角度域平面的坐标，1表示相应视角图为重建视角图，0表示相应视角图为参考视角图，表示自然数集。

划分获得的参考视角图与重建视角图可以利用前文提到的zhao等人的方法分别对参考视角图和重建视角图进行压缩编码。

本发明实施例上述方案相对于zhao等所采用的棋盘格划分，参考视角图的比例更低、采样更为稀疏。同时，由于重建视角图的编解码复杂度低于视频编码器编码复杂度，因此本方案可以降低总体的编解码复杂度。

采用EPFL中的12幅光场图像进行对比实验。与棋盘格方案相比，完全采用ADP划分平均可以节约9.3％码率，而SMP平均可以节约16.48％码率。

对于不同内容的图像，SMP与ADP性能曲线会出现交叉，因此可以根据不同图像、不同码率，选择合适的划分方式，达到最优编码性能

为了便于理解，下面结合具体示例进行说明。

如图2所示，为典型的光场图像；其中，(a)为宏像素，(b)为拍摄得到的光场图像，(c)为分解后得到的视角图。对光场图像进行分解时，通过抽取宏像素相同位置的像素并组合，最终得到视角图，其原理如图3所示。

对于Lytro拍摄得到的光场图像，首先将光场图像分解为分辨率为13x13x434x625x3的视角图阵列，其中13为角度分辨率，434x625为空间分辨率。视角图阵列划分方式采用前文所述的ADP或SMP算法。如图5所示，为视角图阵列划分结果，左、右图分别为ADP算法、SMP算法划分结果；图4中，浅灰色表示参考视角图，深灰色表示重建视角图。

实际工作中，可以根据给定的图像内容和码率，选择合适的划分方式，再按照图5所示流程进行编解码，其中(a)为编码器处理流程，(b)为解码器处理流程。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (3)

1.一种视角图阵列划分方法，其特征在于，包括：

对光场图像进行分解，获得视角图阵列；

利用ADP或SMP算法对视角图阵列进行参考视角图与重建视角图的划分，使得划分后的视角图阵列中的参考视角图比例及稀疏程度均低于预设目标。

2.根据权利要求1所述的一种视角图阵列划分方法，其特征在于，ADP算法公式如下：

其中，(u,v)表示光场图像在角度域平面的坐标，1表示相应视角图为重建视角图，0表示相应视角图为参考视角图，表示自然数集。

3.根据权利要求1所述的一种视角图阵列划分方法，其特征在于，SMP算法公式如下：

其中，(u,v)表示光场图像在角度域平面的坐标，1表示相应视角图为重建视角图，0表示相应视角图为参考视角图，表示自然数集。