CN112184842B - 一种光场图像压缩方法 - Google Patents

Abstract

本发明公开一种光场图像压缩方法，包括：步骤一：将光场图像转化为光场子视图；步骤二：将光场子视图分为编码集S_code和未编码集S_uncode；步骤三：将编码后解码的S_code的光场子视图作为多分支空间变换网络MSTN的输入，获得与待重建子视图(未编码集S_uncode)更相似的子视图；步骤四：将变换后的子视图集(MSTN的输出)作为生成对抗网络WGAN‑gp的输入，得到重建的当前视点的子视图。采用本发明的技术方案，提升了重建视图的质量，优化了光场图像压缩的效果。

Description

一种光场图像压缩方法

技术领域

本发明涉及计算机图像处理领域，具体涉及一种基于深度学习中空间变换网络结合生成对抗网络的光场图像压缩方法。

背景技术

近年来，随着三维重建、三维显示技术的飞速发展，光场图像的研究越来越受重视。随着商用光场相机的出现，如Raytrix或Lytro相机，以及处理光场图像的新可视化设备的开发，光场图像的应用得到了扩展。光场图像在医学、工业等领域应用范围的扩大，将会为这些行业所固有的图像处理方式带来革命性的改变。但是光场图像所带来的庞大数据量对存储和传输都造成了一定程度的负担，对应用造成了很大的困难。因此，各领域对光场图像进行压缩的技术的需求日益紧迫。对光场图像进行压缩的技术方法目前已经取得了很大的进展，主要分为如下两类：基于微透镜结构的光场图像压缩方法和基于4维光场图像结构的光场图像压缩方法。基于微透镜结构的光场图像压缩方法提出了几种利用透镜图像结构的冗余性，通过内编码直接压缩透镜图像的压缩算法。比如Perra提出了一种基于自适应预测的无损压缩方案(Perra C.Lossless plenoptic image compression using adaptiveblock differential prediction[C]//2015IEEE International Conference onAcoustics,Speech and Signal Processing(ICASSP).IEEE,2015:1231-1234.)。Zhong摒弃了传统的基于块的编码结构，采用一种六边形的像素簇(称为宏像素)作为基本编码单元，提出了一种新的基于字典学习的预测模型。此外，他还提出了一种优化的线性预测模型和专门针对宏观像素的方向预测模型(Zhong R,Schiopu I,Cornelis B,etal.Dictionary Learning-based,Directional and Optimized Prediction for LensletImage Coding[J].IEEE Transactions on Circuits and Systems for VideoTechnology,2018,PP(99):1-1.)，利用率失真优化方法为每个宏像素选择最佳的帧内预测模式。基于4维光场图像结构的光场图像压缩方法主要有两种：一是利用子图像之间的视差，采用视差补偿的方式去除子图像之间的信息冗余。MarcusMagnor于1999年提出了基于视差的光场图像分层编码方法，该方法通过四个角的光场子图像递归地预测中间图像来建立全光场图像(基于视差的光场图像分层编码考虑到了每一个子图像之间的相关性)，以此来实现图像压缩(Magnor M,Girod B.Hierarchical coding of light fields withdisparity maps[C]//Proceedings 1999International Conference on ImageProcessing(Cat.99CH36348).IEEE,1999,3:334-338.)。Li将HEVC中的预测方法引入到光场图像压缩的预测方法中，在图像中同时进行单向和双向预测(Li Y,M,OlssonR,et al.Efficient intra prediction scheme for light field image compression[C]//2014IEEE International conference on acoustics,speech and signalprocessing(ICASSP).IEEE,2014:539-543.)。二是利用视频编码技术实现光场子图像的压缩，去除子图像之间的信息冗余。Liu提出了一种基于伪序列的方法，该方法根据微透镜阵列结构将原始图像分解为多个视图，然后将光场子视图按照一定顺序连接为一个伪视频序列，利用视频编码方式对该伪视频序列进行压缩(Liu D,Wang L,Li L,et al.Pseudo-sequence-based light field image compression[C]//2016IEEE InternationalConference on Multimedia&Expo Workshops(ICMEW)，IEEE,2016:1-4.)。

N.Bakir提出一种新的采样方法，将采样后的编码部分的子视图分为两组，一组用视频编码器进行压缩，另一组使用线性近似估计进行压缩，丢弃部分的视图使用卷积神经网络重构出来(Bakir N,Hamidouche W,Déforges O,et al.Light Field ImageCompression Based on Convolutional Neural Networks and Linear Approximation[C]//2018 25th IEEE International Conference on Image Processing(ICIP).IEEE,2018:1128-1132.)。Jiang等人提出了一种基于深度图像的视图合成方法，利用HEVC编码压缩一小部分视图，然后重建整个光场(Jiang X,Le Pendu M,Guillemot C.Light fieldcompression using depth image based view synthesis[C]//2017IEEE InternationalConference on Multimedia&Expo Workshops(ICMEW).IEEE,2017:19-24.[36]Vadathya AK,Cholleti S,Ramajayam G,et al.)。Zhang等人提出了一种基于视差相关预测结构的光场图像编码方案(Zhang X,Wang H,Tian T,Light Field Image Coding with DisparityCorrelation Based Prediction[C]//2018IEEE Fourth International Conference onMultimedia Big Data(BigMM).IEEE,2018:1-6.)。

综上，现有的光场图像压缩技术的压缩性能有待提升，且具有一定的局限性。

发明内容

本发明的目的是克服上述现有技术的缺点，提供了一种新的光场图像压缩方法，提升了重建视图的质量，优化了光场图像压缩的效果。

为实现上述目的，本发明的基于构建联合多分支空间变换网络和生成对抗网络的光场图像压缩方法，将采用如下技术方案：

步骤一：将光场图像转化为光场子视图。

步骤二：将光场子视图分为编码集S_code和未编码集S_uncode。

步骤三：将编码后解码的S_code的光场子视图作为多分支空间变换网络MSTN的输入，获得与待重建子视图(未编码集S_uncode)更相似的子视图。

步骤四：将变换后的子视图集(MSTN的输出)作为生成对抗网络WGAN-gp的输入，得到重建的当前视点的子视图。

每个步骤的具体操作如下：

步骤一的具体操作：使用MATLAB光场工具箱等光场图像处理工具将光场图像转化为四维形式的光场子视图。

步骤二的具体操作：将步骤一中得到的光场子视图按照梅花采样的方式分为编码集S_code和未编码集S_uncode。将编码集S_code中的光场子视图进行编解码，并将已编码传输的编码集S_code作为后续重建模块的输入，用以重建出未编码集S_uncode的子视图。

步骤三的具体操作：给定一个未编码的光场子视图I_x，y的上下左右邻近的四张子视图I_x，y-1，I_x-1，y，I_x，y+1，I_x+1，y，重建模型的目标是根据上下左右四张子视图估计中间未编码的子视图。通过多分支空间变换网络MSTN将待重建子视图周围的p个子视图作为多分支空间变换网络的输入，将图片特征进行几何变换，其中空间变换网络的定位网络(f_loc)包含两层卷积层、两层池化层、两层全连接层，用于提取原始图片特征，从而学习几何变换参数A_θ。

然后通过学习的几何变换参数将输入的子视图转换到中间视点的子视图。这一过程可以表示如下：

I_i,i＝{1,...,p}表示当前未编码子视图周围的子视图，是子视图I_i经过空间变换网络变换后得到的子视图。F_MSTN(·)表示提出的多分支空间变换网络模型。

多分支空间变换网络的损失函数如下：

是子视图经过空间变换网络的转换后得到的估计值，I_target表示未编码的子视图的真实值。

步骤四的具体操作：得到变换后的相邻子视图集后，将变换后的相邻子视图集输入到WGANs-GP网络中，生成器输出重建的未编码子视图I_x，y的高阶近似子视图I_g，然后将I_g与真实子视图I_target作为判别器的输入，用于更新网络的参数。

生成对抗损失如下式所示：

x_r＝tx+(1-t)G(z)0≤t≤1.

结合步骤三中多分支空间变换网络的损失函数，总的损失函数如下：

与现有技术相比，本发明提出了一种基于联合多分支空间变换网络和生成对抗网络的光场图像压缩方法，该方法首先通过空间变换网络将上下左右四个视点的光场子视图变换到待重建视点，然后通过对抗训练来保证得到更好的重建结果。对比了不同重建模型对光场子视图重建结果的影响，并将本发明的方法与当前主流的光场图像压缩方法做了对比，和现有光场图像压缩方法相比，本发明所使用的方法在效果上有所提升，恢复出了更多的细节。

附图说明：

图1光场子视图；

图2整体技术环节流程图；

图3边界情况；

图4LF-MSTN-WGANs框架的详细结构；

图5网络的参数设置；

图6原图及局部放大图；

图7本发明得到的图像及局部放大图；

图8EPFL光场数据集(部分示例)；

图9a本发明与不同算法的重建效果-率失真曲线(测试图像I05)；

图9b本发明与不同算法的重建效果-率失真曲线(测试图像I08)；

图10a-图10j为本发明与不同算法的重建结果的主观质量比较(a)原图、(b)HM-LDB、(c)LA-41、(d)DL-41、(e)本发明、(f)原图、(g)HM-LDB、(h)LA-41、(i)DL-41、(j)本发明。

具体实施方式：

为了能够更清楚地描述本发明的技术内容，下面结合具体实例来进一步的描述：

本发明的框架图如图4，具体实施过程分为两个阶段，对光场图像集进行处理准备阶段和重建模型的构建及训练阶段。

一、对光场图像集进行处理的准备阶段

对图像集进行处理的准备阶段分为三个步骤：将光场图像转化光场子视图，对子视图进行处理。

1、将光场图像转化光场子视图

首先，使用MATLAB的光场图像处理工具箱Light Field ToolBox将光场图像转化为4维(u,v,x,y)形式的光场子视图，如图1。此处光场图像使用的是图8所示的EPFL光场数据集。我们提取光场子视图并只对中间9*9的子视图进行使用。

2、对子视图进行处理

a、采样：

对光场子视图按照梅花采样的方式将子视图分为编码集S_code和未编码集S_uncode。

b、编码处理：

对编码集S_code的光场子视图进行基于SIFT算法进行排序，构建伪视频序列，使用视频编码器对伪序列图像进行编码，得到编码后的码流，最后在解码端对码流进行解码，并将已编码传输的编码集S_code作为后续重建模块的输入，用以重建出未编码集S_uncode的子视图。如图2所示。

二、重建模型的构建及训练阶段

重建模型的目标是根据梅花采样的上下左右四张子视图估计中间未编码的子视图。

1、联合多分支空间变换网络MSTN

空间变换网络可以加在网络的任何地方用来提高网络的空间变换能力，在本发明中，比较各个位置之后发现在图片输入位置达到的效果最好。

a、给定一个未编码的光场子视图I_x，y的上下左右邻近的四张子视图(I_x，y-1，I_x-1，y，I_x，y+1，I_x+1，y)，(对于边缘处光场子视图，存在如图3所示的四种情况，只有3张相邻子视图可以使用，为了简化网络的复杂度，缺失的子视图通过利用其他三张子视图求平均值获得。)通过多分支空间变换网络将待重建子视图周围的p个子视图作为多分支空间变换网络的输入，将图片特征进行几何变换，其中空间变换网络的定位网络(f_loc)包含两层卷积层、两层池化层、两层全连接层，用于提取原始图片特征，从而学习几何变换参数A_θ。

b、对多分支空间变换网络部分进行训练用以学习几何变换参数A_θ，使用均方根误差计算转换后的子视图和待重建的子视图之间的差值用来优化网络模型的参数，具体网络参数的设置如图5所示。多分支空间变换网络的损失函数如下：

是子视图经过空间变换网络的转换后得到的估计值，I_target表示未编码的子视图的真实值。在我们的网络模型中，如果输入的子视图/>是带有质量失真的压缩子视图，当最小化/>和I_target之间的MSE时，会造成空间变换网络估计不精确。因此，多分支空间变换网络要在未压缩的子视图的监督下进行训练。

c、通过学习的几何变换参数将输入的子视图转换到中间视点的子视图。如下式所示：

I_i,i＝{1,...,p}表示当前未编码子视图周围的子视图，是子视图I_i经过空间变换网络变换后得到的子视图。F_MSTN(·)表示提出的多分支空间变换网络模型。

2、对抗生成网络WGAN-gp

得到变换后的相邻子视图集后，将其输入到WGANs-gp网络中，生成器输出重建的未编码子视图I_x，y的高阶近似子视图I_g，然后将I_g与真实子视图I_target作为判别器的输入，用于更新网络的参数，得到最终的重建视图。具体网络参数设置如图5所示。生成对抗损失：

x_r＝tx+(1-t)G(z)0≤t≤1.

结合1中多分支空间变换网络，总损失函数：

最后，原图及局部放大图如图6，本发明得到的图像及局部放大图如图7。

图像质量评价：

从数据集中取八组图像对其采用本发明提供的算法与当前主流的几种算法，并进行评价，这些算法分别是HM-LDB(Liu D,Wang L,Li L,et al.Pseudo-sequence-basedlight field image compression[C]//2016IEEE International Conference onMultimedia&Expo Workshops(ICMEW).IEEE,2016:1-4.)、HM-RA(Liu D,Wang L,Li L,etal.Pseudo-sequence-based light field image compression[C]//2016IEEEInternational Conference on Multimedia&Expo Workshops(ICMEW).IEEE,2016:1-4.)、LA-41(Zhao S,Chen Z.Light field image coding via linear approximation prior[C]//2017IEEE International Conference on Image Processing(ICIP).IEEE,2017:4562-4566)、DL-41(Zhao Z,Wang S,Jia C,et al.Light Field Image CompressionBased on Deep Learning[C]//2018IEEE International Conference on Multimediaand Expo(ICME).IEEE,2018:1-6.)。

表1是本发明与当下四种主流算法的BD-PSNR的比较，可以看出本发明得到的效果整体上优于上述算法。图9在比较本发明与其他算法率失真曲线的同时，也进一步展示了MSTN对于本发明整体框架的贡献程度。主观比较：图10中展示了原图像、本发明以及其它算法的重建图像放大版本，从中可以明显看出，本发明提出的子图像重建模型产生的重建结果最接近真实值。这表明本发明在重建效果上有所提升，且恢复出了更多的细节。

表1本发明与其他方法比较的BD-PSNR

Claims (4)

1.一种光场图像压缩方法，其特征在于，包括：

步骤一：将光场图像转化为光场子视图；

步骤二：将光场子视图分为编码集S_code和未编码集S_uncode；

步骤三：将编码后解码的S_code的光场子视图作为多分支空间变换网络MSTN的输入，获得与待重建子视图未编码集S_uncode更相似的子视图；

步骤四：将变换后的子视图集作为生成对抗网络WGAN-gp的输入，得到重建的当前视点的子视图。

2.如权利要求1所述的光场图像压缩方法，其特征在于，步骤二的具体操作：将步骤一中得到的光场子视图按照梅花采样的方式分为编码集S_code和未编码集S_uncode，将编码集S_code中的光场子视图进行编解码，并将已编码传输的编码集S_code作为后续重建模块的输入，用以重建出未编码集S_uncode的子视图。

3.如权利要求1所述的光场图像压缩方法，其特征在于，步骤三的具体操作：给定一个未编码的光场子视图I_x，y的上下左右邻近的四张子视图

I_x，y-1，I_x-1，y，I_x，y+1，I_x+1，y，重建模型的目标是根据上下左右四张子视图估计中间未编码的子视图；通过多分支空间变换网络MSTN将待重建子视图周围的p个子视图作为多分支空间变换网络的输入，将图片特征进行几何变换，其中空间变换网络的定位网络(f_loc)包含两层卷积层、两层池化层、两层全连接层，用于提取原始图片特征，从而学习几何变换参数A_θ；

然后通过学习的几何变换参数将输入的子视图转换到中间视点的子视图；这一过程表示如下：

I_i表示当前未编码子视图周围的子视图，其中i＝{1,…,p}，是子视图I_i经过空间变换网络变换后得到的子视图，其中i＝{1,…,p}；F_MSTN(·)表示提出的多分支空间变换网络模型；

多分支空间变换网络的损失函数如下：

I_target表示未编码的子视图的真实值。

4.如权利要求1所述的光场图像压缩方法，其特征在于，步骤四的具体操作：得到变换后的相邻子视图集后，将变换后的相邻子视图集输入到WGANs-GP网络中，生成器输出重建的未编码子视图I_x，y的高阶近似子视图I_g，然后将I_g与真实子视图I_target作为判别器的输入，用于更新网络的参数，

生成对抗损失如下式所示：

x_r＝tx+(1-t)G(z)0≤t≤1；

结合步骤三中多分支空间变换网络的损失函数，总的损失函数如下：