CN109360212B - 一种可抑制重采样误差的频域光场数字重聚焦算法 - Google Patents

Abstract

本发明的一种可抑制重采样误差的频域光场数字重聚焦算法属于光场图像计算领域，解决了现有频域数字重聚焦技术在频域数据重采样时会引起重采样误差，在重建图像中生成伪影的问题，具体步骤为：首先根据重聚焦深度对4D光场先进行空域坐标变换，然后在其傅里叶频谱中取水平方向中心切片，最后将中心切片进行2D傅里叶逆变换得到重聚焦图像，该算法通过对原始4D光场进行空域坐标变换，有效地避免了频域坐标变换引起的离散数据重采样所产生的误差。和传统的基于傅里叶投影切片定理的光场数字重聚焦方法相比，本发明所提算法所需的运算步骤更少、计算复杂度更低。同时可以获得与公认的鲁棒性最强的空域投影积分数字重聚焦算法等同的重聚焦效果。

Description

一种可抑制重采样误差的频域光场数字重聚焦算法

技术领域

本发明属于光场图像计算领域，特别是涉及一种可抑制重采样误差的频域光场数字重聚焦算法。

背景技术

随着光场渲染理论及全光函数的不断发展，光场成像技术成为现代计算摄影学的一个热点话题，凭借先拍照后聚焦的显著优点，光场相机在过去十年里引领了数码界的一次革命。根据光场的双平面参数化模型，Ng在传统相机的传感器前放置微透镜阵列来获取4D光场，并将这种光场相机模型称为全光相机。微透镜阵列的设计起到了相机内部分光的作用，使得光场相机不仅记录光线的位置信息，同时还记录光线的方向信息。

光场相机有两个重要的应用，即获取高质量的场景纹理信息和计算高精度的场景深度信息，而微透镜中心坐标标定和数字重聚焦技术是纹理获取和深度计算技术的基础。例如，只有完成了微透镜中心坐标标定，才能从光场原图中解码4D光场；利用4D光场，可以得到存在微小视差的子孔径图像；针对不同位置的重聚焦图像，可以采用图像融合算法得到全聚焦图像；基于重聚焦图像或子孔径图像，采用散焦或立体匹配理论可得到深度图。另外，受微透镜阵列光场相机模型限制，目前光场相机的重聚焦图像及子孔径图像的分辨率有限，因此光场图像的超分辨率重构技术也受到了人们的深入研究。

数字重聚焦技术是是光场相机得以普遍应用的基础，传统的数字重聚焦技术采用空域投影积分方法，在光场投影前需先根据聚焦深度对光场进行坐标变换，该坐标变换矩阵由Ng给出。为了在不同深度处获得像素大小相近的重聚焦图像，Tao对Ng提出的坐标变换阵进行了改进。为了进一步降低空间投影的计算复杂度，Ng提出了基于傅里叶投影切片定理频域数字重聚焦技术，该技术与傅里叶体积渲染理论和基于傅里叶分析的医学CT、MR图像一样，需要解决频域数字重采样带来的重建图像伪影。基于此，Ng将传统医学CT、MR图像重建中的零填充、预乘、过采样等伪影抑制方法应用于频域数字重聚焦技术中，同时频域重采样过程中采用了性能更好的凯赛贝塞尔滤波器。所有的预处理和后处理过程都是为了尽可能的让频域数字重聚焦结果接近空域数字重聚焦，实现起来并不容易。

发明内容

本发明针对现有频域数字重聚焦技术在频域数据重采样时会引起重建误差，在重建图像中生成伪影的问题，旨在提供一种可抑制重采样误差的频域光场数字重聚焦算法，本算法通过对原始4D光场进行空域坐标变换，有效地避免了频域坐标变换引起的离散数据重采样所产生的误差。和传统的基于傅里叶投影切片定理的光场数字重聚焦方法相比，本发明所提算法所需的运算步骤更少、计算复杂度更低。同时本算法还可以获得与公认的鲁棒性最强的空域投影积分数字重聚焦算法等同的重聚焦效果。

为解决上述技术问题，本发明采用的技术方案为：一种可抑制重采样误差的频域光场数字重聚焦算法，按照以下步骤实现：

步骤1)根据聚焦深度给定α的值，对原始4D光场进行空域坐标变换；

步骤2)计算空域坐标变换后新光场的离散4D傅里叶变换，根据公式

取傅里叶频谱切片；

步骤3)计算切片的2D离散傅里叶逆变换；

步骤4)将逆变换的结果乘以系数1/α²F²即可得到重聚焦图像；

上述整个过程可用公式表示为：

其中，

表示切片操作符，

表示2D傅里叶逆变换，

表示4D傅里叶变换，

表示空域坐标变换操作符。

具体地，步骤1)中空域坐标变换的公式为：

其中，

表示

的转置逆矩阵，[x,y,u,v]表示行向量，坐标变换矩阵

可表示为：

本发明。

附图说明

下面结合附图对本发明做进一步详细的说明。

图1为现有空域、频域数字重聚焦的算法流程图。

图2为空域投影与频域切片比较。

图3为本发明所提算法与Ng提出的频域数字重聚焦算法的数据处理流程，其中(a)为本发明算法，(b)为Ng所提算法。

图4为本发明算法和空域数字重聚焦算法的效果对比图，其中(a)为光场原图，(b)为α＝1时本发明算法计算的重聚焦图像，(c)为α＝2时本发明算法计算的重聚焦图像，(d)为α＝1时空域数字重聚焦算法计算得到的重聚焦图像，(e)为α＝2时空域数字重聚焦算法计算得到的重聚焦图像。

图5为α＝0.6、0.8、1.0、1.2、1.4、1.6、1.8、2.0时采用本专利方法对Forest图像的数字重聚焦效果。

具体实施方式

为使本发明的目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

为了更好理解本发明算法的推导过程，下面先对现有的光场数字重聚焦原理及Ng提出的基于频域切片的光场数字重聚焦算法进行简单介绍。

根据光场4D参数模型，由微透镜光场相机记录的4D光场可表示为

根据光辐射公式，相机像平面获得的图像强度可表示为：

其中F表示主透镜平面和像平面间的距离，φ表示光线(x,y,u,v)与焦平面的夹角。定义

公式(1)可简化为：

在全光相机中，如果将像平面由F移动到α·F，且α取正数，在新的像平面处得到的重聚焦图像可表示为：

公式(3)称为基于空间投影积分的数字重聚焦技术，该过程可看作是先将4D光场L_F(x,y,u,v)作一次坐标变换得到新的光场L_α·F(x′,y′,u′,v′)，再将新的4D光场投影到(x′,y′)平面。该投影过程与基于傅里叶体积渲染的X射线图像重建过程相似，其计算复杂度可表示为O(n⁴)。

公式(3)虽然可以求得高质量的重聚焦图像，但积分过程需要遍历所有数据，耗时较长。受傅里叶体积渲染理论及医学图像拉东变换的启发，Ng将空域投影积分转换为傅里叶频域切片计算，并提出基于频域切片的光场数字重聚焦算法，以提高光场重聚焦的速度。公式(3)描述的空域投影积分过程可简单表示为：

其中

表示空域重聚焦运算符；

表示坐标变换操作符，

表示投影积分操作符，将4D光场投影到2D图像。坐标变换和投影操作符定义如下：

其中

表示

的转置逆矩阵，[x,y,u,v]表示行向量，坐标变换矩阵

可表示为：

Ng根据广义傅里叶切片定理，将公式(4)由空域投影积分转换为为频域切片计算来提高运算速度，其提出的基于频域切片的光场数字重聚焦算法表示为：

其中

表示4D傅里叶变换；

表示2D傅里叶逆变换；

表示切片操作符，其定义如下：

Ng定义了4D数据非正交方向上取切面的操符

并令

其在频域可表示为：

因此，频域数字重聚焦算法可简单表示为：

空域、频域数字重聚焦的算法流程图如图1所示，与空域投影相比，频域切片使计算复杂度下降到O(n²)。以上推导过程不难看出，公式(11)是相对连续函数而言的，所涉及的投影过程均用积分表示，但实际光场相机采集到的光场信息是离散信号，如直接利用公式(10)计算“切片”将会导致重建图像出现伪影。针对这一问题，Ng指出：对于重聚焦过程中数据离散化、离散傅里叶变换、频域数据重采样等引入的误差，需要增加图像预处理和后处理来抑制重建图像中的伪影。该问题也是傅里叶体积渲染和基于傅里叶分析的医学CT和MR需要解决的问题。综上，空域投影积分数字重聚焦算法精度高，但运算时间长；Ng提出的频域切片计算数字重聚焦运算速度快，但重建图像存在伪影，需要一些预处理和后处理的办法抑制伪影，且只能得到与空域重聚焦算法相近的重聚焦效果。

考虑到光场相机采集到的图像是离散信号，下面我们将重点分析如何在数字重聚焦算法中采用离散的傅里叶投影切片定理。经典2D图像的傅里叶投影切片定理指出：2D函数f(x,y)沿某一角度θ投影的傅里叶变换等于在该函数的2D傅里叶频谱沿着与投影方向垂直的方向取过原点的中心切片，具体表示为：

其中

为旋转操作符；F(k_x,k_y)是f(x,y)的2D傅里叶变换；F(k_r,θ)是F(k_x,k_y)的极坐标。当f是N维函数时，广义的傅里叶投影切片定理可表述为：如果在空域对N维函数f进行坐标变换再将其投影到M维，等同于在用频域对函数f的N维傅里叶频谱进行坐标变换，提取中心切片后再进行M维傅里叶逆变换，其表达式如下：

其中

表示坐标变换，公式(12)的旋转操作

是其特殊形式。

当输入信息为离散信号时，选取不同的θ值，带入公式(12)来验证空域投影和频域切片的结果是否相等，如图2所示。其中图2左上方的箭头表示将2D数字图像沿着角度θ投影，其下边的虚线表示在2D图像的傅里叶频谱中沿着与投影方向垂直的方向过频谱中心取切片。通过观察θ取不同值时投影和切片的结果不难发现：在大部分情况下，空间投影(实线)结果与频域切片的1D傅里叶变换(虚线)的结果存在明显偏差；但当θ∈{0°,90°,180°,270°}时，空间投影与频域切片的结果完全相等，说明在投影方向与坐标轴平行的情况下，傅里叶投影切片定理可用于离散信号处理，且不会引起重建误差。基于投影方向与坐标轴平行这一前提，下边将分析如何使用傅里叶投影切片定理对离散4D光场进行频域数字重聚焦，而不引起重建图像伪影。

设采样后离散的4D光场用

表示，公式(2)中的离散的聚焦图像用

表示，由于不涉及坐标变换，空域投影方向与坐标轴平行，即投影到(x,y)平面。假设离散4D光场的大小为m×n×s×t，将公式(2)离散化后，双重积分用两次求和替代：

对上式进行2D离散傅里叶变换：

其中

表示二维离散傅里叶变换，

和

为傅里叶变换对，把公式(14)的

带入公式(15)可以得到：

其中

表示4D离散傅里叶变换，

和

为傅里叶变换对。对公式(16)的两边进行2D离散傅里叶逆变换，即可得到重聚焦图像：

公式(17)等同于公式(8)在α＝1的情况，即不对光场进行坐标变换，直接将其沿着与坐标轴平行的方向投影到(x,y)平面。验证了对于离散光场信号，当空域数据投影方向沿着坐标轴方向时，傅里叶投影切片定理可以直接应用，且重建图像不存在伪影。广义的中心切片定理不适用于离散化的光场数据处理原因在于α≠1时，频域坐标变换引入数据重采样产生误差，与图2中θ∈{30°,45°,60°,110°,140°,230°}的情况一致。

根据上述分析，本发明利用空域数据投影方向沿着坐标轴方向时，傅里叶投影切片定理可以直接应用，且重建图像不存在伪影的原理。提出无频域数据重采样的数字重聚焦算法，本发明算法的具体步骤如下：

1.根据聚焦深度给定α的值，得到坐标变换矩阵，根据公式(5)对光场进行坐标变换；

2.计算坐标变换后新光场的离散4D傅里叶变换，根据公式(9)取傅里叶频谱切片；

3.计算切片的2D离散傅里叶逆变换；

4.将逆变换的结果乘以系数1/α²F²即可得到重聚焦图像。

以上过程可用公式表示为：

相对于Ng提出的公式(8)而言，公式(18)改变了部分运算符，并且直接采用了离散傅里叶变换。如果将公式(18)的离散傅里叶变换改为连续傅里叶变换，该等式仍然成立。但若将离散傅里叶变换应用于公式(8)，要想等式仍然成立则需要加入一些预处理和后处理的操作来抑制频域重采样误差。

下面对本发明的频域光场数字重聚焦算法进行验证，由于公式(18)同时适用于连续与离散信号，公式(8)仅适用于连续信息，只需证明当输入信号为连续信号时，公式(18)与公式(8)等价即可说明所提算法的有效性。将连续信号作为处理对象，公式(18)可表示为：

对比公式(19)与公式(8)，只需证明下式成立：

根据公式(5)，公式(20)的左边等于

为了方便表示，用X表示空域行向量[x,y,u,v]，K表示频域行向量[k_x,k_y,k_u,k_v]，对公式(20)的左边进行4D傅里叶变换，得到：

其中∫₄[·]表示四重积分，dX＝dxdydudv，令

则

带入公式(21)得：

用X代替X₁得到：

然后根据公式(5)，公式(14)的右边可写为：

根据公式(23)、(24)得到

即证明了公式(20)。

因此，当被处理信号为连续信号时，本发明所提算法与Ng所提频域重聚焦算法是等效的。当被处理信号为离散信号时，直接将公式(8)离散化将导致重建图像产生伪影，需要一些预处理和后处理(如零填充、预乘、优化滤波器、过采样等)来抑制频谱重采样产生的误差。本发明所提算法采用空域坐标变换代替频谱坐标变换，可实现重采样误差的完全抑制，省去了数据的预处理和后处理过程。

如图3所示，本发明所提算法与Ng提出的频域数字重聚焦算法的数据处理流程，并给出了每一步数据处理的运算复杂度。在图3(a)本发明所提算法中，第1步是坐标变换，相当于将输入数据与4D重采样滤波器进行卷积。第2步、第3步、第4步是4D傅里叶变换、从4D频谱中取2D切片及2D傅里叶逆变换。在图3(b)Ng所提算法中，第4步为公式(10)所描述的傅里叶切片操作，相当于将输入数据与2D重采样滤波器进行卷积。第3步和第6步为公式(11)中的4D傅里叶变换和2D傅里叶逆变换。由于第4步频谱重采样产生了误差，Ng提出增加第1步的零填充、第2步的预乘和第5步的数据过采样来抑制重建图像伪影。

通过上述对比可以发现，本发明与现有的Ng所提出的频域光场数字重聚焦算法相比，有如下优点：

1.所用的数据处理步骤较少。本发明所提算法数据处理流程包括4步，而Ng的算法需要6步。

2.运算复杂度低。本发明所提算法的第1步中包含数据插值，该过程可看作光场与4D重采样滤波器的卷积，其计算复杂度为O(n⁴)。第2步的4D快速傅里叶变换、第3步的频谱切片、第4步的2D傅里叶逆变换的计算复杂度分别为O(n⁴logn)、O(1)、O(n²logn)。在Ng的方法中，由于第4步暗含了频域数据重采样，增加了第1、第2、第5步来抑制重采样带来的重建图像误差(包括卷褶伪影和滚降误差)，第1步的零填充用于抑制卷褶伪影，其计算复杂度为O(1)，同时将数据大小由n变为n_p(n_p＞n)；第2步将4D光场预乘凯赛贝塞尔滤波器的4D傅里叶逆变换的倒数来抑制滚降噪声，其计算复杂度为

第3步4D快速傅里叶变换得计算复杂度为

第4步为切片操作暗含坐标变换，采用了2D凯赛贝塞尔滤波器来完成数据插值，其计算复杂度为

第5步过采样同样用于抑制卷褶伪影，其计算复杂度为

第6步为2D快速傅里叶逆变换，其计算复杂度为

通过对比两种重聚焦算法，当n、n_p→∞时，两者计算复杂度相等，但是对于有限的光场信号，本发明所提算法的计算复杂度较低。

3.没有数据的扩充。在Ng的算法中，第1步将4D光场填充了5％的零边缘，同时在第5步过采样将数据扩大到原来的2倍，零填充和过采样均增大了输入数据，将直接影响后续数据处理的运算速度。

4.引入误差更小。本发明所提算法只涉及空域数据重采样，不涉及频域重采样。空域重采样数据插值发生在0～255的数据之间，而对于频域重采样，频谱系数间的数值差距在10⁵或者更大，插值引入误差较大。同时，空域插值发生在实数之间，而频谱插值发生在虚数之间，很明显空域插值较频域插值计算复杂度更低。

5.本发明算法对滤波器的形状不敏感。空域投影数字重聚焦算法采用三角滤波器实现坐标变换，同时获得质量较高的重聚焦图像，本发明所提算法的也可采用三角滤波器。但在Ng所提算法中，需要采用与sinc函数更为接近的凯赛贝塞尔滤波器。

6.本发明算法可达到与空域数字重聚焦算法相同的重聚焦效果。由于本发明算法是沿坐标轴方向取频谱切片，可有效避免频域数据重采样，使得离散傅里叶变换不会影响到图像重建精度。但在Ng的算法中，虽然采用了优化的凯赛贝塞尔滤波器，但它也仅是理想sinc函数的近似，因此得到的重聚焦图像也是空域重聚焦图像的近似。

为了论证所提算法的可行性，本发明采用现有文献提供的光场数据进行重聚焦实验，其中一幅光场原图(Shoe)如图4(a)所示，对光场相机微透镜标定后去除光场原图微透镜边缘的数据冗余，即可解码得到4D光场。为了让视觉效果上重聚焦效果更佳明显，我们取α＝1和α＝2来计算重聚焦图像。本发明所提算法得到的重聚焦图像如图4(b)、图4(c)所示，对比图4(b)和图4(c)，聚焦深度从背景到前景变换明显，验证了本发明所提算法的有效性。为了进一步评价本发明算法的性能，用公认的鲁棒性最强的空域数字重聚焦算法对图4(a)也进行了重聚焦图像计算，同样α＝1和α＝2时，得到的重聚焦图像如图4(d)和图4(e)所示。对比图4(b)与图4(d)、图4(c)与图4(e)，从视觉效果上来看两种算法重聚焦效果相同，说明本发明所提算法与空域重聚焦算法具有等同的重聚焦效果。

为了进一步验证所提算法的普适性，选择另一幅光场原图(Forest)进行了实验，当α取不同值时，本发明算法得到的重聚焦图像如图5所示。为了使方便观察重聚焦效果，选择了两个固定区域来对比清晰度，如图中的红色和黄色虚线框所示。从图中不难发现，随着α值得增大，黄色虚线框中的小花的清晰度逐渐下降，而红色虚线框中的绿色叶子变得越来越清晰，可见本发明所提算法可达到明显的重聚焦效果。

最后，采用空域重聚焦结果来定量分析本发明算法的重聚焦效果，对现有的5幅光场原图，在α取不同值时本发明所所提的平均均方根误差(RMSE)如表1所示，进一步反映了本发明所提重聚焦算法可得到与空域投影算法相同的重聚焦效果。

表1本发明重聚焦算法与空域重聚焦算法的平均均方根误差(×10^-15)

本发明提出的频域数字重聚焦算法，避免了频域数据重采样产生的重建图像伪影。通过分析离散傅里叶变换对傅里叶投影切片定理的影响，证明了在空域沿坐标轴方向投影时对应在频域取切片不涉及数据重采样，这样可以完全避免产生图像伪影。基于此，提出4D光场空域坐标变换替代频域坐标变换的方法，避免了频域坐标变换引起的数据重采样，从而避免重建图像出现伪影误差。同时本发明也从另一视角应用了傅里叶投影切片定理，实现了频谱重采样的抑制。与传统频域数字重聚焦算法相比，本发明所提算法更为简单。实验结果表明，该算法在不涉及零填充、预乘、过采样等预处理和后处理操作的基础上，可以获得与公认的鲁棒性最强的空域数字重聚焦算法相同的重聚焦结果。

上面结合附图对本发明的实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (1)

1.一种可抑制重采样误差的频域光场数字重聚焦算法，其特征在于，按照以下步骤实现：

步骤1)根据聚焦深度给定α的值，对原始4D光场进行空域坐标变换；

空域坐标变换的公式为：

B_α[L_F(x,y,u,v)]＝L_F([x,y,u,v]·B_α ^-T)，

其中，B_α ^-T表示B_α的转置逆矩阵，[x,y,u,v]表示行向量，坐标变换矩阵B_α可表示为：

步骤2)计算空域坐标变换后新光场的离散4D傅里叶变换，根据公式

取傅里叶频谱切片；

其中，k_x,k_y,k_u,k_v为4维光经过傅里叶变换后频域坐标系下的4个坐标；

步骤3)计算切片的2D离散傅里叶逆变换；

步骤4)将逆变换的结果乘以系数1/α²F²即可得到重聚焦图像；

上述整个过程可用公式表示为：

其中，

表示切片操作符，F_D ^-2表示2D傅里叶逆变换，F_D ⁴表示4D傅里叶变换，B_α[·]表示空域坐标变换操作符，

为采样后离散的4D光场，

为成像面在αF处的离散重聚焦图像。

Images