CN112686829A - 基于角度信息的4d光场全聚焦图像获取方法 - Google Patents

Abstract

本发明属于全聚焦图像融合算法领域，具体公开了一种基于角度信息的4D光场全聚焦图像获取方法，本发明从另一个角度分析了4D光场，该方法基于光场角度信息建立宏像素能量差异函数进行清晰度评价，直接基于4D光场数据进行融合，最后利用升维后的中心子孔径图像对融合的4D光场数据进行引导优化，实验表明，与传统基于空间信息的全聚焦图像融合算法相比，本发明所提方法获得的全聚焦图像视觉效果更好，定量评价表明，本发明方法获得的全聚焦图像在基于图像特征的评价指标以及基于人类感知启发的评价指标下的质量都有所提高。

Description

基于角度信息的4D光场全聚焦图像获取方法

技术领域

本发明属于全聚焦图像融合算法领域，特别是涉及一种基于角度信息的4D光场全聚焦图像获取方法。

背景技术

传统全聚焦图像获取算法，以相机调焦并多次曝光获得的多张局部清晰图像为基础，然后基于像素或基于区域对图像进行清晰度评价，根据清晰度值建立融合规则，最终获得全聚焦图像。传统相机在获取多聚焦图像时，受机械抖动及场景变化等因素影响，多聚焦图像间的匹配度降低。光场相机具有先拍照后聚焦的特性，可以获得高度匹配的多聚焦图像，使其在全聚焦图像获取上具有显著优势。

基于光场图像进行全聚焦图像融合时，首先利用数字重聚焦技术从单张光场原图获得多张重聚焦图像，再借鉴传统图像融合算法进行重聚焦图像融合。常用的融合算法包括拉普拉斯算子评价法(Laplace Operator Evaluation，LOE)、小波变换法(WaveletTransform，WT)、主成分分析法(Principal Components Analysis，PCA)、引导滤波法(Guided Filtering Fusion，GFF)、边界寻找法(Boundary Finding，BF)等。该类算法普遍特点是直接对重聚焦图像融合，由于获取重聚焦图像时，对4D光场沿角度方向进行二重积分，积分过程丢失了光场的角度信息，因此该类算法只利用了光场的空间信息进行融合。

为了更好的理解本发明先对基于重聚焦图像的光场全聚焦图像获取原理进行简要的介绍。光场相机具有先拍照后聚焦的显著优势，基于数字重聚焦技术可以从单幅光场原图获得多张聚焦在不同深度的图像，对多幅重聚焦图像融合即可得到全聚焦图像。根据数字重聚焦理论，对4D光场L(x,y,u,v)坐标变换后沿u、v方向进行二重积分即可得到重聚焦图像：

式中，n＝1,2,3,···,N，α_n取N个不同的值对应得到N张重聚焦图像；F表示光场相机主透镜平面与传感器平面之间的距离；α_n为重聚焦调焦参数；α_n·F表示调焦后主透镜平面与重聚焦平面的距离。

基于传统多聚焦图像融合原理，重聚焦图像的融合可基于空间域或变换域算法实现。空间域融合算法以像素、块或区域为聚焦度评价单元，通过逐点或逐区域比较待融合图像的聚焦程度来计算对应待融合图像的权重图：

式中C_n(x,y)为第n幅待融合图像I_n(x,y)的聚焦度评价指标值的大小；max[·]表示取最大值操作。最终的融合图像由待融合图像与其权重图加权平均得到：

变换域融合算法首先计算待融合图像在对应变换域中的特征矩阵，建立相应的融合规则对各特征矩阵进行融合，最后经反变换得到最终融合图像。以基础的小波变换融合算法为例：通过小波变换将待融合图像分解到一系列频率信道中，利用其分解后的塔形结构构建高、低频系数，以高频系数取最大、低频系数取平均为融合规则，分别对高、低频系数进行融合后经反变换得到最终融合图像。

从上面的论述可知，传统光场全聚焦图像融合算法直接将光场数字重聚焦技术与多聚焦图像融合算法相结合，首先利用数字重聚焦将多张光场原图转化为多张重聚焦图像，再通过多张重聚焦图像融合得到全聚焦图像。由于重聚焦图像由4D光场矩阵沿角度方向(u,v)进行二重积分得到，仅携带了光场的空间信息(x,y)。因此融合过程仅利用了光场的空间信息(x,y)建立聚焦度评价函数，忽略了4D光场角度信息(u,v)与积分图像聚焦度的关系。

发明内容

为解决上述技术问题，本发明提出了基于角度信息的4D光场全聚焦图像获取方法。本发明从另一个角度分析了4D光场数据，将光场数字重聚焦技术分为坐标变换和积分两个步骤，直接对经过坐标变换的4D光场数据进行融合。在4D数据融合过程中，基于光场角度信息建立宏像素能量差异函数进行清晰度评价，并利用中心子孔径图像对融合的4D数据进行引导滤波优化。与传统基于空间信息的全聚焦图像融合算法相比，本发明的方法获得的全聚焦图像视觉效果更好。

本发明保护的技术方案为：基于角度信息的4D光场全聚焦图像获取方法，按照以下步骤进行：

步骤1)对原始4D光场L(x,y,u,v)进行坐标变换，得到聚焦在不同深度处4D光场数据，用公式(1)表示：

其中

表示坐标变换操作符；

表示二重积分操作符，坐标变换和二重积分的操作符定义如下：

其中，[x,y,u,v]表示行向量，

为坐标变换矩阵：

根据公式(2)，α_n取不同的值，对应相机聚焦不同的场景深度，记录不同的4D光场数据，在不同成像深度处的4D光场

可表示为：

公式(5)得到的4D数据很好的保留了光场的角度信息，下面对基于公式(5)得到的多组4D光场矩阵进行融合，以实现基于角度信息的光场全聚焦图像计算，为了方便表述，下文将

记为

步骤2)利用角度信息建立宏像素能量差异函数进行清晰度评价，完成4D光场数据融合：

设4D光场的空间分辨率为X×Y，角度分辨率为U×V，将4D光场数据进行可视化，4D光场矩阵L(x,y,u,v)与其对应的可视化2D图像I(i,j)存在以下坐标映射关系：

本发明提出宏像素能量差异函数，对于每个宏像素(x,y)，其能量差异值可由下式计算：

其中，

表示4D光场

中宏像素(x,y)的中心视点的灰度值；

对步骤1)得到的聚焦深度不同的4D光场，选择能量值最小的宏像素组成融合后的4D光场，基于公式(7)，遍历4D光场的空间坐标(x,y)，可得不同4D光场的权重矩阵；

其中，[1]_U×V表示大小为U×V的单位矩阵；[0]_U×V表示大小为U×V的全零矩阵；N代表待融合4D光场矩阵的个数；min[·]表示取最小值操作；

为利用光场角度信息获得的宏像素能量差异值，利用

作为清晰度度量指标，其值越小清晰度越高；

将待融合的4D光场矩阵与其对应的权重矩阵加权平均即得融合后4D光场，如下式：

步骤3)利用升维后的中心子孔径图像对融合的4D光场进行引导滤波优化，最后对优化的4D光场数据进行二重积分得到全聚焦图像；

由所有宏像素的中心点组成的中心子孔径图像可作为引导图像，其计算方式如下：

I_c(x,y)＝L(x,y,u,v)|_{u＝(U+1)/2,v＝(V+1)/2} 公式(10)

由于作为引导图的中心子孔径图像与输入的4D光场尺寸不一致，在滤波操作前利用最近邻插值法对中心子孔径图像进行升维：

L_c(x,y,u,v)|_{u＝[1～U],v＝[1～V]}＝I_c(x,y) 公式(11)

通过公式(10)，将中心子孔径图像中的每个像素点传播为一个U×V的块，形成一个宏像素，从而得到4D滤波矩阵L_c(x,y,u,v)；

对融合后4D光场的引导滤波如下式：

其中，O表示优化后的4D光场

I为升维的中心子孔径图像L_c(x,y,u,v)，a_k、b_k为线性系数，其值由输入的4D光场

以及L_c(x,y,u,v)决定，ω_k为以像素k为中心的引导滤波窗口，窗口中包含像素i；

最后，对优化的4D光场沿(u,v)方向做二重积分，得到最终的全聚焦图像：

不同于传统基于光场空间信息的全聚焦图像融合算法，本发明提出了基于光场角度信息的全聚焦图像融合算法。首先，通过坐标变换，从原始4D光场计算得到聚焦在不同深度处的4D光场矩阵，然后对4D光场矩阵进行融合并利用中心子孔径图像对融合结果进行引导滤波优化。最后对优化的4D光场矩阵积分得到全聚焦图像。在4D光场融合过程中，基于光场角度信息建立宏像素能量差异函数进行清晰度评价，并获得了质量更高的全聚焦图像。实验结果证明了本发明方法的有效性以及稳定性，定量评价表明，本发明方法在基于信息论和基于人类感知启发的评价指标上变现更好。

附图说明

下面结合附图对本发明做进一步详细的说明。

图1为基于角度信息的全聚焦图像融合算法流程图。

图2为4D光场的2D可视化示意图。

图3为基于角度信息的聚焦度评价。其中(a)为不同物点光线追踪，(b)为传感器平面能量示意图，(c)为固定x时角度信息差异。

图4为基于角度信息的光场全聚焦图像融合。(a)4D光场的2D显示(α₁＝0.9)；(b)4D光场的2D显示(α₂＝10)；(c)4D光场的2D显示(α₃＝200)；(d)重聚焦图像；(e)图(d)的局部放大；(f)图(a)的权重图；(g)图(b)的权重图；(h)图(i)的权重图；(j)图(i)的局部放大。

图5为“Wheel”图像融合实验结果对比。(a)光场原图；(b)重聚焦图像α₁＝0.4；(c)重聚焦图像α₂＝0.85；(d)LOE算法；(e)WT算法；(f)PCA算法；(g)GFF算法；(h)BF算法；(i)本发明算法；(j)上部矩形框的局部放大；(k)下部矩形框的局部放大。

图6为“Buddha”图像融合实验结果对比。(a)光场原图；(b)重聚焦图像α₁＝1.0；(c)重聚焦图像α₂＝5.5；(d)LOE算法；(e)WT算法；(f)PCA算法；(g)GFF算法；(h)BF算法；(i)本发明算法；(j)左侧方形框的局部放大；(k)右侧矩形框的局部放大。

图7为不同融合算法性能评价指标平均值比较：(a)PSI指标平均值分布，(b)MSSI指标平均值分布，(c)PC指标平均值分布，(d)PSI指标平均值分布。

具体实施方式

为使本发明的目的、特征和优点能够明显易懂，下面结合附图对本发明的具体实施方式做详细说明。

如图1所示，本发明基于4D广场角度信息的全聚焦图像融合算法的数据处理流程为：从光场原图I_raw(i,j)解码得到4D光场矩阵L(x,y,u,v)，4D光场矩阵经坐标变换得到聚焦在不同场景深度处的新的4D光场

计算每个4D光场矩阵

的宏像素能量差异值

比较后得到权重矩阵

各权重矩阵与对应4D光场矩阵加权平均得到融合后的4D光场

进一步利用中心子孔径图像对4D光场

进行引导滤波优化得到

最后通过二重积分得到全聚焦图像

下面详细介绍本发明的原理及过程。

基于角度信息的4D光场全聚焦图像获取方法，按照以下步骤进行：

步骤1)不同聚焦深度的4D光场矩阵计算：

为了在数据融合过程中合理使用4D光场数据的角度信息(u,v)，本发明将公式(14)描述的数字重聚焦过程拆分为2步：第1步，对4D光场L(x,y,u,v)进行坐标变换；第2步，将坐标变换后的光场进行二重积分得到重聚焦图像。基于此过程，公式(14)可进一步表示为：

其中

表示坐标变换操作符；

表示二重积分操作符，坐标变换和二重积分的操作符定义如下：

其中，[x,y,u,v]表示行向量，

为坐标变换矩阵：

根据公式(2)，α_n取不同的值，对应相机聚焦不同的场景深度，记录不同的4D光场数据，在不同成像深度处的4D光场

可表示为：

与公式(14)相比，公式(5)得到的4D数据很好的保留了光场的角度信息，下面对基于公式(5)得到的多组4D光场矩阵进行融合，以实现基于角度信息的光场全聚焦图像计算，为了方便表述，下文将

记为

步骤2)光场角度信息的分析及4D光场数据融合：

利用角度信息建立宏像素能量差异函数进行清晰度评价，完成4D光场数据融合：

设4D光场的空间分辨率为X×Y，角度分辨率为U×V，将4D光场数据进行可视化，4D光场矩阵L(x,y,u,v)与其对应的可视化2D图像I(i,j)存在以下坐标映射关系：

根据图2所示，光场图像中的每个宏像素对应不同微透镜记录的光线角度信息。为了跟踪每个宏像素记录的光线，将4D光场L(x,y,u,v)简化为L(x,u)，构造光线传播示意图，如图3(a)所示。微透镜阵列位于主透镜的焦平面处且成像平面位于微透镜的焦平面。成像面上的光线能量强度如图3(b)所示，其中x表示光线在微透镜平面的位置，u表示光线在主透镜平面的位置。空间中一点A位于相机的焦平面上，且点B在焦平面之外。从A点发出的光线经主透镜折射后聚焦在微透镜平面C点处，经过微透镜折射后变为平行光射向成像平面，因此图3(b)中的右边深色区域光线辐射是均匀的。相反，在图3(b)中的左边区域，来自空间B的光线在成像面上的光辐射是不均匀的。

观察图3(c)，左边虚线框中代表不同像素小块颜色深浅不同，表示光辐射不均匀，而右边虚线框中各小块颜色深浅一致，表示光线辐射均匀。因此可得，当物点位于焦平面时，固定坐标x通过u方向的光线在成像平面的光辐射是均匀的。相反，焦平面之外的物点在成像面的光辐射不均匀。同理，对于4D光场L(x,y,u,v)，固定空间坐标(x,y)，对应的光辐射区域为图1中的一个宏像素。因此，每个宏像素记录的不同方向光线的能量差异可用于聚焦度评价。

基于以上分析，本发明提出宏像素能量差异函数。对于每个宏像素(x,y)，其能量差异值可由下式计算：

其中，

表示4D光场

中宏像素(x,y)的中心视点的灰度值；

此外，本发明建立了基于宏像素能量差异的4D光场融合规则，对步骤1)得到的聚焦深度不同的4D光场，选择能量值最小的宏像素组成融合后的4D光场，基于公式(7)，遍历4D光场的空间坐标(x,y)，可得不同4D光场的权重矩阵；

其中，[1]_U×V表示大小为U×V的单位矩阵；[0]_U×V表示大小为U×V的全零矩阵；N代表待融合4D光场矩阵的个数；min[·]表示取最小值操作；

为利用光场角度信息获得的宏像素能量差异值，利用

作为清晰度度量指标，其值越小清晰度越高；

将待融合的4D光场矩阵与其对应的权重矩阵加权平均即得融合后4D光场，如下式：

步骤3)4D光场的引导滤波优化与积分：

上述两个步骤中利用公式(7)计算宏像素中每个像素与中心像素的差值可得到宏像素能量差异，且通过公式(8)与公式(9)选择了能量差异最小的宏像素组成融合后的4D光场，因此融合的4D光场存在宏像素内部灰度值平滑，而宏像素之间边缘清晰的特性。在步骤3)中利用引导滤波器的边缘保持局部平滑特性来进一步降低宏像素内部差异，从而优化初步融合的4D光场。

由所有宏像素的中心点组成的中心子孔径图像可作为引导图像，其计算方式如下：

I_c(x,y)＝L(x,y,u,v)|_{u＝(U+1)/2,v＝(V+1)/2} 公式(10)

由于作为引导图的中心子孔径图像与输入的4D光场尺寸不一致，在滤波操作前利用最近邻插值法对中心子孔径图像进行升维：

L_c(x,y,u,v)|_{u＝[1～U],v＝[1～V]}＝I_c(x,y) 公式(11)

通过公式(10)，将中心子孔径图像中的每个像素点传播为一个U×V的块，形成一个宏像素，从而得到4D滤波矩阵L_c(x,y,u,v)；

对融合后4D光场的引导滤波如下式：

其中，O表示优化后的4D光场

I为升维的中心子孔径图像L_c(x,y,u,v)，a_k、b_k为线性系数，其值由输入的4D光场

以及L_c(x,y,u,v)决定，ω_k为以像素k为中心的引导滤波窗口，窗口中包含像素i；

最后，对优化的4D光场沿(u,v)方向做二重积分，得到最终的全聚焦图像：

上面具体介绍了本发明算法的原理和流程，为了验证本发明提出的基于角度信息的光场全聚焦图像融合算法的可行性，采用Lytro相机拍摄的数据集进行实验。

我们选择“Dinosaur”图像进行全聚焦图像计算，首先确定α_n的个数N以及α_n的取值。理论上，N取值越大获得的聚焦在不同区域的重聚焦图像越多，最终融合的全聚焦图像越清晰，但考虑到时间复杂度，应当在保证融合图像清晰度的前提下取N的最小值。α_n的值决定了重聚焦图像的聚焦区域，因此α_n的取值原则为：在α_n的有效范围内等间隔取值。对于“Dinosaur”图像，我们取三个不同的α_n值：α₁＝0.9、α₂＝10和α₃＝200，对应的4D光场

和

的2D显示如图4(a)、(b)、(c)所示。图4(d)为原始4D光场L(x,y,u,v)的重聚焦图像，图4(e)为图4(d)中矩形框处的放大图。计算并比较图4(a)、(b)、(c)的宏像素能量差异值，可得权重图如图4(f)、(g)、(h)，可以看出利用角度信息可以计算得到合理的权重图。最后融合得到的全聚焦图像如图4(i)。图4(j)为图4(i)中矩形框区域的放大图，对比局部放大图图4(e)和(j)可以看出，图4(i)的清晰度明显提高，验证了本发明算法的可行性。

为了进一步定性及定量评价本发明算法的性能，使用Lytro光场相机拍摄的数据集中的另两幅图像“Wheel”和“Buddha”进行实验，如图5(a)、图6(a)。采用LOE算法、WT算法、PCA算法、GFF算法以及BF算法作为对比算法。根据公式(14)，调整α_n的值获得多张重聚焦图像。为了加快数据处理速度，选择两张聚焦区域明显不同的图像作为待融合的原图像，如图5(b)、(c)以及图6(b)、(c)。对比不同算法的融合结果，如图5(d)～(h)以及图6(d)～(h)。设置同样的α_n值，根据公式(4)可得两个经坐标变换的光场矩阵，经本发明算法获得的融合结果如图5(i)、图6(i)。不同算法融合结果的局部放大图如图5(j)、(k)以及图6(j)、(k)。对比放大区域的清晰度，GFF算法、BF算法和本发明方法的效果优于LOE、WT和PCA算法。观察图5(j)(k)、图6(j)(k)中虚线框处的边缘纹理，本发明算法比对比算法更清晰，验证了本发明基于角度信息的全聚焦图像融合算法的视觉效果优于其他基于空间信息的算法。

考虑到人眼视觉限制，定性评价不一定能客观反映融合图像的质量，因此对各算法得到的融合图像做进一步的定量评价。针对目前光场图像数据库没有给出标准全聚焦图像的情况，采用三类广泛使用的无标准参考图像的质量评价指标(基于图像特征的评价指标、基于图像结构相似性的评价指标和基于人类感知启发的评价指标)对各算法进行评价。基于图像特征的评价指标选用特征互信息(FMI)和相位一致性(PC)作为评价函数，基于图像结构相似性的评价指标选用改进的结构相似性(MSSI)作为评价函数，基于人类感知启发的评价指(标选用感知清晰度(PSI)作为评价函数。

对各算法的定量评价结果如表1所示，表中的值越大表示相应算法的性能越好。其中，斜体加粗字体为所在列中的最优值，黑色加粗字体为所在列的次优值。根据表1中各算法出现最优及次优评价值的频次，验证了本发明算法的优势。分析表1中的不同评价指标，本发明算法在FMI和PSI指标上具有最优值，在PC指标上具有次优值。虽然对于“Wheel”图像，本发明方法的MSSI评价结果最差，但只在小数点后第三位上差于其他三种算法。

表1基于“Wheel”“Buddha”图像各融合算法定量评价结果对比

为了进一步论证表1数据的代表性，选取10幅光场原图，使用各算法计算图像融合，不同算法的各评价指标的均值比较如图7所示。与其它算法相比，本发明算法的融合结果在FMI、PC和PSI指标上表现最好，MSSI指标排名第三，进一步证明了本发明算法的有效性以及稳定性。

图7也进一步解释了本发明算法的优点。由于本发明算法直接对4D光场矩阵进行融合，而其它对比算法是对2D重聚焦图像进行融合，本发明方法更好的保留了原始数据的信息，所以本发明方法在基于信息论的指标FMI上表现最好。此外，本发明算法用到引导滤波进一步增强了边缘特征，因此本发明算法的结果在基于图像特征的评价指标PC上也表现更好。由于本发明算法直接对4D光场矩阵融合且利用中心孔径图像做了引导滤波优化，光场结构发生了两次改变，导致本发明结果在结构相似性指标MSSI上的值较低。因为本发明宏像素能量差异函数的建立以人类视觉清晰度感知为基础，本发明方法在基于人类感知启发的指标PSI上比其它算法表现更好。

上面结合附图对本发明方案的实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (1)

1.基于角度信息的4D光场全聚焦图像获取方法，其特征在于，按照以下步骤进行：

步骤1)对原始4D光场L(x,y,u,v)进行坐标变换，得到聚焦在不同深度处4D光场数据，用公式(1)表示：

其中

表示坐标变换操作符；

表示二重积分操作符，坐标变换和二重积分的操作符定义如下：

其中，[x,y,u,v]表示行向量，

为坐标变换矩阵：

根据公式(2)，α_n取不同的值，对应相机聚焦不同的场景深度，记录不同的4D光场数据，在不同成像深度处的4D光场

可表示为：

公式(5)得到的4D数据很好的保留了光场的角度信息，下面对基于公式(5)得到的多组4D光场矩阵进行融合，以实现基于角度信息的光场全聚焦图像计算，为了方便表述，下文将

记为

步骤2)利用角度信息建立宏像素能量差异函数进行清晰度评价，完成4D光场数据融合：

设4D光场的空间分辨率为X×Y，角度分辨率为U×V，将4D光场数据进行可视化，4D光场矩阵L(x,y,u,v)与其对应的可视化2D图像I(i,j)存在以下坐标映射关系：

本发明提出宏像素能量差异函数，对于每个宏像素(x,y)，其能量差异值可由下式计算：

其中，

表示4D光场

中宏像素(x,y)的中心视点的灰度值；

对步骤1)得到的聚焦深度不同的4D光场，选择能量值最小的宏像素组成融合后的4D光场，基于公式(7)，遍历4D光场的空间坐标(x,y)，可得不同4D光场的权重矩阵；

其中，[1]_U×V表示大小为U×V的单位矩阵；[0]_U×V表示大小为U×V的全零矩阵；N代表待融合4D光场矩阵的个数；min[·]表示取最小值操作；

为利用光场角度信息获得的宏像素能量差异值，利用

作为清晰度度量指标，其值越小清晰度越高；

将待融合的4D光场矩阵与其对应的权重矩阵加权平均即得融合后4D光场，如下式：

步骤3)利用升维后的中心子孔径图像对融合的4D光场进行引导滤波优化，最后对优化的4D光场数据进行二重积分得到全聚焦图像；

由所有宏像素的中心点组成的中心子孔径图像可作为引导图像，其计算方式如下：

I_c(x,y)＝L(x,y,u,v)|_{u＝(U+1)/2,v＝(V+1)/2} 公式(10)

由于作为引导图的中心子孔径图像与输入的4D光场尺寸不一致，在滤波操作前利用最近邻插值法对中心子孔径图像进行升维：

L_c(x,y,u,v)|_{u＝[1～U],v＝[1～V]}＝I_c(x,y) 公式(11)

通过公式(10)，将中心子孔径图像中的每个像素点传播为一个U×V的块，形成一个宏像素，从而得到4D滤波矩阵L_c(x,y,u,v)；

对融合后4D光场的引导滤波如下式：

其中，O表示优化后的4D光场

I为升维的中心子孔径图像L_c(x,y,u,v)，a_k、b_k为线性系数，其值由输入的4D光场

以及L_c(x,y,u,v)决定，ω_k为以像素k为中心的引导滤波窗口，窗口中包含像素i；

最后，对优化的4D光场沿(u,v)方向做二重积分，得到最终的全聚焦图像：

Images