CN111145134A - 基于块效应的微透镜光场相机全聚焦图像生成算法 - Google Patents

Abstract

本发明属于光场图像处理领域，特别是公开了一种基于块效应的微透镜光场相机全聚焦图像生成算法，该算法直接基于4D光场数据进行融合，数据融合规则建立时通过计算空间相同位置不同方向光线能量积分形成的光场宏像素的块效应来完成聚焦度评价，最后对融合后的4D光场进行积分得到全聚焦图像，经实验论证了本发明算法的有效性，本发明基于角度信息得到的融合图像与基于空间信息得到的融合图像具有等同的视觉效果，从融合图像的平均质量评价对比结果看，本发明算法得到图像的感知清晰度值最高，相位一致性值和归一化互信息值仅次于BF算法。

Description

基于块效应的微透镜光场相机全聚焦图像生成算法

技术领域

本发明属于光场图像处理领域，特别是涉及一种基于块效应的微透镜光场相机全聚焦图像生成算法。

背景技术

传统全聚焦图像由相机不断调焦多次曝光拍摄的多张局部清晰图像融合得到，所采用的融合算法大多基于像素或基于区域对图像进行聚焦度特征计算，通过比较特征值的大小建立融合规则。由于相机调焦过程中成像几何关系的变化及机械抖动等问题，造成不同时刻拍摄到的图像的视场大小及视点位置发生变化，图像匹配度的降低导致后期图像融合算法复杂度增加。由光场成像理论发展起来的微透镜阵列光场相机，采用数字重聚焦技术可实现单幅光场图像到多幅高匹配重聚焦图像的转化，在全聚焦图像的获取方面具有显著优点，近年来成为全聚焦图像融合的一个重要研究方向。

基于光场相机的全聚焦图像获取一般包括数字重聚焦及重聚焦图像的融合两步。数字重聚焦通过在空域对4D光场进行坐标变换再沿角度方向进行了二重积分得到2D重聚焦图像，或在频域对4D光场取2D切片后经傅里叶反变换得到重聚焦图像。重聚焦图像融合可直接借鉴传统图像融合算法，可在空间域直接完成或基于变换域实现。最常用的融合算法包括拉普拉斯算子评价法(Laplace Operator Evaluation，LOE)、小波变换法(WaveletTransform，WT)、主成分分析法(Principal Components Analysis，PCA)、引导滤波法(Guided Filtering Fusion，GFF)、边界寻找法(Boundary Finding，BF)等。由于该类算法的输入为坐标变换后的4D光场沿角度方向积分得到的2D图像，故数据融合过程中只考虑了4D光场空间信息对图像聚焦度的影响，都忽略了4D光场的角度信息对聚焦度评价的贡献。

发明内容

本发明旨在克服现有技术不足，解决了现有算法在数据融合时忽略了4D光场角度信息对聚焦度评价贡献的问题，提供一种基于块效应的微透镜光场相机全聚焦图像生成算法，本发明从另一个视角对4D光场数据进行了分析，该算法针对4D光场数据进行融合，将光场数字重聚焦拆分为坐标变换和积分两步后加入了中间步骤4D光场数据融合，在数字重聚焦过程中实现了全聚焦图像计算。4D光场数据融合过程中，建立块效应函数完成基于角度信息的图像聚焦度评价，最后通过对比块效应的值建立融合规则。

为解决上述技术问题，本发明保护的技术方案为：基于块效应的微透镜光场相机全聚焦图像生成算法，按照以下步骤进行：

1)读取光场原图像，通过光场相机微透镜中心标定，可以确定每一微透镜在光场原图像的成像中心坐标，以该坐标为中心取合适的矩形区域U×V重新排列后得到2D去冗余的光场图像I(i,j)，2D去冗余光场图像I(i,j)和4D光场L(x,y,u,v)的坐标存在以下映射关系：

其中int(·)表示向上取整操作，rem(·)表示求余操作；由上述映射关系计算4D光场坐标L(x,y,u,v)；

2)根据数字重聚焦理论，当改变光场相机成像平面的位置时，由相机记录的新的成像深度处光场

与原光场L(x,y,u,v)存在以下坐标映射关系：

上式中，α_n取不同的值，对应相机聚焦不同的场景深度，记录不同的4D光场数据，为了方便下文表述，将

记为

3)块效应定义为：用固定(x,y)平面对4D光场数据切割后所形成块的内部元素灰度值差异，对于任意一组固定的(x,y)值，块效应的值通过求该块内部任意两点灰度差的平方和得到：

4)4D光场融合规则为：对于任意一组固定的(x,y)值，取不同4D光场块效应值最小的区域形成融合后的4D光场，遍历4D光场的所有空间坐标(x,y)，可得到不同4D光场数据对应的融合权重矩阵：

其中[1]_U×V表示大小为U×V的单位矩阵；[0]_U×V表示大小为U×V的零矩阵；min[·]表示取最小操作；N表示待融合4D光场矩阵的数量。

5)融合后的4D光场通过权重矩阵与对应4D光场数据加权平均得到：

6)对融合后的4D光场矩阵进行积分，得到最终的全聚焦图像：

与现有技术相比，本算法直接基于4D光场数据进行融合。数据融合规则建立时通过计算空间相同位置不同方向光线能量积分形成的光场宏像素的块效应来完成聚焦度评价，最后对融合后的4D光场进行积分得到全聚焦图像。经实验论证了本算法的有效性，本发明基于角度信息得到的融合图像与基于空间信息得到的融合图像具有等同的视觉效果。从融合图像的平均质量评价对比结果看，本发明算法得到图像的感知清晰度值最高，相位一致性值和归一化互信息值仅次于BF算法。

附图说明

下面结合附图对本发明做进一步详细的说明。

图1为本发明的算法流程图。

图2为光场原图像解码及4D光场数据坐标变换的流程图。

图3为块效应对图像聚焦度的影响评价，(a)α₁＝1时的4D光场，(b)α₂＝200时的4D光场，(c)a图的局部放大图，(d)b图的局部放大图，(e)c图的局部放大图，(f)d图的局部放大图，(g)c图的积分图，(h)d图的积分图。

图4为基于块效应的“Leaves”全聚焦图像计算，(a)光场原图像，(b)4D光场矩阵的2D显示，(c)融合后4D光场矩阵的2D显示，(d)b图、c图虚框区域放大图，(e)本发明所得全聚焦图像，(f)基于小波域清晰度评价的光场全聚焦图像融合所得全聚焦图像。

图5为Dinosaur图像融合实验结果对比，(a)Dinosaur光场原图像，(b)α₁＝0.55的重聚焦图像，(c)α₂＝0.95的重聚焦图像，(d)LOE算法的融合图像，(e)WT算法的融合图像，(f)PCA算法的融合图像，(g)GFF算法的融合图像，(h)BF算法的融合图像，(i)本发明算法的融合图像。

图6为Flower图像融合实验结果对比，(a)Flower光场原图像，(b)α₁＝0.4的重聚焦图像，(c)α₂＝1.0的重聚焦图像，(d)LOE算法的融合图像，(e)WT算法的融合图像，(f)PCA算法的融合图像，(g)GFF算法的融合图像，(h)BF算法的融合图像，(i)本发明算法的融合图像。

图7为Vase图像融合实验结果对比，(a)Vase光场原图像，(b)α₁＝0.55的重聚焦图像，(c)α₂＝1.5的重聚焦图像，(d)LOE算法的融合图像，(e)WT算法的融合图像，(f)PCA算法的融合图像，(g)GFF算法的融合图像，(h)BF算法的融合图像，(i)本发明算法的融合图像。

具体实施方式

为使本发明的目的、特征和优点能够明显易懂，下面结合附图对本发明的具体实施方式做详细说明。

传统的算法忽略了由4D光场角度信息引起的积分图像聚焦度的差异。基于此，本发明提出一种基于光场角度信息的全聚焦图像融合算法，通过计算空间相同位置不同方向光线能量积分形成的光场宏像素的块效应来完成清晰度评价实现4D光场数据的融合，最后对融合后的4D光场进行积分得到全聚焦图像。具体步骤如下：

一、不同聚焦深度的4D光场数据计算

微透镜阵列光场相机拍摄的光场原图像与传统图像的显著不同在于光场原图像不仅记录了被拍摄的场景信息，还记录了相机内部微透镜阵列的信息，如图2(a)所示，选取原图像的一个局部区域放大后，可以明显观察到与微透镜阵列形状相似的“类圆形”格子的整齐排列，如图2(b)所示。通过光场相机微透镜中心标定，可以确定每一微透镜在光场原图像的成像中心坐标，以该坐标为中心取合适的矩形区域U×V重新排列后得到去冗余的光场图像，如图2(c)所示。2D去冗余光场图像I(i,j)和4D光场L(x,y,u,v)的坐标存在以下映射关系：

其中int(·)表示向上取整操作，rem(·)表示求余操作。

每一微透镜对应的有效成像区域称为光场图像的一个宏像素，该区域的大小U×V确定了4D光场的角度分辨率，光场相机所包含的微透镜的个数X×Y确定了4D光场的空间分辨率。根据数字重聚焦理论，当改变光场相机成像平面(像距)的位置时，由相机记录的新的成像深度处(物距)光场

与原光场L(x,y,u,v)存在以下坐标映射关系：

上式中，α_n取不同的值，对应相机聚焦不同的场景深度，记录不同的4D光场数据。为了方便下文表述，将

记为

二、块效应的计算及4D光场数据融合

用一固定的(x,y)面对4D光场数据进行切割，可得到一个大小为U×V块，采用这一原则，遍历所有(x,y)值，对应得到X×Y个块，对这些块进行二维排列可实现4D光场的2D显示，如图2(d)、(e)所示。由于每一个大小为U×V的块的灰度值差异反映了微透镜光场成像角度信息的差异，基于此，本发明提出基于块效应的全聚焦图像融合算法，首先采用块效应进行清晰度评价完成4D光场数据融合，再由融合后的4D光场积分得到全聚焦图像。

块效应定义为：用固定(x,y)平面对4D光场数据切割后所形成块的内部元素灰度值差异。对于任意一组固定的(x,y)值，块效应的值通过求该块内部任意两点灰度差的平方和得到：

通过分析4D光场2D显示图的特征发现，块内部元素灰度值差异越小，图像越清晰。因此本发明建立的基于块效应的4D光场融合规则为：对于任意一组固定的(x,y)值，取不同4D光场块效应值最小的区域形成融合后的4D光场。遍历4D光场的所有空间坐标(x,y)，可得到不同4D光场数据对应的融合权重矩阵：

其中[1]_U×V表示大小为U×V的单位矩阵；[0]_U×V表示大小为U×V的零矩阵；min[·]表示取最小操作；N表示待融合4D光场矩阵的数量。融合后的4D光场通过权重矩阵与对应4D光场数据加权平均得到：

对融合后的4D光场矩阵进行积分，得到最终的全聚焦图像：

上面对本算法的具体步骤进行了详细阐述，下面通过多个试验验证本发明的理论可行性及本算法的优势。

为了验证本发明采用块效应作为清晰度评价函数的理论正确性，实验分析了块效应对图像聚焦程度的影响。以实验数据库的“Dinosaur”图像为例，分别取α₁＝1和α₂＝200得到4D光场L_α1(x,y,u,v)和L_α2(x,y,u,v)对应的2D显示如图3(a)和(b)所示，对图3(a)和(b)红色框所框区域进行放大，对应得到图3(c)和(d)。对比图3(c)和(d)可得：图3(c)左侧椅子的块效应明显高于图3(d)，图3(d)右侧恐龙躯体的块效应高于图3(c)，且该现象可以通过进一步放大图3(c)和(d)中椅子和恐龙的交界处(白色框所框区域)对比得到，如图3(e)和图3(f)所示。对图3(c)和图3(d)沿u、v方向进行二重积分后，得到的重聚焦图像如图3(g)和图3(h)所示。对比图3(g)和图3(h)可见明显的聚焦区域变化：图3(g)的聚焦区域为右侧恐龙躯体，图3(h)的聚焦区域为左侧椅子。结合图3(e)、(f)、(g)、(h)可得，块效应值越小，对应积分后的图像清晰度越高，验证了本发明建立的4D光场融合规则的正确性。

为了验证基于角度信息(块效应)的光场全聚焦图像融合算法的可行性，采用文献(谢颖贤，武迎春，王玉梅，等.基于小波域清晰度评价的光场全聚焦图像融合[J].北京航空航天大学学报，2019，45(9):1848-1854.)实验中的“Leaves”光场原图像进行全聚焦图像计算，如图4(a)所示。经微透镜中心标定得到的4D光场矩阵的2D显示如图4(b)所示，分别取α₁＝0.52、α₂＝0.78、α₃＝0.98，根据本文公式(2)可得到3组新的光场矩阵，计算、比较3组光场矩阵的块效应后得到的融合后的4D光场矩阵的2D显示如图4(c)所示。放大图4(b)与图4(c)的2个局部区域(白色实线框)进行对比发现，融合后的4D光场的2个局部区域的块效应明显变低，如图4(d)所示。最后将融合后的4D光场进行积分，得到的全聚焦图像如图4(e)所示，该文献的实验融合结果如图4(f)所示。对比图4(e)和图4(f)的3个局部区域可得(3个白色虚线框所框区域所示)，本发明所得的全聚焦图像与该文献具有相同的视觉效果。但从全聚焦图像融合的算法原理上讲，该文献利用了光场的空间信息进行全聚焦图像计算，本发明算法利用了光场的角度信息求块效应的方法实现了全聚焦图像的计算，说明合理的利用角度信息，可得到与基于空间信息计算等同的融合效果。

为了快速定性及定量评价本发明所提算法获得融合图像质量，选择实验数据库的3幅图像：“Dinosaur”、“Flower”、“Vase”为测试对象，如图5、图6、图7的(a)图所示。不断调整α_n的值，根据数字重聚焦公式计算多幅重聚焦图像，对比视觉效果后选择2幅聚焦位置有明显差异的重聚焦图像作为待融合的子图像，如图5、图6、图7的(b)、(c)图所示。分别采用LOE算法、WT算法、PCA算法、GFF算法、BF算法对两幅子图像进行融合，融合结果如图5、图6、图7的(d)、(e)、(f)、(g)、(h)图所示。对照图5、图6、图7的(b)、(c)图，取相同的α_n值，采用公式(2)对光场原图像对应的4D光场进行坐标变换后，根据本发明算法对两组4D光场进行融合后积分得到的融合图像如图5、图6、图7的(i)图所示。从视觉效果对比不同算法得到的融合图像的质量发现，除了PCA算法得到的融合图像在矩形实线框所框区域存在局部不清晰外，其余算法得到的融合图像的融合质量无明显差异，因此需要进一步引入质量评价指标进行评价。

针对目前公开的光场图像数据库没有给出标准的全聚焦图像情况，采用目前公认的4类图像质量评价指标(基于图像特征的评价指标、基于信息论的评价指标、基于图像结构相似性的评价指标和基于人类感知启发的评价指标)对各算法得到的融合图像进行评价。其中，基于图像特征的评价指标选用边缘强度(Edge Intensity，EI)、相位一致性(Phase Congruency，PC)作为评价函数，基于信息论的评价指标选用归一化互信息(Normalized Mutual Information，NMI)作为评价函数，基于图像结构相似性的评价指标选用改进的结构相似性(Maintenance Structural Similarity，MSSI)作为评价函数，基于人类感知启发的评价指标采用感知清晰度(Perceptual Sharpness of Image，PSI)作为评价函数。各类算法的评价结果如表1、表2、表3所示。表中加粗字体表示每一列的最高值，其位置反映了对应评价函数下的最优算法。

从表中数据可以看出，本发明所提算法在基于人类感知启发的评价指标(PSI)下体现了最优性能，在基于信息论的评价指标(NMI)下融合质量也可达到最高或次高。在基于结构相似性的评价指标(MSSI)下本发明算法的性能低于PCA、GFF算法。在基于图像特征的评价指标(EI)下本发明算法性能低于LOE算法，而对于PC值，GFF算法与BF算法的性能高于本发明算法。通过各评价指标综合权衡，本发明算法在不明显降低融合图像与原图像结构相似性的前提下，可获得较高质量的融合图像。

表1 Dinosaur图像不同融合算法性能评价指标比较

表2 Flower图像不同融合算法性能评价指标比较

表3 Vase图像不同融合算法性能评价指标比较

为了进一步论证表1、表2、表3所用数据的代表性，在相同数据库中选取了10幅光场原图像，分别计算了不同融合算法对应的图像质量评价结果并取平均，得到的平均值如表4所示。通过分析表中数据发现：本发明所提算法获得的融合图像的PSI值最高，PC值与NMI值仅次于BF算法，EI、MSSI值排名第3，验证了本发明所提算法的鲁棒性。

表4 10组实验数据不同融合算法性能平均值比较

上面结合附图对本发明方案的实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (1)

1.基于块效应的微透镜光场相机全聚焦图像生成算法，其特征在于，按照以下步骤进行：

1)读取光场原图像，通过光场相机微透镜中心标定，可以确定每一微透镜在光场原图像的成像中心坐标，以该坐标为中心取合适的矩形区域U×V重新排列后得到2D去冗余的光场图像I(i,j)，2D去冗余光场图像I(i,j)和4D光场L(x,y,u,v)的坐标存在以下映射关系：

其中int(·)表示向上取整操作，rem(·)表示求余操作；由上述映射关系计算4D光场坐标L(x,y,u,v)；

2)根据数字重聚焦理论，当改变光场相机成像平面的位置时，由相机记录的新的成像深度处光场

与原光场L(x,y,u,v)存在以下坐标映射关系：

上式中，α_n取不同的值，对应相机聚焦不同的场景深度，记录不同的4D光场数据，为了方便下文表述，将

记为

3)块效应定义为：用固定(x,y)平面对4D光场数据切割后所形成块的内部元素灰度值差异，对于任意一组固定的(x,y)值，块效应的值通过求该块内部任意两点灰度差的平方和得到：

4)4D光场融合规则为：对于任意一组固定的(x,y)值，取不同4D光场块效应值最小的区域形成融合后的4D光场，遍历4D光场的所有空间坐标(x,y)，可得到不同4D光场数据对应的融合权重矩阵：

其中[1]_U×V表示大小为U×V的单位矩阵；[0]_U×V表示大小为U×V的零矩阵；min[·]表示取最小操作；N表示待融合4D光场矩阵的数量；

5)融合后的4D光场通过权重矩阵与对应4D光场数据加权平均得到：

6)对融合后的4D光场矩阵进行积分，得到最终的全聚焦图像：

Images