CN108337434B - 一种针对光场阵列相机的焦外虚化重聚焦方法 - Google Patents

Abstract

本发明公开了一种针对光场阵列相机的焦外虚化重聚焦方法，首先采用现有的深度估计算法对当前场景的深度进行估计，得到当前场景的深度分布图。而后，基于深度估计的结果，按照光学虚化的模型来计算图像不同位置、不同深度值处所对应的模糊，得到焦外虚化图像。最后，本发明的算法将重聚焦过程的结果与计算虚化过程的结果进行融合，生成聚焦区域高信噪比，非聚焦区域柔和虚化的高质量重聚焦图像。本发明可以使光场阵列相机在实现重聚焦功能的基础上，解决了由于其角度稀疏采样导致的焦外高频混叠问题，改善了重聚焦图像的质量。

Description

一种针对光场阵列相机的焦外虚化重聚焦方法

技术领域

本发明涉及图像处理、深度估计、光场计算成像领域，特别是一种针对光场阵列相机的焦外虚化重聚焦方法。

背景技术

近几年来，基于光场和计算成像理论的光场相机成为了研究的热点。它通过采集现实世界的光场，在单次曝光中就可以获得当前场景的三维信息，通过对采集到的数据进行处理，可以实现许多传统相机无法实现的功能。作为光场相机一个很重要的功能，重聚焦技术可以改变合成图像的焦点位置，使得图中只有某一深度附近的物体处于清晰的聚焦状态，而其他深度的物体处于模糊状态。重聚焦技术可以在光场相机一次曝光之后，通过改变相关参数，让场景中不同深度的物体分别处于聚焦状态。

微透镜型光场相机和相机阵列式光场相机作为两种不同结构的光场相机，在成像原理方面具有一定的差异。微透镜型光场相机是通过在主镜头和感光元器件中间设置微透镜阵列来获取来自当前场景不同方向的光线，在角度方向上采样较密，从而具有较高的角度分辨率。在重聚焦的过程当中，焦外区域能够较好地模拟大光圈光学相机的虚化效果，然而由于受相机主孔径的影响，微透镜型光场相机的孔径上限较小，虚化能力有限。阵列相机是在某一个区域布置若干独立的子相机形成一个阵列，来获取当前场景不同视角的投影，通过对采集到的子图像进行后期处理，也可以实现重聚焦等功能。阵列相机的等效孔径为阵列的尺寸，故相比于微透镜型相机，相机阵列的虚化更加明显。然而，相比于微透镜型光场相机，阵列相机在角度方向上采样较稀疏，角度分辨率也较低，直接采用现有的重聚焦方法，在焦外区域很容易因为高频分量混叠而造成光学失真，影响合成图像的质量。

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提供一种针对光场阵列相机的焦外虚化重聚焦方法，避免现有重聚焦技术在焦外区域带来的失真，逼近光学相机的焦外虚化效果，提高重聚焦合成图像的质量。

为解决上述技术问题，本发明所采用的技术方案是：一种针对光场阵列相机的焦外虚化重聚焦方法，包括以下步骤：

1)估计当前场景的深度，得到当前场景的深度分布图；

2)计算深度分布图中焦外虚化弥散圆直径；

3)计算虚化的图像，得到外虚化图像；

4)计算重聚焦图像；

5)将焦外虚化图像I_blur与重聚焦图像I_refocus进行融合，得到最终的焦外虚化重聚焦融合图像I_fuse。

步骤2)中，焦外虚化弥散圆直径δ的表达式为：

其中，λ₀为期待聚焦位置的深度；λ为焦深；f为相机镜头的物理焦距；F为镜头拍摄光圈值。

步骤3)的具体实现过程包括：

1)输入阵列相机中心视角图像I_center，位移估计矩阵D_map，虚化系数K，指定聚焦处的位移值D₀；

2)初始化：(i,j)＝(1,1)，根据输入的各个参数，形成位移差异矩阵|D_map-D₀|，根据R＝K|D-D₀|计算得到弥散半径矩阵R_map，选取弥散半径矩阵中的最大值R_max，取不小于[2R_max]的最小奇数为滤波掩膜的尺寸P_s；其中，

R为弥散圆的半径；f_p＝f/ε为换算到像素为单位的焦距值；ε为阵列相机中一个阵元的长度；B_p＝B/ε为换算到像素为单位的基线长度值；

d₀为焦深λ处对应的图像之间的位移值；

3)从输入图像I_center的(i,j)处提取长宽尺寸均为P_s的块I_patch；从弥散半径矩阵R_map的(i,j)处提取长宽尺寸均为P_s的块R_patch；

4)定义r为块的中心到块的某一坐标处的欧式距离，R为该坐标处的焦外虚化弥散圆半径值，计算得到此处的权值

遍历块R_patch中的每一点，得到滤波掩膜W；

5)根据

计算焦外虚化图像I_blur的相应位置的值；其中，u为矩阵的索引，代表着矩阵中的第u个元素(从上至下，从左至右依次排序)；W(u)和I_patch(u)则分别表示滤波掩膜W和块R_patch中的第u个元素的值；若输入图像I_center中所有像素都被遍历，则输出焦外虚化图像I_blur；否则，返回步骤3)。

步骤4)中，重聚焦图像I_refocus的计算式为：

其中，u＝{u₁,u₂,L,u_U},v＝{v₁,v₂,L,v_V}是阵列中相机的位置；s＝{s₁,s₂,L,s_N}为重聚焦因子；N是深度分辨率，UV是相机阵列中的相机总数；L(u,x-s_iu,v,y-s_iv)表示坐标为(u,v)处的相机所获得的图像在其坐标(x-s_iu,y-s_iv)处的像素的灰度值。

步骤5)的具体实现过程包括：

1)将弥散半径图R_map归一化至0～1区间，得到弥散图η_map；

2)采用sigmoid函数将η_map分为低弥散区域与高弥散区域，获取重聚焦图像与焦外虚化图像融合时控制两者比例的权重系数ω_map；

3)将焦外虚化图像与重聚焦图像按照下式来进行融合：

I_fuse＝ω_map×I_refocus+(I_one-ω_map)×I_blur；

其中，I_one是与ω_map同型的全1矩阵，I_refocus为重聚焦图像；I_blur为焦外虚化图像。

弥散图η_map的表达式为：

权重系数ω_map的计算公式为：

其中，a为sigmoid函数中的衰减因子；b为sigmoid函数中的阈值因子；a＝15；b＝0.3。

与现有技术相比，本发明所具有的有益效果为：本发明可以使光场阵列相机在实现重聚焦功能的基础上，解决由于其角度稀疏采样导致的焦外高频混叠问题，改善了重聚焦图像的质量，避免了现有重聚焦技术在焦外区域带来的失真。随着光场相机的不断推广与普及，本发明方法有着较大的意义与实用价值。

附图说明

图1为本发明算法的流程结构图；

图2为本发明算法的结果对比图。(a1)为阵列中央相机获取的子图像，(b1)为使用本发明算法获得的焦外虚化的计算重聚焦图像。(a2)和(a3)为图像(a1)中的细节，(b2)和(b3)为图像(b1)中的对应细节。

具体实施方式

本发明的方法根据当前场景的深度估计的结果，通过非聚焦区域与聚焦区域的深度差异来计算模拟出非聚焦区域的焦外虚化，最后通过图像融合生成重聚焦图像。本发明的方法结构图如图1所示，具体方法可以分为以下步骤：

1.将阵列相机所获取的所有子图像作为输入，采用Tao在“Depth from CombiningDefocus and Correspondence Using Light-Field Cameras”一文中提出的光场位移估计方法，对不同相机获取的子图像之间的位移进行估计，得到当前场景的位移估计矩阵D_map。

2.根据摄影学中景深的计算公式，计算焦外虚化弥散圆直径(简称弥散圆直径)。景深的计算公式为

式中，δ为弥散圆直径，f为镜头的物理焦距，F为镜头拍摄光圈值，λ为焦深(聚焦中心与相机之间的距离，此处的虚化强度为0)，L₁为前景深(聚焦位置的前面能清晰成像的空间距离)，L₂为后景深(聚焦位置的后面能清晰成像的空间距离)。我们将景深公式加以整理，得到弥散圆直径表达式为

式中，λ为焦深；λ'为实际要对虚化强度进行计算的位置对应的深度。我们根据深度估计理论中的公式

其中B为阵列相机相邻两个相机基线的长度，ε为CCD中一个阵元的长度，d是深度λ处的两张图像之间的相对位移像素值，将此公式代入到弥散圆直径的表达式中，可以得到

式中，R为弥散圆半径(即弥散圆直径的一半)，d₀为深度λ处对应的图像之间的位移值，d为深度λ'处对应的图像之间的位移值。f_p＝f/ε为换算到像素为单位的焦距值，B_p＝B/ε为换算到像素为单位的基线长度值。从此式可以看出，弥散圆半径R与|d-d₀|成正比例关系。此处，我们称比例系数

为虚化系数，通过调节这个虚化系数的大小，我们就可以控制虚化的程度。

3.从阵列相机所获取的图像数据中提取出中心视角图像(即中心位置的阵列相机所拍摄到的图像)，再利用步骤1中计算得到的位移估计矩阵D_map与步骤2中计算得到的虚化系数K，指定聚焦处的位移值D₀，根据以下算法来进行焦外虚化：

注:边界通过填充边缘值来处理

4.根据光场重聚焦方法得到重聚焦图像。由四维光场模型L(u,v,x,y)，其中(u,v)为相机坐标，代表着相机阵列中相机的位置；(x,y)为图像坐标，为某一个相机拍摄到的二维图像的某一点。我们用L(u,v,x,y)来表示坐标为(u,v)处的相机所获得的图像在其坐标(x,y)处的像素的灰度值(取值范围为0-255)，由相机所拍摄的场景来决定，L可以理解为光场的四维坐标(两维相机坐标，两维图像坐标)到相机阵列所获取的图像灰度值之间的一个映射关系。从而L(u,v,x,y)就可以表示相机阵列所拍摄到的当前光场。

重聚焦过程可以由下式来表示：

式中，u＝{u₁,u₂,L,u_U},v＝{v₁,v₂,L,v_V}是阵列中相机的位置(一般设置中间位置的相机为参考相机)；s＝{s₁,s₂,L,s_N}为重聚焦因子(不同的重聚焦因子可以将光场图像聚焦到不同的深度)，L(u,x-s_iu,v,y-s_iv)则表示坐标为(u,v)处的相机所获得的图像在其坐标(x-s_iu,y-s_iv)处的像素的灰度值(取值范围为0-255)。对u与v两个变量的求和，可以理解为将阵列相机不同位置的子图像按照重聚焦因子对应的比例关系向中心位置移动不同的像素后，再对所有的阵列子图像进行叠加的过程。N是深度分辨率，UV是相机阵列中的相机总数。通过光场重聚焦，我们可以得到聚焦区域具有较高信噪比而焦外区域存在混叠失真的重聚焦图像I_refocus。

5.将焦外虚化图像I_blur与重聚焦图像I_refocus进行融合，得到最终的焦外虚化重聚焦融合图像I_fuse。具体步骤为：

1)采用下式将第3步中的弥散圆半径矩阵R_map归一化至0-1区间，得到弥散矩阵η_map

2)采用sigmoid函数将η_map分为低弥散区域与高弥散区域

式中，ω_map为重聚焦图像与焦外虚化图像融合时控制两者比例的权重系数，a为sigmoid函数中的衰减因子，取15；b为sigmoid函数中的阈值因子，取0.3。

3)将焦外虚化图像与重聚焦图像按照下式来进行融合

I_fuse＝ω_map×I_refocus+(I_one-ω_map)×I_blur

式中，I_one是与ω_map同型的全1矩阵，I_fuse为最后的融合结果，也就是焦外虚化的计算重聚焦图像，如图2所示。

Claims (6)

1.一种针对光场阵列相机的焦外虚化重聚焦方法，其特征在于，包括以下步骤：

1)估计当前场景的深度，得到当前场景的深度分布图；

2)计算深度分布图中焦外虚化弥散圆直径；焦外虚化弥散圆直径δ的表达式为：

其中，λ₀为期待聚焦位置的深度；λ为焦深；f为相机镜头的物理焦距；F为镜头拍摄光圈值；

3)计算虚化的图像，得到外虚化图像；具体实现过程包括：

A)输入阵列相机中心视角图像I_center，位移估计矩阵D_map，虚化系数K，指定聚焦处的位移值D₀；

B)初始化：(i,j)＝(1,1)，根据输入的各个参数，形成位移差异矩阵|D_map-D₀｜，根据R＝K|D_map-D₀|计算得到弥散半径矩阵R_map，选取弥散半径矩阵中的最大值R_max，取不小于[2R_max]的最小奇数为滤波掩膜的尺寸P_s；其中，

R为弥散圆的半径；f_p＝f/ε为换算到像素为单位的焦距值；ε为阵列相机中一个阵元的长度；B_p＝B/ε为换算到像素为单位的基线长度值；

d₀为焦深λ处对应的图像之间的位移值；d是深度λ处的两张图像之间的相对位移像素值；D_map为位移估计矩阵；

C)从输入图像I_center的(i,j)处提取长宽尺寸均为P_s的块I_patch；从弥散半径矩阵R_map的(i,j)处提取长宽尺寸均为P_s的块R_patch；

D)定义r为块的中心到块的某一坐标处的欧式距离，R为该坐标处的焦外虚化弥散圆半径值，计算得到此处的权值

遍历块R_patch中的每一点，得到滤波掩膜W；

E)根据

计算焦外虚化图像I_blur的相应位置的值；其中，u为矩阵的索引，代表着矩阵中的第u个元素；W(u)和I_patch(u)则分别表示滤波掩膜W和块R_patch中的第u个元素的值；若输入图像I_center中所有像素都被遍历，则输出焦外虚化图像I_blur；否则，返回步骤C)；

4)计算重聚焦图像；

5)将焦外虚化图像I_blur与重聚焦图像I_refocus进行融合，得到最终的焦外虚化重聚焦融合图像I_fuse。

2.根据权利要求1所述的针对光场阵列相机的焦外虚化重聚焦方法，其特征在于，步骤4)中，重聚焦图像I_refocus的计算式为：

其中，u＝{u₁,u₂,…,u_U},v＝{v₁,v₂,…,v_V}是阵列中相机的位置；s＝{s₁,s₂,…,s_N}为重聚焦因子；N是深度分辨率，UV是相机阵列中的相机总数；L(u,x-s_iu,v,y-s_iv)表示坐标为(u,v)处的相机所获得的图像在其坐标(x-s_iu,y-s_iv)处的像素的灰度值。

3.根据权利要求1所述的针对光场阵列相机的焦外虚化重聚焦方法，其特征在于，步骤5)的具体实现过程包括：

1)将弥散半径图R_map归一化至0～1区间，得到弥散图η_map；

2)采用sigmoid函数将η_map分为低弥散区域与高弥散区域，获取重聚焦图像与焦外虚化图像融合时控制两者比例的权重系数ω_map；

3)将焦外虚化图像与重聚焦图像按照下式来进行融合：

I_fuse＝ω_map×I_refocus+(I_one-ω_map)×I_blur；

其中，I_one是与ω_map同型的全1矩阵，I_refocus为重聚焦图像；I_blur为焦外虚化图像。

4.根据权利要求3所述的针对光场阵列相机的焦外虚化重聚焦方法，其特征在于，弥散图η_map的表达式为：

5.根据权利要求3所述的针对光场阵列相机的焦外虚化重聚焦方法，其特征在于，权重系数ω_map的计算公式为：

其中，a为sigmoid函数中的衰减因子；b为sigmoid函数中的阈值因子。

6.根据权利要求5所述的针对光场阵列相机的焦外虚化重聚焦方法，其特征在于，a＝15；b＝0.3。

Images