CN109615650B - 一种基于变分法和遮挡互补的光场流估计方法 - Google Patents

Abstract

本发明公开了一种基于变分法和遮挡互补的光场流估计方法。该方法基于变分法的光流算法，创造性地把光场深度参数直接代入光流计算公式中，从而建立一种变分光场流模型即光场的深度流模型并对多帧子光圈图像进行光场流估计。并且利用超松弛(SOR)迭代求出光场流，提高了算法的效率。同时，利用多分辨率光场流计算(包括金字塔构建和光场流逐层计算)，对所得结果进行进一步的优化，在降低了算法复杂度的同时，提高了光场图像深度估计的精度。本发明利用图像变换和光场子光圈阵列的遮挡互补特点得到一系列的初始光场流，最后对其结果进行平均值优化即获得最终的光场流。

Description

一种基于变分法和遮挡互补的光场流估计方法

技术领域

本发明属于光场成像技术领域，具体涉及一种基于变分法和遮挡互补的光场流估计方法。

背景技术

现实世界场景的信息包含了三个维度：宽度、长度和深度。如何准确地从已知的二维平面图像信息中提取深度信息一直是研究的难点。国内外许多学者进行了这方面的研究。主要方法可以分为两种：一种是基于散焦图像的深度估计，通过散焦程度不同的多幅图像计算景物的景深；另一种是通过计算显微图像信息的频域特征间接计算深度。

基于散焦图像的深度估计有双目深度估计和多目深度估计，其中双目深度的算法有双目视差估计算法，该算法利用两台相机分别对一个目标进行拍照，通过几何原理计算视差值，最后转换为深度值。该方法的优点是计算简单，缺点是只能利用两幅散焦图像，计算结果不够精准。多目深度估计有基于光场图像的深度估计算法，光场相机可以同时拍摄得到多幅散焦图像，通过散焦图像之间的整体视差计算出深度信息。该方法的优点是计算结果比较精确，缺点是计算量大。通过显微频域特征计算深度的方法通过计算微操作空间中的X-Y平面的散焦图像特征获得在Z方向的深度信息和运动特征。该方法的优点是实时性比较好，缺点是对机械手的制作技术要求比较高。

基于数字重聚焦的深度估计是利用光场数字重聚焦的优势，通过对重聚焦图像进行聚焦性检测来提取深度信息。例如Tao等人首次结合散焦(defocus)和相关性(correspondence)等线索提取重聚焦图像中的局部深度图，再利用马尔科夫随机场(Markov Random Field,MRF)对二者融合获得最终深度图。进一步，他们利用角度相干性(angular coherence)构造新的散焦和相关性线索，同时引入阴影(shading)和光照(lighting)线索约束并校正深度图，最后通过非线性最小二乘法进行优化，提升了深度估计的准确性。但是这两种方法仅仅适合简单近距离场景深度估计，对于遮挡、远距离场景目标深度估计会产生较大误差。

基于多视角立体匹配的深度估计充分利用了光场多视角图像的颜色一致性，与传统立体匹配方法类似，该方法通过构造成本量(Cost Volume)来获取深度信息。例如，Yu等人充分利用光线辐射空间中3D直线几何结构，以3D直线作为约束条件，引入直线辅助图像分割(Line Assisted Graph Cut,LAGC)算法提取深度信息。然而，当场景存在严重遮挡时，该3D直线就会被分割成小而不连续的断线，从而导致深度估计误差增大。Jeon等人首先明确解决了光场深度估计中窄基线问题，利用傅里叶变换中的相移理论获得微透镜阵列之间的亚像素位移，将中心视角作为参考视角与其他视角进行立体匹配，然后利用图割优化算法进行多标签优化，最终通过迭代优化将离散深度图转换成连续的深度图。该方法尽管深度提取精度较高，但需要对每个多视角图像分别构造成本函数，时间复杂度高，且无法处理遮挡问题。

发明内容

本发明的目的是提供一种基于变分法和遮挡互补的光场流估计方法。该方法基于变分法的光流算法，创造性地把光场深度参数直接代入光流计算公式中，从而建立一种变分光场流模型即光场的深度流模型并对多帧子光圈图像进行光场流估计。并且利用超松弛(SOR)迭代求出光场流，提高了算法的效率。同时，利用多分辨率光场流计算(包括金字塔构建和光场流逐层计算)，对所得结果进行进一步的优化，在降低了算法复杂度的同时，提高了光场图像深度估计的精度。利用图像变换和光场子光圈阵列的遮挡互补特点得到一系列的初始光场流，最后对其结果进行平均值优化即获得最终的光场流。

为实现上述目的，本发明的技术方案包括以下步骤：

S1、结合变分光流法构造光场流模型，包括能量数据项与平滑项模型；

S2、光场流的能量泛函的极小化；

S3、多分辨率光场流计算；

S4、使用所述的光场流模型估计子光圈图像的光场流；

S5、利用图像变换和遮挡互补特点得到初始光场流；

S6、平均值优化。

作为优选，步骤S1中，所述的结合变分光流法构造光场流模型，具体包括：

S11、光场流模型数据项的构建，其中数据项包含两种假设模型，一种是光场流的灰度一致性假设模型：

L_F(x,y,u₀,v₀)＝L_F(x+βdu,y+βdv,u₀+du,v₀+dv) (1)

其中，(du,dv)表示其它任意一个子光圈图像的角度坐标(u,v)与中心子光圈图像的角度坐标(u₀,v₀)之差，β表示视差，也是所要求得的光场流。L_F(x,y,u₀,v₀)表示光场图像序列的中心子光圈图像数据，其中u₀,v₀分别代表光场序列图像的横纵坐标的中值，x,y分别代表中心子光圈图像上点(x,y)的横纵坐标；

S12、光场流能量模型数据项所包含的另一种假设模型即光场流的梯度恒常假设：

▽L_F(x,y,u₀,v₀)＝▽L_F(x+βdu,y+βdv,u₀+du,v₀+dv) (2)

其中，

表示空间梯度；

S13、光场深度流数据项e_data为：

令，

其中，β表示深度流，γ为数据项中两部分的权重，可通过因子γ调节假设模型间的相对作用程度，这里使用了鲁棒惩罚函数，其中

ε＝0.001；

因此，光场深度流数据项可表示为：

S14、光场深度流平滑项e_smooth为：

其中

分别表示深度流在x与y方向的偏导；

S15、光场流能量模型：

E＝∫∫(e_data+αe_smooth)dxdy (6)

这里的α表示数据项与平滑项的权重值。

作为优选步骤S2中，光场流的能量泛函的极小化具体包括：

S21、对S15中的式(6)通过变分极小化可得到对应拉格朗日-欧拉方程：

令，

因此，可得光场流方程：

S22、基于S21中的光场流方程，可以利用SOR(successive over relaxation)超松弛迭代求出光场流。其迭代方程为：

这里k＝0,1,2……，其中

取ε＝0.001。

作为优选步骤S3中，多分辨率光场流计算方法分为两部分，即金字塔的构建及深度流的逐层计算。通过构建金字塔得到一系列具有不同分辨率的图像，此过程包括降采样和滤波处理。深度流的逐层计算从分辨率最低的图像开始，并逐层向分辨率较高的图像层进行映射。具体包括：

S31、金字塔采样因子是指当前分辨率层与高分辨率层图像行或列的比值，传统的多分辨率计算方法多采用基于采样因子为0.5的图像金字塔进行，即隔行隔列采样，这种分层方法不够细致，跨度较大，容易在层间映射过程中陷入局部极值，引入较大误差。本文选取的采样因子的范围为η∈(0,1)，通过增加金字塔层数来提高深度流的计算精度。

S32、利用图像金字塔进行深度流层间映射的过程中，为了在每一层都能获得高质量的深度流初值，也即避免由低分辨率到高分辨率图像层进行映射的过程中存在的非整数坐标位置的插值问题，本文使用了双三次插值的处理方法。

S33、进行深度流层间映射的过程中需要利用图像变换对双三次插值后的结果作为当前层深度流的计算结果即初值，直到计算出最后一层的值，此过程可使像素位移进一步降低。此过程需要对图像变换后所得到的新的图像重新计算其时空导数。

作为优选步骤S4中，将选取的中心子光圈图像L_F(x,y,u₀,v₀)与其他所有子光圈图像L_F(x,y,u,v)作为光场流模型的输入，此算法输出的一系列β值即为光场流结果。

作为优选步骤S5中，利用图像变换和遮挡互补特点得到初始光场流。具体包括：

S51、图像变换指的是将光场流计算过程中选取的两幅图像中的第二幅图像利用光场流初始值对第一幅图像进行变换逼近，那么光场流的成本代价定义为第一幅图像与经过变换的图像之间的差值，其差值越小，则表明选取这两帧子光圈图像进行光场流估计的结果越精确。

S52、遮挡互补很指的是如果像素点在某一个视图中被遮挡，那么其在与该视图成中心对称的另一视图中则几乎不会被遮挡。

S53、首先需要估计出中心子光圈图像和其余视图的子光圈图像之间的光场流，其中参与光场流估计的子光圈图像是在子光圈图像阵列中，以中心子光圈图像为中心位置，且处于一行、一列和对角位置的子光圈图像。然后，利用图像变换和遮挡互补特点选取精确光场流。最后，构建出基于变分法和遮挡互补的光场流框架，进行最终的光场流估计。

作为优选步骤S6中，平均值优化。具体包括：

S61：选取7*7幅光场子光圈图像，首先求出任意一幅子光圈图像与中心子光圈图像之间的光流u，即将得到84个光流值，可表示为u₁,u₂,u₃,...u₈₄。

S62：光场流结果的优化，优化过程表示为如下：

(1)读取84个光流值u₁,u₂,u₃,...u₈₄；

(2)求出光流值的均值mean和方差var；

(3)循环遍历84个光场流值，并判断：如果|u_i-mean|＜3var,则u_i保留，否则删除u_i；

(4)返回执行步骤(2)，直到u_i不再被删除；

(5)最终求出的mean即为最优光场流解。

本发明有益效果如下：

本发明的基于变分法和遮挡互补的光场流模型，相比于现有的光场深度估计算法，具有以下有益效果：

首先，该方法基于变分光流算法，创造性地把深度参数直接代入变分计算公式中，从而建立一种光场流模型即光场的深度流模型，此方法简单可行。

其次，利用超松弛迭代求出深度流，提高了算法的效率。

最后，利用多分辨率光场流计算(包括金字塔构建和光场流逐层计算)，对所得结果进行进一步的优化，在降低了算法复杂度的同时，提高了光场图像深度估计的精确度。

附图说明

图1为本发明基于变分法的光场流模型的流程图；

图2(a)为模型中各模块所使用的具体方法。

图2(b)为模型中各模块所使用的具体方法。

图2(c)为模型中各模块所使用的具体方法。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明作进一步详细说明。

参考图1，参考图2，在本发明的较佳实施例中，一种基于变分法和遮挡互补的光场流估计模型，包括以下步骤：

步骤S1：结合变分光流算法构造光场流模型(包括能量数据项与平滑项模型)，具体包括：

S11光场流能量模型数据项的构建，其中数据项包含两种假设模型，其一，光场流的灰度一致性假设模型：

L_F(x,y,u₀,v₀)＝L_F(x+βdu,y+βdv,u₀+du,v₀+dv)

其中(du,dv)表示其它任意一个子光圈图像的角度坐标(u,v)与中心子光圈图像的角度坐标(u₀,v₀)之差，β表示视差，也是所要求得的深度流。L_F(x,y,u₀,v₀)表示光场图像序列的中心子光圈图像数据，其中u₀,v₀代表光场序列图像的横纵坐标的中值，x,y代表中心子光圈图像上点(x,y)的横纵坐标；

S12光场流能量模型数据项所包含的另一种假设模型即光场流的梯度恒常假设：

▽L_F(x,y,u₀,v₀)＝▽L_F(x+βdu,y+βdv,u₀+du,v₀+dv)

其中，

表示空间梯度；

S13光场深度流数据项e_data为：

令，

其中，β表示深度流，γ为数据项中两部分的权重，可通过因子γ调节假设模型间的相对作用程度，这里使用了鲁棒惩罚函数，其中

ε＝0.001；

因此，光场深度流数据项可表示为：

S14光场深度流平滑项e_smooth为：

其中

与

分别表示深度流在x与y方向的偏导；

S15光场流能量模型：

E＝∫∫(e_data+αe_smooth)dxdy

这里的α表示数据项与平滑项的权重值。

步骤2：光场流的能量泛函的极小化，具体包括：

S21对S15中的式(6)通过变分极小化可得到对应拉格朗日-欧拉方程：

令，

因此，可得深度流方程：

S22基于S21中的深度流方程，可以利用SOR(successive over relaxation)超松弛迭代求出光场深度流。其迭代方程为：

这里k＝0,1,2……，其中

取ε＝0.001。

步骤3：多分辨率光场流计算方法分为两部分，即金字塔的构建及深度流的逐层计算。通过构建金字塔得到一系列具有不同分辨率的图像，此过程包括降采样(downsampling)和滤波处理(filtering)。深度流的逐层计算从分辨率最低的图像开始，并逐层向分辨率较高的图像层进行映射(warping)。具体包括：

S31金字塔采样因子是指当前分辨率层与高分辨率层图像行或列的比值，传统的多分辨率计算方法多采用基于采样因子为0.5的图像金字塔进行，即隔行隔列采样，这种分层方法不够细致，跨度较大，容易在层间映射过程中陷入局部极值，引入较大误差。本文选取的采样因子的范围为η∈(0,1)，通过增加金字塔层数来提高深度流的计算精度。

S32利用图像金字塔进行深度流层间映射的过程中，为了在每一层都能获得高质量的深度流初值，也即避免由低分辨率到高分辨率图像层进行映射的过程中存在的非整数坐标位置的插值问题，本文使用了双三次插值的处理方法。

S33进行深度流层间映射的过程中需要利用图像变换对双三次插值后的结果作为当前层深度流的计算结果即初值，直到计算出最后一层的值，此过程可使像素位移进一步降低。此过程需要对图像变换后所得到的新的图像重新计算其时空导数。

步骤4：将选取的中心子光圈图像L_F(x,y,u₀,v₀)与其他子光圈图像L_F(x,y,u,v)作为光场流模型的输入(省去高斯平滑，超松弛迭代及建立图像金字塔)，此算法输出的β即为光场流。

步骤5：利用图像变换和遮挡互补特点得到初始光场流。具体包括：

S51图像变换指的是将光场流计算过程中选取的两幅图像中的第二幅图像利用光场流初始值对第一幅图像进行变换逼近，那么光场流的成本代价定义为第一幅图像与经过变换的图像之间的差值，其差值越小，则表明选取这两帧子光圈图像进行光场流估计的结果越精确。

S52遮挡互补很指的是如果像素点在某一个视图中被遮挡，那么其在与该视图成中心对称的另一视图中则几乎不会被遮挡。

S53首先需要估计出中心子光圈图像和其余视图的子光圈图像之间的光场流，其中参与光场流估计的子光圈图像是在子光圈图像阵列中，以中心子光圈图像为中心位置，且处于一行、一列和对角位置的子光圈图像。然后，利用图像变换和遮挡互补特点选取精确光场流。最后，构建出基于变分法和遮挡互补的光场流框架，进行最终的光场流估计。

步骤6：平均值优化。具体包括：

S61选取7*7幅光场子光圈图像，首先求出任意一幅子光圈图像与中心子光圈图像之间的光流u，即将得到84个光流值，可表示为u₁,u₂,u₃,...u₈₄。

S62光场流结果的优化，优化过程可用伪代码表示为如下的(1)～(5)：

(1)读取84个光流值u₁,u₂,u₃,...u₈₄；

(2)求出其均值mean和方差var；

(3)循环遍历84个光场流值，并判断：如果|u_i-mean|＜3var,则u_i保留，否则删除u_i；

(4)返回执行步骤2中的(2)，直到u_i不再被删除；

(5)最终求出的mean即为最优光场流解。

上述实施例中，本发明的光场流估计方法首先基于变分光流算法，把光场的深度参数直接代入光流计算公式中，从而建立一种光场流模型即光场的深度流模型并对子光圈图像进行深度估计。并且利用超松弛(SOR)迭代求出深度流。同时，利用多分辨率光场流计算(包括金字塔构建和光场流逐层计算)，对所得结果进行进一步的优化。

Claims (6)

1.一种基于变分法和遮挡互补的光场流估计方法，该方法基于变分法的光流算法，将光场深度参数直接代入光流计算公式中，从而建立一种变分光场流模型即光场的深度流模型，并对多帧子光圈图像进行光场流估计；同时利用超松弛迭代求出光场流，并利用多分辨率光场流计算，对所得结果进行进一步的优化，其特征在于具体包括如下步骤：

S1、结合变分光流法构造光场流模型，包括能量数据项与平滑项模型；

S2、光场流的能量泛函的极小化；

S3、多分辨率光场流计算；

S4、使用所述的光场流模型估计子光圈图像的光场流；

S5、利用图像变换和遮挡互补特点得到初始光场流；

S6、平均值优化；

步骤S1中所述的结合变分光流法构造光场流模型，具体包括：

S11、光场流模型数据项的构建，其中数据项包含两种假设模型，一种是光场流的灰度一致性假设模型：

L_F(x,y,u₀,v₀)＝L_F(x+βdu,y+βdv,u₀+du,v₀+dv) (1)

其中，(du,dv)表示其它任意一个子光圈图像的角度坐标(u,v)与中心子光圈图像的角度坐标(u₀,v₀)之差，β表示视差，也是所要求得的光场流；L_F(x,y,u₀,v₀)表示光场图像序列的中心子光圈图像数据，其中u₀,v₀分别代表光场序列图像的横纵坐标的中值，x,y代表中心子光圈图像上点(x,y)的横纵坐标；

S12、光场流模型数据项所包含的另一种假设模型即光场流的梯度恒常假设：

其中，

表示空间梯度；

S13、光场深度流数据项e_data为：

I_z＝L_F(x+βdu,y+βdv,u₀+du,v₀+dv)-L_F(x,y,u₀,v₀)

令，

其中，β表示深度流，γ为数据项中两部分的权重，可通过因子γ调节假设模型间的相对作用程度，使用了鲁棒惩罚函数，其中

ε＝0.001；

因此，光场深度流数据项可表示为：

S14、光场深度流平滑项e_smooth为：

其中

分别表示深度流在x与y方向的偏导；

S15、光场流模型：

E＝∫∫(e_data+αe_smooth)dxdy (6)

这里的α表示数据项与平滑项的权重值。

2.根据权利要求1所述的一种基于变分法和遮挡互补的光场流估计方法，其特征在于步骤S2中光场流的能量泛函的极小化具体包括：

S21、对步骤S15中的式(6)通过变分极小化可得到对应拉格朗日-欧拉方程：

令，

因此，可得光场流方程：

S22、基于S21中的光场流方程，利用SOR超松弛迭代求出光场流，其迭代方程为：

其中，k＝0,1,2……，

取ε＝0.001。

3.根据权利要求2所述的一种基于变分法和遮挡互补的光场流估计方法，其特征在于步骤S3中多分辨率光场流计算方法包括两部分：金字塔的构建及深度流的逐层计算；通过构建金字塔得到一系列具有不同分辨率的图像，此过程包括降采样和滤波处理；深度流的逐层计算从分辨率最低的图像开始，并逐层向分辨率较高的图像层进行映射；具体包括：

S31、金字塔采样因子是指当前分辨率层与高分辨率层图像行或列的比值，将采样因子的选取范围定为η∈(0,1)，通过增加金字塔层数来提高深度流的计算精度；

S32、图像金字塔进行深度流层间映射的过程中，使用双三次插值的处理方法；

S33、进行深度流层间映射的过程中，将图像变换对双三次插值后的结果作为当前层深度流的计算结果即初值，直到计算出最后一层的值，此过程需要对图像变换后所得到的新的图像重新计算其时空导数。

4.根据权利要求3所述的一种基于变分法和遮挡互补的光场流估计方法，其特征在于步骤S4所述的光场流模型估计子光圈图像的光场流，具体将选取的中心子光圈图像L_F(x,y,u₀,v₀)与其他所有子光圈图像L_F(x,y,u,v)作为光场流模型的输入，此算法输出的一系列β值即为光场流结果。

5.根据权利要求4所述的一种基于变分法和遮挡互补的光场流估计方法，其特征在于步骤S5所述的利用图像变换和遮挡互补特点得到初始光场流，具体包括：

图像变换指的是将光场流计算过程中选取的两幅图像中的第二幅图像利用光场流初始值对第一幅图像进行变换逼近，那么光场流的成本代价定义为第一幅图像与经过变换的图像之间的差值，其差值越小，则表明选取这两帧子光圈图像进行光场流估计的结果越精确；

遮挡互补指的是如果像素点在某一个视图中被遮挡，那么其在与该视图成中心对称的另一视图中则几乎不会被遮挡；

首先需要估计出中心子光圈图像和其余视图的子光圈图像之间的光场流，其中参与光场流估计的子光圈图像是在子光圈图像阵列中，以中心子光圈图像为中心位置，且处于一行、一列和对角位置的子光圈图像；然后，利用图像变换和遮挡互补特点选取精确光场流；最后，构建出基于变分法和遮挡互补的光场流框架，进行最终的光场流估计。

6.根据权利要求5所述的一种基于变分法和遮挡互补的光场流估计方法，其特征在于步骤S6所述的平均值优化，具体包括：

S61：选取7*7幅光场子光圈图像，首先求出任意一幅子光圈图像与中心子光圈图像之间的光流u，即将得到84个光流值，表示为u₁,u₂,u₃,...u₈₄；

S62：光场流结果的优化，优化过程表示为如下：

(1)读取84个光流值u₁,u₂,u₃,...u₈₄；

(2)求出光流值的均值mean和方差var；

(3)循环遍历84个光场流值，并判断：如果|u_i-mean|＜3var,则u_i保留，否则删除u_i；

(4)返回执行步骤(2)，直到u_i不再被删除；

(5)最终求出的mean即为最优光场流解。

Images