CN102663721B - 动态场景的散焦深度估计和全聚焦图像获取方法 - Google Patents

Abstract

本发明提出一种动态场景的散焦深度估计和全聚焦图像获取方法，包括以下步骤：获取多张散焦图像的第一深度图以及全局不一致的模糊核，采用基于散焦深度估计和图像去模糊算法进行反馈迭代优化以得到每一时刻的全聚焦图像和第二深度图；对每一时刻的全聚焦图像进行颜色分割后对深度图进行平面拟合，并进行空间上的精化以得到第三深度图，并重新优化以得到优化的全聚焦图像；对优化的全聚焦图像进行光流估计后对第三深度图进行平滑，在时间上精化第三深度图以得到时间一致的深度估计结果。该方法可以获得更精确的动态场景深度估计结果和全清晰图像，容易实现。

Description

动态场景的散焦深度估计和全聚焦图像获取方法

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种动态场景的散焦深度估计和全聚焦图像获取方法。

背景技术

如何从三维场景采集所成的二维图像序列恢复场景的深度信息是计算机视觉领域一个重要的研究内容。通常利用所采集到的深度线索来推测场景的深度，如基于多视角的深度估计、基于阴影的深度估计、散焦的深度估计、聚焦深度估计等等，此外还有一些方法通过向场景投射主动光的方式来估计场景的深度。

散焦深度估计自Pentland提出以来便一直受到人们的关注，主要有基于单张的散焦图像和基于多张散焦图像的方法。基于单张散焦图像的散焦深度估计算法由于问题的欠定性通常不能获得令人满意的深度估计结果。基于多张散焦图像的深度估计算法，主要有局部的方法和全局的方法，局部的方法如一些采用局部窗的空域或者频域的方法通常会产生边缘或者窗效应，而一些全局的方法的算法复杂度通常比较高。传统的散焦深度估计算法在求解过程通常会消除场景辐射度(全聚焦图像)的估计而只估计场景的深度。此外，现有对于动态场景的散焦深度估计研究的工作相对较少的主要原因是很难采集到动态场景在某一时刻下的多张聚焦于不同深度下的散焦图像。

发明内容

本发明的目的旨在至少解决上述的技术问题之一。

为此，本发明的目的在于提出了一种动态场景的散焦深度估计和全聚焦图像获取方法，该方法能够实现动态场景的高质量捕获和深度信息提取，得到深度估计结果和全清晰图像后可以进行合成光圈、小视角自由视点等应用，容易实现。

为达到上述目的，本发明的实施例提出了一种动态场景的散焦深度估计和全聚焦图像获取方法，包括以下步骤：

获取多张散焦图像的第一深度图以及全局不一致的模糊核，根据所述全局不一致的模糊核对所述多张散焦图像进行全局不一致的去模糊化以得到初始的全聚焦图像，并根据所述初始的全聚焦图像和所述第一深度图进行反馈迭代优化以得到每一时刻的全聚焦图像和第二深度图；

对所述每一时刻的全聚焦图像进行颜色分割以得到多个颜色分割区域，根据所述第二深度图获得所述每个颜色分割区域的区域深度图，对每个所述区域深度图进行平面拟合以更新所述第二深度图，并在空间上精化更新后的第二深度图以得到第三深度图，根据所述多张散焦图像和所述第三深度图进行去模糊优化以得到优化的全聚焦图像；以及

对所述优化的全聚焦图像进行光流估计以得到光流估计结果，根据所述光流估计结果对所述第三深度图进行平滑，在时间上精化第三深度图以得到时间一致的深度估计结果。

根据本发明实施例的动态场景的散焦深度估计和全聚焦图像获取方法，对于更富有挑战的数据(如纹理不丰富的场景)能获得更好的深度估计结果，并能获得全聚焦的图像。同时，在空间和时间上精化深度可以获得更加精确的动态场景深度估计结果和全聚焦图像，并能保证深度图时间上的一致性。此外，得到深度估计结果和全清晰图像后还可以进行合成光圈、小视角自由视点等应用。

在本发明的一个实施例中，聚焦于深度为s下的特定景深的散焦图像为：

$I_b\left(y\right)={\∫}_{\mathrm{\Ω}\∈R^2}{h}_{\mathrm{\σ}}(y,x)I\left(x\right)\mathrm{dx},$

其中，I为所述全聚焦图像，x和y均表示二维像素坐标，Ω∈R²表示像素坐标x的取值范围，h_σ(y,x)为模糊核，所述h_σ(y,x)可用高斯模型近似：

$h_{\mathrm{\σ}}(y,x)=\frac{1}{2{\mathrm{\π\σ}}^2\left(y\right)}\exp (-\frac{{\left|\right|y-x\left|\right|}^2}{{2\mathrm{\σ}}^2\left(y\right)}),$

其中，σ(y)为对应像素y和深度相关的模糊量，σ(y)＝γb(y)， $b\left(y\right)=\frac{\mathrm{Dv}}{2}|\frac{1}{F}-\frac{1}{v}-\frac{1}{s\left(y\right)}|,$

其中，b为所述像素y处的模糊半径，F为焦距，D为光圈直径，v为像距，s(y)为物距，γ为校准参数。

此外，对所述第一深度图获取为

$\hat{s}=\arg \underset{s}{\min }{E}^s=\arg \underset{s}{\min }({E_d}^s+\mathrm{\α}{E_m}^s),$

其中，为获取的所述第一深度图，E^s为深度获取过程中的能量项，α为正则项系数，E_m ^s为正则项，所述正则项使用深度图梯度的L1范数稀疏先验，当对于两幅聚焦于不同深度的图像I₁、I₂时，深度获取过程中的数据项为

${E_d}^s\left(s\right)=\∫H(\▿\mathrm{\σ}\left(y\right)){\left|\right|I_1\left(y\right)-{\hat{I}}_1\left(y\right)\left|\right|}_2^2\mathrm{dy}+\∫(1-H(\▿\mathrm{\σ}\left(y\right))){\left|\right|I_2\left(y\right)-{\hat{I}}_2\left(y\right)\left|\right|}_2^2\mathrm{dy},$

其中H(·)为阶跃函数。

在本发明的一个实施例中，获得所述初始的全聚焦图像的过程为

$\hat{I}=\arg \underset{I}{\min }{E}^i=\arg \underset{I}{\min }({E_d}^i+\mathrm{\α}{E_m}^i),$

其中，为获得的所述初始的全聚焦图像，Eⁱ为所述初始的全聚焦图像获取过程中的优化能量项，α为所述正则项系数，E_m ⁱ为正则项，所述正则项使用自然图像梯度的L1范数稀疏先验，所述初始的全聚焦图像获取过程中的数据项为

${E_d}^i\left(I\right)={\left|\right|{\∫h}_{{\mathrm{\σ}}_1}(y,x)I\left(x\right)\mathrm{dx}-I_1\left(y\right)\left|\right|}_2^2+{\left|\right|\∫h_{{\mathrm{\σ}}_2}(y,x)I\left(x\right)\mathrm{dx}-I_2\left(y\right)\left|\right|}_2^2,$

其中，为所述散焦图像I₁、I₂全局不一致的模糊核。

在本发明的一个实施例中，所述根据初始的全聚焦图像和所述第一深度图进行反馈迭代优化，包括如下步骤：

将所述全聚焦过程的能量项作为反馈以辅助对所述第一深度图的进一步估计，其中，当所述散焦视频序列包括两张散焦图像时，反馈的能量项为

${E_f}^s\left(s\right)={\left|\right|{\∫h}_{{\mathrm{\σ}}_1}(y,x)I\left(x\right)\mathrm{dx}-I_1\left(y\right)\left|\right|}_2^2+{\left|\right|{\∫h}_{{\mathrm{\σ}}_2}(y,x)I\left(x\right)\mathrm{dx}-I_2\left(y\right)\left|\right|}_2^2;$

对所述反馈能量项、所述深度估计数据项和所述正则项进行优化深度估计，

$\hat{s}=\arg \underset{s}{\min }E=\arg \underset{s}{\min }({E_d}^s+\mathrm{\α}{E_m}^s+\mathrm{\β}{E_f}^s),$

其中，E_m ^s为所述正则项，E_d ^s为所述深度估计数据项，E_f ^s为所述反馈能量项。

在本发明的另一个实施例中，在空间上精化深度，包括以下步骤：

对所述每一时刻的全聚焦图像采用均值漂移Mean-Shift算法进行颜色分割；

设每个区域分割图s(x)表示为

s(x)＝a_kx+b_ky+c_k＝[x y 1][a_k b_k c_k]^T，

其中，[x y 1]为x的图像齐次坐标，[a_k b_k c_k]^T为待求的平面参数；

对每个所述区域深度图进行平面拟合，得到优化的平面参数[a_k ^*,b_k ^*,c_k ^*]^T，根据所述优化的平面参数与所述s(x)＝a_kx+b_ky+c_k＝[x y 1][a_k b_k c_k]^T更新所述第二深度图以获得所述第三深度图；

获得空间上精化的第三深度估计结果后，并再次根据所述利用所述散焦图像和所述第三深度图去模糊得到优化的全聚焦图像。

在本发明的一个实施例中，在时间上精化深度，还包括以下步骤：

获得在t时刻的所述全聚焦图像为I_t和所述深度图为s_t，在t+1时刻的所述全聚焦图像为I_t+1和所述深度图为s_t+1；

对所述t时刻和所述t+1时刻的所述全聚焦图像I_t和I_t+1之间进行光流估计以获得所述光流估计的结果T_t,t+1；

保持所述深度图s_t不变，将所述深度图s_t+1作为初值，通过优化能量项

${\hat{s}}_{t+1}=\arg \underset{{\hat{s}}_{t+1}}{\min }{\left|\right|s_t\·T_{t,t+1}-{\hat{s}}_{t+1}\left|\right|}_2^2+\mathrm{\λ}{\left|\right|\▿{\hat{s}}_{t+1}\left|\right|}_1,$ 更新所述s_t+1，获得所述时间一致的深度估计结果

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的动态场景的散焦深度估计和全聚焦图像获取方法的流程图；

图2为根据本发明一个实施例的动态场景的散焦深度估计和全聚焦图像获取方法的方框图；和

图3为根据本发明实施例的动态场景的散焦深度估计和全聚焦图像获取方法的进一步流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。此外，本发明提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的可应用于性和/或其他材料的使用。另外，以下描述的第一特征在第二特征之“上”的结构可以包括第一和第二特征形成为直接接触的实施例，也可以包括另外的特征形成在第一和第二特征之间的实施例，这样第一和第二特征可能不是直接接触。

参照下面的描述和附图，将清楚本发明的实施例的这些和其他方面。在这些描述和附图中，具体公开了本发明的实施例中的一些特定实施方式，来表示实施本发明的实施例的原理的一些方式，但是应当理解，本发明的实施例的范围不受此限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

下面参照图1至图3描述根据本发明实施例的动态场景的散焦深度估计和全聚焦图像获取方法。

如图1所示，本发明实施例提出的动态场景的散焦深度估计和全聚焦图像获取方法包括以下步骤：

S101，获取多张散焦图像的第一深度图以及全局不一致的模糊核，根据全局不一致的模糊核对多张散焦图像进行全局不一致的去模糊化以得到初始的全聚焦图像，并根据初始的全聚焦图像和第一深度图进行反馈迭代优化以得到每一时刻的全聚焦图像和第二深度图。其中，利用特定的图像采集设备采集动态场景的散焦视频序列，散焦视频序列为每一时刻为多张聚焦于不同深度下的散焦图像。

具体地，在本发明的一个实施例中，如图2所示，假设每一时刻的散焦图像为两张聚焦于不同深度下的散焦图像I₁和I₂，则聚焦于深度为s下的特定景深的散焦图像为：

$I_b\left(y\right)={\∫}_{\mathrm{\Ω}\∈R^2}{h}_{\mathrm{\σ}}(y,x)I\left(x\right)\mathrm{dx}---\left(1\right)$

其中，I为全聚焦图像，x和y均表示二维像素坐标，Ω∈R²表示像素坐标x的取值范围，h_σ(y,x)为模糊核。而h_σ(y,x)可用高斯模型近似：

$h_{\mathrm{\σ}}(y,x)=\frac{1}{2{\mathrm{\π\σ}}^2\left(y\right)}\exp (-\frac{{\left|\right|y-x\left|\right|}^2}{{2\mathrm{\σ}}^2\left(y\right)})---\left(2\right)$

其中，σ(y)为对应像素y和深度相关的模糊量，表示为：

σ(y)＝γb(y)，

$b\left(y\right)=\frac{\mathrm{Dv}}{2}|\frac{1}{F}-\frac{1}{v}-\frac{1}{s\left(y\right)}|---\left(3\right)$

其中，b为像素y处的模糊半径，F为焦距，D为光圈直径，v为像距，s(y)为物距(深度)，γ为校准参数。

在本发明的一个实施例中，选定图像I₁、I₂为聚焦平面为v₁、v₂设置下所获得的散焦图像，则利用上述的卷积模型可以获得对于两幅聚焦于不同深度的图像I₁、I₂之间的相对模糊卷积模型：

$\begin{array}{c}{I}_2\left(y\right)=\∫\frac{1}{2{\mathrm{\π\σ}}_2^2}{e}^{-\frac{{\left|\right|x-y\left|\right|}_2^2}{{2\mathrm{\σ}}_2^2}}I\left(x\right)\mathrm{dx}\\ =\∫\frac{1}{2\mathrm{\π}({\mathrm{\σ}}_2^2-{\mathrm{\σ}}_1^2)}{e}^{-\frac{{\left|\right|x-y\left|\right|}^2}{2({\mathrm{\σ}}_2^2-{\mathrm{\σ}}_1^2)}}\∫\frac{1}{2\mathrm{\π}{\mathrm{\σ}}_1^2}{e}^{-\frac{{\left|\right|\stackrel{\‾}{x}-x\left|\right|}^2}{2{\mathrm{\σ}}_1^2}}I\left(\stackrel{\‾}{x}\right)d\stackrel{\‾}{x}\mathrm{dx}\\ =\∫\frac{1}{2\mathrm{\π}\▿{\mathrm{\σ}}^2}{e}^{-\frac{{\left|\right|y-x\left|\right|}^2}{2\mathrm{\Δ}{\mathrm{\σ}}^2}}{I}_1\left(x\right)\mathrm{dx}\end{array}---\left(4\right)$

其中，为和深度相关的相对模糊量，由公式(3)可以得到：

${\mathrm{\σ}}_1\left(y\right)=\mathrm{\γ}\frac{{\mathrm{Dv}}_1}{2}|\frac{1}{F}-\frac{1}{v_1}-\frac{1}{s\left(y\right)}|,{\mathrm{\σ}}_2\left(y\right)=\mathrm{\γ}\frac{{\mathrm{Dv}}_2}{2}|\frac{1}{F}-\frac{1}{v_2}-\frac{1}{s\left(y\right)}|.$

因此，相对模糊量和场景深度的关系为：

$s\left(y\right)={(\frac{1}{F}-\frac{1}{v_2-v_1}-\frac{1}{|v_2-v_1|}\sqrt{1+\frac{4\▿{\mathrm{\σ}}_{12}\left(y\right)\left|{\▿\mathrm{\σ}}_{12}\left(y\right)\right|}{{\mathrm{\γ}}^2{D}^2}\frac{v_2-v_1}{v_2+v_1}})}^{-1}---\left(5\right)$

当时，和深度相关的相对模糊量为：

$\▿\mathrm{\σ}\left(y\right)=\sqrt{{\mathrm{\σ}}_1^2\left(y\right)-{\mathrm{\σ}}_2^2\left(y\right)},$

$I_1\left(y\right)=\∫h_{{\mathrm{\σ}}_1}(y,x)I\left(x\right)\mathrm{dx}\≈{\hat{I}}_1\left(y\right)=\∫h_{\▿\mathrm{\σ}}(y,x)I_2\left(x\right)\mathrm{dx}---\left(6\right)$

当时，和深度相关的相对模糊量为：

$\▿\mathrm{\σ}\left(y\right)=-\sqrt{{\mathrm{\σ}}_2^2\left(y\right)-{\mathrm{\σ}}_1^2\left(y\right)},$

$I_2\left(y\right)={\∫h}_{{\mathrm{\σ}}_2}(y,x)I\left(x\right)\mathrm{dx}\≈{\hat{I}}_2\left(y\right)=\∫h_{\▿\mathrm{\σ}}(y,x)I_1\left(x\right)\mathrm{dx}---\left(7\right)$

进一步地，对第一深度图的获取为：

$\hat{s}=\arg \underset{s}{\min }E=\arg \underset{s}{\min }({E_d}^s+\mathrm{\α}{E_m}^s)---\left(8\right)$

其中，为获取的第一深度图，E^s为深度获取过程中的能量项，α为正则项系数，E_m ^s为正则项，即为平滑项，正则项使用各项同性的TV(Total Variation，全变差)正则化，即换言之，使用深度图梯度的L1范数稀疏先验。

并且，当对于两幅聚焦于不同深度的图像I₁、I₂时，深度获取过程中的数据项

${E_d}^s\left(s\right)=\∫H(\▿\mathrm{\σ}\left(y\right)){\left|\right|I_1\left(y\right)-{\hat{I}}_1\left(y\right)\left|\right|}_2^2\mathrm{dy}+\∫(1-H(\▿\mathrm{\σ}\left(y\right))){\left|\right|I_2\left(y\right)-{\hat{I}}_2\left(y\right)\left|\right|}_2^2\mathrm{dy}---\left(9\right)$

其中，H(·)为阶跃函数。当对于三幅聚焦于不同深度的图像I₁、I₂、I₃时，深度获取过程中的数据项为

$\begin{array}{c}{E_d}^s\left(s\right)=\∫H(\▿\mathrm{\σ}\left(y\right)){\left|\right|I_1\left(y\right)-{\hat{I}}_1\left(y\right)\left|\right|}_2^2\mathrm{dy}+\∫(1-H(\▿\mathrm{\σ}\left(y\right))){\left|\right|I_2\left(y\right)-{\hat{I}}_2\left(y\right)\left|\right|}_2^2\mathrm{dy}\\ +\∫H(\▿\mathrm{\σ}\left(y\right)){\left|\right|I_2\left(y\right)-{\hat{I}}_2\left(y\right)\left|\right|}_2^2\mathrm{dy}+\∫(1-H(\▿\mathrm{\σ}\left(y\right))){\left|\right|I_3\left(y\right)-{\hat{I}}_3\left(y\right)\left|\right|}_2^2\mathrm{dy}\end{array},$ 以此类推，对于多幅聚焦于不同深度时，可以根据式(9)推广。

在得到第一深度图后，根据式(2)、(3)可获得散焦图像I₁、I₂全局不一致的模糊核则获得初始的全聚焦图像的过程为：

$\hat{I}=\arg \underset{I}{\min }{E}^i=\arg \underset{I}{\min }({E_d}^i+\mathrm{\α}{E_m}^i)---\left(10\right)$

其中，为获得的初始的全聚焦图像，Eⁱ为初始的全聚焦图像获取过程中的优化能量项，α为正则项系数，E_m ⁱ为正则项，正则项使用自然图像梯度的L1范数稀疏先验，初始的全聚焦图像获取过程中的数据项为

${E_d}^i\left(I\right)={\left|\right|{\∫h}_{{\mathrm{\σ}}_1}(y,x)I\left(x\right)\mathrm{dx}-I_1\left(y\right)\left|\right|}_2^2+{\left|\right|\∫h_{{\mathrm{\σ}}_2}(y,x)I\left(x\right)\mathrm{dx}-I_2\left(y\right)\left|\right|}_2^2---\left(11\right)$

在本发明的一个实施例中，由于在深度估计和在进行全聚焦图像获取时候所使用的先验是不一样的。因此在根据初始的全聚焦图像和第一深度图进行反馈迭代优化时，将全聚焦过程的能量项作为反馈以辅助对第一深度图的进一步估计，其中，当散焦视频序列包括两张散焦图像I₁、I₂时，反馈的能量项为：

${E_f}^s\left(s\right)={\left|\right|{\∫h}_{{\mathrm{\σ}}_1}(y,x)I\left(x\right)\mathrm{dx}-I_1\left(y\right)\left|\right|}_2^2+{\left|\right|{\∫h}_{{\mathrm{\σ}}_2}(y,x)I\left(x\right)\mathrm{dx}-I_2\left(y\right)\left|\right|}_2^2---\left(12\right)$

对反馈能量项、深度估计数据项和正则项进行优化深度估计，表示为：

$\hat{s}=\arg \underset{s}{\min }E=\arg \underset{s}{\min }({E_d}^s+\mathrm{\α}{E_m}^s+\mathrm{\β}{E_f}^s)---\left(13\right)$

其中，E_m ^s为正则项，E_d ^s为深度图估计数据项，E_f ^s为反馈能量项。

这样对图像去模糊和反馈优化深度估计进行迭代最终直到收敛，获得每一时刻的全聚焦图像和深度估计结果即第二深度图。

S102，对每一时刻的全聚焦图像进行颜色分割以得到多个颜色分割区域，根据第二深度图获得每个颜色分割区域的区域深度图，对每个所述区域深度图进行平面拟合以更新第二深度图，并在空间上精化更新后的第二深度图以得到第三深度图，根据多张散焦图像和第三深度图进行去模糊优化以得到优化的全聚焦图像。

具体地说，在本发明的一个实施例中，在步骤S101中获得每一时刻的全聚焦的图像和第二深度图后，首先对每一时刻的全聚焦图像采用均值漂移Mean-Shift算法进行颜色分割，并假设每个分割区域S_k内的像素x(x＝[x,y]∈S_k)位于一个散焦平面(深度平面)，即像素x的区域分割图s(x)表示为：

s(x)＝a_kx+b_ky+c_k＝[x y 1][a_k b_k c_k]^T       (14)

其中，[x y 1]为x的图像齐次坐标，[a_k b_k c_k]^T为待求的平面参数。

其次，对每个区域深度图进行平面拟合，首先固定a_k＝b_k＝0及其它分割区域S_k'(k'≠k)内的像素深度，然后改变c_k(取[s_min,s_max]内的所有量化等级)，求得使能量函数式(13)最小的(此时S_k内的所有像素视差均为)。接下来以为初值，采用Levenberg-Marquardt方法迭代优化式(13)以得到优化的平面参数[a_k ^*,b_k ^*,c_k ^*]^T。

在本发明的另一个实施例中，也可以采用其它方法进行拟合，如对S_k内的所有或部分特征像素按其深度值建立超定方程式(15)，其中m为像素个数。然后利用SVD(Singular Value Decomposition，奇异值分解)，求取最小二乘问题min||A-BX||₂的最优解X＝[a_k ^*,b_k ^*,c_k ^*]^T。

$\left[\begin{array}{c}{D}_{k1}\\ ...\\ D_{\mathrm{km}}\end{array}\right]=\left[\begin{array}{ccc}{x}_{k1}& y_{k1}& 1\\ & ...& \\ x_{\mathrm{km}}& y_{\mathrm{km}}& 1\end{array}\right]\left[\begin{array}{c}{a}_k\\ b_k\\ c_k\end{array}\right]---\left(15\right)$

最后，利用[a_k ^*,b_k ^*,c_k ^*]^T及式(14)更新S_k内每个像素的深度值，即更新第二深度图，然后得到I的初始深度图。固定S_k散焦平面后，其它分割区域的散焦平面用相同的方法一一求取，最终获得空间上精化后的深度估计结果，即第三深度图，并再次根据式(10)利用散焦图像和第三深度图去模糊优化以得到优化的全聚焦图像。

S103，对优化的全聚焦图像进行光流估计以得到光流估计结果，根据光流估计结果对第三深度图进行平滑，在时间上精化第三深度图以得到时间一致的深度估计结果。

具体地说，在本发明的一个实施例中，如图3所示，S103还包括以下步骤：

S301，获得在t时刻的全聚焦图像为I_t和深度图为s_t，在t+1时刻的全聚焦图像为I_t+1和深度图为s_t+1。

S302，对t时刻和t+1时刻的全聚焦图像I_t和I_t+1之间进行光流估计以获得光流估计的结果T_t,t+1。在本发明的一个示例中，光流估计的算法可以使用Brox04的算法。

S303，对深度图的平滑为保持深度图s_t不变，将深度图s_t+1作为初值，通过优化能量项

${\hat{s}}_{t+1}=\arg \underset{{\hat{s}}_{t+1}}{\min }{\left|\right|s_t\·T_{t,t+1}-{\hat{s}}_{t+1}\left|\right|}_2^2+\mathrm{\λ}{\left|\right|\▿{\hat{s}}_{t+1}\left|\right|}_1---\left(16\right)$

更新s_t+1，从而在时间上精化深度，获得时间一致的深度估计结果

根据本发明实施例的动态场景的散焦深度估计和全聚焦图像获取方法，是采用全局的方法，成像模型使用卷积模型，首先消除场景的辐射度变量只估计场景的深度，然后使用图像去模糊的方法估计场景的辐射度，进而优化深度估计结果，实现动态场景的全聚焦图像和深度图的获取。并且在每一个时刻的散焦图像深度估计过程，相比传统的散焦深度估计的算法，在整个迭代过程中加入了深度图和自然图像梯度的L1范数稀疏先验，对于更富有挑战的数据(如纹理不丰富的场景)能获得更好的深度估计结果，并能获得全聚焦的图像。同时，在空间和时间上精化深度可以获得更加精确的动态场景深度估计结果和全聚焦图像，并能保证深度图时间上的一致性。此外，得到深度估计结果和全清晰图像后还可以进行合成光圈、小视角自由视点等应用。最后，该方法可以在普通PC(Personal Computer，个人电脑)或者工作站等硬件上实现，容易广泛推广。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。

Claims (4)

1.一种动态场景的散焦深度估计和全聚焦图像获取方法，其特征在于，包括以下步骤：

获取多张散焦图像的第一深度图以及全局不一致的模糊核，根据所述全局不一致的模糊核对所述多张散焦图像进行全局不一致的去模糊化以得到初始的全聚焦图像，并将全聚焦过程的能量项作为反馈以辅助对所述第一深度图的进一步估计，其中，当散焦视频序列包括两张散焦图像时，反馈的能量项为

${E_f}^s\left(s\right)={\left|\right|{\∫h}_{{\mathrm{\σ}}_1}(y,x)I\left(x\right)\mathrm{dx}-I_1\left(y\right)\left|\right|}_2^2+{\left|\right|{\∫h}_{{\mathrm{\σ}}_2}(y,x)I\left(x\right)\mathrm{dx}-I_2\left(y\right)\left|\right|}_2^2,$

其中，I₁和I₂为散焦图像，x和y均表示二维像素坐标，和为所述全局不一致的模糊核，I为全聚焦图像；

对所述反馈能量项、深度估计数据项和正则项进行优化深度估计，

$\hat{s}=\arg \underset{s}{\min }E=\arg \underset{s}{\min }({E_d}^s+\mathrm{\α}{E_m}^s+\mathrm{\β}{E_f}^s),$

其中，为获取的所述第一深度图，α为正则项系数，β为反馈能量项系数，为正则项，为所述深度估计数据项，为所述反馈能量项，以根据所述初始的全聚焦图像和所述第一深度图进行反馈迭代优化以得到每一时刻的全聚焦图像和第二深度图；

对所述每一时刻的全聚焦图像进行颜色分割以得到多个颜色分割区域，根据所述第二深度图获得每个所述颜色分割区域的区域深度图，对每个所述区域深度图进行平面拟合以更新所述第二深度图，并对所述每一时刻的全聚焦图像采用均值漂移Mean-Shift算法进行颜色分割，设每个区域分割图s(x)表示为

s(x)＝a_kx+b_ky+c_k＝[x y 1][a_k b_k c_k]^T，

其中，[x y 1]为x的图像齐次坐标，[a_k b_k c_k]^T为待求的平面参数，对每个所述区域深度图进行平面拟合，得到优化的平面参数[a_k ^*,b_k ^*,c_k ^*]^T，根据所述优化的平面参数与所述每个区域分割图s(x)更新所述第二深度图以获得第三深度图，以及获得空间上精化的第三深度估计结果后，并根据公式其中，为获得的所述初始的全聚焦图像，Eⁱ为所述初始的全聚焦图像获取过程中的优化能量项，E_d ⁱ为初始的全聚焦图像获取过程中的数据项,E_m ⁱ为正则项，利用所述散焦图像和所述第三深度图去模糊得到优化的全聚焦图像，以在空间上精化更新后的第二深度图以得到第三深度图，根据所述多张散焦图像和所述第三深度图进行去模糊优化以得到优化的全聚焦图像；以及

对所述优化的全聚焦图像进行光流估计以得到光流估计结果，根据所述光流估计结果对所述第三深度图进行平滑，并获得在t时刻的所述全聚焦图像为I_t和所述深度图为s_t，在t+1时刻的所述全聚焦图像为I_t+1和所述深度图为s_t+1，对所述t时刻和所述t+1时刻的所述全聚焦图像I_t和I_t+1之间进行光流估计以获得所述光流估计的结果T_t,t+1，以及保持所述深度图s_t不变，将所述深度图s_t+1作为初值，通过优化能量项

${\hat{S}}_{t+1}=\arg \underset{{\hat{S}}_{t+1}}{\min }{\left|\right|s_t\·T_{t,t+1}-{\hat{S}}_{t+1}\left|\right|}_2^2+\mathrm{\λ}{\left|\right|\▿{\hat{s}}_{t+1}\left|\right|}_1,$ 更新所述s_t+1，获得时间一致的深度估计结果以在时间上精化第三深度图以得到时间一致的深度估计结果。

2.如权利要求1所述的动态场景的散焦深度估计和全聚焦图像获取方法，其特征在于，聚焦于深度为s下的特定景深的散焦图像为：

$I_b\left(y\right)={\∫}_{\mathrm{\Ω}\∈R^2}{h}_{\mathrm{\σ}}(y,x)I\left(x\right)\mathrm{dx},$

其中，I_b(y)为所述散焦图像，Ω∈R²表示像素坐标x的取值范围，h_σ(y,x)为模糊核，

其中，所述h_σ(y,x)可用高斯模型近似：

$h_{\mathrm{\σ}}(y,x)=\frac{1}{{2\mathrm{\π\σ}}^2\left(y\right)}\exp (-\frac{{\left|\right|y-x\left|\right|}^2}{2{\mathrm{\σ}}^2\left(y\right)}),$

其中，σ(y)为对应像素y和深度相关的模糊量，σ(y)＝γb(y)，

其中，b为所述像素y处的模糊半径，F为焦距，D为光圈直径，v为像距，s(y)为物距，γ为校准参数。

3.如权利要求2所述的动态场景的散焦深度估计和全聚焦图像获取方法，其特征在于，对所述第一深度图的获取为

$\hat{s}=\arg \underset{s}{\min }{E}^s=\arg \underset{s}{\min }({E_d}^s+\mathrm{\α}{E_m}^s),$

其中，E^s为深度获取过程中的能量项，所述正则项使用深度图梯度的L1范数稀疏先验，当对于两幅聚焦于不同深度的图像I₁、I₂时，深度获取过程中的数据项为

${E_d}^s\left(s\right)=\∫H(\▿\mathrm{\σ}\left(y\right)){\left|\right|I_1\left(y\right)-{\hat{I}}_1\left(y\right)\left|\right|}_2^2\mathrm{dy}+\∫(1-H(\▿\mathrm{\σ}\left(y\right))){\left|\right|I_2\left(y\right)-{\hat{I}}_2\left(y\right)\left|\right|}_2^2\mathrm{dy},$

其中H(·)为阶跃函数。

4.如权利要求1-3任一项所述的动态场景的散焦深度估计和全聚焦图像获取方法，其特征在于，获得所述初始的全聚焦图像的过程为

$\hat{I}=\arg \underset{I}{\min }{E}^i=\arg \underset{I}{\min }({E_d}^i+\mathrm{\α}{E_m}^i),$

其中，所述正则项使用自然图像梯度的L1范数稀疏先验，所述初始的全聚焦图像获取过程中的数据项为

${E_d}^i\left(I\right)={\left|\right|{\∫h}_{{\mathrm{\σ}}_1}(y,x)I\left(x\right)\mathrm{dx}-I_1\left(y\right)\left|\right|}_2^2+{\left|\right|{\∫h}_{{\mathrm{\σ}}_2}(y,x)I\left(x\right)\mathrm{dx}-I_2\left(y\right)\left|\right|}_2^2.$