CN103136726A - 用于恢复图像的深度信息的方法和设备 - Google Patents

Abstract

图像处理设备和方法可通过使用多个视图的图像来估计所述多个视图中的中间视图的双目视差图。所述图像处理设备可基于帧的双目视差图来从中间视图中检测运动对象。通过检测运动对象，中间视图中的像素可被分为动态像素和静态像素。所述图像处理设备可将束优化和基于局部三维(3D)线模型的时间优化应用到中间视图以增强静态像素和动态像素的双目视差值。

Description

用于恢复图像的深度信息的方法和设备

本申请要求于2011年11月30日在韩国知识产权局提交的第10-2011-0127153号韩国专利申请的优先权益，该申请的公开通过引用合并于此。

技术领域

这里公开的示例实施例涉及一种用于恢复图像的深度信息的方法和设备，更具体地说，涉及一种用于基于由多个相机捕捉的视频序列，恢复可在时空上一致的一组深度图的方法和设备。

背景技术

在计算机视觉领域中，基于多个图像或视频来恢复深度图像是基本问题。恢复深度图像可被用于三维(3D)重建、3D电影制作、自主机器人导航、视频分割和编辑等。

通过立体匹配，可基于相机参数已知的至少两个的多图像来恢复深度信息。

最近用于恢复深度信息的方法可被划分为两类。第一，若干种方法可使用局部的基于窗口的并当估计视差时可采用局部的赢家通吃所有(Winner-Takes-All)的策略的方案。相反，其它方法可将深度的估计表示为能量最小化问题，并可使用图像切割和置信传播算法以解决能量最小化的问题。

恢复的高质量深度信息可被用于3D视频、立体视频分析、视频编辑和增强现实等。

发明内容

通过提供一种处理图像的方法来实现上述和/或其它方面，所述方法包括：针对一个或多个帧中的每一帧，使用包括在所述帧中的每一帧中的左图像、中间图像和右图像来估计中间视图的双目视差图，所述中间视图包括中间图像和估计的双目视差图；通过使用所述帧的中间视图的深度图来估计指示中间视图的背景的背景视图；基于中间视图和背景视图之差，检测中间视图中的运动对象。

左图像和右图像中的至少一个可相应于多个图像。

估计双目视差图的步骤可包括：当左图像、中间图像和右图像被提供时，通过使用反向传播(BP)算法重复使能量函数的值最小化来计算中间视图的双目视差图，基于与中间视图有关的遮蔽信息和中间视图的双目视差图来确定能量函数的值；通过融合将不同的平面拟合应用到中间视图的双目视差图而获得的结果来增强中间视图的双目视差图。

计算的步骤可包括：基于中间视图的双目视差图来估计遮蔽信息，基于遮蔽信息来估计中间视图的双目视差图。

所述方法还可包括：使用与所述帧中的光流有关的信息来增强中间视图的双目视差图。

估计背景视图的步骤可包括：对所述帧中的目标帧的邻近帧的中间视图进行弯曲以对目标帧的中间视图进行匹配，以产生包括在目标帧的中间视图中的像素的候选双目视差值和候选颜色值；将中值滤波器应用到像素的候选双目视差值和候选颜色值以产生目标帧的背景视图的图像和双目视差图。

检测运动对象的步骤可包括：针对每个像素比较所述帧中的每一帧的中间视图和背景视图，以测量包括在中间视图和背景视图中的每个像素之间的颜色、深度和运动深度的差；基于包括在中间视图中的每个像素的颜色、深度和运动深度的差中的至少一个，从中间视图分割出动态区域。

分割出的动态区域可相应于运动对象。

检测的步骤还可包括：通过使用与所述一个或多个帧中的光流有关的信息来增强分割出的动态区域中的时空一致性。

所述方法还可包括：将束优化和基于局部三维(3D)线模型的时间优化应用到所述帧的中间视图，以增强包括在中间视图中的静态像素和动态像素的双目视差值。

动态像素可相应于与运动对象对应的像素，静态像素可相应于与运动对象不对应的像素。

所述方法还可包括：通过对所述帧的中间视图进行弯曲来产生所述帧的左视图的双目视差图和所述帧的右视图的双目视差图；基于分割，填充包括在左视图的双目视差图和右视图的双目视差图中的孔；将时空优化应用到左视图的双目视差图和右视图的双目视差图。

所述孔可由中间视图中的遮蔽导致的丢失像素而产生。

通过提供一种用于处理图像的设备来实现上述和/或其它方面，所述设备包括：双目视差图估计器，使用包括在一个或多个帧中的每一帧中的左图像、中间图像和右图像来估计所述帧中的每一帧的中间视图的双目视差图，所述中间视图包括中间图像和估计的双目视差图；背景视图估计器，通过使用所述帧的中间视图的深度图来估计指示中间视图的背景的背景视图；运动对象检测器，基于中间视图和背景视图之差，检测中间视图中的运动对象。

实施例的另外方面将在下面的描述中部分地阐明，并且从描述中部分是清楚的，或者可通过本公开的实践可以被理解。

附图说明

专利或申请文件包含至少一个彩色的附图。在请求时以及支付必要的费用时将由我方提供带有彩色附图的本专利或专利申请公开的副本。

从以下结合附图进行的对实施例的描述中，这些和/或其它方面将变得明显并且更易于理解，其中：

图1示出根据示例实施例的图像处理设备；

图2示出根据示例实施例的图像处理方法；

图3示出根据示例实施例的估计双目视差图的方法；

图4示出根据示例实施例的估计背景视图的方法；

图5示出根据示例实施例的检测运动对象的方法；

图6示出根据示例实施例的时空立体匹配的方法；

图7示出根据示例实施例的产生左右双目视差图的方法；

图8示出根据示例实施例的时间融合的结果；

图9示出根据示例实施例的三种差异图和深度误差区域；

图10示出根据示例实施例的从视图分割的运动对象；

图11示出根据示例实施例的执行了时空优化之后的增强的双目视差图。

具体实施方式

现在将详细参考实施例，其示例在附图中示出，其中，相同的标号始终表示相同的元件。以下通过参照附图来描述实施例以解释本公开。

图1示出根据示例实施例的图像处理设备100的框图。

图像处理设备100可包括双目视差图估计器110、背景视图估计器120、运动对象检测器130、时空立体匹配器140和左右双目视差图产生器150。

双目视差图估计器100可包括初始双目视差图计算器111、平面拟合应用器112和光流应用器113。

背景视图估计器120可包括邻近帧弯曲单元121和中值滤波单元122。

运动对象检测器130可包括差测量单元131、动态区域分割单元132和光流应用器133。

时空立体单元140可包括静态像素优化器141、轨迹追踪器142和动态像素优化器143。

左右双目视差图产生器150可包括左右双目视差图初始化单元151、基于分割的孔填充单元152和左右双目视差图时空优化器153。

以下，将描述所述元件的操作和功能。

图2示出根据示例实施例的图像处理方法。

在操作210，双目视差图估计器110可通过使用包括在一个或多个帧中的每一帧中的左图像、中间图像和右图像来估计所述一个或多个帧中的每一帧的中间视图的双目视差图。

中间视图可包括中间图像和估计的双目视差图。

双目视差图估计器100可通过使用每个帧的三目视图来独立地估计每个帧的深度图。这里，每个帧的深度图可相应用于与三目视图中的中间视图的图像相应的深度图。

在操作220，背景视图估计器120可通过使用所述帧的中间视图的深度图来估计指示中间视图的背景的背景视图。

在操作230，运动对象检测器130可基于中间视图和背景视图之间的差来从所述帧的中间视图中检测运动对象。

运动对象检测器130可通过检测运动对象来将中间视图的序列中的静态像素与动态像素分离。动态像素可以是与运动对象相应的像素，静态像素可以是不与运动对象相应的像素。

为了处理无纹理的区域，运动对象检测器130可使用基于分割的算法。可基于具有相似颜色的邻近像素通常具有相似深度值的一般观念来操作基于分割的算法，并可由3D平面来表示通过分割而分离的分段。

在操作240，时空立体匹配器140可将束优化(bundle optimization)和基于局部3D线模型的时空优化应用到所述帧的中间视图，从而增强中间视图中的静态像素和动态像素的双目视差值。

在中间视图的双目视差图被恢复之后，可产生左视图的双目视差图和右视图的双目视差图。

在操作250，左右双目视差图产生器150可基于产生的中间视图的双目视差图来产生左视图的双目视差图和右视图的双目视差图。

图3示出根据示例实施例的估计双目视差图的方法。

在与双目视差图的估计相应的操作210中，可通过例如三目立体匹配来初始化双目视差图。操作210可包括操作310、320和330。

以下，I_L、I_M和I_R分别表示由三目相机捕捉的左图像、中间图像和右图像。这里，由三目相机产生或捕捉的三个图像I_L、I_M和I_R可仅为示例。本实施例可应用于包括图像的帧。例如，I_M表示多个图像中的中间图像。I_L表示在I_M的左侧的多个图像。I_R表示在I_M的右侧的多个图像。

可由O＝{O_L，O_R}来表示中间视图的遮蔽信息(Occlusion information)。O_L(x)＝1可指示包括在中间图像中的像素x从I_L不可见。O_R(x)＝1可指示像素x在I_R中不可见。

I_i(x)表示图像I_i中的像素x的颜色。i可以是L、M和R之一。

D表示中间视图的双目视差图。双目视差可被定义为反深度。当像素x的深度为z时，像素x的双目视差值(D(x))可以是1/z。可由[d_min，d_max]来表示双目视差的范围。

双目视差可被量化为m+1个级。可由等式1来定义量化的双目视差的第k级(d_k)。

[等式1]

d_k＝(m-k)/m·d_min+k/m·d_max

在等式1中，d_min表示量化的双目视差的最小级，d_max表示量化的双目视差的最大级。通常，m可被设置为在50到80之间的范围内。

因此，立体匹配可被表示为标签问题(labeling problem)。

在操作310，初始双目视差图计算器111可通过使用反向传播(BP)算法或融合运动算法来重复最小化能量函数的值，从而计算中间视图的双目视差图。也就是说，初始双目视差图计算器111可最小化图2的能量函数E(D，O；I)，从而得到中间视图的双目视差图D。在操作310首先产生的中间视图的双目视差图可被称为中间视图的初始双目视差图。

[等式2]

E(D，O；I)＝E_d(D，O；I)+E_s(D，O；I)+E_v(D，O；I)

在等式2中，I表示图像，即，I_L、I_M和I_R。E表示能量函数，E_d表示数据项，E_s表示平滑项，E_v表示可见度项。E_d可针对给定的I来测量双目视差D的合适性。为了解多标签等式，初始双目视差图计算器111可使用置信传播(belief propagation)或图形切割。

如等式2所示，可基于与中间视图相关的遮蔽信息O以及当I_L、I_M和I_R被提供时中间视图的双目视差图D，确定能量函数E(D，O；I)。

可由等式3来定义E_d。

[等式3]

$E_d(D,O;I)=\underset{x}{\mathrm{\Σ}}(1-O_L\left(x\right))(1+O_R\left(x\right)){\mathrm{\ρ}}_d\left(F(x,d_x;I_L,I_M)\right)+$

$\underset{x}{\mathrm{\Σ}}(1-O_R\left(x\right))(1+O_L\left(x\right)){\mathrm{\ρ}}_d\left(F(x,d_x;I_R,I_M)\right)+$

$\underset{x}{\mathrm{\Σ}}{O}_L\left(x\right)O_R\left(x\right)\mathrm{\η}$

在等式3中，F表示价值函数。η表示惩罚参数。

ρ_d可以是抗噪声的截断L_I正态函数。可由等式4来定义ρ_d。

[等式4]

ρ_d＝-ln((1-e_d)exp(-|x|/δ)+e_d)

在等式4中，e_d和δ可以是用于控制ρ_d的形状的参数。

如等式5所示，F，即价值函数，可被定义为色差价值的方差和(SSD)。

[等式5]

F(x，d，I)＝||I₁(x)-I₂(I_1-＞2(x，d))||₂

I₁表示投影之前的图像，即，I_M。I₂表示投影之后的图像，即，I_L或I_R。I₁(x)表示图像I_i的像素x的颜色值。I_1-＞2表示中间图像中的像素x以双目视差d投影在左图像或右图像的像素。

由等式6来定义E_s。

$E_s\left(D\right)=\underset{s,t\∈C}{\mathrm{\Σ}}\mathrm{\λ}(s,t){\mathrm{\ρ}}_s(d_s,d_t)$

在等式6中，s，t∈C指示像素s和像素t邻近。也就是说，(s，t)表示中间帧中的一对邻近像素。C表示集。

可如等式7所示来选择关于d_s和d_t的价值(ρ_d)。

[等式7]

ρ_s(d_s，d_t)＝min{|d_s-d_t|，T}

在等式7中，T表示用于控制价值的限度的参数。

可由等式8来定义关于像素x和像素t的自适应平滑权重(λ(s，t))。

[等式8]

$\mathrm{\λ}(s,t)=\mathrm{\β}\frac{u\left(s\right)}{\left|\right|I\left(s\right)-I\left(t\right)+\mathrm{\ϵ}\left|\right|}$

在等式8中，β表示用于控制平滑项的权重的参数。ε表示用于控制对于色差的敏感度的参数。u(s)表示归一化因子。可由等式9来定义u(s)。

[等式9]

$u\left(s\right)=\left|N\left(s\right)\right|/\underset{t\∈N\left(s\right)}{\mathrm{\Σ}}\frac{1}{\left|\right|I\left(s\right)-I\left(t\right)\left|\right|+\mathrm{\ϵ}}$

在等式9，N(s)表示与像素s邻近的一组像素E_v。

为了执行可见度一致性约束，可由等式10来定义E_v。

[等式10]

$E_v(D,O;I)=\underset{s}{\mathrm{\Σ}}{\mathrm{\β}}_{\mathrm{\ω}}|O\left(s\right)-W(s;D)|+\underset{s,t\∈N}{\mathrm{\Σ}}{\mathrm{\β}}_o|O\left(s\right)-O\left(t\right)|$

在等式10，β_ω、w(x)和β_o可以是用于计算E_v的参数。β_ω可以是指示针对虽然像素不可见但该像素被设置为无遮蔽的情况的惩罚的参数。β_o可以是指示针对在邻近像素中一些像素被遮蔽而其余像素不被遮蔽的情况的惩罚的参数。

这里，将被计算的双目视差图可仅为中间视图的双目视差图。将左视图和中间视图视为示例，可由等式11来定义可见度项。

[等式11]

$E_v(D,O_L;I_L,I_M)=\underset{s}{\mathrm{\Σ}}{\mathrm{\β}}_{\mathrm{\ω}}|O_L\left(s\right)-W_L(s;D)|+\underset{s,t\∈N}{\mathrm{\Σ}}{\mathrm{\β}}_o|O_L\left(s\right)-O_L\left(t\right)|$

在等式11中，O_L(x)表示与左视图有关的遮蔽信息。O_L(x)＝1指示在左视图中像素x不可见。O_L(x)＝0指示在左视图中像素x可见。W_L(s；D)表示初始遮蔽信息。可基于等式12来获得W_L(s；D)。

[等式12]

等式12被用于基于分割的方法以处理遮蔽。等式12显示像素s被遮蔽。当图像I中的像素t满足以下条件时像素s可被像素t遮蔽：像素t和像素s存在于不同的平面上，在不同的视图(例如，当I＝I_M时的I_L和I_R时)中与像素s相应的点和与像素t相应的点相同，并且d_s＜d_t。

为了获得更好的结果，初始双目视差图计算器111可在处理遮蔽时使用重复计算可见度图和双目视差图的值的算法。该算法可以是精确地估计双目视差信息以及减轻遮蔽的效果的有效方法。

如上所述，初始双目视差图计算器111可通过迭代优化处理来获得能量函数E(D，O；I)的值。与迭代优化处理相应的操作310可包括以下操作：当双目视差图被提供时，初始双目视差图计算器111基于双目视差图估计遮蔽信息；当遮蔽信息被提供时，初始双目视差图计算器111基于遮蔽信息估计双目视差图。

首先，将描述当双目视差图被提供时估计遮蔽的操作。

当当前估计的双目视差图D被提供时，可由等式13来定义能量函数E_O。E_O可以是等式2的E(D，O；I)。

[等式13]

$E_O=\underset{x}{\mathrm{\Σ}}(1-O_L\left(x\right))(1+O_R\left(x\right)){\mathrm{\ρ}}_d\left(F(x,d_x;I_L,I_M)\right)+$

$\underset{x}{\mathrm{\Σ}}(1-O_R\left(x\right))(1+O_L\left(x\right)){\mathrm{\ρ}}_d\left(F(x,d_x;I_R,I_M)\right)+\underset{x}{\mathrm{\Σ}}{O}_L\left(x\right)O_R\left(x\right)\mathrm{\η}+$

$\underset{x}{\mathrm{\Σ}}{\mathrm{\β}}_{\mathrm{\ω}}\left(\right|O_L\left(x\right)-W_L(x;D)|+|O_R\left(x\right)-W_R(x;D)\left|\right)+$

$\underset{s,t}{\mathrm{\Σ}}{\mathrm{\β}}_o\left(\right|O_L\left(s\right)-O_L\left(t\right)|+|O_R\left(s\right)-O_R\left(t\right)\left|\right)$

等式13可包括两个变量(即，O_L和O_R)以及一个二次项O_L(x)O_R(x)。l因此，E_O的值可能不容易被获得。

可分别由等式14和等式15来定义O和W。

[等式14]

$O\left(p\right)=\left\{\begin{array}{c}0,O_L\left(p\right)=0,O_R\left(p\right)=0\\ 1,O_L\left(p\right)=0,O_R\left(p\right)=1\\ 2,O_L\left(p\right)=1,O_R\left(p\right)=0\\ 3,O_L\left(p\right)=1,O_R\left(p\right)=1\end{array}\right.$

[等式15]

$W\left(p\right)=\left\{\begin{array}{c}0,W_L\left(p\right)=0,W_R\left(p\right)=0\\ 1,W_L\left(p\right)=0,W_R\left(p\right)=1\\ 2,W_L\left(p\right)=1,W_R\left(p\right)=0\\ 3,W_L\left(p\right)=1,W_R\left(p\right)=1\end{array}\right.$

可由等式16来定义E_O。

[等式16]

$E_o=\underset{x}{\mathrm{\Σ}}(T(O\left(x\right)=0)E_0(x;D)+T(O\left(x\right)=1)E_1(x;D))+$

$\underset{x}{\mathrm{\Σ}}(T(O\left(x\right)=2)E_2(x;D)+T(O\left(x\right)=3)E_3(x;D))+$

$\underset{x}{\mathrm{\Σ}}{\mathrm{\β}}_{\mathrm{\ω}}\left(\mathrm{\ψ}(O\left(x\right),W\left(x\right))\right)+\underset{s,t}{\mathrm{\Σ}}{\mathrm{\β}}_o\left(\mathrm{\ψ}(O\left(s\right),O\left(t\right))\right)$

在等式16，E₀、E₁、E₂和E₃可以是分别针对四种情况的能量函数。T可以是当测试条件为真时返回值1的测试函数。可由等式17来定义ψ(a，b)。

[等式17]

ψ(a，b)＝Ceil(|a-b|/2)

初始双目视差图计算器111可通过使用BP算法或融合运动算法获得E_O的值。

接下来，将描述当遮蔽信息被提供时估计双目视差的操作。

当当前估计的遮蔽O被提供时，可由等式18来定义能量函数E_D。E_D可相应于图2的E(D，O；I)。

[等式18]

$E_D=E_d(D;O,I)+$

$\underset{x}{\mathrm{\Σ}}{\mathrm{\β}}_{\mathrm{\ω}}({O_L}^{\′}\left(P_{M\→L}(x,D\left(x\right))\right)+{O_R}^{\′}\left(P_{M\→R}(x,D\left(x\right))\right))+$

$\underset{s,t}{\mathrm{\Σ}}\mathrm{\λ}(s,t){\mathrm{\ρ}}_s(D\left(s\right),D\left(t\right))$

在等式18中，第一项中的E_d(D；O，I)指示数据价值。

第二项指示可见度项，P_M→L(x，D(x))指示投影函数。P_M→L(x，D(x))可基于像素x的位置和双目视差值来将中间视图中的像素x投影到左视图上。O_L′表示左视图的遮蔽信息。初始双目视差图计算器111可通过基于先前计算的双目视差D弯曲中间视图中的所有像素来获得O_L′。然而，O_L′是不平的，因此，初始双目视差图计算器111可通过应用中值滤波器来使O_L′平滑。

第三项表示上面描述的平滑项。

初始双目视差图计算器111可基于BP算法来计算双目视差图D。

在操作320，平面拟合应用器112可将平面拟合应用到计算的双目视差图D以增强双目视差图。

当在平面拟合中分割无法被完全执行时，计算的双目视差图D可包括一些误差。因此，平面拟合应用器112可使用不同的分割结果来获得平面拟合的各种结果。此外，平面拟合应用器112可将平面拟合的结果融合，从而可获得更高质量的双目视差图。

平面拟合应用器112可融合通过将不同的平面拟合应用到在操作310计算的中间视图的双目视差图D而产生的结果，从而增强中间视图的双目视差图。平面拟合应用器112可融合具有不同的平均位移参数的增强后的双目视差图，从而获得更精确的双目视差图。通过融合，平面拟合应用器112可有效地增强在先前阶段计算的初始双目视差图，特别是针对无纹理区域进行增强。

当k个不同估计的双目视差图{D₁′、D₂′、...、和D_k′}存在，并且D_i＝round(D_i′)时，k个双目视差建议值{D₁、D₂、...、和D_k}可存在。因此，每个像素的双目视差值(例如，像素x的双目视差值)可具有k个候选值{D₁(x)、D₂(x)、...、和D_k(x)}。平面拟合应用器112可将D_k+1(x)＝∑_iD_i(x)/k添加为双目视差值的候选值。在添加之后，k+1个建议值{D₁、D₂、...、和D_k+1}可存在。

可由等式19来定义能量函数E(D，O；I)。

[等式19]

$E(D,O;I)=\underset{x}{\mathrm{\Σ}}\mathrm{\ρ}(x,d_x;O,I)+\underset{s,t\∈N}{\mathrm{\Σ}}\mathrm{\λ}(s,t){\mathrm{\ρ}}_s(d_s,d_1)$

在等式19中，s，t∈N指示像素s和像素t彼此邻近。λ(s，t)表示关于像素s和像素t的自适应平滑权重。

每个像素(例如，像素x)可具有k+1个侯选双目视差值。因此，由平面拟合应用器112估计每个像素的双目视差图可相应于包括k+1个标签的标签问题。平面拟合应用器112可使用平均位移算法来产生不同的双目视差建议值。平面拟合应用器112可使用将不同的参数应用到双目视差建议值的平均位移算法。所述参数可被用于图像分割。

在操作330，光流应用器113可基于一个或多个帧中与光流有关的信息来增强中间视图的双目视差图D。

在一个或多个场景中可存在动态对象。因此，两个不同的帧中的两个点之间的关系可由这两个帧的光流来测量。

为了计算从第k帧到第k+n帧的光流，光流应用器113可使用如下所述的方法。

从第k+i帧到第k+i+1帧的光流相应于U_k+i＝(u_k+i，v_k+i)，从第k帧到第k+n帧的光流可以是所描述的方法可被用于计算从第k+n帧到第k帧的反向光流。

通常，尤其是对于被遮蔽的区域或无遮蔽的区域来说，光流是不可靠的。因此，为了减少由于光流误差而包括的现象，光流应用器113可测量光流的可靠性。当x相应于第k帧的像素时，光流应用器113可通过使用光流U_k→k+n来识别第k+n帧中与x相应的点y。此外，光流应用器113可使用光流U_k+n→k，从而将点y映射到第k帧。与点y相应的点可被称为x′。当光流精确时，x和x′可以是相同的点。当光流不精确时，x和x′可相距一定距离。因此，光流应用器113可基于等式20来计算光流的可靠性(P_opt)。

[等式20]

$P_{\mathrm{opt}}=\exp (-\frac{{\left|\right|x-x^{\′}\left|\right|}_2}{\mathrm{\σ}})$

在等式20中，σ表示用于控制P_opt的形状的参数。

光流应用器113可使用光流将第k-1帧的双目视差图和第k+1帧的双目视差图投影在第k帧上。因此，第k帧可具有三个双目视差图

光流应用器113可基于等式21来针对像素x(即，第k帧的像素)来计算像素x的双目视差值为d的概率P(d|x)。

[等式21]

$P\left(d\right|x)=\underset{i=1}{\overset{3}{\mathrm{\Σ}}}\underset{y\∈W\left(x\right)}{\mathrm{\Σ}}\exp (-{\left|\right|d-D_{k_i}\left(y\right)\left|\right|}_2^2/T_1)\·P_{\mathrm{opt}}^i\left(y\right)$

$\exp (1{\left|\right|y-x\left|\right|}_2^2/T_2).$

$\frac{T_3}{T_3+|I\left(x\right)-I\left(y\right)|}.$

$\frac{T_4}{T_4+E_d(x,d|I,O)}$

在等式21中，W(x)可以是中心为x的小窗口。

光流应用器113可基于等式22计算x的双目视差值。

[等式22]

d＝arg max P(d|x)

可在图8中描述时间融合的结果。在时间融合之后，一些具有错误深度的区域可被校正。

图4示出根据示例实施例的估计背景视图的方法。

在与背景视图的估计相应的操作220，可使用在操作210被初始化的中间视图的双目视差图或深度图来估计与中间视图相应的背景视图。与预定中间视图相应的背景视图可指示预定中间视图。操作220可包括操作410和420。

背景视图估计器120可推断与中间视图的背景有关的颜色信息和深度信息。推断出的颜色信息和推断出的深度信息可被用于获得高质量的分割结果。这里，分割结果可指示在中间视图中被检测为运动对象的区域。

背景视图估计器120可使用预定帧的邻近帧的中间图像来产生该预定帧的中间视图的背景视图。这里，第k帧的邻近帧可指示第k-k₁帧到第k+k₂帧。这里，k₁和k₂可为自然数。也就是说，预定帧的邻近帧可指示包括了该预定帧的时间连续的帧。

可针对每一帧产生背景视图。以下，在一个或多个帧中与由背景视图估计器120产生的背景视图相应的帧可被称为目标帧。

邻近帧弯曲单元121可使用目标帧的邻近帧的中间视图来产生目标帧的背景视图。因此，邻近帧的中间视图的视点可互不相同。因此，邻近帧的中间视图可能需要基于位置、视点等来对目标帧的中间视图进行匹配。

在操作410，邻近帧弯曲单元121可使目标帧的邻近帧的中间视图弯曲以对目标帧的中间视图进行匹配，从而可产生目标帧的中间视图中的像素的候选颜色值和候选双目视差值。邻近帧弯曲单元121可弯曲邻近帧的中间视图以基于邻近帧的中间视图的双目视差图来对目标帧的中间视图进行匹配。

这里，预定像素的侯选颜色值可以是在邻近帧的被弯曲的中间视图中与该预定像素相应的像素的颜色值。侯选双目视差值可以是在邻近帧的被弯曲的中间视图中与预定像素相应的像素的双目视差值。

在操作420，中值滤波单元122可将产生的侯选颜色值的中值推断为侯选颜色值中最可靠的背景值。中值滤波单元122可将中值滤波器施加到目标帧的中间视图中的像素的侯选颜色值和侯选双目视差值，从而产生背景视图的图像和双目视差图。例如，预定像素的侯选颜色值的中值可以是该像素的颜色值。预定像素的侯选双目视差值的中值可以是该像素的双目视差值。

图5示出根据示例实施例的检测运动对象的方法。

在与运动对象的检测相应的操作230，可针对每一像素来对帧的中间视图和背景视图进行比较以从该帧的中间视图检测运动对象。操作230可包括操作510、520和530。

在操作510，差测量单元131可针对每个像素对一个或多个帧中的每一帧的中间视图和背景视图进行比较，从而测量每个像素的色差D_c(x)、深度差D_d(x)和运动深度差D_o(x)。

以下将定义将被用于测量像素被包括在动态区域中的概率的三种差。

第一，差测量单元131可基于等式23来计算帧图像I和估计的背景图像I_B之间的色差D_c′(x)。

[等式23]

${D_c}^{\′}\left(x\right)=\frac{{\left|\right|I\left(x\right)-I_B\left(x\right)\left|\right|}_2}{{\left|\right|I\left(x\right)-I_B\left(x\right)\left|\right|}_2+T}$

在等式23中，T表示用于控制D_c′(x)的形状的参数。差测量单元131可将D_c′(x)归一化至[0，1]。当D_max表示D_c′(x)的最大值时，差测量单元131可基于等式24来计算I和I_B之间的归一化的色差D_c(x)。

[等式24]

D_c(x)＝D_c′(x)/D_max

第二，差测量单元131可基于等式25来计算初始深度和估计的背景深度之间的深度差D_d(x)。

[等式25]

D_d(x)＝min{|D(x)-D_B(x)|，M}

在等式25中，M表示D_d(x)的最小值的参数。

D_d(x)可被修改为等式26。

[等式26]

D_d(x)＝D_d(x)/arg max_dD_d(x)

第三，差测量单元131可基于等式27来计算测量初始深度和光流信息的一致性的运动深度差D_o′(x)。

[等式27]

${D_o}^{\′}\left(x\right)=\frac{1}{W}\underset{i=-n}{\overset{n}{\mathrm{\Σ}}}(P_{\mathrm{opt}}^{k\→k+i}\left(x\right)\·{\left|\right|x_o^{k\→k+i}-x_d^{k\→k+i}\left|\right|}_2^2)$

在等式27中，差测量单元131可基于等式28来计算W。

[等式28]

$W=\underset{i=-n}{\overset{n}{\mathrm{\Σ}}}{P}_{\mathrm{opt}}^{k\→k+i}\left(x\right)$

在等式28中，

表示基于光流信息的在第k+i帧中与x相应的像素。

表示基于深度信息的在第k+i帧中与x相应的像素。

差测量单元131可基于等式29来计算运动深度差D_o(x)。

[等式29]

$D_o\left(x\right)=\frac{{D_o}^{\′}\left(x\right)}{{D_o}^{\′}\left(x\right)+Q}$

假设与一些区域有关的具有高深度差(D_d)、低色差(D_c)和低运动深度差(D_o)的初始双目视差信息存在误差。在该假设下，差测量单元131可通过使能量函数最小化来检测双目视差图中的误差。所述误差的检测可被表示为标签问题。可由等式30来定义标签问题L。

[等式30]

可由等式31来定义能量函数E(L)。

[等式31]

E(L)＝E_d(L)+βE_s(L)

可由等式32来定义数据项E_d(L)。

[等式32]

$E_d\left(L\right)=\underset{x}{\mathrm{\Σ}}(T_c(1-L\left(x\right))+\frac{D_d\left(x\right)}{\max (D_c\left(x\right),\mathrm{\λ}{D}_o\left(x\right))+T_d}\·L\left(x\right))$

在等式32中，T_c表示门限值，T_d表示用于控制L(x)＝1的概率的参数。λ表示用于控制运动深度差的权重的参数。

可由等式33定义平滑项。

[等式33]

$E_s\left(L\right)=\underset{s,t}{\mathrm{\Σ}}\mathrm{\λ}(s,t){\mathrm{\ρ}}_s(L\left(s\right),L\left(t\right))$

差测量单元131可使用BP算法以使能量函数E(L)最小化。

稍后将参照图9描述三种差异图和深度误差区域。

差测量单元131可在深度误差区域的分割之后计算色差、深度差和运动深度差中的每个的权重。

在操作520，动态区域分割单元132可基于中间视图中的每个像素的色差D_c(x)、深度差D_d(x)和运动深度差D_o(x)中的至少一个，通过分割从中间视图获得动态区域。通过分割而获得的动态区域可相应于运动对象。

动态区域分割单元132可基于等式34定义用于动态区域分割的函数C(x)或数据项。

[等式34]

$C\left(x\right)=\underset{x}{\mathrm{\Σ}}{D}_c\left(x\right)(1-L\left(x\right))+\frac{\max (D_c\left(x\right),D_d\left(x\right))}{1+\exp (-(d\left(x\right)-M)/V)}\·L\left(x\right)$

在等式34中，V表示用于控制C(x)的形状的参数。

动态区域分割单元132可使用基于中间视图中的每个像素的色差D_c(x)、深度差D_d(x)确定值的函数C(x)，并可基于从所述函数输出的值来确定中间视图的像素中被包括在动态区域中的像素。当函数C(x)在指定范围内时，动态区域分割单元132可将像素x确定为包括在动态区域中的像素。

在操作530，光流应用器133可通过使用帧中的光流来增强动态区域分割的结果。光流应用器133可通过使用与帧中的光流有关的信息来在分割的动态区域中增强时空一致性。

光流应用器133可将从第k帧到第k+n帧的分割的结果投影到第k帧，从而可产生关于第k帧的2n+1个结果

可由等式35和等式36来定义关于像素x的分割的结果为l的概率P(l|x)。

[等式35]

$P^{\′}\left(d\right|x)=\underset{i=1}{\overset{2n+1}{\mathrm{\Σ}}}\underset{y\∈W\left(x\right)}{\mathrm{\Σ}}\exp (-{\left|\right|d-S_{k_i}\left(y\right)\left|\right|}_2^2/T_1)\·P_{\mathrm{opt}}^i\left(y\right)$

$\exp (-{\left|\right|y-x\left|\right|}_2^2/T_2)\·$

$\frac{T_3}{T_3+|I\left(x\right)-I\left(y\right)|}$

[等式36]

P(l|x)＝P′(l|x)/(P′(l＝0|x)+P′(l＝1|x))

P(l|x)可用作先验分布，并可被插入到如等式37所示的数据项E_d′(S)。

[等式37]

${E_d}^{\′}\left(S\right)=\underset{x}{\mathrm{\Σ}}C\left(x\right)(1-S\left(x\right))+(1-C\left(x\right))S\left(x\right)-\mathrm{\α}\log \left(P\left(S\left(x\right)\right|x)\right)$

在等式37中，α表示用于控制E_d′(S)的形状的参数。

可由如上所述的等式6来定义平滑项E_s(L)。

光流应用器133可通过使用BP算法使能量函数最小化。在能量函数被最小化之后，光流应用器133可基于空间信息和时间信息来使用局部分割方法，从而增强动态区域分割的结果。

光流应用器133可在边界上产生重叠的窗口。这里，所述边界是指被分割的动态区域的边界。光流应用器133可在每个窗口内计算前景高斯混合模型(GMM)和背景GMM。光流应用器133可基于前景GMM和背景GMM来增强动态区域分割的结果。

当像素x和边界之间的距离大于门限Q时，像素x包括在前景中的概率

可以是S(x)。此外，像素x包括在背景中的概率

可以是

当像素x与边界之间的距离小于或等于门限Q时，像素x可被视为包括在k个局部窗口内。因此，光流应用器133可基于等式38计算像素x包括在前景中的概率

[等式38]

$P_F^{c^{\′}}\left(x\right)=\frac{1}{k}\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\frac{P_i\left(I\left(x\right)\right|s=1)}{P_i\left(I\left(x\right)\right|s=0)+P_i\left(I\left(x\right)\right|s=1)}$

在等式38中，P_i(I(x)|s＝1)可以是像素x包括在前景中的概率，通过使用第i局部窗口的前景GMM来计算所述概率。类似地，光流应用器133可基于等式39来计算像素x包括在背景中的概率

[等式39]

$P_B^{c^{\′}}\left(x\right)=\frac{1}{k}\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\frac{P_i\left(I\left(x\right)\right|s=1)}{P_i\left(I\left(x\right)\right|s=0)+P_i\left(I\left(x\right)\right|s=1)}$

当分别由等式40和等式41定义

和

时，

和

可被视为先验分布。

[等式40]

$P_F^c\left(x\right)=P_F^{c^{\′}}\left(x\right)/(P_F^{c^{\′}}\left(x\right)+P_B^{c^{\′}}\left(x\right))$

[等式41]

$P_B^c\left(x\right)=1-P_F^c\left(x\right)$

可从动态区域分割的初始结果获得的形状信息对于减小分割误差会是有用的。中心为像素x的小窗口中的前景像素的数量由N表示，与包括在前景中的像素x相关的形状信息

可由等式42定义。

[等式42]

$P_F^s\left(x\right)=\frac{N}{w^2}$

在等式42，w表示窗口的宽度。此外，与包括在背景中的像素x相关的形状信息

可由等式43定义。

[等式43]

$P_B^s\left(x\right)=1-P_F^s\left(x\right)$

此外，光流应用器133可使用空间信息和时间信息，从而增强动态区域分割的结果。光流应用器133可基于等式36来增强动态区域分割的结果的时空一致性。

与包括在前景中的像素x有关的时空一致性信息

可由等式44定义。

[等式44]

$P_F^t\left(x\right)=P(l=1|x)$

与包括在背景中的像素x有关的时空一致性信息

可由等式45定义。

[等式45]

$P_B^t\left(x\right)=P(l=0|x)$

通过组合三种概率获得的P_F(x)和P′_B(x)可由等式46和等式47定义。

[等式46]

$P_F^{\′}\left(x\right)=P_F^c\left(x\right)\·P_F^s\left(x\right)\·P_F^t\left(x\right)$

[等式47]

$P_B^{\′}\left(x\right)=P_B^c\left(x\right)\·P_B^s\left(x\right)\·P_B^t\left(x\right)$

因此，光流应用器133可基于等式48来计算像素x包括在前景中的概率P_F(x)。

[等式48]

P_F(x)＝P′_F(x)/(P′_F(x)+P′_B(x))

此外，光流应用器133可基于等式49来计算像素x包括在背景中的概率P_B(x)。

[等式49]

P_B(x)＝1-P_F(x)

如等式50所示，P_F(x)和P_B(x)可被加到数据项。

[等式50]

$E_d\left(S\right)=\underset{x}{\mathrm{\Σ}}(-\log \left(P_F\left(x\right)\right)(1-S\left(x\right))-\log \left(P_B\left(x\right)\right)S\left(x\right))$

平滑项E_s(D)可由上述的等式6定义。光流应用器133可基于BP算法来获得动态区域分割的结果。

将参照图10描述被分割的运动对象。

图6示出根据示例实施例的时空立体匹配的方法。

在与时空立体匹配相应的操作240中，束优化和时间优化可被应用到中间视图中的静态像素和动态像素。操作240可包括操作610、620和630。

在操作610，静态像素优化器141可将束优化模型应用到中间视图中的静态像素，从而增强静态像素的双目视差值。

假设在短时间内的动态像素的轨迹可被近似为3D线。

在操作620，在增强动态像素的双目视差值之前，轨迹追踪器142可在这样的假设下计算动态像素的3D轨迹。

可由等式51来表示在3D空间中的线(以下被称为线l)。

[等式51]

l：x＝x₀+tu

在等式51，x₀表示线l上的点，u表示方向矢量。当x被假设是第k帧中的二维(2D)点时，与邻近帧中的x相应的位置可被视为x的轨迹。{x₁′，x₂′，...，和x_n′}表示不同帧中的x的位置。轨迹追踪器142可基于相机参数和估计的深度图来将位置映射到3D点{x₁，x₂，...，和x_n}。随后，轨迹追踪器142可基于主成分分析(PCA)来计算动态像素的线性轨迹。

在操作630，动态像素优化器143可通过将使用动态像素的轨迹的时间优化和束优化应用到动态像素，来增强动态像素的双目视差值。

动态像素优化器143可基于等式52来计算通过映射产生的n个点{x₁，x₂，...，和x_n}的均值u。

[等式52]

$u={\mathrm{\Σ}}_{k=1}^n{x}_k/n$

动态像素优化器143可基于等式53来计算协方差矩阵S。

[等式53]

$S={\mathrm{\Σ}}_{k=1}^n(x_k-n){(x_k-u)}^T/n$

S表示对称矩阵。因此，可如等式54来分解S。

[等式54]

S＝Q∑Q^T

在等式54，Q表示正交矩阵，Q^T表示对角矩阵。

当λ₁表示S的第一最大特征值，λ₂表示S的第二最大特征值时，由等式55定义的参数α可指示是否由直线来表示点的轨迹。

[等式55]

α＝λ₁/λ₂

当α大于与特征值有关的特征矢量C时，由直线来表示点的轨迹的假设可以是合理的。当α小于特征矢量C时，该假设可以是无效的。

在第一个例子中，在x的双目视差值为d的假设下，当轨迹线与x在d下映射到的3D点之间的距离长时，x的双目视差为d的概率可以为低。当轨迹线与x在d下映射到的3D点之间的距离短时，x的双目视差为d的概率可以为高。因此，为了执行对x的双目视差为d的概率P(d|x)建模，可使用3D空间中的点和线之间的距离。

动态像素优化器143可基于等式56来计算P(d|x)。

[等式56]

$P\left(d\right|x)=\exp (-\frac{Q{\left(d\right|x)}^2}{v{\left(x\right)}^2\·{\mathrm{\σ}}_p})$

在等式56，Q(d|x)表示点和线之间的距离。可由等式57来定义v(x)。σ_p可以是用于控制P(d|x)的形状的参数。

[等式57]

v(x)＝min_dQ(d|x)

在第二个例子中，动态像素优化器143可使用多个帧中的光流来将第k-l帧和第k+1帧的双目视差图映射到第k帧。通过映射，第k帧可具有三个双目视差图

针对第k帧中的像素x，动态像素优化器143可基于等式58来计算像素x的双目视差值为d的概率P(d|x)。

[等式58]

$P\left(d\right|x)=\underset{i=1}{\overset{3}{\mathrm{\Σ}}}\underset{y\∈W\left(x\right)}{\mathrm{\Σ}}\exp (-{\left|\right|d-D_{k_i}\left(y\right)\left|\right|}_2^2/T_1)\·P_{\mathrm{opt}}^i\left(y\right)$

$\exp (-{\left|\right|y-x\left|\right|}_2^2/T_2)\·$

$\frac{T_3}{T_3+|I\left(x\right)-I\left(y\right)|}$

在等式58中，W(x)表示中心为x的小窗口。在等式58中，第一项指示d与初始双目视差值D_k(y)之间的相似度。第二项可指示第Ki帧的光流的可靠性。第三项可测量与像素y有关的信息的权重。第四项可类似于等式6的平滑项E_S(D)。

动态像素优化器143可基于等式59来计算双目视差似然性P(d|C)，从而组合束优化模型和局部3D线模型。

[等式59]

$P\left(d\right|C)$

$=\underset{z=\mathrm{0,1}}{\mathrm{\Σ}}P(d,z|C)$

$=\underset{z=\mathrm{0,1}}{\mathrm{\Σ}}P\left(d\right|z,C)P\left(z\right|C)$

$=\underset{Z=\mathrm{0,1}}{\mathrm{\Σ}}P\left(d\right|z,C)\frac{P\left(C\right|z)P\left(z\right)}{\underset{z=\mathrm{0,1}}{\mathrm{\Σ}}P\left(C\right|z)P\left(z\right)}$

在等式59中，C表示像素x的颜色值。为了清楚，在等式59中可忽略像素x的位置。z的值为0可指示像素x包括在静态背景中。z的值为1可指示像素x包括在动态背景中。

当像素x与分割边界之间的距离大于门限Q时，可由等式60定义像素x包括在前景中的概率P(C|z＝1)。

[等式60]

P(C|z＝1)＝S(x)

当像素x与分割边界之间的距离大于门限Q时，可由等式61来表示像素x包括在背景中的概率P(C|z＝0)。

[等式61]

P(C|z＝0)＝1-P(C|z＝1)

当像素x与分割边界之间的距离小于或等于Q时，动态像素优化器143可基于在局部窗口中计算的前景GMM和背景GMM来获得P(C|z)。

动态像素优化器143可通过以下三个步骤来计算P(z)。

在第一步骤中，动态像素优化器143可通过使用像素x与分割边界之间的距离d，基于等式62和等式63来计算P_d(z＝1)和P_d(z＝0)。

[等式62]

P_d(z＝1)＝exp(-d²/σ_d)

[等式63]

P_d(z＝0)＝1-P_d(z＝1)

在第二步骤中，形状信息P_S(z)可被定义为与等式42的

相同。

在第三步骤中，时空一致性P_t(z)可被定义为与等式36的P(l|x)相同。

通过以下描述的步骤，动态像素优化器143可基于等式64来计算P(z)。

[等式64]

P(z)＝P_d(z)·P_s(z)·P_t(z)

P(d|z＝1，C)可被定义为与等式56或等式58的P(d|x)相同。通过使用束优化算法中的几何一致性项P_v，双目视差空间中的几何一致性P(d|z＝0，C)可被定义为与P(d|z＝1，C)类似。不同帧中的相应像素具有相同的3D位置的现象可以是直观的。微小的差异在于原始束优化模型测量图像空间中的几何一致性。

动态像素优化器143可基于等式65来测量双目视差空间中的几何一致性P(d|z＝0，C)。

[等式65]

$P\left(d\right|z=0,C)=\exp (-\frac{{\left|\right|h\left(d\right)-d_{x^{\′}}\left|\right|}^2}{2{\mathrm{\σ}}_v^2})$

在等式65中，x′表示匹配帧i′中的投影的像素。d_x表示估计的x′的双目视差值。h(d)表示基于相机参数转换的双目视差值。[R|t]表示从帧i到帧i′的投影矩阵。K_i表示帧i的内在矩阵。x的2D位置可以是(u，v)。

动态像素优化器143可基于等式66计算h(d)。

[等式66]

$h\left(d\right)=\frac{1}{({\mathrm{RK}}_i^{-1}{(u,v,1/d)}^T+t)\left[3\right]}$

在等式63中，[3]表示矢量的三个元素。

动态像素优化器143可通过将P(d|C)与由等式3定义的数据项E_d相加，基于等式67来计算动态区域的数据项

[等式67]

$E_{d_1}(D,O;I)=E_d(D,O;I)+\mathrm{\λ}\underset{x}{\mathrm{\Σ}}(-\log P\left(D\left(x\right)\right|I\left(x\right)))$

等式67可应用到动态区域。静态像素优化器141可使用关于静态背景的束优化数据项

可如等式68所示来组合和

[等式68]

$E_d^c(D,O;I)=\underset{x}{\mathrm{\Σ}}(E_{d_1}(D\left(x\right),O;I)\·P(z=1|x,I\left(x\right))+$

$E_{d_2}(D\left(x\right),O;I)\·P(z=0|x,I\left(x\right)))$

平滑项

可被定义为与等式6的E_S(D)相同。

为了获得最终结果，时空立体匹配器140可基于BP算法来解能量函数。

将参照图7来描述在时空优化之后增强的双目视差图。

图7示出根据示例实施例的产生左右双目视差图的方法。

除了恢复中间视图的双目视差图之外，左视图和右视图的双目视差图可能需要被估计。

操作250可包括操作710、720和730。

在操作710，左右双目视差图初始化单元151可对一个或多个帧的中间视图进行弯曲，从而产生所述帧的左视图的初始双目视差图和右视图的初始双目视差图。

左右双目视差图初始单元151可将中间视图中的每个帧的估计的运动对象的遮蔽和双目视差图弯曲到左视图和右视图。经过弯曲的双目视差图可具有由于中间视图中的遮蔽导致丢失像素而产生的孔。

在操作720，基于分割的孔填充单元152可按照基于分割的方法来推断丢失像素的深度，从而填充左视图的双目视差图和右视图的双目视差图中的孔。

基于分割的孔填充单元152可组合通过分割运动对象而产生的分割信息，从而推断丢失像素的双目视差值。通常，大多数丢失像素存在于静态区域中。

基于分割的孔填充单元152可使用均值偏移算法来分割左图像和右图像。当分段包括静态像素和动态像素时，基于分割的孔填充单元152可执行进一步的分割。

在每个分段的3D表面可被近似为3D平面的假设下，基于分割的孔填充单元152可针对具有丢失像素的每个分段执行平面拟合。基于分割的孔填充单元152可使用针对每个分段的平面拟合，从而推断关于丢失像素的双目视差值。

由于具有精确的深度的像素可能不足，因此遮蔽区域中的一些分段可能被错误地拟合。如上所述的时空优化方法可被引入，从而增强左双目视差图和右双目视差图。

在操作730，左右双目视差图时空优化单元153可将时空优化应用到左视图的双目视差图和右视图的双目视差图。

图8示出根据示例实施例的时间融合的结果。

第一图像810可相应于在时间融合之前估计的双目视差图。第二图像820可相应于在时间融合之后估计的双目视差图。

图9示出根据示例实施例的三种差异图和深度误差区域。

第一图像910可相应于色差图。第二图像920可相应于深度差图。第三图像930可相应于运动深度差图。第四图像940可相应于基于色差图、深度差图和运动深度差图产生的指示深度误差区域的图像。

图10示出根据示例实施例的从视图分割的运动对象。

第一图像1010可相应于视图的图像。第二图像1020可包括背景和通过分割从视图检测的运动对象。在第二图像1020中用黑色表示的部分可相应于背景。在第二图像1020中用白色表示的部分可相应于通过分割检测的动态对象。

图11示出根据示例实施例的在执行时空优化之后的增强的双目视差图。

第一图像1110可相应于视图的图像。第二图像1120可以是通过时空优化而增强的双目视差图。

根据上述示例实施例的用于恢复图像的深度信息的设备和方法可使用一个或多个处理器，所述一个或多个处理器可包括微处理器、中央处理单元(CPU)、数字信号处理器(DSP)或专用集成电路(ASIC)，以及这些处理装置和其它处理装置的部分或组合。

这里使用的术语“模块”和“单元”可以表示但不限于执行特定任务的软件或硬件组件或者装置，诸如现场可编程门阵列(FPGA)或专用集成电路(ASIC)。模块或单元可被配置为位于可寻址的存储介质上并可被配置为在一个或多个处理器上执行。因此，模块或单元可包括(以示例的方式)组件(诸如软件组件、面向对象的软件组件、类组件和任务组件)、处理、功能、属性、程序、子程序、程序代码的片段、驱动器、固件、微码、电路、数据、数据库、数据结构、表、阵列和变量。在组件和模块/单元中提供的功能可被组合为更少的组件和模块/单元，或者可被进一步分离为另外的组件和模块。

根据上述实施例的方法可被记录在非暂时性计算机可读介质中，所述非暂时性计算机可读介质包括用于执行由计算机实施的各种操作的程序指令。所述介质还可包括单独的程序指令、数据文件、数据结构等或者可包括程序指令、数据文件、数据结构等的组合。非暂时性计算机可读介质的示例包括磁介质(诸如硬盘、软盘和磁带)；光学介质(诸如CD ROM盘和DVD)；磁光介质(诸如光盘)和专门配置以存储和执行程序指令的硬件装置(诸如只读存储器(ROM)、随机存取存储器(RAM)、闪存等)。程序指令的示例包括机器代码(诸如由编译器所产生的)和包含可由计算机使用翻译器执行的高级代码的文件。所述硬件装置可被配置以用作一个或多个软件模块以执行上述实施例的操作，反之亦然。

流程图的每个块可代表包括用于执行指定逻辑功能的一个或多个可执行指令的代码的一个单元、模块、片段或部分。应注意，在一个可选的实施方式中，块中记录的功能可不按顺序发生。例如，根据有关的功能，连续示出的两个块实际上可完全同时被执行，或者所述块有时可以以相反的顺序被执行。

虽然已示出和描述了示例实施例，但是本领域技术人员将理解，在不脱离本公开的原理和精神的情况下，可对这些实施例进行改变，本公开的范围由权利要求及其等同物限定。

Claims (22)

1.一种处理图像的方法，所述方法包括：

使用包括在一个或多个帧中的每一帧中的左图像、中间图像和右图像来估计所述一个或多个帧中的每一帧的多个视图中的中间视图的双目视差图，中间视图包括中间图像和估计的双目视差图；

使用所述一个或多个帧的中间视图的深度图来估计指示中间视图的背景的背景视图；

基于中间视图和背景视图之差，检测中间视图中的运动对象。

2.如权利要求1所述的方法，其中，左图像和右图像中的至少一个相应于多个图像。

3.如权利要求1所述的方法，其中，估计双目视差图的步骤包括：

当左图像、中间图像和右图像被提供时，通过使用反向传播(BP)算法重复使能量函数的值最小化来计算中间视图的双目视差图，基于与中间视图有关的遮蔽信息和中间视图的双目视差图来确定能量函数的值；

通过融合将不同的平面拟合应用到中间视图的双目视差图而获得的结果来增强中间视图的双目视差图。

4.如权利要求3所述的方法，其中，计算的步骤包括：

基于中间视图的双目视差图来估计遮蔽信息；

基于遮蔽信息来估计中间视图的双目视差图。

5.如权利要求3所述的方法，还包括：

使用与所述一个或多个帧中的光流有关的信息来增强中间视图的双目视差图。

6.如权利要求1所述的方法，其中，估计背景视图的步骤包括：

对所述一个或多个帧中的目标帧的邻近帧的中间视图进行弯曲以对目标帧的中间视图进行匹配，从而产生包括在目标帧的中间视图中的像素的候选双目视差值和候选颜色值；

将中值滤波器应用到像素的候选双目视差值和候选颜色值，以产生目标帧的背景视图的图像和双目视差图。

7.如权利要求1所述的方法，其中，检测运动对象的步骤包括：

针对每个像素比较所述一个或多个帧中的每一帧的中间视图和背景视图，以测量包括在中间视图和背景视图中的每个像素之间的颜色、深度和运动深度的差；

基于包括在中间视图中的每个像素的颜色、深度和运动深度的差中的至少一个，从中间视图分割出动态区域，

其中，分割出的动态区域相应于运动对象。

8.如权利要求7所述的方法，其中，检测的步骤还包括：

使用与所述一个或多个帧中的光流有关的信息来增强分割出的动态区域中的时空一致性。

9.如权利要求1所述的方法，还包括：

将束优化和基于局部三维(3D)线模型的时间优化应用到所述一个或多个帧的中间视图，以增强包括在中间视图中的静态像素和动态像素的双目视差值，

其中，动态像素相应于与运动对象对应的像素，静态像素相应于与运动对象不对应的像素。

10.如权利要求1所述的方法，还包括：

通过对所述一个或多个帧的中间视图进行弯曲来产生所述一个或多个帧的左视图的双目视差图和所述一个或多个帧的右视图的双目视差图；

基于分割，填充包括在左视图的双目视差图和右视图的双目视差图中的孔；

将时空优化应用到左视图的双目视差图和右视图的双目视差图，

其中，所述孔相应于由中间视图中的遮蔽而产生的丢失像素。

11.一种用于处理图像的设备，所述设备包括：

双目视差图估计器，使用包括在一个或多个帧中的每一帧中的左图像、中间图像和右图像来估计所述一个或多个帧中的每一帧的多个视图中的中间视图的双目视差图，所述中间视图包括中间图像和估计的双目视差图；

背景视图估计器，使用所述一个或多个帧的中间视图的深度图来估计指示中间视图的背景的背景视图；

运动对象检测器，基于中间视图和背景视图之差，检测中间视图中的运动对象。

12.如权利要求11的设备，其中，双目视差图估计器包括：

初始双目视差图计算器，当左图像、中间图像和右图像被提供时，通过使用反向传播(BP)算法重复使能量函数的值最小化来计算中间视图的双目视差图，基于中间视图的双目视差图和与中间视图有关的遮蔽信息来确定能量函数的值；

平面拟合应用器，通过融合将不同的平面拟合应用到中间视图的双目视差图而获得的结果来增强中间视图的双目视差图。

13.如权利要求12的设备，其中，初始双目视差图计算器基于中间视图的双目视差图来估计遮蔽信息，并基于遮蔽信息来估计中间视图的双目视差图。

14.如权利要求12的设备，还包括：

光流应用器，使用与所述一个或多个帧中的光流有关的信息来增强中间视图的双目视差图。

15.如权利要求11的设备，其中，背景视图估计器包括：

邻近帧弯曲单元，对所述一个或多个帧中的目标帧的邻近帧的中间视图进行弯曲以对目标帧的中间视图进行匹配，从而产生包括在目标帧的中间视图中的像素的候选双目视差值和候选颜色值；

中值滤波单元，将中值滤波器应用到像素的候选双目视差值和候选颜色值以产生目标帧的背景视图的图像和双目视差图。

16.如权利要求11的设备，其中，运动对象检测器包括：

差测量单元，针对每个像素比较所述一个或多个帧中的每一帧的中间视图和背景视图，以测量包括在中间视图和背景视图中的每个像素之间的颜色、深度和运动深度的差；

动态区域分割单元，基于包括在中间视图中的每个像素的颜色、深度和运动深度的差中的至少一个，从中间视图分割出动态区域，

其中，分割出的动态区域相应于运动对象。

17.如权利要求16的设备，其中，运动对象检测器还包括：

光流应用器，使用与所述一个或多个帧中的光流有关的信息来增强分割出的动态区域中的时空一致性。

18.如权利要求11的设备，还包括：

时空立体匹配器，将束优化和基于局部三维(3D)线模型的时间优化应用到所述一个或多个帧的中间视图，以增强包括在中间视图中的静态像素和动态像素的双目视差值，

其中，动态像素相应于与运动对象对应的像素，静态像素相应于与运动对象不对应的像素。

19.如权利要求11的设备，还包括：

左右双目视差图初始化单元，通过对所述一个或多个帧的中间视图进行弯曲来产生所述一个或多个帧的左视图的双目视差图和所述一个或多个帧的右视图的双目视差图；

基于分割的孔填充单元，基于分割填充包括在左视图的双目视差图和右视图的双目视差图中的孔；

左右双目视差图时空优化器，将时空优化应用到左视图的双目视差图和右视图的双目视差图，

其中，所述孔相应于由中间视图中的遮蔽而产生的丢失像素。

20.一种处理图像的方法，所述方法包括：

使用包括在一个或多个帧中的每一帧中的左图像、中间图像和右图像来估计所述一个或多个帧中的每一帧的中间视图的双目视差图；

使用所述一个或多个帧的中间视图的深度图来估计中间视图的背景视图；

基于中间视图与背景视图之差来检测中间视图中的运动对象；

使用重复优化处理来计算中间视图的双目视差图，其中，所述重复优化处理使用反向传播算法来使能量函数的值最小化，

其中，基于与中间视图有关的遮蔽信息确定能量函数的值。

21.如权利要求20的方法，其中，检测的步骤还包括：

针对每个像素比较所述一个或多个帧中的每一帧的中间视图和背景视图，测量包括在中间视图和背景视图中的每个像素之间的颜色、深度和运动深度的差；

基于测量的颜色、深度和运动深度的差中的至少一个，对中间视图进行分割以获得一个或多个分割出的动态区域。

22.如权利要求21所述的方法，其中，检测的步骤还包括：

针对分割出的动态区域的一个或多个边界，计算前景高斯混合模型和背景高斯混合模型。

Images