CN101765022A - 一种基于光流与图像分割的深度表示方法 - Google Patents

Abstract

本发明公开了一种基于光流与图像分割的深度表示方法，包括如下步骤：(1)对原始二维视频中的每一帧图像，参考其在时间方向上相邻的后一帧图像，进行光流分析，得到当前图像的光流图；(2)对原始二维视频中的每一帧图像进行图像分割，得到分割图；(3)结合原始二维视频中每一帧图像对应的光流图与分割图，得到深度图，用于三维视频的表达。本发明利用光流分析的方法提取二维视频中的运动信息，与窗口匹配的方法相比更精确；同时结合图像分割的方法，产生用于三维视频表达的深度图，有效地平滑了噪声，修饰了物体边缘轮廓。

Description

一种基于光流与图像分割的深度表示方法

技术领域

本发明涉及二维视频转换三维视频时深度表示方法，尤其涉及一种基于光流与图像分割的深度表示方法。

背景技术

随着数字电视技术的不断发展，传统的二维画面不能满足人们对视觉享受的要求，而三维电视以其生动逼真的场景给人以身临其境的感觉，越来越成为数字电视未来发展的一种趋势。

三维电视所使用的是一种有别于传统二维电视的片源，它往往需要2路以上的视频用于最终合成显示需要的特殊三维视频。这一片源制作过程大致有两个途径：其一是用立体相机直接产生3D视频，但是这种方法代价高昂。另一种方法是寻找一种合适的算法将原有的2D视频转换为可以用于立体显示的三维视频。而目前由于大量传统2D视频的存在，2D转3D技术的研究有着更为现实的意义，这一技术的研究不仅可以为立体显示提供丰富的素材，而且能大大节省内容制作的成本。

2D转3D过程中的重要一步就是产生合适的深度图。由于单路视频的深度信息不可逆地损失了，所以要从中恢复出深度信息，需要用到生理和心理视觉上的深度线索，例如，物体运动信息、场景空间几何信息、物体表面纹理和形状信息、物体成像阴影、物体边缘信息和拍摄相机的聚焦与散焦情况等。在这些深度线索中，运动信息占了主导地位，因为大多数视频都具有运动的前景物体，通过提取前景物体的运动信息，就能够表示出物体间的深度关系。提取运动信息的方法主要有窗口匹配法和光流法。窗口匹配法尽管简单，但是往往有大量噪声和块效应存在，而光流法能够更精确地得到物体的运动信息。

光流是指当观察者和场景目标之间有相对运动时，图像亮度模式的表观运动。光流表达了图像的变化，它包含了目标运动的信息，可用来确定观察者相对目标的运动情况。光流分析是研究图像灰度在时间上的变化与背景中物体的结构和运动的关系。场景中的目标运动导致图像中的亮度模式运动，而亮度模式的可见运动产生光流，除一些特殊情况，光流场与运动场是对应的。通过分析图像的光流变化，可以达到确定场景三维结构和观察者与运动物体之间相对运动的目的。

一般来说，场景中同一物体具有相似的深度值，而光流法得到的运动信息在物体内部会存在一些深度跳跃不连续的部分，采用图像分割的方法能够有效分割出每个物体所在位置，从而对物体内部深度进行平滑，消除这些深度不连续的部分。

图像分割在图像处理中有着广泛的应用。一个物体通常有着类似的局部特征，例如，亮度、颜色、纹理和位置等，图像分割的基本思想就是通过判断这些局部特征的差异，将一副图像中类似特征的区域聚合在一起，特征差异大的区域相互分开，这样就基本能够将图像中的主要物体分割开来。

采用光流法提取运动信息，再用图像分割修饰的方法，能够有效提高深度图的质量。

发明内容

本发明的目的是克服现有技术的不足，改进运动信息的提取方法，并能够平滑噪声和精确物体边缘轮廓，提供一种基于光流与图像分割的深度表示方法。

基于光流与图像分割的深度表示方法包括如下步骤：

(1)对原始二维视频中的每一帧图像，参考每一帧图像在时间方向上相邻的后一帧图像，进行光流分析，得到当前图像的光流图；

(2)对原始二维视频中的每一帧图像进行图像分割，得到分割图；

(3)结合原始二维视频中每一帧图像对应的光流图与分割图，得到深度图，用于三维视频的表达。

所述的对原始二维视频中的每一帧图像，参考每一帧图像在时间方向上相邻的后一帧图像，进行光流分析，得到当前图像的光流图步骤：

(a)取原始二维视频中的一帧图像及其时间方向上相邻的后一帧图像，对这两幅图像对应的亮度分量Y₁、Y₂和色度分量U₁、V₁、U₂、V₂分别运用图像处理中的Sobel算子计算水平梯度和垂直梯度，得到当前图像三个分量的水平梯度Y_1x、U_1x、V_1x，垂直梯度Y_1y、U_1y、V_1y和后一帧图像的水平梯度Y_2x、U_2x、V_2x，垂直梯度Y_2y、U_2y、V_2y，运用如下公式得到当前图像的整体水平梯度I_1x和整体垂直梯度I_1y以及后一帧图像的整体水平梯度I_2x和整体垂直梯度I_2y：

I_x＝max(|Y_x|，|U_x|，|V_x|)

I_y＝max(|Y_y|，|U_y|，|V_y|)；

(b)对当前图像的三个分量Y₁、U₁、V₁分别与其后一帧图像的三个分量Y₂、U₂、V₂做时间上的双向差分运算，综合得到当前图像的前向时间梯度I_1t和后向时间梯度I_2t，计算公式如下所示：

I_1t＝max(|Y₁-Y₂|，|U₁-U₂|，|V₁-V₂|)

I_2t＝max(|Y₂-Y₁|，|U₂-U₁|，|V₂-V₁|)；

(c)将步骤(a)和步骤(b)得到的当前图像的水平梯度I_1x、垂直梯度I_1y和前向时间梯度I_1t以及其后一帧图像的水平梯度I_2x、垂直梯度I_2y和后向时间梯度I_2t分别代入光流基本方程和平滑约束方程得到前向光流场(u₁，v₁)和后向光流场(u₂，v₂)，光流基本方程为：

I_x·u+I_y·v+I_t＝0

平滑约束方程为：

$\frac{\∂u}{\∂t}={\▿}^{2}u-\mathrm{\λ}{I}_x(I_x\·u+I_y\·v+I_t)$

$\frac{\∂v}{\∂t}={\▿}^{2}v-\mathrm{\λ}{I}_y(I_x\·u+I_y\·v+I_t)$

其中，λ为常数；

(d)利用步骤(c)得到的前向光流场(u₁，v₁)和后向光流场(u₂，v₂)，计算光流一致性度量c(x，y)，计算公式如下：

Δu(x，y)＝u₁(x，y)+u₂(x-u₁Δt，y-v₁Δt)

Δv(x，y)＝v₁(x，y)+v₂(x-u₁Δt，y-v₁Δt)

$c(x,y)=\frac{1}{1+\sqrt{\mathrm{\Δu}{(x,y)}^2+\mathrm{\Δv}{(x,y)}^2}}$

其中，Δu(x，y)表示当前图像中一个像素的前向光流场水平分量与在后一帧图像上的参考像素的后向光流场水平分量的差异，而Δv(x，y)表示当前图像中一个像素的前向光流场垂直分量与在后一帧图像上的参考像素的后向光流场垂直分量的差异，在光流一致的情况下，当前像素的前向光流场与对应参考像素的后向光流场是大小相同，方向相反的，即Δu(x，y)＝0，Δv(x，y)＝0，c(x，y)表示光流一致性的度量，它的取值范围在(0，1)之间，当Δu(x，y)＝0，Δv(x，y)＝0，即光流一致的情况下，c(x，y)＝1，c(x，y)越小，表示前向光流场与后向光流场越不一致；

(e)根据步骤(d)得到的光流一致性度量c(x，y)，对步骤(c)得到的前向光流场(u₁，v₁)进行平滑处理，平滑处理计算公式如下：

$u_1^{\′}(x,y)=\frac{\underset{j=-1}{\overset{1}{\mathrm{\Σ}}}\underset{i=-1}{\overset{1}{\mathrm{\Σ}}}w(i,j)\·c(x+i,y+j)\·u_1(x+i,y+j)}{\underset{j=-1}{\overset{1}{\mathrm{\Σ}}}\underset{i=-1}{\overset{1}{\mathrm{\Σ}}}w(i,j)\·c(x+i,y+j)}$

$v_1^{\′}(x,y)=\frac{\underset{j=-1}{\overset{1}{\mathrm{\Σ}}}\underset{i=-1}{\overset{1}{\mathrm{\Σ}}}w(i,j)\·c(x+i,y+j)\·v_1(x+i,y+j)}{\underset{j=-1}{\overset{1}{\mathrm{\Σ}}}\underset{i=-1}{\overset{1}{\mathrm{\Σ}}}w(i,j)\·c(x+i,y+j)}$

其中，c(x，y)是光流一致性度量，加权因子w(i，j)(i，j＝-1，0，1)取自模板最终得到平滑后的前向光流场(u′₁，v′₁)，作为当前图像的光流图F(x，y)。

所述的对原始二维视频中的每一帧图像进行图像分割，得到分割图步骤：

(f)建立一个带非负权值的无向图G(V，E)模型，其中V表示无向图中节点集合，即v∈V，E表示无向图中边的集合，即(v_i，v_j)∈E，每条边对应的权值为w(v_i，v_j)；

(g)以原始二维视频中的每一帧图像作为一个处理单位，将图像中所有像素作为无向图模型中的节点，将所有像素与其八邻域内像素的连接关系作为无向图的边，每条边对应的权值w(v_i，v_j)按照如下公式计算得到：

w(v_i，v_j)＝0.5×|Y(v_i)-Y(v_j)|+0.25×|U(v_i)-U(v_j)|+0.25×|V(v_i)-V(v_j)|

其中，Y(v_i)和Y(v_j)分别表示节点v_i和节点v_j的亮度分量，U(v_i)、V(v_i)和U(v_j)、V(v_j)分别表示节点v_i和节点v_j的两个色度分量；

(h)将图中的所有m条边按照步骤(g)计算得到权值递增排列，表示为(e₁，e₂，......e_m)，初始分割S⁰时，每一个像素各自位于不同的分割集合中；

(i)每次从排列(e₁，e₂，......e_m)中按顺序取出一条边e_q，如果这条边连接的两个节点v_i和v_j在上一次分割后处于不同的分割集合C_i ^q-1和C_j ^q-1，并且这条边的权值w(v_i，v_j)小于阈值Min(C_i ^q-1，C_j ^q-1)时，则将两个节点所在的分割集合在这一次分割中合并，整个过程用公式表示如下：

$S^q=\left\{\begin{array}{ccc}{C}_i^{q-1}+C_j^{q-1}& w(v_i,v_j)\≤\mathrm{Min}(C_i^{q-1},C_j^{q-1})& v_i\∈C_i^{q-1},v_j\∈C_j^{q-1},C_i^{q-1}\≠C_j^{q-1}\\ S^{q-1}& & \mathrm{otherwise}\end{array}\right.$

其中，q表示当前是第q次分割，分割结果用S^q表示，判断阈值Min(C_i ^q-1，C_j ^q-1)按照下式计算得到：

$\mathrm{Min}(C_i^{q-1},C_j^{q-1})=\min (\mathrm{Inter}\left(C_i^{q-1}\right)+\mathrm{\τ}\left(C_i^{q-1}\right),\mathrm{Inter}\left(C_j^{q-1}\right)+\mathrm{\τ}\left(C_j^{q-1}\right))$

其中，

表示一个分割集合中最小生成树的最大权重，

表示基于分割集合大小的阈值函数，k是一个常数，|C|表示分割集合大小，即其中的节点个数；

(j)重复步骤(i)，直到排列(e₁，e₂，......e_m)中所有的边都被遍历，标记最后的分割结果，得到分割图S(x，y)。

所述的结合原始二维视频中每一帧图像对应的光流图与分割图，得到深度图步骤：

(k)参考分割图S(x，y)，对同一分割区域对应在光流图F(x，y)中的所有像素值累加并取平均值，作为这个分割区域所在图像位置的深度表示，最终得到表示原始二维视频中每一帧图像深度的深度图D(x，y)，计算公式表示如下：

$D(x,y)=\frac{\underset{(x,y)\∈S_i}{\mathrm{\Σ}}F(x,y)}{\left|S_i\right|}$ i＝1，2，...m

其中，分割图S(x，y)共有m个分割区域组成，可表示为{S₁，S₂，...S_m}，|S_i|表示第i个分割区域中覆盖像素的个数。

本发明适用于对具有运动前景的未经压缩的视频文件产生深度图。以往提取物体运动信息的方法，大多是用固定大小的窗口在前后帧图像之间搜索寻找局部特征匹配的像素点或是像素块，这种方法虽然简单，但是精确度不高。基于像素的匹配会产生较大的噪声，基于块的匹配则会产生明显的块效应。本发明提出用光流分析的方法提取视频中的运动信息，提高了运动信息提取的精确度，消除了块效应。另一方面，本发明提出用图像分割的方法对光流图进行物体内部平滑和边缘修饰，提高深度图的主观效果。

附图说明

图1是基于光流与图像分割的深度表示方法的流程图；

图2是一个像素与其八邻域像素之间的连接边关系示意图；

图3是分割集合边缘点权重判断决定分割集合合并的示意图；

图4是Akko&Kayo_p00026视频的截图；

图5是Akko&Kayo_p00026视频截图对应的光流图；

图6是Akko&Kayo_p00026视频截图对应的分割图；

图7是Akko&Kayo_p00026视频截图对应的深度图。

具体实施方式

基于光流与图像分割的深度表示方法包括如下步骤(整体流程图如图1所示)：

(1)对原始二维视频中的每一帧图像，参考每一帧图像在时间方向上相邻的后一帧图像，进行光流分析，得到当前图像的光流图；

(2)对原始二维视频中的每一帧图像进行图像分割，得到分割图；

(3)结合原始二维视频中每一帧图像对应的光流图与分割图，得到深度图，用于三维视频的表达。

所述的对原始二维视频中的每一帧图像，参考每一帧图像在时间方向上相邻的后一帧图像，进行光流分析，得到当前图像的光流图步骤：

(a)取原始二维视频中的一帧图像及其时间方向上相邻的后一帧图像，对这两幅图像对应的亮度分量Y₁、Y₂和色度分量U₁、V₁、U₂、V₂分别运用图像处理中的Sobel算子计算水平梯度和垂直梯度，得到当前图像三个分量的水平梯度Y_1x、U_1x、V_1x，垂直梯度Y_1y、U_1y、V_1y和后一帧图像的水平梯度Y_2x、U_2x、V_2x，垂直梯度Y_2y、U_2y、V_2y，运用如下公式得到当前图像的整体水平梯度I_1x和整体垂直梯度I_1y以及后一帧图像的整体水平梯度I_2x和整体垂直梯度I_2y：

I_x＝max(|Y_x|，|U_x|，|V_x|)

I_y＝max(|Y_y|，|U_y|，|V_y|)，

(b)对当前图像的三个分量Y₁、U₁、V₁分别与其后一帧图像的三个分量Y₂、U₂、V₂做时间上的双向差分运算，综合得到当前图像的前向时间梯度I_1t和后向时间梯度I_2t，计算公式如下所示：

I_1t＝max(|Y₁-Y₂|，|U₁-U₂|，|V₁-V₂|)

I_2t＝max(|Y₂-Y₁|，|U₂-U₁|，|V₂-V₁|)；

(c)将步骤(a)和步骤(b)得到的当前图像的水平梯度I_1x、垂直梯度I_1y和前向时间梯度I_1t以及其后一帧图像的水平梯度I_2x、垂直梯度I_2y和后向时间梯度I_2t分别代入光流基本方程和平滑约束方程得到前向光流场(u₁，v₁)和后向光流场(u₂，v₂)，光流基本方程为：

I_x·u+I_y·v+I_t＝0

平滑约束方程为：

$\frac{\∂u}{\∂t}={\▿}^{2}u-\mathrm{\λ}{I}_x(I_x\·u+I_y\·v+I_t)$

$\frac{\∂v}{\∂t}={\▿}^{2}v-\mathrm{\λ}{I}_y(I_x\·u+I_y\·v+I_t)$

其中，λ为常数；

(d)利用步骤(c)得到的前向光流场(u₁，v₁)和后向光流场(u₂，v₂)，计算光流一致性度量c(x，y)，计算公式如下：

Δu(x，y)＝u₁(x，y)+u₂(x-u₁Δt，y-v₁Δt)

Δv(x，y)＝v₁(x，y)+v₂(x-u₁Δt，y-v₁Δt)

$c(x,y)=\frac{1}{1+\sqrt{\mathrm{\Δu}{(x,y)}^2+\mathrm{\Δv}{(x,y)}^2}}$

其中，Δu(x，y)表示当前图像中一个像素的前向光流场水平分量与在后一帧图像上的参考像素的后向光流场水平分量的差异，而Δv(x，y)表示当前图像中一个像素的前向光流场垂直分量与在后一帧图像上的参考像素的后向光流场垂直分量的差异，在光流一致的情况下，当前像素的前向光流场与对应参考像素的后向光流场是大小相同，方向相反的，即Δu(x，y)＝0，Δv(x，y)＝0，c(x，y)表示光流一致性的度量，它的取值范围在(0，1)之间，当Δu(x，y)＝0，Δv(x，y)＝0，即光流一致的情况下，c(x，y)＝1，c(x，y)越小，表示前向光流场与后向光流场越不一致；

(e)根据步骤(d)得到的光流一致性度量c(x，y)，对步骤(c)得到的前向光流场(u₁，v₁)进行平滑处理，平滑处理计算公式如下：

$u_1^{\′}(x,y)=\frac{\underset{j=-1}{\overset{1}{\mathrm{\Σ}}}\underset{i=-1}{\overset{1}{\mathrm{\Σ}}}w(i,j)\·c(x+i,y+j)\·u_1(x+i,y+j)}{\underset{j=-1}{\overset{1}{\mathrm{\Σ}}}\underset{i=-1}{\overset{1}{\mathrm{\Σ}}}w(i,j)\·c(x+i,y+j)}$

$v_1^{\′}(x,y)=\frac{\underset{j=-1}{\overset{1}{\mathrm{\Σ}}}\underset{i=-1}{\overset{1}{\mathrm{\Σ}}}w(i,j)\·c(x+i,y+j)\·v_1(x+i,y+j)}{\underset{j=-1}{\overset{1}{\mathrm{\Σ}}}\underset{i=-1}{\overset{1}{\mathrm{\Σ}}}w(i,j)\·c(x+i,y+j)}$

其中，c(x，y)是光流一致性度量，加权因子w(i，j)(i，j＝-1，0，1)取自模板

最终得到平滑后的前向光流场(u′₁，v′₁)，作为当前图像的光流图F(x，y)。

所述的对原始二维视频中的每一帧图像进行图像分割，得到分割图步骤：

(f)建立一个带非负权值的无向图G(V，E)模型，其中V表示无向图中节点集合，即v∈V，E表示无向图中边的集合，即(v_i，v_j)∈E，每条边对应的权值为w(v_i，v_j)；

(g)以原始二维视频中的每一帧图像作为一个处理单位，将图像中所有像素作为无向图模型中的节点，将所有像素与其八邻域内像素的连接关系作为无向图的边(如图2)，每条边对应的权值w(v_i，v_j)按照如下公式计算得到：

w(v_i，v_j)＝0.5×|Y(v_i)-Y(v_j)|+0.25×|U(v_i)-U(v_j)|+0.25×|V(v_i)-V(v_j)|

其中，Y(v_i)和Y(v_j)分别表示节点v_i和节点v_j的亮度分量，U(v_i)、V(v_i)和U(v_j)、V(v_j)分别表示节点v_i和节点v_j的两个色度分量；

(h)将图中的所有m条边按照步骤(g)计算得到权值递增排列，表示为(e₁，e₂，......e_m)，初始分割S⁰时，每一个像素各自位于不同的分割集合中；

(i)每次从排列(e₁，e₂，......e_m)中按顺序取出一条边e_q，如果这条边连接的两个节点v_i和v_j在上一次分割后处于不同的分割集合C_i ^q-1和C_j ^q-1，并且这条边的权值w(v_i，v_j)小于阈值Min(C_i ^q-1，C_j ^q-1)时，则将两个节点所在的分割集合在这一次分割中合并(如图3)，整个过程用公式表示如下：

$S^q=\left\{\begin{array}{ccc}{C}_i^{q-1}+C_j^{q-1}& w(v_i,v_j)\≤\mathrm{Min}(C_i^{q-1},C_j^{q-1})& v_i\∈C_i^{q-1},v_j\∈C_j^{q-1},C_i^{q-1}\≠C_j^{q-1}\\ S^{q-1}& & \mathrm{otherwise}\end{array}\right.$

其中，q表示当前是第q次分割，分割结果用S^q表示，判断阈值Min(C_i ^q-1，C_j ^q-1)按照下式计算得到：

$\mathrm{Min}(C_i^{q-1},C_j^{q-1})=\min (\mathrm{Inter}\left(C_i^{q-1}\right)+\mathrm{\τ}\left(C_i^{q-1}\right),\mathrm{Inter}\left(C_j^{q-1}\right)+\mathrm{\τ}\left(C_j^{q-1}\right))$

其中，

表示一个分割集合中最小生成树的最大权重，

表示基于分割集合大小的阈值函数，k是一个常数，|C|表示分割集合大小，即其中的节点个数；

(j)重复步骤(i)，直到排列(e₁，e₂，......e_m)中所有的边都被遍历，标记最后的分割结果，得到分割图S(x，y)。

所述的结合原始二维视频中每一帧图像对应的光流图与分割图，得到深度图步骤：

(k)参考分割图S(x，y)，对同一分割区域对应在光流图F(x，y)中的所有像素值累加并取平均值，作为这个分割区域所在图像位置的深度表示，最终得到表示原始二维视频中每一帧图像深度的深度图D(x，y)，计算公式表示如下：

$D(x,y)=\frac{\underset{(x,y)\∈S_i}{\mathrm{\Σ}}F(x,y)}{\left|S_i\right|}$ i＝1，2，...m

其中，分割图S(x，y)共有m个分割区域组成，可表示为{S₁，S₂，...S_m}，|S_i|表示第i个分割区域中覆盖像素的个数。

实施例：

(1)将图像分辨率为640×480的Akko&Kayo_p00026测试码流作为待转换的2D视频文件。图4即为Akko&Kayo_p00026视频的截图。

(2)对原始二维视频中的每一帧图像，参考其在时间方向上相邻的后一帧图像，进行光流分析，得到当前图像的光流图。图5即为图4视频截图光流分析得到的光流图。

(3)对原始二维视频中的每一帧图像进行图像分割，得到分割图。图6即为图4视频截图图像分割得到的分割图。

(4)结合原始二维视频中每一帧图像对应的光流图与分割图，得到深度图，用于三维视频的表达。图7即为结合图5光流图和图6分割图得到的深度图。

Claims (4)

1.一种基于光流与图像分割的深度表示方法，其特征在于包括如下步骤：

(1)对原始二维视频中的每一帧图像，参考每一帧图像在时间方向上相邻的后一帧图像，进行光流分析，得到当前图像的光流图；

(2)对原始二维视频中的每一帧图像进行图像分割，得到分割图；

(3)结合原始二维视频中每一帧图像对应的光流图与分割图，得到深度图，用于三维视频的表达。

2.根据权利要求1所述的一种基于光流与图像分割的深度表示方法，其特征在于所述的对原始二维视频中的每一帧图像，参考每一帧图像在时间方向上相邻的后一帧图像，进行光流分析，得到当前图像的光流图步骤为：

(a)取原始二维视频中的一帧图像及其时间方向上相邻的后一帧图像，对这两幅图像对应的亮度分量Y₁、Y₂和色度分量U₁、V₁、U₂、V₂分别运用图像处理中的Sobel算子计算水平梯度和垂直梯度，得到当前图像三个分量的水平梯度Y_1x、U_1x、V_1x，垂直梯度Y_1y、U_1y、V_1y和后一帧图像的水平梯度Y_2x、U_2x、V_2x，垂直梯度Y_2y、U_2y、V_2y，运用如下公式得到当前图像的整体水平梯度I_1x和整体垂直梯度I_1y以及后一帧图像的整体水平梯度I_2x和整体垂直梯度I_2y：

I_x＝max(|Y_x|，|U_x|，|V_x|)

I_y＝max(|Y_y|，|U_y|，|V_y|)；

(b)对当前图像的三个分量Y₁、U₁、V₁分别与其后一帧图像的三个分量Y₂、U₂、V₂做时间上的双向差分运算，综合得到当前图像的前向时间梯度I_1t和后向时间梯度I_2t，计算公式如下所示：

I_1t＝max(|Y₁-Y₂|，|U₁-U₂|，|V₁-V₂|)

I_2t＝max(|Y₂-Y₁|，|U₂-U₁|，|V₂-V₁|)；

(c)将步骤(a)和步骤(b)得到的当前图像的水平梯度I_1x、垂直梯度I_1y和前向时间梯度I_1t以及其后一帧图像的水平梯度I_2x、垂直梯度I_2y和后向时间梯度I_2t分别代入光流基本方程和平滑约束方程得到前向光流场(u₁，v₁)和后向光流场(u₂，v₂)，光流基本方程为：

I_x·u+I_y·v+I_t＝0

平滑约束方程为：

$\frac{\∂u}{\∂t}={\▿}^{2}u-\mathrm{\λ}{I}_x(I_x\·u+I_y\·v+I_t)$

$\frac{\∂v}{\∂t}={\▿}^{2}v-\mathrm{\λ}{I}_y(I_x\·u+I_y\·v+I_t)$

其中，λ为常数；

(d)利用步骤(c)得到的前向光流场(u₁，v₁)和后向光流场(u₂，v₂)，计算光流一致性度量c(x，y)，计算公式如下：

Δu(x，y)＝u₁(x，y)+u₂(x-u₁Δt，y-v₁Δt)

Δv(x，y)＝v₁(x，y)+v₂(x-u₁Δt，y-v₁Δt)

$c(x,y)=\frac{1}{1+\sqrt{\mathrm{\Δu}{(x,y)}^2+\mathrm{\Δv}{(x,y)}^2}}$

其中，Δu(x，y)表示当前图像中一个像素的前向光流场水平分量与在后一帧图像上的参考像素的后向光流场水平分量的差异，而Δv(x，y)表示当前图像中一个像素的前向光流场垂直分量与在后一帧图像上的参考像素的后向光流场垂直分量的差异，在光流一致的情况下，当前像素的前向光流场与对应参考像素的后向光流场是大小相同，方向相反的，即Δu(x，y)＝0，Δv(x，y)＝0，c(x，y)表示光流一致性的度量，它的取值范围在(0，1)之间，当Δu(x，y)＝0，Δv(x，y)＝0，即光流一致的情况下，c(x，y)＝1，c(x，y)越小，表示前向光流场与后向光流场越不一致；

(e)根据步骤(d)得到的光流一致性度量c(x，y)，对步骤(c)得到的前向光流场(u₁，v₁)进行平滑处理，平滑处理计算公式如下：

$u_1^{\′}(x,y)=\frac{\underset{j=-1}{\overset{1}{\mathrm{\Σ}}}\underset{i=-1}{\overset{1}{\mathrm{\Σ}}}w(i,j)\·c(x+i,y+j)\·u_1(x+i,y+j)}{\underset{j=-1}{\overset{1}{\mathrm{\Σ}}}\underset{i=-1}{\overset{1}{\mathrm{\Σ}}}w(i,j)\·c(x+i,y+j)}$

$v_1^{\′}(x,y)=\frac{\underset{j=-1}{\overset{1}{\mathrm{\Σ}}}\underset{i=-1}{\overset{1}{\mathrm{\Σ}}}w(i,j)\·c(x+i,y+j)\·v_1(x+i,y+j)}{\underset{j=-1}{\overset{1}{\mathrm{\Σ}}}\underset{i=-1}{\overset{1}{\mathrm{\Σ}}}w(i,j)\·c(x+i,y+j)}$

其中，c(x，y)是光流一致性度量，加权因子w(i，j)(i，j＝-1，0，1)取自模板

最终得到平滑后的前向光流场(u₁，v₁)，作为当前图像的光流图F(x，y)。

3.根据权利要求1所述的一种基于光流与图像分割的深度表示方法，其特征在于所述的对原始二维视频中的每一帧图像进行图像分割，得到分割图步骤为：

(f)建立一个带非负权值的无向图G(V，E)模型，其中V表示无向图中节点集合，即v∈V，E表示无向图中边的集合，即(v_i，v_j)∈E，每条边对应的权值为w(v_i，v_j)；

(g)以原始二维视频中的每一帧图像作为一个处理单位，将图像中所有像素作为无向图模型中的节点，将所有像素与其八邻域内像素的连接关系作为无向图的边，每条边对应的权值w(v_i，v_j)按照如下公式计算得到：

w(v_i，v_j)＝0.5×|Y(v_i)-Y(v_j)|+0.25×|U(v_i)-U(v_j)|+0.25×|V(v_i)-V(v_j)|

其中，Y(v_i)和Y(v_j)分别表示节点v_i和节点v_j的亮度分量，U(v_i)、V(v_i)和U(v_j)、V(v_j)分别表示节点v_i和节点v_j的两个色度分量；

(h)将图中的所有m条边按照步骤(g)计算得到权值递增排列，表示为(e₁，e₂，......e_m)，初始分割S⁰时，每一个像素各自位于不同的分割集合中；

(i)每次从排列(e₁，e₂，......e_m)中按顺序取出一条边e_q，如果这条边连接的两个节点v_i和v_j在上一次分割后处于不同的分割集合C_i ^q-1和C_j ^q-1，并且这条边的权值w(v_i，v_j)小于阈值Min(C_i ^q-1，C_j ^q-1)时，则将两个节点所在的分割集合在这一次分割中合并，整个过程用公式表示如下：

$S^q=\left\{\begin{array}{cc}{C}_i^{q-1}+C_j^{q-1}& w(v_i,v_j)\≤\mathrm{Min}(C_i^{q-1},C_j^{q-1}),v_i\∈C_i^{q-1},v_j\∈C_j^{q-1},C_i^{q-1}\≠C_j^{q-1}\\ S^{q-1}& \mathrm{otherwise}\end{array}\right.$

其中，q表示当前是第q次分割，分割结果用S^q表示，判断阈值Min(C_i ^q-1，C_j ^q-1)按照下式计算得到：

$\mathrm{Min}(C_i^{q-1},C_j^{q-1})=\min (\mathrm{Inter}\left(C_i^{q-1}\right)+\mathrm{\τ}\left(C_i^{q-1}\right),\mathrm{Inter}\left(C_j^{q-1}\right)+\mathrm{\τ}\left(C_j^{q-1}\right))$

其中，表示一个分割集合中最小生成树的最大权重，

表示基于分割集合大小的阈值函数，k是一个常数，|C|表示分割集合大小，即其中的节点个数；

(j)重复步骤(i)，直到排列(e₁，e₂，......e_m)中所有的边都被遍历，标记最后的分割结果，得到分割图S(x，y)。

4.根据权利要求1所述的一种基于光流与图像分割的深度表示方法，其特征在于所述的结合原始二维视频中每一帧图像对应的光流图与分割图，得到深度图步骤为：

(k)参考分割图S(x，y)，对同一分割区域对应在光流图F(x，y)中的所有像素值累加并取平均值，作为这个分割区域所在图像位置的深度表示，最终得到表示原始二维视频中每一帧图像深度的深度图D(x，y)，计算公式表示如下：

$D(x,y)=\frac{\underset{(x,y)\∈S_i}{\mathrm{\Σ}}F(x,y)}{\left|S_i\right|},i=\mathrm{1,2},...m$

其中，分割图S(x，y)共有m个分割区域组成，表示为{S₁，S₂，...S_m}，|S_i|表示第i个分割区域中覆盖像素的个数。

Images