CN102609950B - 一种二维视频深度图的生成方法 - Google Patents

Abstract

本发明公开了一种二维视频深度图的生成方法，包括：(1)获取二维视频，标记关键帧和非关键帧；(2)分割图像，对关键帧进行人工深度赋值；(3)根据关键帧的深度信息计算出非关键帧的深度信息；(4)对非关键帧深度图进行修复，合成整个视频的深度图。本发明仅对关键帧图像进行人工深度赋值，其余图像采用基于区域分割的深度图推理算法，大大降低了整个视频深度图制作的人工成本，提高了相应的速率和效率，得到的深度图符合真实的深度信息，有效保证了视频深度图的质量和效果，整个方法能够在普通PC机或工作站等硬件系统上实现。

Description

一种二维视频深度图的生成方法

技术领域

本发明属于视频图像处理技术领域，具体涉及一种二维视频深度图的生成方法。

背景技术

三维视频已经成为不可阻挡的技术热潮，因其带来的视觉冲击力，场景的真实感，受到大量的电影、电视和广告等行业技术人员和销售人员青睐。但目前三维视频内容依旧缺乏，将现有的众多二维视频转换为三维视频受到越来越多的重视。其中最主要的方法是首先计算得到原有二维视频的深度信息，再通过DIBR(Depth Image Based Rendering)技术获得虚拟视点视频图像，合成相应的三维视频。

目前用于生成二维视频图像深度图的方法主要有两类：

(1)利用视频或图像编辑软件，人工对视频中的每帧图像进行分割，逐一手动确定该帧图像中每个物体的前后关系，赋以相应的深度值。这种方法得到的深度图具有较高的精度，质量较好，但由于需要逐帧进行视频图像分割与深度赋值，需要耗费大量的人工，效率不高。

(2)与全人工赋值相反的二维视频到三维视频的全自动转换技术，对接收到的二维视频信息进行分析并计算出深度图，再采用DIBR的方法合成三维视频。目前很多三维电视都在电视机里都内置了基于这种转换技术的装置，可以方便的将电视中接收到的二维视频信号实时的转换为三维视频信号来观看，但这种实时计算出来的深度图相对于方法(1)中得到的深度图效果较差，有些时候会发生前后景混乱的情况，造成视觉困扰。

公开号为CN101271578A中国发明专利公开了一种平面视频转立体视频技术中的深度序列生成方法，该方法包括：基于光流算法提取原二维视频序列中每一帧的像素二维运动，获得该帧的运动强度图；利用最小鉴别信息原理将原二维视频序列中每一帧图像的颜色信息与所述运动强度图融合，获得用于对视频图像进行分割的运动颜色区分图；根据运动颜色区分图的亮度对该图进行分割，并对分割后的每个区域赋予不同的深度值，得到每一帧图像的深度图；将所有帧图像的深度图组成深度序列。该方法对每一帧图像进行处理，过程复杂，工作量大，效率较低。

发明内容

针对现有技术所存在的上述技术缺陷，本发明提供了一种二维视频深度图的生成方法，能够在保证深度图较佳质量效果的同时，提高生成的速度和效率。

一种二维视频深度图的生成方法，包括如下步骤：

(1)获取二维视频，对二维视频每帧图像进行切换检测，将图像标记为关键帧图像或非关键帧图像；

(2)对二维视频每帧图像进行分割，并对关键帧图像分割产生的每个区域的深度值进行人工赋值，得到关键帧图像的深度信息，进而生成关键帧图像的深度图；其中同一区域内的各像素点的深度值均相等；

(3)根据关键帧图像的深度信息，通过颜色纹理匹配法计算得到非关键帧图像的深度信息，并生成非关键帧图像的深度图；进而根据关键帧图像和非关键帧图像的深度图合成整个二维视频的深度图。

优选地，对图像进行切换检测的过程为：首先，标记二维视频的第一帧图像为关键帧图像，并计算二维视频每帧图像的颜色直方图；然后，根据以下算式依次计算每帧图像与前一关键帧图像的颜色直方图距离，若颜色直方图距离小于距离阈值，则标记当前帧图像为非关键帧图像；若否，则标记当前帧图像为关键帧图像。

$\mathrm{\Δ}(Z1-Z2)=\underset{k=0}{\overset{255}{\mathrm{\Σ}}}\left(\right|H_R^{Z1}\left(k\right)-H_R^{Z2}\left(k\right)|+|H_G^{Z1}\left(k\right)-H_G^{Z2}\left(k\right)|+|H_B^{Z1}\left(k\right)-H_B^{Z2}\left(k\right)\left|\right)$

其中：Z1和Z2分别对应当前帧图像和前一关键帧图像，Δ(Z1-Z2)为Z1与Z2的颜色直方图距离，

分别为Z1的红、绿、蓝分量的颜色直方图，分别为Z2的红、绿、蓝分量的颜色直方图，k为像素值。

此切换检测方法过程简单，具有较高的检测效率。

优选地，对图像进行分割采用k-means(硬聚类)算法或超像素算法。该两种算法可以产生较小的分割区域，保证每个区域里的颜色比较单一，纹理比较平滑。

优选地，所述的颜色纹理匹配法的具体过程为：

1)计算二维视频每帧图像分割产生的每个区域的颜色直方图和纹理直方图；

2)对于非关键帧图像的任一区域，根据以下算式计算该区域与前一关键帧图像的每一区域的直方图距离；

$D(\mathrm{\Ω}1-\mathrm{\Ω}2)=\underset{k=0}{\overset{255}{\mathrm{\Σ}}}\left(\right|H_R^{\mathrm{\Ω}1}\left(k\right)-H_R^{\mathrm{\Ω}2}\left(k\right)|+|H_G^{\mathrm{\Ω}1}\left(k\right)-H_G^{\mathrm{\Ω}2}\left(k\right)|+|H_B^{\mathrm{\Ω}1}\left(k\right)-H_B^{\mathrm{\Ω}2}\left(k\right)\left|\right)$

$+\mathrm{\λ}\×\underset{m=0}{\overset{4}{\mathrm{\Σ}}}|H_E^{\mathrm{\Ω}1}\left(m\right)-H_E^{\mathrm{\Ω}2}\left(m\right)|$

其中：Ω1和Ω2分别对应关键帧图像的区域和非关键帧图像的区域，D(Ω1-Ω2)为Ω1与Ω2两区域的直方图距离，

分别为Ω1区域的红、绿、蓝分量的颜色直方图，分别为Ω2区域的红、绿、蓝分量的颜色直方图，

知

分别为Ω1和Ω2两区域的纹理直方图，λ为纹理匹配系数；k为像素值，m为梯度方向值；

3)取直方图距离最小值对应的关键帧图像的区域作为匹配结果，并将该区域的深度值赋值给非关键帧图像的区域；

4)根据步骤2)和3)，遍历非关键帧图像的所有区域，得到非关键帧图像的深度信息。

采用该匹配法对深度图进行推理，具有较高的推理效率，且能保证深度图较好的质量和效果。

优选地，所述的步骤(3)中，生成非关键帧图像的深度图后，对非关键帧图像的深度图进行人工修复；进而根据关键帧图像的深度图和非关键帧图像修复后的深度图合成整个二维视频的深度图；能够提高改善二维视频深度图的质量和效果。

所述的人工修复是指对于非关键帧图像的深度图中不符合物体前后对应关系的区域，重新对该区域的深度值进行人工赋值，从而获得非关键帧图像修复后的深度图。

本发明仅对关键帧图像进行人工深度赋值，其余图像采用基于区域分割的深度图推理算法，大大降低了整个视频深度图制作的人工成本，提高了相应的速率和效率，得到的深度图符合真实的深度信息，有效保证了视频深度图的质量和效果，整个方法能够在普通PC机或工作站等硬件系统上实现。

附图说明

图1为本发明方法的步骤流程图。

图2(a)为一非关键帧图像。

图2(b)为图2(a)分割后的图像。

图2(c)为图2(a)的深度图。

图2(d)为图2(c)修复后的深度图。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的深度图生成方法进行详细说明。

如图1所示，一种二维视频深度图的生成方法，包括如下步骤：

(1)获取二维视频，对二维视频每帧图像进行切换检测，并将图像标记为关键帧图像或非关键帧图像。

首先，标记二维视频的第一帧图像为关键帧图像，并计算二维视频每帧图像的颜色直方图；然后，根据以下公式依次计算当前帧图像与前一关键帧图像的颜色直方图距离；

$\mathrm{\Δ}(Z1-Z2)=\underset{k=0}{\overset{255}{\mathrm{\Σ}}}\left(\right|H_R^{Z1}\left(k\right)-H_R^{Z2}\left(k\right)|+|H_G^{Z1}\left(k\right)-H_G^{Z2}\left(k\right)|+|H_B^{Z1}\left(k\right)-H_B^{Z2}\left(k\right)\left|\right)$

其中：Z1和Z2分别对应当前帧图像和前一关键帧图像，Δ(Z1-Z2)为Z1与Z2的颜色直方图距离，分别为Z1的红、绿、蓝分量的颜色直方图，

分别为Z2的红、绿、蓝分量的颜色直方图，k为像素值。

若颜色直方图距离小于距离阈值，则标记当前帧图像为非关键帧图像；若否，则标记当前帧图像为关键帧图像；本实施方式中距离阈值为512。

(2)对二维视频每帧图像进行分割，并对关键帧图像分割产生的每个区域的深度值进行人工赋值，得到关键帧图像的深度信息，进而生成关键帧图像的深度图；其中，同一区域内的各像素点的深度值均相等。

本实施方式采用超像素算法对图像进行分割，具体过程为：将图像从RGB颜色空间转换为LAB颜色空间，对图像进行K点的采样，此实施例中K设为200，即从图像中选取200个聚类中心点；计算各个像素点与最近的聚类中心点LAB距离和以网格距离归一化的空间距离加权和，并进行像素聚类；然后计算每个聚类中的所有点的坐标均值产生新的中心，以新的中心为聚类中心点再进行像素聚类，并重复迭代此过程。本实施例中迭代次数为5次。对于最后一步迭代后的孤立点，将它们归为与之最相近的聚类中心上。聚类后的结果就形成了各个超像素，完成了对图像的分割。图2(a)和图2(b)分别为分割前后的某一非关键帧图像。

根据每一块区域内的物体在整幅图像中的前后景关系进行人工深度赋值，深度赋值可采用8比特整数(0～255)或16比特整数(0～65535)；精度要求不高情况下可采用8比特整数，0表示所在区域的物体为背景，为离观众最远的位置，255表示所在区域的物体为最前景，为离观众最近的位置；精度要求较高情况下采用16比特整数，同样0表示所在区域的物体为背景，为离观众最远的位置，65535表示所在区域的物体为最前景，为离观众最近的位置。

(3)根据关键帧图像的深度信息，通过颜色纹理匹配法计算得到非关键帧图像的深度信息，进而生成非关键帧图像的深度图。

颜色纹理匹配法的具体过程为：

1)计算二维视频每帧图像分割产生的每个区域的颜色直方图和纹理直方图；

区域的颜色直方图的计算方法为：

$H_R^{\mathrm{\Ω}}\left(k\right)=\frac{1}{N_{\mathrm{\Ω}}}\×(\underset{(i,j)\∈\mathrm{\Ω}}{\mathrm{\Σ}}R(i,j)==k)k=0~255$

$H_G^{\mathrm{\Ω}}\left(k\right)=\frac{1}{N_{\mathrm{\Ω}}}\×(\underset{(i,j)\∈\mathrm{\Ω}}{\mathrm{\Σ}}G(i,j)==k)k=0~255$

$H_B^{\mathrm{\Ω}}\left(k\right)=\frac{1}{N_{\mathrm{\Ω}}}\×(\underset{(i,j)\∈\mathrm{\Ω}}{\mathrm{\Σ}}B(i,j)==k)k=0~255$

其中：Ω对应图像的任一区域；R(i，j)、G(i，j)、B(i，j)分别为Ω区域中像素点(i，j)的红、绿、蓝分量的像素值；N_Ω为Ω区域中的像素总个数；

分别为Ω区域的红、绿、蓝分量的颜色直方图。

区域的纹理直方图的计算方法为：

$H_E^{\mathrm{\Ω}}\left(m\right)=\frac{1}{N_{\mathrm{\Ω}}}\×(\underset{(i,j)\∈\mathrm{\Ω}}{\mathrm{\Σ}}E(i,j)==m)m=0~4$

其中：E(i，j)为Ω区域中像素点(i，j)的梯度方向值。

像素点(i，j)的梯度方向值E(i，j)的计算方法为：

首先，根据以下公式计算像素点(i，j)的水平方向梯度值E_H(i，j)、垂直方向梯度值E_V(i，j)、45°方向梯度值E₄₅(i，j)135°方向梯度值E₁₃₅(i，j)和无方向梯度值E_N(i，j)；

E_H(i，j)＝|R(i，j)-R(i，j-1)|+|G(i，j)-G(i，j-1)|+|B(i，j)-B(i，j-1)|

+|R(i，j)-R(i，j+1)|+|G(i，j)-G(i，j+1)|+|B(i，j)-B(i，j+1)|

E_V(i，j)＝|R(i，j)-R(i-1，j)|+|G(i，j)-G(i-1，j)|+|B(i，j)-B(i-1，j)|

+|R(i，j)-R(i+1，j)|+|G(i，j)-G(i+1，j)|+|B(i，j)-B(i+1，j)|

E₄₅(i，j)＝|R(i，j)-R(i-1，j-1)|+|G(i，j)-G(i-1，j-1)|+|B(i，j)-B(i-1，j-1)|

+|R(i，j)-R(i+1，j+1)|+|G(i，j)-G(i+1，j+1)|+|B(i，j)-B(i+1，j+1)|

E₁₃₅(i，j)＝|R(i，j)-R(i-1，j+1)|+|G(i，j)-G(i-1，j+1)|+|B(i，j)-B(i-1，j+1)|

+|R(i，j)-R(i+1，j-1)|+|G(i，j)-G(i+1，j-1)|+|B(i，j)-B(i+1，j-1)|

$E_N(i,j)=\frac{1}{2}\×\left(\right|R(i+1,j-1)-R(i-1,j+1)|+|G(i+1,j-1)-G(i-1,j+1)|+|B(i+1,j-1)-B(i-1,j+1)|$

$+|R(i-1,j-1)-R(i+1,j+1)|+|G(i-1,j-1)-G(i+1,j+1)|+|B(i-1,j-1)-B(i+1,j+1)|$

$+|R(i-1,j)-R(i+1,j)|+|G(i-1,j)-G(i+1,j)|+|B(i-1,j)-B(i+1,j)|$

$+|R(i,j-1)-R(i,j+1)|+|G(i,j-1)-G(i,j+1)|+|B(i,j-1)-B(i,j+1)|)$

然后，取这五个值中的最小值所对应的梯度方向为像素点(i，j)的梯度方向，若这五个值中存在两个或两个以上相同的最小值，则令像素点(i，j)的梯度方向为无方向；

若像素点(i，j)的梯度方向为水平方向则E(i，j)＝0，若像素点(i，j)的梯度方向为垂直方向则E(i，j)＝1，若像素点(i，j)的梯度方向为45°方向则E(i，j)＝2，若像素点(i，j)的梯度方向为135°方向则E(i，j)＝3，若像素点(i，j)的梯度方向为无方向则E(i，j)＝4。

2)对于非关键帧图像的任一区域，根据以下公式计算该区域与前一关键帧图像的每一区域的直方图距离；

$D(\mathrm{\Ω}1-\mathrm{\Ω}2)=\underset{k=0}{\overset{255}{\mathrm{\Σ}}}\left(\right|H_R^{\mathrm{\Ω}1}\left(k\right)-H_R^{\mathrm{\Ω}2}\left(k\right)|+|H_G^{\mathrm{\Ω}1}\left(k\right)-H_G^{\mathrm{\Ω}2}\left(k\right)|+|H_B^{\mathrm{\Ω}1}\left(k\right)-H_B^{\mathrm{\Ω}2}\left(k\right)\left|\right)$

$+\mathrm{\λ}\×\underset{m=0}{\overset{4}{\mathrm{\Σ}}}|H_E^{\mathrm{\Ω}1}\left(m\right)-H_E^{\mathrm{\Ω}2}\left(m\right)|$

其中：Ω1和Ω2分别对应关键帧图像的区域和非关键帧图像的区域，D(Ω1-Ω2)为Ω1与Ω2两区域的直方图距离，

分别为Ω1区域的红、绿、蓝分量的颜色直方图，

分别为Ω2区域的红、绿、蓝分量的颜色直方图，

知

分别为Ω1和Ω2两区域的纹理直方图，k为像素值，m为梯度方向值；λ为纹理匹配系数，本实施方式中λ＝3。

3)取直方图距离最小值对应的关键帧图像的区域作为匹配结果，并将该区域的深度值赋值给非关键帧图像的区域；

4)根据步骤2)和3)，遍历非关键帧图像的所有区域，得到非关键帧图像的深度信息。

(4)对非关键帧图像的深度图进行人工修复，进而根据关键帧图像的深度图和非关键帧图像修复后的深度图合成整个二维视频的深度图。

步骤(3)中计算得到的非关键帧图像的深度图有极少部分区域的深度值不符合物体的前后对应关系，如图2(c)中飞船的下边缘存在突起，该区域还需通过人工调整的方式重新对深度信息进行赋值，最终得到该非关键帧图像的深度图如图2(d)所示。

Claims (7)

1.一种二维视频深度图的生成方法，包括如下步骤：

（1）获取二维视频，对二维视频每帧图像进行切换检测，将图像标记为关键帧图像或非关键帧图像；

（2）对二维视频每帧图像进行分割，并对关键帧图像分割产生的每个区域的深度值进行人工赋值，得到关键帧图像的深度信息，进而生成关键帧图像的深度图；

（3）根据关键帧图像的深度信息，通过颜色纹理匹配法计算得到非关键帧图像的深度信息，并生成非关键帧图像的深度图；进而根据关键帧图像和非关键帧图像的深度图合成整个二维视频的深度图；

所述的颜色纹理匹配法的具体过程为：

1）计算二维视频每帧图像分割产生的每个区域的颜色直方图和纹理直方图；其中，区域的纹理直方图的计算方法为：

$H_E^{\mathrm{\Ω}}\left(m\right)=\frac{1}{N_{\mathrm{\Ω}}}\×(\underset{(i,j)\∈\mathrm{\Ω}}{\mathrm{\Σ}}E(i,j)==m)m=0~4$

其中：Ω表示图像中的任一区域，

为区域Ω的纹理直方图，N_Ω为区域Ω中的像素总个数，E(i,j)为区域Ω中像素点(i,j)的梯度方向值，梯度方向值E(i,j)的计算方法如下：

首先，根据以下公式计算像素点(i,j)的水平方向梯度值E_H(i,j)、垂直方向梯度值E_V(i,j)、45°方向梯度值E₄₅(i,j)、135°方向梯度值E₁₃₅(i,j)和无方向梯度值E_N(i,j)；

E_H(i,j)＝|R(i,j)-R(i,j-1)|+|G(i,j)-G(i,j-1)|+|B(i,j)-B(i,j-1)|

        +|R(i,j)-R(i,j+1)|+|G(i,j)-G(i,j+1)|+|B(i,j)-B(i,j+1)|

E_V(i,j)＝|R(i,j)-R(i-1,j)|+|G(i,j)-G(i-1,j)|+|B(i,j)-B(i-1,j)|

        +|R(i,j)-R(i+1,j)|+|G(i,j)-G(i+1,j)|+|B(i,j)-B(i+1,j)|

E₄₅(i,j)＝|R(i,j)-R(i-1,j-1)|+|G(i,j)-G(i-1,j-1)|+|B(i,j)-B(i-1,j-1)|

        +|R(i,j)-R(i+1,j+1)|+|G(i,j)-G(i+1,j+1)|+|B(i,j)-B(i+1,j+1)|

E₁₃₅(i,j)＝|R(i,j)-R(i-1,j+1)|+|G(i,j)-G(i-1,j+1)|+|B(i,j)-B(i-1,j+1)|

        +|R(i,j)-R(i+1,j-1)|+|G(i,j)-G(i+1,j-1)|+|B(i,j)-B(i+1,j-1)|

$\begin{array}{c}{E}_N(i,j)=\frac{1}{2}\×\left(\right|R(i+1,j-1)-R(i-1,j+1)|+|G(i+1,j-1)-G(i-1,j+1)|+|B(i+1,j-1)-B(i-1,j+1)|\\ +|R(i-1,j-1)-R(i+1,j+1)|+|G(i-1,j-1)-G(i+1,j+1)|+|B(i-1,j-1)-B(i+1,j+1)|\\ +|R(i-1,j)-R(i+1,j)|+|G(i-1,j)-G(i+1,j)|+|B(i-1,j)-B(i+1,j)|\\ +|R(i,j-1)-R(i,j+1)|+|G(i,j-1)-G(i,j+1)|+|B(i,j-1)-B(i,j+1)|)\end{array}$

其中，R(i,j)、G(i,j)、B(i,j)分别为Ω区域中像素点(i,j)的红、绿、蓝分量的像素值；i和j分别表示Ω区域中像素点的行序号和列序号；

然后，取这五个值中的最小值所对应的方向为像素点(i,j)的梯度方向，若这五个值中存在两个或两个以上相同的最小值，则令像素点(i,j)的梯度方向为无方向；

若像素点(i,j)的梯度方向为水平方向则E(i,j)=0，若像素点(i,j)的梯度方向为垂直方向则E(i,j)=1，若像素点(i,j)的梯度方向为45°方向则E(i,j)=2，若像素点(i,j)的梯度方向为135°方向则E(i,j)=3，若像素点(i,j)的梯度方向为无方向则E(i,j)=4；

2）对于非关键帧图像的任一区域，计算该区域与前一关键帧图像的每一区域的直方图距离；

3）取直方图距离最小值对应的关键帧图像的区域作为匹配结果，并将该区域的深度值赋值给非关键帧图像的区域；

4）根据步骤2）和3），遍历非关键帧图像的所有区域，得到非关键帧图像的深度信息。

2.根据权利要求1所述的二维视频深度图的生成方法，其特征在于：所述的步骤（1）中，对图像进行切换检测的过程为：首先，标记二维视频的第一帧图像为关键帧图像，并计算二维视频每帧图像的颜色直方图；然后，依次计算每帧图像与前一关键帧图像的颜色直方图距离，若颜色直方图距离小于距离阈值，则标记当前帧图像为非关键帧图像；若否，则标记当前帧图像为关键帧图像。

3.根据权利要求2所述的二维视频深度图的生成方法，其特征在于：通过以下算式计算每帧图像与前一关键帧图像的颜色直方图距离；

$\mathrm{\Δ}(Z1-Z2)=\underset{k=0}{\overset{255}{\mathrm{\Σ}}}\left(\right|H_R^{Z1}\left(k\right)-H_R^{Z2}\left(k\right)|+|H_G^{Z1}\left(k\right)-H_G^{Z2}\left(k\right)|+|H_B^{Z1}\left(k\right)-H_B^{Z2}\left(k\right)\left|\right)$

其中：Z1和Z2分别对应当前帧图像和前一关键帧图像，Δ(Z1-Z2)为Z1与Z2的颜色直方图距离，

分别为Z1的红、绿、蓝分量的颜色直方图，

分别为Z2的红、绿、蓝分量的颜色直方图，k为像素值。

4.根据权利要求1所述的二维视频深度图的生成方法，其特征在于：所述的步骤（2）中，采用k-means算法或超像素算法对二维视频每帧图像进行分割。

5.根据权利要求1所述的二维视频深度图的生成方法，其特征在于：通过以下算式计算非关键帧图像的任一区域与前一关键帧图像的每一区域的直方图距离；

$\begin{array}{c}D(\mathrm{\Ω}1-\mathrm{\Ω}2)=\underset{k=0}{\overset{255}{\mathrm{\Σ}}}\left(\right|H_R^{\mathrm{\Ω}1}\left(k\right)-H_R^{\mathrm{\Ω}2}\left(k\right)|+|H_G^{\mathrm{\Ω}1}\left(k\right)-H_G^{\mathrm{\Ω}2}\left(k\right)|+|H_B^{\mathrm{\Ω}1}\left(k\right)-H_B^{\mathrm{\Ω}2}\left(k\right)\left|\right)\\ +\mathrm{\λ}\×\underset{m=0}{\overset{4}{\mathrm{\Σ}}}|H_E^{\mathrm{\Ω}1}\left(m\right)-H_E^{\mathrm{\Ω}2}\left(m\right)|\end{array}$

其中：Ω1和Ω2分别对应关键帧图像的区域和非关键帧图像的区域，D(Ω1-Ω2)为Ω1与Ω2两区域的直方图距离，

分别为Ω1区域的红、绿、蓝分量的颜色直方图，

分别为Ω2区域的红、绿、蓝分量的颜色直方图，

和

分别为Ω1和Ω2两区域的纹理直方图，λ为纹理匹配系数；k为像素值，m为梯度方向值。

6.根据权利要求1所述的二维视频深度图的生成方法，其特征在于：所述的步骤（3）中，生成非关键帧图像的深度图后，对非关键帧图像的深度图进行人工修复；进而根据关键帧图像的深度图和非关键帧图像修复后的深度图合成整个二维视频的深度图。

7.根据权利要求6所述的二维视频深度图的生成方法，其特征在于：所述的人工修复是指对于非关键帧图像的深度图中不符合物体前后对应关系的区域，重新对该区域的深度值进行人工赋值，从而获得非关键帧图像修复后的深度图。

Images