CN102223553A - 一种二维视频到三维视频的自动转换方法 - Google Patents

Abstract

本发明提供一种二维视频到三维视频的自动转换方法，针对带运动物体的静止场景，首先对背景进行高斯建模，重建出静止的背景和分割出前景的大致区域，针对背景图像，利用单目几何信息和分类学习算法对每个像素进行几何分类，根据分类结果得到深度图；针对前景区域，采用均值移位算法对图像进行分割，然后对图像进行边缘检测、边缘连接和端点消除得到精确的前景区域，与背景深度图融合之后得到每一帧的深度图；右视图的合成算法采用先重建右视图中的背景，然后用该右视背景来进行补洞；本发明将得到左右视图投放在三维显示设备上可以自动获得良好的3D效果，无需人工参与。

Description

一种二维视频到三维视频的自动转换方法

技术领域

本发明涉及用于二维视频到三维视频的自动转换技术，属于视频、多媒体信号处理技术领域。

背景技术

三维视频可以使用户享受到真实的三维感觉，近年来成为研究热点。但是在现阶段的应用中，三维视频片源短缺，现在主要的三维片源仅仅是三维电影，且三维片源的制作周期长、花费大，这限制了三维电视产业的发展。考虑到现存的大量的二维视频资源，将二维视频转换为三维视频一方面能够弥补三维片源的短缺，另一方面也使人们能够以三维的形式重温以前的经典的二维视频，因此将二维视频转换为三维视频对三维电视产业的发展有重要的意义。

现有的二维视频转三维视频方法广泛采用了基于图像-深度的渲染技术，这种技术根据原始的单视场图像以及相应的图像深度信息，能够渲染出虚拟视点的图像。基于深度-图像渲染技术的关键问题是深度信息的恢复和虚拟的右视图的合成。对于不同的场景，根据场景中的深度线索，有不同的深度恢复算法。其中，带运动物体的静止场景因为其普遍性而成为一个重点研究的场景。为了恢复这种场景的深度信息，获得静止背景的深度层次，精确分割出前景以及前景物体的深度分配是三个关键的问题。虽然现在已有针对这种场景的深度恢复算法，但是这些算法没有完全解决上述的三个问题，使恢复的深度信息不能完全反映场景的层次结构。因此，研究带运动物体的静止场景的深度恢复有重要的意义。同时，右视图的合成的技术集中在补洞算法上，补洞算法是处理由于遮挡、错误投影等原因引起的鬼影，补洞算法的好坏直接影响观众的3D(三维)感受，因此快速、实用的补洞算法对新视点视频的合成至关重要。

现有的算法主要采用视频中的色差分量作为深度图灰度值，即对于YUV格式的视频，将U分量直接作为深度图的灰度值(YUV是被欧洲电视系统所采用的一种颜色编码方法(属于PAL)，是PAL和SECAM模拟彩色电视制式采用的颜色空间。在现代彩色电视系统中，通常采用三管彩色摄影机或彩色CCD摄影机进行取像，然后把取得的彩色图像信号经分色、分别放大校正后得到RGB，再经过矩阵变换电路得到亮度信号Y和两个色差信号R-Y(即U)、B-Y(即V)，最后发送端将亮度和色差三个信号分别进行编码，用同一信道发送出去。这种色彩的表示方法就是所谓的YUV色彩空间表示。采用YUV色彩空间的重要性是它的亮度信号Y和色度信号U、V是分离的)。该算法虽然简单，但是估计的深度值并不够准确，合成的右视图的质量也不高。

除了上述算法外，也有采用人工抠取图像目标，然后对图像中的各个目标进行深度的分配，进而得到3D效果，这种算法虽然深度分配准确，但是人工参与使得算法难以实现自动化。

发明内容

本发明针对现有二维视频到三维视频转换算法的存在的缺点，提供一种能自动的将2D(二维)视频转换为3D(三维)视频，无需人工参与，而且生成的右视图质量较高的二维视频到三维视频的自动转换方法。

本发明的二维视频到三维视频的自动转换方法，是：

针对带运动物体的静止场景，首先对背景进行高斯建模，重建出静止的背景和分割出前景的大致区域，该大致区域包含了前景的所有轮廓，但是不精确，针对背景图像，利用单目几何信息和分类学习算法对每个像素进行几何分类，根据分类结果得到深度图；针对前景区域，采用均值移位(meanshift)算法对图像进行分割，然后对图像进行边缘检测、边缘连接和端点消除得到精确的前景区域，与背景深度图融合之后得到每一帧的深度图；右视图的合成算法采用先重建右视图中的背景，然后用该右视背景来进行补洞；具体步骤如下：

(1)背景深度估计：采用高斯背景建模恢复背景，重建出静止的背景和分割出前景的大致区域，该大致区域包含了前景的所有轮廓，但是不精确，然后采用单目深度线索和学习训练算法对背景进行几何分类，根据分类结果给背景分配深度，得到静止背景的深度图；

(2)运动前景精确提取：对高斯背景建模得到的前景的大致区域进行均值移位(meanshift)分割、边缘检测和边缘连接得到物体的精确轮廓；

(3)融合深度图：根据运动物体在静止场景中的位置和步骤(1)得到的静止背景的深度图给每个前景物体分配固定的深度值，并将前景和背景的深度融合为一幅完整的深度图；

(4)右视图的合成：采用简单的补洞算法先对右眼背景进行重建，然后利用已重建的背景信息对前景遮挡出现的空洞进行补洞，得到最终的右视图。

所述步骤(1)的具体实现步骤如下：

a.将背景像素灰度建模成多个(本发明中采用3个)混合高斯分布的随机信号，然后根据整个视频估计出背景模型；

b.对背景的单眼深度线索(颜色、纹理、位置、形状、几何等)进行有监督的学习，将像素分成地面、天空和垂直面三类；

c.对三类区域分别进行深度分配，得到背景的深度图；具体方法如下：

令S，G和V分别表示天空的像素集合，地面的像素集合和垂直面的像素集合；像素(i，j)的深度用depth(i，j)来表示，三类的深度分配方法分别如下式①、②、③：

depth(i，j)＝0，(i，j)∈S                            ①

$\mathrm{depth}(i,j)=\frac{d_{\max }-d_{\min }}{c_{\max }-c_{\min }}(i-c_{\min })+d_{\min },(i,j)\∈G$ ②

$\mathrm{depth}(i,j)=\frac{d_{\max }-d_{\min }}{c_{\max }-c_{\min }}(i_{\max }-c_{\min })+d_{\min },(i,j)\∈V$ ③

式中，d_max和d_min分别表示场景的最大深度(最近的距离)和最小深度(最远距离)，c_max和c_min分别表示地面像素集合中的最大行坐标值和最小行坐标值，可以用公式

和分别计算；式③中的i_max等于

它表示对于垂直面的深度分配是按列分配的，第j列的深度是一个值，通过找到第j列垂直面中最大的行坐标值，通过这个行坐标值线性映射成一个深度值，这个深度值作为第j列的深度值；

所述步骤(2)的具体实现步骤如下：

a.先对高斯背景建模得到前景的大致区域进行扩张合适尺寸，然后用均值移位(meanshift)算法对这个扩张后的区域进行分割；

b.对分割结果采用边缘检测算法(canny)检测边缘，去除步骤(1)中得到的前景大致区域外的边缘像素；

c.采用形态学处理中常用的3*3和4*4的结构元素对边缘进行连接，使物体的边缘闭合。

d.将闭合区域内的像素填满，并采用端点消除去除线条状边缘噪声。

所述步骤(3)的具体实现步骤为：

对于每一个前景物体，设定垂直于地面的前景物体具有单一深度值，找出与该前景物体接触的地面像素坐标，将背景深度图中该像素的深度值赋给前景物体，融合得到整个图像的深度图。

所述步骤(4)的具体实现步骤为：

a.先根据深度与视差的线性关系，利用背景深度将右眼的背景视图重建起来，其中的空洞采用水平向右的像素颜色值进行补洞；深度和视差是线性的关系，如下式：

$\mathrm{disp}(i,j)=\frac{\mathrm{depth}(i,j)-d_{\min }}{d_{\max }-d_{\min }}({\mathrm{disp}}_{\max }-{\mathrm{disp}}_{\min })+{\mathrm{disp}}_{\min }$

其中，disp(i，j)是(i，j)位置像素的视差，depth(i，j)是深度图中(i，j)位置的像素的深度值，d_min，d_max，disp_min，disp_max分别是深度的最小值和最大值，视差的最小值和最大值；

b.根据每一个帧的深度图，结合原始图像，先重建每个帧的右视图，然后对形成的空洞区域用3*3的结构元素进行膨胀，最后对膨胀后的空洞像素用背景相应位置像素的颜色值进行补洞。

本发明通过高斯背景建模、图像几何分类、运动目标前景提取等得到原始视频每一帧的深度图以及背景的深度图；右视图的合成过程中，首先合成右视图中的背景，然后用右视图的背景对遮挡区域进行填充；得到最终的右视图，将左右视图投放在三维显示设备上可以自动获得良好的3D效果，无需人工参与。

附图说明

图1是本发明的流程框图。其中图1(a)为深度估计算法框图，图1(b)是重建右眼视频的算法框图。

图2是本发明中获得背景深度的流程图。图2(a)为原始视频中的某帧，图2(b)为根据视频估计出的背景图，图2(c)为几何分类结果图，图2为(d)为背景的深度图。

图3是本发明中分割前景的流程图。图3(a)为高斯背景建模得到前景的一个大概区域，图3(b)为本发明提出的算法得到的前景轮廓。

图4是融合后的深度图。

图5是生成的背景和视频帧的右眼视图，图5(a)为合成的背景右眼视图，图5(b)为合成的视频帧右眼视图，图5(c)为合成的红蓝3D图像。

具体实施方式

本发明通过高斯背景建模方法重建静止背景，通过对背景进行几何分类得到背景的深度图，然后精确分割出前景物体，并根据前景物体的位置和背景深度图给前景物体分配深度，将前景和背景的深度融合为完整的深度图。然后将原始视频作为左眼视频，通过深度与视差的线性关系和提出的补洞算法合成右眼视频。

图1给出了本发明方法的流程框图，其中图1(a)为深度估计算法框图，图1(b)是重建右眼视频的算法框图。根据所示流程，包括如下具体步骤：

1.获得背景的深度图，该步骤的具体实现流程如下：

(1)采用多个(本发明中采用3个)高斯模型对背景像素进行混合高斯建模，并利用视频中每一帧(图2(a)为原始视频中的某帧)的信息来更新该模型。进而估计出该视频的背景，如图2(b)所示。

(2)利用背景中的颜色、纹理、位置和形状、3D几何等单眼深度线索信息，通过有监督的训练学习方法，将背景中的每一个像素都分为三类，分别为天空，地面，垂直面。得到的分类结果如图2(c)。

(3)分别对每一类进行深度分配。令S，G和V分别表示天空的像素集合，地面的像素集合和垂直面的像素集合。像素(i，j)的深度用depth(i，j)来表示。三类的深度分配方法如下式①、②和③：

depth(i，j)＝0，(i，j)∈S                            ①

$\mathrm{depth}(i,j)=\frac{d_{\max }-d_{\min }}{c_{\max }-c_{\min }}(i-c_{\min })+d_{\min },(i,j)\∈G$ ②

$\mathrm{depth}(i,j)=\frac{d_{\max }-d_{\min }}{c_{\max }-c_{\min }}(i_{\max }-c_{\min })+d_{\min },(i,j)\∈V$ ③

式中，d_max和d_min分别表示场景的最大深度(最近的距离)和最小深度(最远距离)，c_max和c_min分别表示地面像素集合中的最大行坐标值和最小行坐标值，可以用公式

和

分别计算。式③中的i_max等于表示对于垂直面的深度分配是按列分配的，第j列的深度是一个值，通过找到第j列垂直面中最大的行坐标值，通过这个行坐标值线性映射成一个深度值，这个深度值作为第j列的深度值。图2(d)为最终得到的背景的深度图。

2.精确分割运动物体，具体实现流程如下：

(1)对高斯背景建模得到的前景大致区域(如图3(a)所示)向外扩张适当比例的像素，得到一个较大的前景区域。

(2)对步骤(1)所得的前景区域进行meanshift分割，得到分割后的结果。

(3)对步骤(2)所得的图像用canny算法进行边缘检测，去除图3(a)中前景区域之外的边缘像素。

(4)利用常用的3*3和4*4的结构元素对步骤(3)中得到的边缘进行连接，使物体有一个闭合的轮廓。

(5)填充闭合轮廓内的区域，采用端点消除去除线条状的边缘噪声，其中，端点定义为在其3*3的领域内边缘像素小于某个阈值(本发明中该阈值为3)的边缘点，本发明通过迭代的去除这些端点来获得准确的前景轮廓。最终得到前景的精确轮廓如图3(b)。

3.将前景物体和背景深度融合得到完整的深度图

对于每一个前景物体，设定垂直于地面的前景物体具有单一深度值，找出与该前景物体接触的地面像素坐标，将背景深度图中该像素的深度值赋给前景物体，融合得到整个图像的深度图。

融合后的深度图如图4所示。

4.合成右视图，具体实现流程如下：

(1)先由背景及背景的深度图得到初始的右眼背景，其中产生的空洞用水平向右位置的像素的颜色值进行补洞，得到的结果如图5(a)。其中，深度和视差的线性关系如下：

$\mathrm{disp}(i,j)=\frac{\mathrm{depth}(i,j)-d_{\min }}{d_{\max }-d_{\min }}({\mathrm{disp}}_{\max }-{\mathrm{disp}}_{\min })+{\mathrm{disp}}_{\min }$ ④

其中，disp(i，j)是(i，j)位置像素的视差，depth(i，j)是深度图中(i，j)位置的像素的深度值，d_min，d_max，disp_min，disp_max分别是深度的最小值和最大值，视差的最小值和最大值。

(2)根据深度与视差的线性关系，由原始视频帧及估计的深度生成带有空洞的视频帧的右眼图像。

(3)对步骤(2)得到的图像的空洞进行膨胀。

(4)用步骤(1)得到的右视背景中相应位置的像素对(3)得到的空洞像素进行补洞，这样可以减少遮挡区域的影响。其合成的右视图如图5(b)。图5(c)为根据原始视频图像和算法生成的右视图合成的红蓝3D图像。通过红蓝3D眼镜就能观看到3D效果。

Claims (5)

1.一种二维视频到三维视频的自动转换方法，其特征是：

针对带运动物体的静止场景，首先对背景进行高斯建模，重建出静止的背景和分割出前景的大致区域，该大致区域包含了前景的所有轮廓，但是不精确，针对背景图像，利用单目几何信息和分类学习算法对每个像素进行几何分类，根据分类结果得到深度图；针对前景区域，采用均值移位算法对图像进行分割，然后对图像进行边缘检测、边缘连接和端点消除得到精确的前景区域，与背景深度图融合之后得到每一帧的深度图；右视图的合成算法采用先重建右视图中的背景，然后用该右视背景来进行补洞；具体步骤如下：

(1)背景深度估计：采用高斯背景建模恢复背景，重建出静止的背景和分割出前景的大致区域，该大致区域包含了前景的所有轮廓，但是不精确，然后采用单目深度线索和学习训练算法对背景进行几何分类，根据分类结果给背景分配深度，得到静止背景的深度图；

(2)运动前景精确提取：对高斯背景建模得到的前景的大致区域进行均值移位分割、边缘检测和边缘连接得到物体的精确轮廓；

(3)融合深度图：根据运动物体在静止场景中的位置和步骤(1)得到的静止背景的深度图给每个前景物体分配固定的深度值，并将前景和背景的深度融合为一幅完整的深度图；

(4)右视图的合成：采用简单的补洞算法先对右眼背景进行重建，然后利用已重建的背景信息对前景遮挡出现的空洞进行补洞，得到最终的右视图。

2.根据权利要求1所述的二维视频到三维视频的自动转换方法，其特征是：所述步骤(1)的具体实现步骤如下：

a.将背景像素灰度建模成三个混合高斯分布的随机信号，然后根据整个视频估计出背景模型；

b.对背景的单眼深度线索进行有监督的学习，将像素分成地面、天空和垂直面三类；

c.对三类区域分别进行深度分配，得到背景的深度图；具体方法如下：

令S，G和V分别表示天空的像素集合，地面的像素集合和垂直面的像素集合；像素(i，j)的深度用depth(i，j)来表示，三类的深度分配方法分别如下式①、②、③：

depth(i，j)＝0，(i，j)∈S                            ①

$\mathrm{depth}(i,j)=\frac{d_{\max }-d_{\min }}{c_{\max }-c_{\min }}(i-c_{\min })+d_{\min },(i,j)\∈G$ ②

$\mathrm{depth}(i,j)=\frac{d_{\max }-d_{\min }}{c_{\max }-c_{\min }}(i_{\max }-c_{\min })+d_{\min },(i,j)\∈V$ ③

式中，d_max和d_min分别表示场景的最大深度和最小深度，c_max和c_min分别表示地面像素集合中的最大行坐标值和最小行坐标值，用公式

和分别计算；式③中的i_max等于

i_max表示对于垂直面的深度分配是按列分配的，第j列的深度是一个值，找到第j列垂直面中最大的行坐标值，通过这个行坐标值线性映射成一个深度值，这个深度值作为第j列的深度值；

3.根据权利要求1所述的二维视频到三维视频的自动转换方法，其特征是：所述步骤(2)的具体实现步骤如下：

a.先对高斯背景建模得到前景的大致区域进行扩张合适尺寸，然后用均值移位算法对这个扩张后的区域进行分割；

b.对分割结果采用边缘检测算法检测边缘，去除步骤(1)中得到的前景大致区域外的边缘像素；

c.采用形态学处理中常用的3*3和4*4的结构元素对边缘进行连接，使物体的边缘闭合。

d.将闭合区域内的像素填满，并采用端点消除技术去除线条状边缘噪声。

4.根据权利要求1所述的二维视频到三维视频的自动转换方法，其特征是：所述步骤(3)的具体实现步骤为：

对于每一个前景物体，设定垂直于地面的前景物体具有单一深度值，找出与该前景物体接触的地面像素坐标，将背景深度图中该像素的深度值赋给前景物体，融合得到整个图像的深度图。

5.根据权利要求1所述的二维视频到三维视频的自动转换方法，其特征是：所述步骤(4)的具体实现步骤为：

a.先根据深度与视差的线性关系，利用背景深度将右眼的背景视图重建起来，其中的空洞采用水平向右的像素颜色值进行补洞；深度和视差是线性的关系，如下式：

$\mathrm{disp}(i,j)=\frac{\mathrm{depth}(i,j)-d_{\min }}{d_{\max }-d_{\min }}({\mathrm{disp}}_{\max }-{\mathrm{disp}}_{\min })+{\mathrm{disp}}_{\min }$

其中，disp(i，j)是(i，j)位置像素的视差，depth(i，j)是深度图中(i，j)位置的像素的深度值，d_min，d_max，disp_min，disp_max分别是深度的最小值和最大值，视差的最小值和最大值；

b.根据每一个帧的深度图，结合原始图像，先重建每个帧的右视图，然后对形成的空洞区域用3*3的结构元素进行膨胀，最后对膨胀后的空洞像素用背景相应位置像素的颜色值进行补洞。

Images