CN102427539B - 视频图像2d转3d的方法 - Google Patents

Abstract

本发明提供了一种视频图像2D转3D的方法，它包括：1)对原始视频图像进行小波变换，提取视频图像的高频分量；2)将视频图像分成数个宏块，统计每一宏块中非零系数的数目，作为该宏块的模糊度；3)基于原始视频图像的颜色特征，对原始视频图像进行颜色分割形成三类像素集合；4)比较每一类像素集合的模糊度统计平均值，最大值对应的像素集合看作前景，次大值对应的像素集合看作中景，最小值对应的像素集合看作后景；5)由预设景深系统对前景、中景和后景分别赋以不同的深度值，根据亮度规则渲染出左眼视频图像；6)将原始视频图像作为右眼视频图像，与左眼视频图像合成3D视频图像。

Description

视频图像2D转3D的方法

技术领域

本发明涉及视频处理技术领域和视频图像处理技术领域，具体来说，涉及一种视频图像2D转3D的方法。

背景技术

2010年被称为“3D消费元年”，各种3D消费电子产品层出不穷，并逐渐受到人们的青睐，而3D电视更是陆续走入普通家庭，为观众带来非凡的视觉体验，但是，由于昂贵的制作成本，3D片源非常缺乏，而2D片源仍然占据主流地位，这成为3D电视普及过程中尤其突出的问题。

为了暂时缓解3D片源缺乏的问题，2D转3D技术应运而生，并得到广泛的重视，国内外的厂商纷纷推出具备2D转3D功能的电视，但电视价格昂贵，令一般消费者难以接受，因此，逼切需要一种经济实用的2D转3D技术。

发明内容

针对以上的不足，本发明提供了一种视频图像2D转3D的方法，它包括：1)对原始视频图像进行小波变换，提取视频图像的高频分量；2)将视频图像分成数个宏块，统计每一宏块中非零系数的数目，作为该宏块的模糊度；3)基于原始视频图像的颜色特征，对原始视频图像进行颜色分割形成三类像素集合；4)比较每一类像素集合的模糊度统计平均值，最大值对应的像素集合看作前景，次大值对应的像素集合看作中景，最小值对应的像素集合看作后景；5)由预设景深系统对前景、中景和后景分别赋以不同的深度值，再根据亮度规则渲染出左眼视频图像；6)将原始视频图像作为右眼视频图像，与左眼视频图像合成3D视频图像。

所述步骤3)对原始视频图像进行颜色分割采用K-means的聚类方法，它包括：

31)从N个数据对象中任意选择K个对象作为初始聚类中心，对于剩下的数据对象，根据它们与这些聚类中心的相似度，将它们分配给最相似的聚类，其中N为视频图像的像素数，K为聚类数；

32)计算每种聚类中新的聚类中心，该新的聚类中心为该类中所有数据对象的平均值；

33)不断重复步骤32)的过程，直到每个聚类的聚类中心与初始的聚类中心相同，聚类结束。

所述步骤5)中的亮度规则具体为：

51)首先，判断当前像素是属于前景，中景，还是后景，然后，判断当前像素的周围环境的明暗，

52)如果当前像素属于前景，当周围环境较亮时，根据预设深度把当前像素移动到右眼视频图像对应像素的左边；当周围环境较暗时，根据预设深度把当前像素移动到右眼视频图像对应像素的右边，

53)如果当前像素属于中景，当周围环境较亮时，根据预设深度把当前像素移动到右眼视频图像对应像素的右边；当周围环境较暗时，根据预设深度把当前像素移动到右眼视频图像对应像素的左边，

54)如果当前像素属于后景，当周围环境较亮时，根据预设深度把当前像素移动到右眼视频图像对应像素的右边；当周围环境较暗时，根据预设深度把当前像素移动到右眼视频图像对应像素的左边。

所述步骤51)判断当前像素的周围环境的明暗的方法具体为：计算视频图像中每一个像素邻域的亮度平均值，若亮度平均值大于亮度最大值的一半，则认为当前像素的周围环境较亮，否则认为当前像素的周围环境较暗。

本发明的有益效果：本发明的视频图像2D转3D的方法只需单视频图像就可以产生左右眼视频图像，无需多视频图像输入；可用软件实现，也可以软硬件协同实现，实现方式灵活；适用于视频和视频图像的2D转3D，可用于一般情况；可生成适用于多种输出方式的3D视频图像，既能在普通电视上观看，也能在高清电视上观看。

附图说明

图1为本发明的视频图像2D转3D的方法流程图；

图2为本发明的颜色分割的方法流程图。

具体实施方式

下面结合附图对本发明进行进一步阐述。

如图1所示，本发明的视频图像2D转3D的方法具体包括如下步骤：

首先，估计视频图像的模糊度信息，用如下方法执行：

(1.1)先对视频图像进行小波变换，提取视频图像的高频分量。为简单起见，可采用基于提升算法的5/3小波变换，其公式如下所示：

$c(2n+1)=x(2n+1)-\left[\frac{x\left(2n\right)+x(2n+2)}{2}\right]$

$d\left(2n\right)=x\left(2n\right)+\left[\frac{c(2n+1)+c(2n+1)+2}{4}\right]$

其中，x(n)表示视频图像灰度值，c(n)表示小波变换后的高频系数，d(n)表示小波变换后的低频系数，n是整数。

只取小波变换后视频图像的高频分量，所以可用一个3*3大小的卷积核 $h=\left[\begin{array}{c}0,-\mathrm{1,0}\\ -\mathrm{1,4},-1\\ 0,-\mathrm{1,0}\end{array}\right]$ 与视频图像卷积，遍历视频图像中的每一个像素，其中，对于超出视频图像边界的邻域像素，可用0来处理。

(1.2)把视频图像分成小块，如8*8宏块。统计每一宏块中非零系数的数目，作为该宏块的模糊度，其中，宏块的非零系数越多，其模糊度越低。

然后，基于视频图像的颜色特征，对视频图像进行颜色分割，本发明采用K-means的聚类算法，如图2所示，按以下步骤执行：

(2.1)首先从N个数据对象(其中N为视频图像的像素数)任意选择K个对象作为初始聚类中心(其中K为聚类数)。而对于剩下的数据对象，则根据它们与这些聚类中心的相似度(可用欧氏距离来衡量)，将它们分配给最相似的聚类。

(2.2)然后，计算每种聚类中新的聚类中心，该新的聚类中心为该类中所有数据对象的平均值。

(2.3)这样，不断重复(2.2)的过程，直到每个聚类的聚类中心与初始的聚类中心相同，这时聚类结束。在实际中，通常只要每个聚类的聚类中心与初始的聚类中心相差一个很小的值，就可以认为聚类结束。

接着，由颜色分割可以把视频图像分割成三类像素集合，比较每一类像素集合的模糊度统计平均值，最大值对应的像素集合看作前景，次大值对应的像素集合看作中景，最小值对应的像素集合看作后景。

再由预设景深系统对前景、中景和后景分别赋以不同的深度值，根据亮度规则渲染出左眼视频图像，所述的亮度规则具体为：

(4.1)判断当前像素是属于前景，中景，还是后景。然后，判断当前像素的周围环境的明暗。

(4.2)如果当前像素属于前景，当周围环境较亮时，根据预设深度把当前像素移动到右眼视频图像对应像素的左边；当周围环境较暗时，根据预设深度把当前像素移动到右眼视频图像对应像素的右边。

(4.3)如果当前像素属于中景，当周围环境较亮时，根据预设深度把当前像素移动到右眼视频图像对应像素的右边；当周围环境较暗时，根据预设深度把当前像素移动到右眼视频图像对应像素的左边。

(4.4)如果当前像素属于后景，当周围环境较亮时，根据预设深度把当前像素移动到右眼视频图像对应像素的右边；当周围环境较暗时，根据预设深度把当前像素移动到右眼视频图像对应像素的左边。

用下述方法判断当前像素的周围环境的明暗：计算视频图像中每一个像素邻域的亮度平均值，若亮度平均值大于亮度最大值的一半，则认为当前像素的周围环境较亮，否则认为当前像素的周围环境较暗。对于有部分邻域像素超出视频图像边界的问题，可以采用边界扩展的方法解决。

最后，将原始视频图像作为右眼视频图像，与左眼视频图像合成3D视频图像。

在合成3D视频图像的方式中，可根据实际的显示设备而采取不同的合成方式：

(1)对于普通显示设备，可采用色分法，把左右眼视频图像映射到互补的颜色域中。

(2)对于高清显示设备，可采用时分法，利用帧隙分别输出左眼视频图像和右眼视频图像。

以上所述仅为本发明的较佳实施方式，本发明并不局限于上述实施方式，在实施过程中可能存在局部微小的结构改动，如果对本发明的各种改动或变型不脱离本发明的精神和范围，且属于本发明的权利要求和等同技术范围之内，则本发明也意图包含这些改动和变型。

Claims (3)

1.一种视频图像2D转3D的方法，其特征在于，它包括： 

1）对原始视频图像进行小波变换，提取视频图像的高频分量； 

2）将视频图像分成数个宏块，统计每一宏块中非零系数的数目，作为该宏块的模糊度； 

3）基于原始视频图像的颜色特征，对原始视频图像进行颜色分割形成三类像素集合； 

4）比较每一类像素集合的模糊度统计平均值，最大值对应的像素集合看作前景，次大值对应的像素集合看作中景，最小值对应的像素集合看作后景； 

5）由预设景深系统对前景、中景和后景分别赋以不同的深度值，再根据亮度规则渲染出左眼视频图像； 

6）将原始视频图像作为右眼视频图像，与左眼视频图像合成3D视频图像；其中 

所述步骤5）中的亮度规则具体为： 

51）首先，判断当前像素是属于前景，中景，还是后景，然后，判断当前像素的周围环境的明暗， 

52）如果当前像素属于前景，当周围环境较亮时，根据预设深度把当前像素移动到右眼视频图像对应像素的左边；当周围环境较暗时，根据预设深度把当前像素移动到右眼视频图像对应像素的右边， 

53）如果当前像素属于中景，当周围环境较亮时，根据预设深度把当前像素移动到右眼视频图像对应像素的右边；当周围环境较暗时，根据预设深度把当前像素移动到右眼视频图像对应像素的左边， 

54）如果当前像素属于后景，当周围环境较亮时，根据预设深度把当前像素移动到右眼视频图像对应像素的右边；当周围环境较暗时，根据预设深度把当前像素移动到右眼视频图像对应像素的左边。

2.根据权利要求1所述的视频图像2D转3D的方法，其特征在于，所述步骤3）对原始视频图像进行颜色分割采用K-means的聚类方法，它包括： 

31）从N个数据对象中任意选择K个对象作为初始聚类中心，对于剩下的数据对象，根据它们与这些聚类中心的相似度，将它们分配给最相似的聚类，其中N为视频图像的像素数，K为聚类数； 

32）计算每种聚类中新的聚类中心，该新的聚类中心为该类中所有数据对象的平均值； 

33）不断重复步骤32）的过程，直到每个聚类的聚类中心与初始的聚类中心相同，聚类结束。 

3.根据权利要求1所述的视频图像2D转3D的方法，其特征在于，所述步骤51）判断当前像素的周围环境的明暗的方法具体为：计算视频图像中每一个像素邻域的亮度平均值，若亮度平均值大于亮度最大值的一半，则认为当前像素的周围环境较亮，否则认为当前像素的周围环境较暗。