CN102360489A - 实现二维图像到三维图像转换的方法及装置 - Google Patents

Abstract

本发明涉及图像处理技术领域，公开了一种实现二维图像到三维图像转换的方法及装置。该方法包括：输入原始二维图像；确定所述原始二维图像中用户感兴趣区域；分别将所述原始二维图像中用户感兴趣区域作为前景区域，非感兴趣区域作为背景区域，生成前景直方图和背景直方图；计算前景直方图与背景直方图的色差分布；根据色差分布生成深度图；根据所述深度图生成目标二维图像；对所述原始二维图像和目标二维图像进行融合生成双目立体图像。本发明实施例的方案实现简单，可满足实时的需求。

Description

实现二维图像到三维图像转换的方法及装置

技术领域

本发明涉及图像处理技术领域，具体涉及一种实现二维图像到三维图像转换的方法及装置。

背景技术

目前，三维图像的创建、生产和传输已经成为当今的热门技术，但拍摄三维图像时使用的三维摄像机组合有两台摄像机，比普通摄像机重得多，而且还需要摄影技术，以及调整光轴时的特殊经验。为此，出现了2D-3D转换技术，即在二维图像的基础上制作三维图像。而2D/3D转换不仅可以应用在游戏方面，为用户提供更加真实的视觉感受，更可以应用在网络视频方面，进而将3D效果真正的带给用户。

现有的2D-3D转换技术主要有四种：分光、分时、光栅和分色技术。分光技术使用偏光滤镜或偏光片滤除特定角度偏振光以外的所有光，只允许部分角度的偏振光进入左右眼睛。目前分光技术的应用还主要停留在投影机上，需配合不破坏偏振光的金属投影幕才能使用。分时技术是将两套画面在不同的时间播放，播放时用于遮住左右眼的眼镜用的是液晶板，价格较为昂贵。光栅技术是将屏幕划分成一条条垂直方向上的栅条，栅条交错显示左眼和右眼的画面，使用该技术在观看视频时，需要特定的定位设备，也不宜普及。分色技术的基本原理是让某些颜色的光只进入左眼，另一部分只进入右眼，实际观看时只需戴上造价较低的红绿眼镜就可以观看到3D效果，若对经过分色处理后的3D视频质量进行很好的处理，则分色技术将成为唯一实际可行的方案。

2D-3D转换中的关键技术是深度图的生成，目前的深度图生成算法主要有基于运动、基于图像分类的深度图生成。基于运动的生成图生成算法主要是当前帧中的宏块在前(或后)帧图像中寻找匹配的宏块，并根据匹配宏块的偏移向量计算得到深度图，该方法的计算复杂度高，且生成的深度图存在块效应。基于图像分类的深度图生成算法是将图像中的不同物体进行分类，对每一类物体赋予不同的深度值，该算法的计算复杂度过高，无法达到实时要求。

发明内容

本发明实施例针对上述现有技术存在的问题，提供一种实现二维图像到三维图像转换的方法及装置，以降低转换的复杂度，满足实时的需求。

为此，本发明实施例提供如下技术方案：

一种实现二维图像到三维图像转换的方法，包括：

输入原始二维图像；

确定所述原始二维图像中用户感兴趣区域；

分别将所述原始二维图像中用户感兴趣区域作为前景区域，非感兴趣区域作为背景区域，生成前景直方图和背景直方图；

计算前景直方图与背景直方图的色差分布；

根据色差分布生成深度图；

根据所述深度图生成目标二维图像；

对所述原始二维图像和目标二维图像进行融合生成双目立体图像。

优选地，所述确定原始二维图像中用户感兴趣区域包括：

选择所述原始二维图像中间部分的区域作为用户感兴趣区域。

优选地，所述生成前景直方图和背景直方图包括：

分别统计前景区域和背景区域中的0至255颜色分布中每个颜色值的像素个数，得到前景直方图和背景直方图。

优选地，所述根据色差分布生成深度图包括：

计算每个像素色差值对应的灰度值；

将得到的所有像素色差值对应的灰度值映射为深度图。

可选地，所述原始二维图像为：任意颜色空间的二维图像。

优选地，所述方法还包括：

在根据所述深度图生成目标二维图像之前，对所述深度图进行差异增强处理。

优选地，所述对所述深度图进行差异增强处理包括：

计算所述深度图中所有像素的灰度平均值；

对灰度值低于所述灰度平均值的像素进行线性压缩处理，对灰度值高于所述灰度平均值的像素进行直方图均衡化处理。

优选地，所述方法还包括：

在对所述原始二维图像和目标二维图像进行融合生成双目立体图像之前，对所述原始二维图像和目标二维图像进行拉伸变形处理。

一种实现二维图像到三维图像转换的装置，包括：

输入单元，用于输入原始二维图像；

区域确定单元，用于确定所述原始二维图像中用户感兴趣区域；

直方图生成单元，用于分别将所述原始二维图像中用户感兴趣区域作为前景区域，非感兴趣区域作为背景区域，生成前景直方图和背景直方图；

色差计算单元，用于计算前景直方图与背景直方图的色差分布；

深度图生成单元，用于根据色差分布生成深度图；

目标图像生成单元，用于根据所述深度图生成目标二维图像；

融合单元，用于对所述原始二维图像和目标二维图像进行融合生成双目立体图像。

优选地，所述区域确定单元，具体用于选择所述原始二维图像中间部分的区域作为用户感兴趣区域。

优选地，所述直方图生成单元，具体用于分别统计前景区域和背景区域中的0至255颜色分布中每个颜色值的像素个数，得到前景直方图和背景直方图。

优选地，所述深度图生成单元包括：

灰度值计算子单元，用于计算每个像素色差值对应的灰度值；

映射子单元，用于将所述计算子单元得到的所有像素色差值对应的灰度值映射为深度图。

优选地，所述装置还包括：

差异增强单元，用于对所述深度图生成单元生成的深度图进行差异增强处理，并将处理后的深度图输出到所述目标图像生成单元。

优选地，所述差异增强单元包括：

平均子单元，用于计算所述深度图中所有像素的灰度平均值；

压缩处理子单元，用于对灰度值低于所述灰度平均值的像素进行线性压缩处理；

均衡化处理子单元，用于对灰度值高于所述灰度平均值的像素进行直方图均衡化处理。

优选地，所述装置还包括：

拉伸处理单元，用于对所述原始二维图像和所述目标图像生成单元生成的目标二维图像进行拉伸变形处理，并将处理后的图像输出到所述融合单元。

本发明实施例提供的实现二维图像到三维图像转换的方法及装置，利用原始二维图像中感兴趣区域生成深度图，并利用深度图生成目标图像，最终将原始图像和目标图像进行融合生成双目立体图像，实现2D到3D的转换。本发明实施例的方案实现简单，可满足实时的需求。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1是本发明实施例实现二维图像到三维图像转换的方法的流程图；

图2是本发明实施例实现二维图像到三维图像转换的装置的一种结构示意图；

图3是本发明实施例实现二维图像到三维图像转换的装置的另一种结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明实施例的方案，下面结合附图和实施方式对本发明实施例作进一步的详细说明。

本发明实施例实现二维图像到三维图像转换的方法及装置，针对现有技术基于运动、基于图像分类生成深度图的方法过于复杂，无法满足实时需求的问题，利用原始二维图像中感兴趣区域生成深度图，并利用深度图生成目的图像，最终将原始图像和目的图像进行融合生成双目立体图像，实现2D到3D的转换。

如图1所示，是本发明实施例实现二维图像到三维图像转换的方法的流程图，包括以下步骤：

步骤101，输入原始二维图像。

步骤102，确定所述原始二维图像中用户感兴趣区域。

上述原始二维图像可以是任意颜色空间的二维图像，例如实施例中我们以RGB空间的二维图像，或YUV空间的二维图像为例，作出说明。

由于YUV空间的图像的颜色分类结果比RGB空间更准确。因此，在实际应用中，为了使图像按颜色分类结果赋予的深度信息更准确，可以优选采用YUV空间的原始二维图像。当然，如果输入的是RGB空间的原始二维图像，也可以先对其进行特征变换，即将图像由RGB空间转换为YUV空间，具体转换公式如下：

Y＝R·0.299+G·0.587+B·0.114

U＝R·0.5-G·0.418688-B·0.081312+128        (1)

V＝R·-0.168736-G·0.331264+B·0.5+128

步骤103，分别将所述原始二维图像中用户感兴趣区域作为前景区域，非感兴趣区域作为背景区域，生成前景直方图和背景直方图。

通常，用户感兴趣的区域一般集中在图像的中间，因此可以选择所述原始二维图像中间部分的区域作为用户感兴趣区域，比如，选择图像中间的矩形区域或圆形区域等。

将图像中用户感兴趣的区域作为前景，其它区域作为背景，分别统计前景区域和背景区域中的0-255颜色分布中每个颜色值的像素个数，进而得到前景的灰度直方图和背景的灰度直方图。

步骤104，计算前景直方图与背景直方图的色差分布。

将前景直方图和背景直方图中对应颜色分布中的像素个数进行相差，即可得到前景直方图和背景直方图的色差分布。

步骤105，根据色差分布生成深度图。

图像深度是指存储每个像素所用的位数，也用于量度图像的色彩分辨率，图像深度确定彩色图像的每个像素可能有的颜色数，或者确定灰度图像的每个像素可能有的灰度阶数，它决定了彩色图像中可出现的最多颜色数或灰度图像中的最大灰度等级。

假设计算得到的色差分布中的最大值为max，最小值为min，对应某个颜色的色差为x，则将色差x对应到0-255灰度区间的值为：

$\frac{x-\min }{\max -\min }\·255---\left(2\right)$

根据上述公式(2)，将前景直方图和背景直方图中的每个灰度阶的计算结果映射成深度图。

当然，本发明实施例并不限定上述计算灰度值的方式，还可以采用其它计算公式。

步骤106，根据所述深度图生成目标二维图像。

具体地，可以利用现有技术中的DIBR(Depth-Image-Based Rendering，基于深度的图像绘制)生成新的图像，即目标二维图像。

在本发明实施例中，可以采用以下的DIBR公式生成目标二维图像：

$x_d=x_s-\frac{\mathrm{shift}\max }{{\left[\frac{d_{\mathrm{eye}}\·d_{\mathrm{foc}}}{d_{\mathrm{src}}-d_{x_s}}\right]}^n-\mathrm{shift}\min }---\left(3\right)$

其中，x_d为目标二维图像横坐标值；x_s为原始二维图像横坐标值；shift max为两幅图像对应像素横坐标位置偏移的最大值；shift min为两幅图像对应像素横坐标位置偏移的最小值；d_eye为两眼间距；d_fac为焦距；d_src为深度的最大值；d_x为对应点横坐标为x_s的深度值。n根据情况设定，主要是为平滑横坐标偏移量，比如将n的值设定为3。

步骤107，对所述原始二维图像和目标二维图像进行融合生成双目立体图像。

一幅普通图像由RGB三通道颜色信息融合而成，因此，可以通过将原始二维图像和目标二维图像赋给结果图像(即上述双目立体图像)的不同通道，来融合得到最终的结果图像。例如，对原始二维图像提取BG颜色通道信息拷贝给结果图像，从生成的目标二维图像提取R通道信息拷贝给结果图像，来得到最终的结果图像。

本发明实施例实现二维图像到三维图像转换的方法，利用原始二维图像中感兴趣区域生成深度图，并利用深度图生成目标图像，最终将原始图像和目标图像进行融合生成双目立体图像，实现2D到3D的转换。该方法实现简单，可满足实时的需求。

需要说明的是，在本发明实施例中，在上述步骤105和步骤106之间，还可进一步包括以下步骤：对所述深度图进行差异增强处理。

具体地，在对深度图进行差异增强处理时，可以采用多种方式，比如，首先计算出所述深度图的灰度平均值，然后对低于灰度平均值的像素进行线性压缩，对高于灰度平均值的像素进行直方图均衡化。

在对低于灰度平均值的像素值进行压缩时，假设灰度平均值为M，将所有低于M的灰度值投影到m(m＜M)范围内，对值为n的灰度值其投影变换后的像素值为：

$\frac{m}{M}\·n---\left(4\right)$

对灰度值大于M的像素值分布，进行直方图均衡化处理，并在处理之后与前面灰度值小于M的图像逐像素合并，得到最终深度信息差异增强的结果图。

当然，本发明实施例并不仅限于上述这种差异增强处理方式，还可以采用其它方式。

另外，在上述步骤106和步骤107之间，还可进一步包括以下步骤：对所述原始二维图像和目标二维图像进行拉伸变形处理，比如，对原始二维图像和生成的目标二维图像按照平行四边形拉伸变形，当然也可以采用其它方式的拉伸变形处理，从而进一步增强所述目标二维图像与原始二维图像的差异感。

相应地，本发明实施例还提供一种实现二维图像到三维图像转换的装置，如图2所示，是该装置的一种结构示意图。

在该实施例中，所述装置包括：输入单元201、区域确定单元202、直方图生成单元203、色差计算单元204、深度图生成单元205、目标图像生成单元206和融合单元207。其中：

输入单元201，用于输入原始二维图像，所述原始二维图像可以是任意颜色空间的二维图像，例如RGB空间的二维图像或YUV空间的二维图像。区域确定单元202，用于确定所述原始二维图像中用户感兴趣区域，比如，可以选择所述原始二维图像中间部分的区域作为用户感兴趣区域。

直方图生成单元203，用于分别将所述原始二维图像中用户感兴趣区域作为前景区域，非感兴趣区域作为背景区域，生成前景直方图和背景直方图。

具体地，直方图生成单元203分别统计前景区域和背景区域中的0至255颜色分布中每个颜色值的像素个数，得到前景直方图和背景直方图。

色差计算单元204，用于计算前景直方图与背景直方图的色差分布。

深度图生成单元205，用于根据色差分布生成深度图。

目标图像生成单元206，用于根据所述深度图生成目标二维图像。

融合单元207，用于对所述原始二维图像和目标二维图像进行融合生成双目立体图像。

上述深度图生成单元205可以包括：灰度值计算子单元和映射子单元(未图示)，其中：

所述灰度值计算子单元，用于计算每个像素色差值对应的灰度值，具体地，假设像素色差值为x，则该色差值x对应的灰度值可以按以下公式计算：

其中，min为所有色差值中的最小值，max为所有色差值中的最大值；

当然，上述灰度值的计算还可以采用其它方式，对此本发明实施例不做限定。

所述映射子单元，用于将所述计算子单元得到的所有像素色差值对应的灰度值映射为深度图。

上述各单元的具体处理过程可参照前面本发明实施例实现二维图像到三维图像转换的方法中的描述，在此不再赘述。

本发明实施例实现二维图像到三维图像转换的装置，利用原始二维图像中感兴趣区域生成深度图，并利用深度图生成目标图像，最终将原始图像和目标图像进行融合生成双目立体图像，实现2D到3D的转换。该方法实现简单，可满足实时的需求。

如图3所示，是本发明实施例实现二维图像到三维图像转换的装置的另一种结构示意图。

与图2所示实施例不同的是，在该实施例中，所述装置还进一步包括：

差异增强单元301，用于对深度图生成单元205生成的深度图进行差异增强处理，并将处理后的深度图输出到目标图像生成单元206。

上述差异增强单元301可以通过方式实现，比如，差异增强单元301包括：平均子单元、压缩处理子单元和均衡化处理子单元(未图示)。其中：

所述平均子单元，用于计算所述深度图中所有像素的灰度平均值；

所述压缩处理子单元，用于对灰度值低于所述灰度平均值的像素进行线性压缩处理；

所述均衡化处理子单元，用于对灰度值高于所述灰度平均值的像素进行直方图均衡化处理。

进一步地，如图3所示，该装置还可包括：拉伸处理单元302，用于对输入单元201输入的原始二维图像和目标图像生成单元206生成的目标二维图像进行拉伸变形处理，并将处理后的图像输出到融合单元207。

需要说明的是，在实际应用中，上述差异增强单元301和拉伸处理单元302可以根据需要来选用，对此本发明实施例不做限定。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上对本发明实施例进行了详细介绍，本文中应用了具体实施方式对本发明进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及设备；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (15)

1.一种实现二维图像到三维图像转换的方法，其特征在于，包括：

输入原始二维图像；

确定所述原始二维图像中用户感兴趣区域；

分别将所述原始二维图像中用户感兴趣区域作为前景区域，非感兴趣区域作为背景区域，生成前景直方图和背景直方图；

计算前景直方图与背景直方图的色差分布；

根据色差分布生成深度图；

根据所述深度图生成目标二维图像；

对所述原始二维图像和目标二维图像进行融合生成双目立体图像。

2.根据权利要求1所述的方法，其特征在于，所述确定原始二维图像中用户感兴趣区域包括：

选择所述原始二维图像中间部分的区域作为用户感兴趣区域。

3.根据权利要求1所述的方法，其特征在于，所述生成前景直方图和背景直方图包括：

分别统计前景区域和背景区域中的0至255颜色分布中每个颜色值的像素个数，得到前景直方图和背景直方图。

4.根据权利要求1所述的方法，其特征在于，所述根据色差分布生成深度图包括：

计算每个像素色差值x对应的灰度值；

将得到的所有像素色差值对应的灰度值映射为深度图。

5.根据权利要求1所述的方法，其特征在于，所述原始二维图像为：任意颜色空间的二维图像。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：

在根据所述深度图生成目标二维图像之前，对所述深度图进行差异增强处理。

7.根据权利要求6所述的方法，其特征在于，所述对所述深度图进行差异增强处理包括：

计算所述深度图中所有像素的灰度平均值；

对灰度值低于所述灰度平均值的像素进行线性压缩处理，对灰度值高于所述灰度平均值的像素进行直方图均衡化处理。

8.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：

在对所述原始二维图像和目标二维图像进行融合生成双目立体图像之前，对所述原始二维图像和目标二维图像进行拉伸变形处理。

9.一种实现二维图像到三维图像转换的装置，其特征在于，包括：

输入单元，用于输入原始二维图像；

区域确定单元，用于确定所述原始二维图像中用户感兴趣区域；

直方图生成单元，用于分别将所述原始二维图像中用户感兴趣区域作为前景区域，非感兴趣区域作为背景区域，生成前景直方图和背景直方图；

色差计算单元，用于计算前景直方图与背景直方图的色差分布；

深度图生成单元，用于根据色差分布生成深度图；

目标图像生成单元，用于根据所述深度图生成目标二维图像；

融合单元，用于对所述原始二维图像和目标二维图像进行融合生成双目立体图像。

10.根据权利要求9所述的装置，其特征在于，

所述区域确定单元，具体用于选择所述原始二维图像中间部分的区域作为用户感兴趣区域。

11.根据权利要求9所述的装置，其特征在于，

所述直方图生成单元，具体用于分别统计前景区域和背景区域中的0至255颜色分布中每个颜色值的像素个数，得到前景直方图和背景直方图。

12.根据权利要求9所述的装置，其特征在于，所述深度图生成单元包括：

灰度值计算子单元，用于计算每个像素色差值x对应的灰度值；

映射子单元，用于将所述计算子单元得到的所有像素色差值对应的灰度值映射为深度图。

13.根据权利要求9至12任一项所述的装置，其特征在于，所述装置还包括：

差异增强单元，用于对所述深度图生成单元生成的深度图进行差异增强处理，并将处理后的深度图输出到所述目标图像生成单元。

14.根据权利要求13所述的装置，其特征在于，所述差异增强单元包括：

平均子单元，用于计算所述深度图中所有像素的灰度平均值；

压缩处理子单元，用于对灰度值低于所述灰度平均值的像素进行线性压缩处理；

均衡化处理子单元，用于对灰度值高于所述灰度平均值的像素进行直方图均衡化处理。

15.根据权利要求9至12任一项所述的装置，其特征在于，所述装置还包括：

拉伸处理单元，用于对所述原始二维图像和所述目标图像生成单元生成的目标二维图像进行拉伸变形处理，并将处理后的图像输出到所述融合单元。

Images