CN101605271B - 一种基于单幅图像的2d转3d方法 - Google Patents

Abstract

本发明涉及一种2D转3D方法，尤其是一种基于单幅图像的2D转3D方法，属于计算机视觉技术领域。其主要包括四个步骤：对待处理图像进行灰度化预处理；根据二维高斯滤波公式计算二维高斯卷积模板；使用得到的二维高斯卷积模板对所述灰度图像进行二维高斯平滑滤波，以减少图像中的噪声；对经过二维高斯滤波之后的图像进行拉普拉斯滤波。其优点是：从图像出发来进行处理，不需要多幅图像或多视点图像等复杂的输入，适用性好；不需要摄像机参数，避免了繁琐复杂的校准校正等操作；整个过程全自动生成，计算量小，方便应用在一些对速度要求较高的场合。

Description

一种基于单幅图像的2D转3D方法

技术领域

本发明涉及一种2D转3D方法，尤其是一种基于单幅图像的2D转3D方法，属于计算机视觉技术领域。

背景技术

近年来，随着显示技术和视觉技术的不断进步，各种新型的立体显示技术纷纷出现，如投影式立体显示技术、偏振光立体显示技术、裸眼多视点立体显示技术等等，在全球范围内掀起了一场立体技术的视觉革命。立体显示技术以其强烈的立体感和真实感，给人以极大的震撼，让人流连忘返，在交互式自由视点视频(Free Viewpoint Video，FVV)、虚拟现实、立体电视、立体游戏、体育直播、广告传媒等诸多领域有着广泛的应用前景。

然而，在立体显示技术飞速发展的同时，适合进行立体显示的片源则少之又少。由于缺乏足够的片源，立体显示设备通常仅能用于学术研究等领域，难以进行大规模普及。

另一方面，二维片源的采集、编码、传输等等处理技术十分成熟。现有的绝大部分二维片源均是由单个相机拍摄的。因此，如何从二维片源中生成适合进行立体显示的片源，即立体片源，成为一个有意义的问题。

立体片源制作的困难在于场景三维结构信息的提取，在应用中一般表现为视差图像(Disparity Image)的提取。一般来说，从二维图像/视频中生成与之对应的视差图像/视频的技术，称为2D转3D技术。

现有的2D转3D技术按输入的不同大致可以分为两类：

1.基于单个视频

2.基于单幅图像

其中第1类技术以单个视频为输入，主要通过视频中的运动情况来分析场景的三维结构和相机的参数，典型的如运动法(Structure from motion，SFM)、帧移位法(Frame Delay)等等。这类方法能够处理现有的大量二维视频，应用前景广阔。然而，面对现有的海量二维图像，这种方法无能为力，因此存在一定的应用局限性。

第2类技术以单幅图像为输入，不仅能够处理单幅图像，对视频也可以将其分解为一幅一幅图像逐个进行处理。因此，适用范围广，应用需求大。现有的技术主要根据一些预先设定的条件来进行推理，如聚焦法(Depth from Focus)、散焦法(Depth from Defocus)、线性透视(Linear Perspective)等等。这些方法对预设条件依赖性较高，在不满足预设条件的场合，性能急剧下降。而实际场景千变万化，绝大部分情况下这些预设条件并不适用。以聚焦法为例，该方法假设：所拍摄的图像中，越模糊的地方距离相机越远，越清晰的地方距离相机越近。但是通常拍摄图像的模糊往往不是很明显，该方法很难奏效。

综上所述，基于单个视频的2D转3D技术应用受限，不能处理现有海量二维图像；基于单幅图像的2D转3D技术能够克服该问题，但是现有的方法依赖于预设条件和具体场景。因此，急需一种从图像出发的、不依赖预设条件、简单有效的2D转3D方法。

发明内容

本发明的目的是克服现有技术中存在的应用受限、依赖具体场景、难以保证效果等不足，提供一种基于单幅图像的2D转3D方法，可以快速有效地从普通单幅图像出发生成与之对应的视差图，结合基于视差图的渲染技术，可以将现有大量二维片源高效地转换为立体片源，从而缓解当前立体片源极度缺乏的现状。

按照本发明提供的技术方案，所述基于单幅图像的2D转3D方法包括如下步骤：

(1)判断待处理图像是否为灰度图像，否则对待处理图像进行灰度化预处理，获取待处理图像对应的灰度图像；

(2)计算二维高斯卷积模板：

(2w+1)×(2h+1)大小的二维高斯卷积模板为

$g(u,v,{\mathrm{\σ}}_u,{\mathrm{\σ}}_v)=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}_u{\mathrm{\σ}}_v}{e}^{-(\frac{x^2}{2{\mathrm{\σ}}_u^2}+\frac{y^2}{2{\mathrm{\σ}}_v^2})}$ -w≤u≤w，-h≤v≤h

其中u，v均为整数，2w+1和2h+1分别为滤波窗口的宽和高，σ_u，σ_v分别决定水平和垂直方向上的滤波强度；

(3)使用所述二维高斯卷积模板对所述灰度图像进行二维高斯平滑滤波：

将所述二维高斯卷积模板与所述灰度图像进行卷积，设卷积之前灰度图像在(x，y)处的像素值为G_r(x，y)，那么二维高斯滤波之后的图像在(x，y)处的像素值

为： ${\hat{G}}_r(x,y)=\frac{\underset{v=-h^{\′}}{\overset{h^{\′}}{\mathrm{\Σ}}}\left\{\underset{u=-w^{\′}}{\overset{w^{\′}}{\mathrm{\Σ}}}{G}_r(x-u,y-v)g(u,v,{\mathrm{\σ}}_u,{\mathrm{\σ}}_v)\right\}}{\underset{v=-h^{\′}}{\overset{h^{\′}}{\mathrm{\Σ}}}\left\{\underset{u=-w^{\′}}{\overset{w^{\′}}{\mathrm{\Σ}}}g(u,v,{\mathrm{\σ}}_u,{\mathrm{\σ}}_v)\right\}}$

其中，w′，h′均为正整数并且 $w^{\&prime;}<\frac{W}{2},$ $h^{\&prime;}<\frac{H}{2},$ W，H分别为待处理图像的宽度和高度；

(4)对所述二维高斯滤波之后的图像进行拉普拉斯滤波得到所求的对应待处理图像的视差图像：

使用3×3大小的拉普拉斯卷积模板与所述二维高斯滤波后的图像进行卷积，设拉普拉斯卷积模板为l(u′，v′)，1≤u′，v′≤3，u′，v′均为整数，卷积后所得图像在(x，y)处的像素值D(x，y)为： $D(x,y)=\frac{\underset{v^{\&prime;}=-r}{\overset{r}{\mathrm{\&Sigma;}}}\underset{u^{\&prime;}=-r}{\overset{r}{\mathrm{\&Sigma;}}}\left({\hat{G}}_r(x-u^{\&prime;},y-v^{\&prime;})l(u^{\&prime;},v^{\&prime;})\right)}{\underset{v^{\&prime;}=-r}{\overset{r}{\mathrm{\&Sigma;}}}\underset{u^{\&prime;}=-r}{\overset{r}{\mathrm{\&Sigma;}}}l(u^{\&prime;},v^{\&prime;})}$

所述卷积后所得图像即为所求的对应待处理图像的视差图像。

所述灰度化预处理的灰度转换公式为

Y＝0.299R+0.587G+0.114B或 $Y=\frac{1}{3}R+\frac{1}{3}G+\frac{1}{3}B$

其中，Y代表灰度转换后的图像的每个像素灰度值，R，G，B分别代表灰度转换前的图像每个像素的R，G，B分量值。

所述3×3大小的拉普拉斯卷积模板为

$\left(\begin{array}{ccc}0& 1& 0\\ 1& -4& 1\\ 0& 1& 0\end{array}\right)$ 或 $\left(\begin{array}{ccc}1& 1& 1\\ 1& -8& 1\\ 1& 1& 1\end{array}\right)$ 或 $\left(\begin{array}{ccc}1& 4& 1\\ 4& -20& 4\\ 1& 4& 1\end{array}\right).$

本发明通过高斯滤波来滤除图像中的噪声，通过拉普拉斯滤波来抽取图像中的结构信息，最终从图像出发生成与之对应的视差图。其优点如下：

1.从图像出发来进行处理，不需要多幅图像或多视点图像等复杂的输入，适用性好；

2.不需要摄像机参数，避免了繁琐复杂的校准校正等操作；

3.整个过程全自动生成，计算量小，方便应用在一些对速度要求较高的场合。

附图说明

图1为本发明所述方法的流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

如图所示，本发明主要包括四个步骤：

1对待处理图像进行灰度化预处理；

2根据二维高斯滤波公式计算二维高斯卷积模板；

3使用得到的二维高斯卷积模板对所述灰度图像进行二维高斯平滑滤波，以减少图像中的噪声；

4对经过二维高斯滤波之后的图像进行拉普拉斯(laplace)滤波。

实施案例中，输入是一幅经过压缩的待处理JPEG彩色图像，输出为与待处理图像对应的视差图像，具体处理过程包含以下步骤：

(1)图像读取与解压缩

读取待处理图像文件，检查其是否经过压缩，否则根据其编码格式调用相应的解码器来对图像进行解压缩。本案例中，使用微软提供的CImage类来实现图像文件读取与解码工作。

(2)检查待处理图像是否为灰度图像，否则利用下面公式对所述解压缩后彩色图像进行灰度化预处理，获取与待处理图像对应的灰度图像G_r：

Y＝0.299R+0.587G+0.114B

其中，Y代表图像每个像素转换后的灰度值，R，G，B分别代表图像每个像素转换前的R，G，B分量值。

处理过程如下：

针对所述解码后的彩色图像，从左到右、从上到下遍历其中每一个像素，逐个访问其R，G，B分量值，然后分别乘以系数0.299，0.587，0.114，再将各乘积相加，将其值取整赋给所述灰度图像G_r同一位置的对应像素。

(3)计算二维高斯卷积模板：

(2w+1)×(2h+1)大小的二维高斯卷积模板为

$g(u,v,{\mathrm{\&sigma;}}_u,{\mathrm{\&sigma;}}_v)=\frac{1}{2\mathrm{\&pi;}{\mathrm{\&sigma;}}_u{\mathrm{\&sigma;}}_v}{e}^{-(\frac{x^2}{2{\mathrm{\&sigma;}}_u^2}+\frac{y^2}{2{\mathrm{\&sigma;}}_v^2})}$ -w≤u≤w，-h≤v≤h

其中u，v均为整数，w，h分别决定滤波窗口的长和宽，σ_u，σ_v分别决定水平和垂直方向上的滤波强度。

处理过程如下：

首先确定参数w，h以及σ_u，σ_v的大小，然后根据上述公式计算当u，v分别取值时，卷积模板g(u，v，σ_u，σ_v)的值。计算卷积模板中的所有项，即可得到(2w+1)×(2h+1)大小的二维高斯卷积模板。

(4)使用所述二维高斯卷积模板对所述灰度图像G_r进行二维高斯平滑滤波：

将得到的二维高斯卷积模板与所述灰度图像进行卷积。设卷积之前灰度图像G_r在(x，y)处的像素值为G_r(x，y)，那么二维高斯滤波之后的图像

在(x，y)处的像素值

为： ${\hat{G}}_r(x,y)=\frac{\underset{v=-h^{\&prime;}}{\overset{h^{\&prime;}}{\mathrm{\&Sigma;}}}\left\{\underset{u=-w^{\&prime;}}{\overset{w^{\&prime;}}{\mathrm{\&Sigma;}}}{G}_r(x-u,y-v)g(u,v,{\mathrm{\&sigma;}}_u,{\mathrm{\&sigma;}}_v)\right\}}{\underset{v=-h^{\&prime;}}{\overset{h^{\&prime;}}{\mathrm{\&Sigma;}}}\left\{\underset{u=-w^{\&prime;}}{\overset{w^{\&prime;}}{\mathrm{\&Sigma;}}}g(u,v,{\mathrm{\&sigma;}}_u,{\mathrm{\&sigma;}}_v)\right\}}$

其中，w′，h′均为正整数并且 $w^{\&prime;}<\frac{W}{2},$ $h^{\&prime;}<\frac{H}{2},$ W，H分别为待处理图像的宽度和高度。

处理过程如下：

针对所述灰度图像G_r，从左到右，从上到下，遍历其中每一个像素。对每一个像素，选定以该像素为中心，(2w+1)×(2h+1)大小的区域，使用二维高斯卷积模板与该区域内的所有像素进行卷积，卷积所得结果即为高斯滤波后所得图像中对应位置的像素值。

对于部分边界位置的像素，选定的区域会缺少部分像素，该种情况下需要将所有缺少的像素值置为0并进行卷积。

(5)对经过二维高斯滤波之后的图像进行拉普拉斯(laplace)滤波：

使用下面的3×3大小拉普拉斯卷积模板对所述经过二维高斯滤波后的图像

进行卷积： $\left(\begin{array}{ccc}0& 1& 0\\ 1& -4& 1\\ 0& 1& 0\end{array}\right)$

设拉普拉斯卷积模板为l(u′，v′)，1≤u′，v′≤3，u′，v′均为整数，卷积后所得图像D在(x，y)处的像素值为D(x，y)，则有：

$D(x,y)=\frac{\underset{v^{\&prime;}=-r}{\overset{r}{\mathrm{\&Sigma;}}}\underset{u^{\&prime;}=-r}{\overset{r}{\mathrm{\&Sigma;}}}\left({\hat{G}}_r(x-u^{\&prime;},y-v^{\&prime;})l(u^{\&prime;},v^{\&prime;})\right)}{\underset{v^{\&prime;}=-r}{\overset{r}{\mathrm{\&Sigma;}}}\underset{u^{\&prime;}=-r}{\overset{r}{\mathrm{\&Sigma;}}}l(u^{\&prime;},v^{\&prime;})}.$

处理过程如下：

针对所述经高斯滤波后图像

从左到右，从上到下，遍历其中每一个像素，选定以该像素为中心，3×3大小的区域，使用拉普拉斯模板与该区域内的所有像素进行卷积，卷积所得结果即为拉普拉斯滤波后所得图像中对应位置的像素值。

对于边界位置的像素，选定区域会缺少部分像素，该情况下将所有缺少的像素值置为0进行卷积。

进行拉普拉斯滤波之后所得图像D即为所求的对应待处理图像的视差图像。

Claims (3)

1.一种基于单幅图像的2D转3D方法，其特征是所述方法包括如下步骤：

(1)判断待处理图像是否为灰度图像，如否，则对待处理图像进行灰度化预处理，获取待处理图像对应的灰度图像(G_r)；

(2)计算二维高斯卷积模板：

(2w+1)×(2h+1)大小的二维高斯卷积模板为

$g(u,v,{\mathrm{\&sigma;}}_u,{\mathrm{\&sigma;}}_v)=\frac{1}{2\mathrm{\&pi;}{\mathrm{\&sigma;}}_u{\mathrm{\&sigma;}}_v}-e^{-(\frac{x^2}{2{\mathrm{\&sigma;}}_u^2}+\frac{y^2}{2{\mathrm{\&sigma;}}_v^2})}$ -w≤u≤w，-h≤v≤h

其中u，v均为整数，2w+1和2h+1分别为滤波窗口的宽和高，σ_u，σ_v分别决定水平和垂直方向上的滤波强度；

(3)使用所述二维高斯卷积模板对所述灰度图像(G_r)进行二维高斯平滑滤波：

将所述二维高斯卷积模板与所述灰度图像进行卷积，设卷积之前灰度图像(G_r)在(x，y)处的像素值为G_r(x，y)，那么二维高斯滤波之后的图像

在(x，y)处的像素值

为：

${\hat{G}}_r(x,y)=\frac{\underset{v=-h}{\overset{h}{\mathrm{\&Sigma;}}}\left\{\underset{u=-w}{\overset{w}{\mathrm{\&Sigma;}}}{G}_r(x-u,y-v)g(u,v,{\mathrm{\&sigma;}}_u,{\mathrm{\&sigma;}}_v)\right\}}{\underset{v=-h}{\overset{h}{\mathrm{\&Sigma;}}}\left\{\underset{u=-w}{\overset{w}{\mathrm{\&Sigma;}}}g(u,v,{\mathrm{\&sigma;}}_u,{\mathrm{\&sigma;}}_v)\right\}}$

其中，w′，h′均为正整数并且

W，H分别为待处理图像的宽度和高度；

(4)对所述二维高斯滤波之后的图像进行拉普拉斯滤波得到所求的对应待处理图像的视差图像(D)：

使用3×3大小的拉普拉斯卷积模板与所述二维高斯滤波后的图像

进行卷积，设拉普拉斯卷积模板为l(u，v)，1≤u，v≤3，u，v均为整数，卷积后所得图像在(x，y)处的像素值D(x，y)为：

$D(x,y)=\frac{\underset{v=-r}{\overset{r}{\mathrm{\&Sigma;}}}\underset{u=-r}{\overset{r}{\mathrm{\&Sigma;}}}\left({\hat{G}}_r(x-u,y-v)l(u,v)\right)}{\underset{v=-r}{\overset{r}{\mathrm{\&Sigma;}}}\underset{u=-r}{\overset{r}{\mathrm{\&Sigma;}}}l(u,v)}$

所述卷积后所得图像即为所求的对应待处理图像的视差图像(D)。

2.如权利要求1所述的一种基于单幅图像的2D转3D方法，其特征是所述灰度化预处理的灰度转换公式为

Y＝0.299R+0.587G+0.114B或 $Y=\frac{1}{3}R+\frac{1}{3}G+\frac{1}{3}B$

其中，Y代表灰度转换后的图像的每个像素灰度值，R，G，B分别代表灰度转换前的图像每个像素的R，G，B分量值。

3.如权利要求1所述的一种基于单幅图像的2D转3D方法，其特征是所述3×3大小的拉普拉斯卷积模板为

$\left(\begin{array}{ccc}0& 1& 0\\ 1& -4& 1\\ 0& 1& 0\end{array}\right)$ 或 $\left(\begin{array}{ccc}1& 1& 1\\ 1& -8& 1\\ 1& 1& 1\end{array}\right)$ 或 $\left(\begin{array}{ccc}1& 4& 1\\ 4& -20& 4\\ 1& 4& 1\end{array}\right).$

Images