CN103384340B - 一种从单幅2d图像获取3d成像图像的方法 - Google Patents

Abstract

本发明公开了一种从单幅2D图像获取3D成像图像的方法，包括如下步骤：步骤A：获取单幅2D图像的显著对象分割图；步骤B：利用步骤A获得的显著对象分割图获取单幅2D图像的深度图；步骤C：根据步骤B获得深度图分别得到3D成像所需的左眼视图及右眼视图，对左眼视图及右眼视图进行合成获得与单幅2D图像对应的3D图像；生成的深度图，并没有恢复出真实的深度信息，而是一幅反映图像中的物体对象与场景中其它部分之间相对位置关系的伪深度图。通过大量实验后，实验结果表明利用此伪深度图所生成的左右视图合成后，其对应的3D图像具有明显的立体效果。

Description

一种从单幅2D图像获取3D成像图像的方法

技术领域

本发明属于图像信息处理领域，具体涉及一种从单幅2D图像获取3D成像图像的方法。

背景技术

3D视频信号处理已成为当前视觉处理中的一个重要热点问题。随着3D技术的迅速发展，只能呈现出平面画面的2D图像能够以具有立体感的方式呈现出来，从而带给观看者更为逼真、独特的视觉体验。因此，3D技术被广泛应用于许多领域。例如，3D技术已成为当今电影发展的大趋势，但是片源不足却成为了制约电影产业兴起的主要瓶颈。将2D电影转换为3D电影不仅能大大增加数字立体电影的题材和数量，还能让一些经典的老电影以新的形式重新登上荧屏绽放异彩。与电影产业密切相关的电子游戏行业也可借助3D技术改善其游戏体验。通过将2D的游戏场景转换为3D立体场景，可以有效地提高游戏玩家的沉浸感，从而极大地拓宽游戏市场。此外，目前市场上还出现了将作为平面媒体的报纸与3D技术相结合，实现在平面媒体上目睹3D立体效果，从而在创新印刷媒介信息传播方式的同时造就了一场视觉变革。由此可见，对2D彩色图像进行3D转换处理，对文化、娱乐等领域的发展具有十分重要的意义。

2D图像至3D图像转换技术的核心任务是从普通的2D图像中获取其所对应的深度信息。目前，针对该问题的处理方法主要有两种：利用单帧图像获取深度图的方法和利用多帧图像获取深度图的方法。单帧图像方法采用机器学习、聚焦/散焦信息、阴影遮挡信息、纹理梯度、几何透视等深度线索恢复图像深度。但是这些方法在输入图像的相关深度线索不明显或缺失的情况下将有可能生成不可靠的深度图。多帧方法主要采用多目视图或运动信息来恢复图像深度。但是当摄像机静止时，利用运动视差生成的深度图将有可能有误。从单幅2D图像生成其对应的深度图是一个不适定问题，并非所有的深度线索都能从单幅图像或多幅连续图像帧中重新获得，等等这些因素都使深度图的生成面临较大的困难。

近年来，市场上还针对普通2D视频的深度图恢复出现了一些半自动操作软件。例如，DDD公司推出的“Depth Tweening”产品即采用基于机器学习的深度扩散方法来恢复视频非关键帧的深度图。该方法首先利用手工绘制的关键帧的深度图进行训练，然后再利用训练得到的分类器计算非关键帧的深度图。此外，飞利浦公司也推出了一款名为“BlueBox”的深度图生成工具。该软件工具采用基于统计学原理的深度扩散方法，首先由用户手动指定关键帧的深度信息，然后该软件会通过所建立的最优化准则函数计算得到视频其它非关键帧的深度图。由此可见，目前已有的深度图求取工具主要问题在于需要人工参与，且深度图的赋值主要依靠主观判断。

在此背景下，研究一种既成本代价小、普适性好，又能自动地获取图像的深度图以对各种2D图像进行3D转换处理的方法显得尤为重要。

发明内容

本发明所要解决的技术问题是提供一种从单幅2D图像获取3D成像图像的方法，克服现有技术中2D图像至3D图像转换过程通常需要借助图像深度线索获知深度信息的难题，从而给观看者带来比普通2D图像更好的视觉体验。

一种从单幅2D图像获取3D成像图像的方法，包括以下步骤：

步骤A：获取单幅2D图像的显著对象分割图

步骤B：利用步骤A获得的显著对象分割图获取单幅2D图像的深度图；

步骤C：根据步骤B获得的深度图分别得到3D成像所需的左眼视图及右眼视图，合成左眼视图及右眼视图，获得与单幅2D图像对应的3D图像；

其中，所述步骤B的具体步骤如下：

步骤B1：求取显著对象分割图的暗原色图像及大气光值A；

所述暗原色图像各像素点的像素值按以下表达式确定：

$I_{\mathrm{seg}}^{\mathrm{dark}}(x,y)=\underset{c\∈\{r,g,b\}}{\min }\left(\underset{(x^{\′},y^{\′})}{\min }\left(I_{\mathrm{seg}}^c(x^{\′},y^{\′})\right)\right)$

其中，Ω(x,y)是以坐标为x,y的像素点为中心的滤波模板；x',y'为显著对象分割图的滤波模板中各像素点的坐标值，暗原色图像中每一像素点的像素值被称为暗原色图像值；

令滤波模板的大小为win*win，将大小为M*N的显著对象分割图以像素值为255的像素点进行图像大小扩充，得到大小为(M+win-1)*(N+win-1)的新图像；利用大小为win*win的滤波模板对新图像的R、G、B三个颜色通道图像进行最小值滤波，得到R、G、B三个颜色通道的图像

将暗原色图像中各像素点的暗原色图像值降序排列，从所有暗原色图像值中，选出大小为排列在前0.1％的像素点，从选出的像素点对应的亮度值中选取一个最大值作为大气光值，即为大气光值A；

步骤B2：按散射模型确定传播图作为初始深度图Depth'(x,y)，所述的散射模型如下式表征：

$\mathrm{Dept}{h}^{\′}(x,y)=1-{\mathrm{\ω}}_2\×\left(\frac{I_{\mathrm{seg}}^{\mathrm{dark}}(x,y)}{A}\right)$

其中，调节参数ω₂的值为0.95；A为大气光值，为暗原色图像；

对所述的初始深度图Depth'(x,y)进行引导滤波，获得第二深度图Depth_r(x,y)；

步骤B3：对所述的第二深度图Depth_r进行双边滤波，得到原单幅2D图像最终的深度图Depth：

$\mathrm{Depth}\left(n\right)=\frac{\underset{p\∈N\left(n\right)}{\mathrm{\Σ}}{W}_c\left(\right|p-n\left|\right)W_s\left(\right|\mathrm{Dept}{h}_r\left(n\right)-\mathrm{Dept}{h}_r\left(p\right)\left|\right)\mathrm{Dept}{h}_r\left(p\right)}{\underset{p\∈N\left(n\right)}{\mathrm{\Σ}}{W}_c\left(\right|p-n\left|\right)W_s\left(\right|\mathrm{Dept}{h}_r\left(n\right)-\mathrm{Dept}{h}_r\left(p\right)\left|\right)};$

其中，Depth_r(n)为第二深度图；n为像素点的坐标，即n＝(x,y)；N(n)表示n的邻域，p为n的邻域所包含的各像素点的坐标；W_c(x)为空间邻域相似度函数，记为标准差为σ_c的高斯滤波器：W_s(x)为灰度相似度函数，记为标准差为σ_s的高斯滤波器：σ_c和σ_s分别设置为3和0.4，N(n)表示的邻域其大小设置为5×5。

所述步骤A的具体步骤如下：

步骤A1：将单幅2D图像与高斯低通平滑函数进行卷积运算以获得单幅2D图像的亮度分量图像

${\hat{L}}^c(x,y)=I^c(x,y)*F(x,y)$

其中，x,y为图像每一像素点的坐标值，I^c(x,y)表示表示输入的单幅2D图像的彩色图像，c表示图像的R、G及B三颜色通道，即c∈{R,G,B}；*为卷积操作，F(x,y)为高斯低通平滑函数；

$F(x,y)=k{e}^{-\frac{{(x^{\′}-m)}^2+{(y^{\′}-m)}^2}{{\mathrm{\σ}}^2}}$

Ω(x,y)是以坐标为x,y的像素点为中心的滤波模板，x',y'表示滤波模板Ω(x,y)中各元素的坐标，即(x',y')∈Ω(x,y)；σ为标准差，取值范围为3～30；

设平滑函数的窗口大小为w×w，w＝6σ+1；m为平滑函数的窗口的中心，为向上取整函数；k为归一化常数，其值满足使F(x,y)的和值为1；

步骤A2：求取所述亮度分量图像的均值图像利用均值图像重新获得新的亮度分量图像，从新的亮度分量图像中提取亮度分量Y，获得反映图像显著区域的单通道图像S(x,y)；

$\stackrel{\‾}{L^c}(x,y)=\frac{1}{M\×N}\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}{\hat{L}}^c(x,y)$

其中，M和N分别为单幅2D图像的长和宽；

对均值图像进行如下处理以得到新的亮度分量图像

$\widetilde{L^c}(x,y)=255-{\mathrm{\ω}}_1\×(I^c(x,y)\·\stackrel{\‾}{L^c}(x,y))$

其中，ω₁为调整因子，取值范围为2～5；

将上述新的亮度分量图像从RGB颜色空间转换为YCbCr颜色空间；在YCbCr颜色空间中，选取Y分量作为反映图像显著区域的单通道图像S(x,y)；

步骤A3：生成显著对象分割图

对单幅2D图像I^c(x,y)三个颜色通道c(c∈{R,G,B})和图像S(x,y)按照下面两个公式进行处理，生成单幅2D图像的显著对象分割图

$\begin{array}{c}{T}^c(x,y)=\log (I^c(x,y)+1)+\log (S(x,y)+1)\\ I_{\mathrm{seg}}^c(x,y)=\frac{255\×\exp \left(T^c(x,y)\right)}{\underset{c\∈\{r,g,b\}}{\max }\left(\exp \left(T^c(x,y)\right)\right)}\end{array}$

其中，(x,y)为图像中每一像素点的坐标值，T^c(x,y)是公式计算得到的中间结果，exp是指数运算函数。

所述步骤C的具体过程如下：

步骤C1：求取深度图Depth中各像素点的视差值Parallax(x,y)，所述视差值Parallax(x,y)按以下表达式确定：

$\mathrm{Parallax}(x,y)={\mathrm{\ω}}_3\×(1-\frac{\mathrm{Depth}(a,y)}{\mathrm{ZPP}});$

其中，ω₃表示最大视差值，N_LR为深度图Depth在水平方向的像素数目；ZPP为零视差平面调节参数，其值设置为深度图的最大像素值-10；

步骤C2：将单幅2D图像的各像素点的坐标向左移动个像素以得到左眼视图；将单幅2D图像的各像素点的坐标向右移动个像素得到右眼视图；为向上取整操作；

步骤C3：将上述求得左眼视图和右视图进行合成，以获得单幅2D图像所对应的3D成像图像。

所述步骤B2中，对所述的初始深度图Depth'(x,y)进行引导滤波，引导滤波的具体过程如下：

首先计算滤波系数a_k和b_k，a_k和b_k的求取过程为：

$a_k=\frac{\frac{1}{\left|\mathrm{\ω}\right|}{\mathrm{\Σ}}_{(x,y)\∈{\mathrm{\ω}}_k}I(x,y)p(x,y)-u_k{\stackrel{\‾}{p}}_k}{{\mathrm{\σ}}_k^2+\mathrm{\ϵ}}$

$b_k={\stackrel{\‾}{p}}_k-a_k{u}_k$

其中，I为引导图像，引导图像是滤波过程中的参考图像，它为输出图像提供细节增强和边缘保持的相关信息，使输出图像在细节及对象边缘方面与引导图像保持一致，p为输入图像。在引导滤波的过程中，输入图像为初始深度图Depth'(x,y)；引导图像为显著对象分割图u_k为引导图像中第k个滤波窗口中像素的均值，σ_k为引导图像中第k个滤波窗口的像素的方差；ε为防止a_k值过大的调节参数，ε的取值范围是0.01～0.03；ω_k为滤波窗口，u_k和σ_k分别为引导图像I在滤波窗口ω_k中的像素均值与方差，|ω|为滤波窗口ω_k中的像素数目，为输入图像p在窗口ω_k中的像素均值，

滤波窗口为正方形，窗口半径s等于滤波窗口边长的一半：

其中，M、N分别为图像的长、宽大小，滤波窗口大小为(2s+1)²，为向上取整操作；

按下式确定引导滤波的输出图像在各滤波窗口ω_k中每一像素处的滤波输出Depth_r(x,y)：

$\mathrm{Dept}{h}_r(x,y)={\stackrel{\‾}{a}}_k\mathrm{Dept}{h}^{\′}(x,y)+{\stackrel{\‾}{b}}_k$

其中， ${\stackrel{\‾}{a}}_k=(1/|\mathrm{\ω}\left|\right){\mathrm{\Σ}}_{i\∈{\mathrm{\ω}}_k}{a}_i$ 和 ${\stackrel{\‾}{b}}_k=(1/|\mathrm{\ω}\left|\right){\mathrm{\Σ}}_{i\∈{\mathrm{\ω}}_k}{b}_i,$ Depth'为初始深度图；Depth_r为引导滤波的输出图像，即求取的第二深度图。

此深度图并没有恢复出真实的深度信息，其反映的是图像中各场景对象与其相邻部分的相对位置关系。由于在图像2D至3D转换中，对立体效果主要依赖定性的感知，因此利用上述求取的第二深度图依然可以获得明显的3D立体效果。

有益效果

本发明提供了一种从单幅2D图像获取3D成像图像的方法，包括如下步骤：步骤A：获取单幅2D图像的显著对象分割图步骤B：利用步骤A获得的显著对象分割图获取单幅2D图像的深度图；步骤C：根据步骤B获得深度图分别得到3D成像所需的左眼视图及右眼视图，对左眼视图及右眼视图进行合成获得与单幅2D图像对应的3D图像；生成的深度图，并没有恢复出真实的深度信息，而是一幅反映图像中的物体对象与场景中其它部分之间相对位置关系的伪深度图。此图建立在视觉关注度的基础上，将显著性区域映射到离观察者较近的位置，而把其它区域映射到较远的位置，从而将视觉关注较多的显著区域图作为深度图进行3D效果的渲染。由于在3D图像中，对立体效果更倾向于定性的感知，因此，该伪深度图依然是非常有效可靠的虚拟视图生成工具。通过大量实验后，实验结果表明利用此伪深度图所生成的左右视图合成后，其对应的3D图像具有明显的立体效果。

通过利用显著区域分割图，结合引导滤波、双边滤波得到深度图，简单有效的解决了已有深度图获取方法大多需要人工指定图像场景对象相关区域深度值的问题，从而实现了深度图求取的自动性、实时性，可广泛应用于各种印刷媒介的图片、广告制作，电视、电影的3D显示，日常照片的立体化处理以及电子游戏的设计开发等领域。该方法运算速度快，立体效果显著，不仅成本代价低，而且具有很好的通用性。

附图说明

图1为本发明的流程图；

图2为本发明获取单幅2D图像对应的深度图的流程图；

图3为实施例1的各步骤的处理效果图；其中，图a为原始2D图像，图b为显著区域分割图，图c为深度图，图d为左眼视图，图e为右眼视图，图f为本发明方法的3D效果图；

图4为实施例2的各步骤的处理效果图；其中，图a为原始2D图像，图b为显著区域分割图，图c为深度图，图d为左眼视图，图e为右眼视图，图f为本发明方法的3D效果图；

图5为实施例3的各步骤的处理效果图；其中，图a为原始2D图像，图b为显著区域分割图，图c为深度图，图d为左眼视图，图e为右眼视图，图f为本发明方法的3D效果图。

具体实施方式

下面将结合附图和实施例对本发明做进一步的说明。

实施例1：

本实施例是针对单幅2D图像，如图1所示，从单幅2D图像获取3D成像图像的方法，所对应的左眼视图和右眼视图的求取过程按如下三个步骤进行：

步骤A：获取单幅2D图像的显著对象分割图

对显著对象分割图的求取是如图2所示的深度图估计具体流程中的第一步，包括以下步骤：

步骤A1：将单幅2D图像与高斯低通平滑函数进行卷积运算以获得单幅2D图像的亮度分量图像

${\hat{L}}^c(x,y)=I^c(x,y)*F(x,y)---\left(1\right)$

其中，x,y为图像每一像素点的坐标值，I^c(x,y)表示表示输入的单幅2D图像的彩色图像，c表示图像的R、G及B三颜色通道，即c∈{R,G,B}；*为卷积操作，F(x,y)为高斯低通平滑函数；

$F(x,y)=k{e}^{-\frac{{(x^{\′}-m)}^2+{(y^{\′}-m)}^2}{{\mathrm{\σ}}^2}}---\left(2\right)$

Ω(x,y)是以坐标为x,y的像素点为中心的滤波模板，x',y'表示滤波模板Ω(x,y)中各元素的坐标，即(x',y')∈Ω(x,y)；

设平滑函数的窗口大小为w×w，w＝6σ+1；m为平滑函数的窗口的中心，k为归一化常数，其值满足使F(x,y)的和值为1；

σ为标准差设为19，w设为115，窗口的中心m取为58。然后，求取所述亮度分量图像的均值；均值按以下公式确定：

$\stackrel{\‾}{L^c}(x,y)=\frac{1}{M\×N}\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}{\hat{L}}^c(x,y)---\left(3\right)$

对于图3(a)所示大小为1024×841的图像而言，上式中M、N的取值分别为841和1024。对上述求取的均值图像进行如下处理以得到新的亮度分量图像：

$\widetilde{L^c}(x,y)=255-{\mathrm{\ω}}_1\×(I^c(x,y)\·\stackrel{\‾}{L^c}(x,y))---\left(4\right)$

其中，调整因子ω₁设置为4。再将上述新的亮度分量图像从RGB颜色空间转换为YCbCr颜色空间，提取出其亮度分量，选取Y分量作为反映图像显著区域的单通道图像S(x,y)。

最后，生成显著对象分割图

对单幅2D图像I^c(x,y)三个颜色通道c(c∈{R,G,B})和图像S(x,y)按照下面两个公式进行处理，生成单幅2D图像的显著对象分割图

T^c(x,y)＝log(I^c(x,y)+1)+log(S(x,y)+1)     (5)

$I_{\mathrm{seg}}^c(x,y)=\frac{255\×\exp \left(T^c(x,y)\right)}{\underset{c\∈\{r,g,b\}}{\max }\left(\exp \left(T^c(x,y)\right)\right)}---\left(6\right)$

其中，(x,y)为图像中每一像素点的坐标值，T^c(x,y)是公式计算得到的中间结果，exp是指数运算函数。

对上述求得的T^c(x,y)进行指数变换以获得单幅2D图像的显著对象分割图，如图3(b)所示。

步骤B：利用步骤A获得的显著对象分割图获取单幅2D图像的深度图；

首先，求取如图3(b)所示的显著对象分割图的暗原色图像及大气光值A。所述分割图的暗原色图像各像素点的像素值按以下表达式确定：

$I_{\mathrm{seg}}^{\mathrm{dark}}(x,y)=\underset{c\∈\{r,g,b\}}{\min }\left(\underset{(x^{\′},y^{\′})\∈\mathrm{\Ω}(x,y)}{\min }\left(I_{\mathrm{seg}}^c(x^{\′},y^{\′})\right)\right)---\left(7\right)$

其中，Ω(x,y)是以坐标为x,y的像素点为中心的滤波模板；x',y'为显著对象分割图的滤波模板中各像素点的坐标值，暗原色图像中每一像素点的像素值被称为暗原色图像值；

令滤波模板的大小为win*win，将大小为M*N的显著对象分割图以像素值为255的像素点进行图像大小扩充，得到大小为(M+win-1)*(N+win-1)的新图像；利用大小为win*win的滤波模板对新图像的R、G、B三个颜色通道图像进行最小值滤波，得到R、G、B三个颜色通道的图像

本实例中此窗口大小设为3×3，由此即可得到暗原色图像。本实例A的取值为121。

然后，按散射模型确定传播图作为初始深度图Depth'(x,y)，散射模型如下式：

$\mathrm{Dept}{h}^{\′}(x,y)=1-{\mathrm{\ω}}_2\×\left(\frac{I_{\mathrm{seg}}^{\mathrm{dark}}(x,y)}{A}\right)---\left(8\right)$

其中，调节参数ω₂的值为0.95，由此即可得到初始深度图Depth'(x,y)。再对此初始深度图进行引导滤波，得到边缘细节增强、对象层次分明的第二深度图Depth_r(x,y)。引导滤波的具体过程为：首先计算滤波系数a_k和b_k，a_k和b_k的求取过程为：

$a_k=\frac{\frac{1}{\left|\mathrm{\ω}\right|}{\mathrm{\Σ}}_{(x,y)\∈{\mathrm{\ω}}_k}I(x,y)p(x,y)-u_k{\stackrel{\‾}{p}}_k}{{\mathrm{\σ}}_k^2+\mathrm{\ϵ}}---\left(9\right)$

$b_k={\stackrel{\‾}{p}}_k-a_k{u}_k$

其中，输入图像p为初始深度图Depth'(x,y)；引导图像I为分割图像u_k为引导图像中第k个滤波窗口中像素的均值，σ_k为引导图像中第k个滤波窗口的像素的方差；ε为调节参数，其值设为0.01；ω_k为滤波窗口，由于本实例的图像大小为1024×841，则窗口大小设置为15×15。u_k和σ_k分别为引导图像I在滤波窗口ω_k中的像素均值与方差，|ω|为滤波窗口ω_k中的像素数目，为输入图像p在窗口ω_k中的像素均值，滤波窗口ω_k的(a_k,b_k)值确定后，即可按下式确定引导滤波的输出图像在各滤波窗口ω_k中每一像素处的滤波输出Depth_r(x,y)：

$\mathrm{Dept}{h}_r(x,y)={\stackrel{\‾}{a}}_k\mathrm{Dept}{h}^{\′}(x,y)+{\stackrel{\‾}{b}}_k---\left(10\right)$

其中， ${\stackrel{\‾}{a}}_k=(1/|\mathrm{\ω}\left|\right){\mathrm{\Σ}}_{i\∈{\mathrm{\ω}}_k}{a}_i$ 和 ${\stackrel{\‾}{b}}_k=(1/|\mathrm{\ω}\left|\right){\mathrm{\Σ}}_{i\∈{\mathrm{\ω}}_k}{b}_i,$ Depth'为初始深度图；Depth_r为引导滤波的输出图像，即求取的第二深度图；

最后，对所述的第二深度图Depth_r进行双边滤波，以对Depth_r进行适度平滑，同时较好地保留场景对象的边缘。由此，即可得到单幅2D图像最终的深度图Depth，如图3(c)所示。该处理过程的数学形式如下：

$\mathrm{Depth}\left(n\right)=\frac{\underset{p\∈N\left(n\right)}{\mathrm{\Σ}}{W}_c\left(\right|p-n\left|\right)W_s\left(\right|\mathrm{Dept}{h}_r\left(n\right)-\mathrm{Dept}{h}_r\left(p\right)\left|\right)\mathrm{Dept}{h}_r\left(p\right)}{\underset{p\∈N\left(n\right)}{\mathrm{\Σ}}{W}_c\left(\right|p-n\left|\right)W_s\left(\right|\mathrm{Dept}{h}_r\left(n\right)-\mathrm{Dept}{h}_r\left(p\right)\left|\right)}---\left(11\right)$

其中，Depth_r(n)为第二深度图；n为图像每一像素点的坐标，则n＝(x,y)；N(n)表示n的邻域，其大小设置为5×5，则p为n的邻域所包含的各像素点的坐标；W_c(x)为标准差为σ_c的高斯滤波器：其中σ_c设为3；W_s(x)为标准差为σ_s的高斯滤波器：其中σ_s设为0.4。

步骤C：根据步骤B获得深度图分别得到3D成像所需的左眼视图及右眼视图，对左眼视图及右眼视图进行合成获得与单幅2D图像对应的3D图像；

首先利用如图3(c)所示的深度图求取图像各像素点处的视差值，所述视差值Parallax(x,y)按以下表达式确定：

$\mathrm{Parallax}(x,y)={\mathrm{\ω}}_3\×(1-\frac{\mathrm{Depth}(a,y)}{\mathrm{ZPP}})---\left(12\right)$

其中，ω₃表示最大视差值，本实例中ω₃的值设置为31，ZPP的值为245。然后将原2D图像的各像素点的坐标向左移动该点视差值的1/2个象素以得到左眼视图，如图3(d)所示。与之类似，将各像素点的坐标向右移动该点视差值的1/2个象素可得到右眼视图，如图3(e)所示。最后，将上述求得的两视图进行合成，以获得单幅2D图像所对应的3D立体图像,如图3(f)所示。

实施例2：

对单幅2D图像图4(a)(大小为800×500)进行3D转换处理。首先将原2D图像与高斯低通平滑函数进行卷积运算以获得原图像的亮度分量图像。其中高斯低通平滑函数的标准差σ为9，平滑窗口大小w设为55，窗口的中心m取为28。然后利用式4得到新的亮度分量图像，其中ω₁设置为3。最后进行对数域的相关操作，得到图4(a)的显著对象分割图4(b)。

然后，将显著对象分割图4(b)在R、G、B三个颜色通道上分别采用大小为3×3的窗口进行最小值滤波，将滤波后所得的三个图像对应像素点的最小值作为暗原色图像对应点的像素值。并通过此暗原色图像求得图4(b)的大气光A的值为175。然后按照式8确定初始深度图，其中ω₂的取值为0.95。对此初始深度图再次进行窗口大小为10×10的引导滤波即可得到第二深度图。再对所得的第二深度图进行双边滤波，即可得到最终的深度图，如图4(c)所示。

最后，利用如图4(c)所示的深度图按照式(12)求取图像各像素点处的视差值。对于本实例，式12中的最大视差值ω₃设置为24，ZPP的值为232。再依据所求取的视差值，将原2D图像的各像素点的坐标向左或向右移动该点视差值的1/2个象素以得到左眼和右眼的视图，如图4(d)和图4(e)所示。将上述求得的两视图进行合成，即可获得原2D图像所对应的3D立体图像,如图4(f)所示。

实施例3：

对单幅2D图像图5(a)(大小为470×500)进行3D转换处理。首先将单幅2D图像与高斯低通平滑函数进行卷积运算以获得原图像的亮度分量图像。其中高斯低通平滑函数的标准差σ为5，平滑窗口大小w设为31，窗口的中心m取为16。然后利用式(4)得到新的亮度分量图像，其中ω₁设置为2。最后进行对数域的相关操作，得到图5(a)的显著对象分割图5(b)。

然后，将显著对象分割图5(b)在R、G、B三个颜色通道上分别采用大小为3×3的窗口进行最小值滤波，将滤波后所得的三个图像对应像素点的最小值作为暗原色图像对应点的像素值。并通过此暗原色图像求得图4(b)的大气光A的值为200。然后按照式8确定初始深度图，其中ω₂的取值为0.95。对此初始深度图再次进行窗口大小为8×8的引导滤波即可得到第二深度图。再对所得的第二深度图进行双边滤波，即可得到最终的深度图，如图5(c)所示。

最后，利用如图5(c)所示的深度图按照式12求取图像各像素点处的视差值。对于本实例，式12中的最大视差值ω₃设置为15，ZPP的值为245。再依据所求取的视差值，将单幅2D图像的各像素点的坐标向左或向右移动该点视差值的1/2个象素以得到左眼和右眼的视图，如图5(d)和图5(e)所示。将上述求得的两视图进行合成，即可获得原2D图像所对应的3D立体图像，如图5(f)所示。

由左右视图合成3D立体图像的方式有多种。例如目前3D电视即可通过安装相关播放器和佩戴3D眼睛直接观看由左右格式(视图)的图像获得的3D效果。此外，还可以利用相关软件将左、右视图合成3D图像。这里为了验证所提出的左右视图生成方法的有效性，即采用了GIMP软件将红色左眼图叠加到青色右眼图上以获得其3D图像，借助红青眼镜即可观看到显著的立体效果。

需要说明的是，以上公开的仅为本发明的具体实例，根据本发明提供的思想，本领域的技术人员能思及的变化，都应落入本发明的保护范围内。

Claims (2)

1.一种从单幅2D图像获取3D成像图像的方法，其特征在于，包括以下步骤：

步骤A：获取单幅2D图像的显著对象分割图

步骤B：利用步骤A获得的显著对象分割图获取单幅2D图像的深度图；

步骤C：根据步骤B获得的深度图分别得到3D成像所需的左眼视图及右眼视图，合成左眼视图及右眼视图，获得与单幅2D图像对应的3D图像；

其中，所述步骤B的具体步骤如下：

步骤B1：求取显著对象分割图的暗原色图像及大气光值A；

所述暗原色图像各像素点的像素值按以下表达式确定：

$I_{\mathrm{seg}}^{\mathrm{dark}}(x,y)=\underset{c\∈\{r,g,b\}}{\min }\left(\underset{(x^{\′},y^{\′})\∈\mathrm{\Ω}(x,y)}{\min }\left(I_{\mathrm{seg}}^c(x^{\′},y^{\′})\right)\right)$

其中，Ω(x,y)是以坐标为x,y的像素点为中心的滤波模板；x',y'为显著对象分割图的滤波模板中各像素点的坐标值，暗原色图像中每一像素点的像素值被称为暗原色图像值；

令滤波模板的大小为win*win，将大小为M*N的显著对象分割图以像素值为255的像素点进行图像大小扩充，得到大小为(M+win-1)*(N+win-1)的新图像；利用大小为win*win的滤波模板对新图像的R、G、B三个颜色通道图像进行最小值滤波，得到R、G、B三个颜色通道的图像

将暗原色图像中各像素点的暗原色图像值降序排列，从所有暗原色图像值中，选出大小为排列在前0.1％的像素点，从选出的像素点对应的亮度值中选取一个最大值作为大气光值，即为大气光值A；

步骤B2：按散射模型确定传播图作为初始深度图Depth'(x,y)，所述的散射模型如下式表征：

${\mathrm{Depth}}^{\′}(x,y)=1-{\mathrm{\ω}}_2\×\left(\frac{I_{\mathrm{seg}}^{\mathrm{dark}}(x,y)}{A}\right)$

其中，调节参数ω₂的值为0.95；A为大气光值，为暗原色图像；

对所述的初始深度图Depth'(x,y)进行引导滤波，获得第二深度图Depth_r(x,y)；

步骤B3：对所述的第二深度图Depth_r进行双边滤波，得到原单幅2D图像最终的深度图Depth：

$\mathrm{Depth}\left(n\right)=\frac{\underset{p\∈N\left(n\right)}{\mathrm{\Σ}}{W}_c\left(\right|p-N\left|\right)W_s\left(\right|{\mathrm{Depth}}_r\left(n\right)-{\mathrm{Depth}}_r\left(p\right)\left|\right){\mathrm{Depth}}_r\left(p\right)}{\underset{p\∈N\left(n\right)}{\mathrm{\Σ}}{W}_c\left(\right|p-n\left|\right)W_s\left(\right|{\mathrm{Depth}}_r\left(n\right)-{\mathrm{Depth}}_r\left(p\right)\left|\right)};$

其中，Depth_r(n)为第二深度图；n为像素点的坐标，即n＝(x,y)；N(n)表示n的邻域，p为n的邻域所包含的各像素点的坐标；W_c(x)为空间邻域相似度函数，记为标准差为σ_c的高斯滤波器：W_s(x)为灰度相似度函数，记为标准差为σ_s的高斯滤波器：σ_c和σ_s分别设置为3和0.4，N(n)表示的邻域其大小设置为5×5；

所述步骤A的具体步骤如下：

步骤A1：将单幅2D图像与高斯低通平滑函数进行卷积运算以获得单幅2D图像的亮度分量图像

${\hat{L}}^c(x,y)=I^c(x,y)*F(x,y)$

其中，x,y为图像每一像素点的坐标值，I^c(x,y)表示表示输入的单幅2D图像的彩色图像，c表示图像的R、G及B三颜色通道，即c∈{R,G,B}；*为卷积操作，F(x,y)为高斯低通平滑函数；

$F(x,y)={\mathrm{ke}}^{-\frac{{(x^{\′}-m)}^2+{(y^{\′}-m)}^2}{{\mathrm{\σ}}^2}}$

Ω(x,y)是以坐标为x,y的像素点为中心的滤波模板，x',y'表示滤波模板Ω(x,y)中各元素的坐标，即(x',y')∈Ω(x,y)；σ为标准差，取值范围为3～30；

设平滑函数的窗口大小为w×w，w＝6σ+1；m为平滑函数的窗口的中心， 为向上取整函数；k为归一化常数，其值满足使F(x,y)的和值为1；

步骤A2：求取所述亮度分量图像的均值图像利用均值图像重新获得新的亮度分量图像，从新的亮度分量图像中提取亮度分量Y，获得反映图像显著区域的单通道图像S(x,y)；

${\stackrel{\‾}{L}}^c(x,y)=\frac{1}{M\×N}\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}{\hat{L}}^c(x,y)$

其中，M和N分别为单幅2D图像的长和宽；

对均值图像进行如下处理以得到新的亮度分量图像

${\tilde{L}}^c(x,y)=255-{\mathrm{\ω}}_1\×(I^c(x,y)\·{\stackrel{\‾}{L}}^c(x,y));$

其中，ω₁为调整因子，取值范围为2～5；

将上述新的亮度分量图像从RGB颜色空间转换为YCbCr颜色空间；在YCbCr颜色空间中，选取Y分量作为反映图像显著区域的单通道图像S(x,y)；

步骤A3：生成显著对象分割图

对单幅2D图像I^c(x,y)三个颜色通道c(c∈{R,G,B})和图像S(x,y)按照下面两个公式进行处理，生成单幅2D图像的显著对象分割图

T^c(x,y)＝log(I^c(x,y)+1)+log(S(x,y)+1)

$I_{\mathrm{seg}}^c(x,y)=\frac{255\×\exp \left(T^c(x,y)\right)}{\underset{c\∈\{r,g,b\}}{\max }\left(\exp \left(T^c(x,y)\right)\right)}$

其中，(x,y)为图像中每一像素点的坐标值，T^c(x,y)是公式计算得到的中间结果，exp是指数运算函数。

2.根据权利要求1所述的一种从单幅2D图像获取3D成像图像的方法，其特征在于，所述步骤C的具体过程如下：

步骤C1：求取深度图Depth中各像素点的视差值Parallax(x,y)，所述视差值Parallax(x,y)按以下表达式确定：

$\mathrm{Parallax}(x,y)={\mathrm{\ω}}_3\×(1-\frac{\mathrm{Depth}(x,y)}{\mathrm{ZPP}});$

其中，ω₃表示最大视差值，N_LR为深度图Depth在水平方向的像素数目；ZPP为零视差平面调节参数，其值设置为深度图的最大像素值-10；

步骤C2：将单幅2D图像的各像素点的坐标向左移动个像素以得到左眼视图；将单幅2D图像的各像素点的坐标向右移动个像素得到右眼视图；为向上取整操作；

步骤C3：将上述求得左眼视图和右视图进行合成，以获得单幅2D图像所对应的3D成像图像。