CN102722862B - 采用优化技术的单张图片半自动二维转三维方法和装置 - Google Patents

Abstract

本发明提供一种将单幅二维图片转换成三维图片的半自动转换方法和装置。该方法首先需要用户设定一些代表像素的深度值，然后将整个图片的深度图求解问题建模成一个有约束的优化问题，采用最小二乘算法求得此优化问题的最优解。本发明提出的半自动转换方法只需用户少量的参与就能获得较高质量的深度图，从而能转换出高质量的三维图片，在三维内容生成领域有广泛的应用价值。

Description

采用优化技术的单张图片半自动二维转三维方法和装置

技术领域

本发明涉及二维图片到三维图片的半自动转换技术，属于图像、多媒体信号处理技术领域。

背景技术

由于三维视频内容的短缺，二维视频到三维视频的转换技术越来越成为研究热点。自动的转换技术虽然不用人工参与，但是得到的三维效果还不能满足人们的要求，与其相比，半自动的转换技术通过增加少量的人力，却能得到更为准确的深度图，因此，这种方法普遍被人接受。

在半自动的二维视频到三维视频转换系统中，一般的做法是：先是对整个视频提取关键帧，然后人工设定关键帧的深度，最后根据非关键帧与关键帧的相关性，通过深度传播算法插值出非关键帧的深度。在这个过程中，关键帧的深度分配至关重要。关键帧的深度分配属于单幅图片的深度分配，如何快速方便而且准确的为图片分配深度，许多研究者都提出了不同的方法。

所有方法的目的都是一致的，即采用最少和最方便的人工输入得到最好的深度质量。Xun Cao等人采用的是基于分割的单幅图片的二维-三维转换，该方法先利用人工辅助进行图像分割，然后针对每个分割的物体的特征，采用合适的深度模型对其进行分配深度。但是如果图片中的物体数量太多，那么这种方法势必需要大量的人工参与，而且该方法依赖于图像分割算法的性能。Xi Yan等提出一种基于T-型结的深度传播算法。该算法需要用户设定一些代表性像素的深度值和T-型结的大概位置，然后深度传播算法结合这些先验知识，颜色和边缘信息得到整个图的深度。该方法能得到较好的深度图，但是需要用户了解T-型结的定义，而且算法也依赖于T-型结点的精确定位。

本发明针对当前算法用户输入复杂，算法对其他算法的依赖性强等缺点，提出一种基于优化方法的单幅图半自动二维转三维方法。该方法只需用户简单的设定代表像素的深度值，就能得到整个图片的深度，简单方便，而且不需要用户学习任何相关的专业知识也不依赖其他算法的性能。

发明内容

本发明的二维图片到三维图片的半自动转换方法，根据单幅图片中的深度一致性原理，将单幅图片的深度分配问题建模成一个有约束的优化问题并求解，具体步骤为：

（1）根据图片场景的结构特征和场景中物体的深度特性，人工选定若干在深度上具有代表性的代表像素，并为选出的代表像素设定相应的深度值；

（2）以步骤（1）中人工设定的代表像素的深度值为约束条件，通过最小化代表像素的深度值与其相邻像素的加权深度之间的差异，求得整幅图片全部像素的深度值，从而得到该幅图片的深度图；

（3）根据步骤（2）中得到的该幅图片的深度图，通过基于深度的渲染技术得到高质量的三维图片。

本发明的二维图片到三维图片的半自动转换装置，包括如下组成部分:

（1）深度值人工设定模块，该模块将图片进行显示，并提供操作界面，使用户能够在单幅图片上人工选定若干在深度上具有代表性的代表像素，并为选出的代表像素设定相应的深度值；

（2）深度图计算模块，该模块以人工设定的代表像素的深度值为约束条件，通过最小化代表像素的深度值与其相邻像素的加权深度之间的差异，求得整幅图片全部像素的深度值，从而得到该幅图片的深度图；

（3）三维图片形成模块，该模块根据该幅图片的深度图，通过基于深度的渲染技术得到高质量的三维图片。

附图说明

图1是根据本发明开发的软件界面；

图2是本发明针对一些测试图片得到的深度图，其中第一列是原始图片并带有用户设定的代表像素的深度值，第二列是本发明得到的整个图片的深度图。

具体实施方式

本发明的半自动二维转三维方法，先要求用户通过直观观察，根据图片场景的结构特征和场景中物体的深度特性，人工选定若干在深度上具有代表性的代表像素，并为选出的代表像素设定相应的深度值。具体实现时，可采用涂鸦的方式在计算机显示屏上为图片设定一些代表像素的深度值，然后本发明将图片的深度计算建模成一个有约束的优化问题，通过最小二乘算法求解该问题。

图1是根据本发明开发的友好用户界面。该界面不仅能辅助用户方便快速地设定一些代表像素的深度值，而且用户只需单击“Extract Depth”按钮就能完成整个深度问题的建模和求解过程。此外，该界面还有保存结果，重置结果，擦除错误的深度设定等额外功能。

对照图1中的界面，本发明的二维转三维装置包括以下模块：

1.深度值人工设定模块：该模块将图片进行显示，并提供操作界面，是用户能够根据输入图片的特征，人为的设定一些代表像素的深度，该模块的实现流程如下：

（1）单击界面中的“Open Image”按钮，选择要处理的图片，图片将显示在界面中；

（2）在“Gray Level”下选定一个深度等级，该深度等级也可以在下面的编辑框中手动输入，深度等级一共有0到255这256个层次；

（3）鼠标在显示的图片中划线，画出的线所在像素的深度值就是在第（2）步中选定的深度值；

（4）重复步骤（2）和（3），直到所有的代表像素设定完毕。

2.深度图计算模块：将问题建模成一个有约束的优化问题并求解，具体实现流程如下：

（1）根据单幅图片中的深度一致性原理，即如果相邻像素的颜色值或亮度值类似，那么他们的深度值也要保持一致，本发明将单幅图片的深度分配问题建模成一个有约束的优化问题。假设图像中的像素表示为r，优化函数通过最小化像素r的深度与其相邻像素的加权深度之间的差异来实现，约束条件是用户设定的N个像素的深度值，N的取值随着图片的不同场景特征而变化。该优化问题的完整的公式表达如下：

$\min J\left(D\right)=\underset{r}{\mathrm{\Σ}}{(D\left(r\right)-\underset{s\∈N\left(r\right)}{\mathrm{\Σ}}{w}_{\mathrm{rs}}D\left(s\right))}^2---\left(1\right)$

sub.to D(r_i)＝d_i,i＝1,2,…

这里D(r)表示像素r的深度值，d_i是用户设定的深度值，N(r)是像素r的邻域窗口，s是r邻域窗口中的像素，w_rs是一个归一化的加权函数，该函数有个特点：如果r和s的亮度值越相近那么加权值就越大，反之，加权值就越小。实验中我们采用的加权函数如下：

$w_{\mathrm{rs}}=e^{-(Y\left(r\right)-Y\left(s\right))/2{\mathrm{\σ}}_r^2}---\left(2\right)$

公式（2）中，Y(r)是指像素r的亮度值，σ_r是邻域窗口的像素灰度值的方差。

（2）采用最小二乘算法求得优化问题（1）的最优解。图2展示了一些测试图片的深度图片。由上述结果可知，采用本方法得到的深度图质量较高。

3.三维图片形成模块：根据得到的整幅图片的深度图，通过基于深度的渲染技术（DIBR）得到高质量的三维图片。

Claims (10)

1.一种二维图片到三维图片的半自动转换方法，该方法根据单幅图片中的深度一致性原理，将单幅图片的深度分配问题建模成一个有约束的优化问题并求解，具体步骤为：

(1)根据图片场景的结构特征和场景中物体的深度特性，人工根据直观观察选定若干在深度上具有代表性的代表像素，并为选出的代表像素设定相应的深度值；

(2)以步骤(1)中人工设定的代表像素的深度值为约束条件，通过最小化代表像素的深度值与其相邻像素的加权深度之间的差异，建立并求解优化问题的方程，求得整幅图片全部像素的深度值，从而得到该幅图片的深度图,优化问题的方程为:约束条件为：D(r_i)＝d_i，i＝1，2，…，N,其中在求相邻像素的加权深度时，采用公式作为加权函数计算权重,其中，D(r)表示像素r的深度值，d_i是用户设定的深度值，N(r)是像素r的邻域窗口，s是r邻域窗口中的像素，ω_rs是一个归一化的加权函数,加权函数中，Y(r)是指像素r的亮度值，Y(s)是指r邻域窗口中的像素s的亮度值，σ_r是领域窗口的像素灰度值的方差；

(3)根据步骤(2)中得到的该幅图片的深度图，通过基于深度的渲染技术得到高质量的三维图片。

2.根据权利要求1所述的二维图片到三维图片的半自动转换方法，其特征是：步骤(1)中，通过将图片显示在计算机显示屏上，采用用鼠标划过欲选定的代表像素并选中的方式完成对代表像素的选定。

3.根据权利要求1所述的二维图片到三维图片的半自动转换方法，其特征是：步骤(1)中，对代表像素深度值的设定是通过选择若干深度等级中的相应等级完成的。

4.根据权利要求1至3中任意一项所述的二维图片到三维图片的半自动转换方法，其特征是：步骤(2)中的优化问题采用最小二乘算法求解。

5.根据权利要求4所述的二维图片到三维图片的半自动转换方法，其特征是：步骤(2)中加权函数的选取满足如下条件：选定像素与其邻域像素之间的亮度值越相近则加权值越大。

6.一种二维图片到三维图片的半自动转换装置，该装置包括如下组成部分:

(1)深度值人工设定模块，该模块将图片进行显示，并提供操作界面，使用户能够在单幅图片上人工选定若干在深度上具有代表性的代表像素，并为选出的代表像素设定相应的深度值；

(2)深度图计算模块，该模块以人工设定的代表像素的深度值为约束条件，通过最小化代表像素的深度值与其相邻像素的加权深度之间的差异，建立并求解优化问题的方程，求得整幅图片全部像素的深度值，从而得到该幅图片的深度图,优化问题的方程为:约束条件为：D(r_i)＝d_i，i＝1，2，…，N,其中在求相邻像素的加权深度时，采用公式作为加权函数计算权重,其中，D(r)表示像素r的深度值，d_i是用户设定的深度值，N(r)是像素r的邻域窗口，s是r邻域窗口中的像素，ω_rs是一个归一化的加权函数,加权函数中，Y(r)是指像素r的亮度值，Y(s)是指r邻域窗口中的像素s的亮度值，σ_r是领域窗口的像素灰度值的方差；

(3)三维图片形成模块，该模块根据该幅图片的深度图，通过基于深度的渲染技术得到高质量的三维图片。

7.根据权利要求6所述的二维图片到三维图片的半自动转换装置，其特征在于：深度值人工设定模块将图片显示在计算机显示屏上，使用户能够根据主观观察场景结构和深度特性采用用鼠标划过欲选定的代表像素并选中的方式完成对代表像素的选定。

8.根据权利要求6所述的二维图片到三维图片的半自动转换装置，其特征在于：深度值人工设定模块使用户能够通过选择若干深度等级中的相应等级来完成对代表像素深度值的设定。

9.根据权利要求6至8中任意一项所述的二维图片到三维图片的半自动转换装置，其特征在于：深度图计算模块中，采用最小二乘算法求解优化问题。

10.根据权利要求9所述的二维图片到三维图片的半自动转换装置，其特征在于：深度图计算模块中，加权函数的选取满足如下条件：选定像素与其邻域像素之间的亮度值越相近则加权值越大。