CN103955942A - 一种基于svm的2d图像的深度图提取方法 - Google Patents

Abstract

一种基于SVM的2D图像的深度图提取方法，属于2D图像中立体信息的提取技术领域。解决了现有的方法适应性不强，只适用于某一种场景，不能适用于大多数场景；并且现有的建模算法复杂，得到的只是图像的相对深度而不是真实深度，最终结果精确度差的问题。本发明所述的一种基于SVM的2D图像的深度图提取方法的技术要点为：采用一种基于Mean Shift算法的彩色图像分割方法来识别图像上着色均匀的区域，根据各像素间的相似程度将其划分到不同的集合；对步骤一得到的像素集合所对应的图像中不同的区域进行特征值选取；利用SVM对图像进行分类；定性深度图的获取；定性深度图的优化。本发明适用于2D图像中的深度图提取。

Description

一种基于SVM的2D图像的深度图提取方法

技术领域

本发明涉及一种基于SVM的2D图像的深度图提取方法，属于2D图像中立体信息的提取技术领域。

背景技术

随着3D产业的发展和3D电视的普及，消费者可以从视频信息中获得更真实更有带入性的视觉享受。然而，现有的3D媒体资源十分有限，不足以迎合全部的市场需求。为了缓解3D媒体资源稀缺的窘状以及进一步促进3D产业发展，人们想到将现有的2D资源转换为3D资源。整个2D转3D算法的核心和关键就在于如何提取出更为精确的深度图，一幅3D图像立体感的好坏主要也取决于提取的深度图能否反应原始图像中的所有的点在真实场景中的深度信息。

随着对人眼视觉系统研究的不断深入，人们找到了很多可以用来提取深度信息的深度线索，相应的算法也不停的改善和实现，但是还是很难得到让人满意的立体效果。在实际应用中尚未攻克的难点有很多，以单幅静止输入图像为例，其中一个比较重要的就是深度信息的完全损失，尽管通过3D建模可以得到相对较为准确的深度图，但是算法非常复杂，而且得到的只是相对深度并不是真实深度。还有就是由于现实中人们的生活场景千变万化，很难找到一个普适的方法对大多数场景都适用，某种方法往往只适用于某一种场景。

发明内容

本发明的目的是提出一种基于SVM的2D图像的深度图提取方法，以解决针对现有的方法适应性不强，只适用于某一种场景，不能适用于大多数场景；并且现有的建模算法复杂，得到的只是图像的相对深度而不是真实深度，最终结果精确度差的问题。

本发明为解决上述技术问题所采用的技术方案是：

本发明所述的一种基于SVM的2D图像的深度图提取方法，是按照以下步骤实现的：

步骤一、采用一种基于Mean Shift算法的彩色图像分割方法来识别图像上着色均匀的区域，根据各像素间的相似程度将其划分到不同的集合；

步骤二、对步骤一得到的像素集合所对应的图像中不同的区域进行特征值选取；

步骤三、利用SVM对图像进行分类；

步骤四、定性深度图的获取；

步骤五、定性深度图的优化；

步骤六、利用虚拟试点绘制技术，构建出3D图像。

本发明的有益效果是：

一、本发明涉及了图像分割和图像分类的相关方法，适用于多种不同的场景。

二、可以生成较为精确的深度图。

三、能够有效地实现2D-3D图像转换。

四、与传统的分类器相比，SVM采用了核函数方法，使得样本的维数与高维空间的计算复杂度不相关，有效的解决了可能出现的维数灾难问题。

五、核函数的选择在SVM方法中可以自由的设定，这在一定范围内避免了像神经网络等过分依赖使用者的“技巧”问题。

六、本发明针对单目输入的2D图像，先采用一种基于Mean Shift算法的彩色图像分割方法，对原始图像进行分割处理。紧接着又采用了一种基于SVM的图像区域分类方法，对分割后的图像进行处理，将其区域划分为不同的类别，如天空、远山、近山、陆地等。最后对分类后的每个区域赋予特定的具有大小关系的灰度值，也就是深度信息，从而得到原始图像的定性深度图。

附图说明

图1为本发明的流程图；图2中(a)是原始2D图像，(b)是经过mean shift分割后的结果图；图3中(a)是原始定性深度图，(b)是经过优化后的深度图；图4中(a)是原始2D图像，(b)是3D图像。

具体实施方式

具体实施方式一：本实施方式所述的一种基于SVM的2D图像的深度图提取方法，包括以下步骤：

步骤一、采用一种基于Mean Shift算法的彩色图像分割方法来识别图像上着色均匀的区域，根据各像素间的相似程度将其划分到不同的集合；

步骤二、对步骤一得到的像素集合所对应的图像中不同的区域进行特征值选取；

步骤三、利用SVM对图像进行分类；

步骤四、定性深度图的获取；

步骤五、定性深度图的优化；

步骤六、利用虚拟试点绘制技术，构建出3D图像。

结合图1、图2理解本实施方式。为了能更好的识别图像上着色均匀的区域，采用一种基于Mean Shift算法的彩色图像分割方法，主要是根据各像素间的相似程度将其划分到不同的集合。这种方法可以保留图像上主要的颜色区域，过滤掉一些对后续分类造成干扰的细节，比如说草地上零星散落的花。

具体实施方式二：本实施方式与具体实施方式一不同的是：步骤二所述的特征值选取过程为：将RGB模型转换为HSI模型，并将RGB模型和HSI模型结合，以R、G、B三个分量为主，I、H两个分量为辅，先利用各自的大小关系排序进行初步划分，再利用各分量之间的差值的大小进一步精确划分。其它步骤及参数与具体实施方式一相同。

具体实施方式三：本实施方式与具体实施方式一或二不同的是：步骤三所述的分类过程为：

步骤三(一)、设计基于SVM的分类器：

选用高斯核函数：

$K(x,y)=e^{-\mathrm{\ρ}{\left|\right|x-y\left|\right|}_2^2}---\left(1\right)$

其中，ρ是可调系数，x和y是输入矢量；

SVM的输入矢量x为：

$x_{i,j}=[x_{i,j}^R,x_{i,j}^G,x_{i,j}^B,x_{i,j}^H,x_{i,j}^I]---\left(2\right)$

i和j分别表示像素的横纵坐标，

SVM的输出数据c为：

c_i,j＝[m]m为不同类别的标记，m＝0,1,2,3,4,    (3)

步骤三(二)、用在样本图像中所选取的已知类别的采样区域对SVM进行训练，确定分类器的各项参数、阈值和判决准则；然后，用训练所得的分类器对原始图像进行分类，将每一块区域划分到对应的类别。

利用SVM进行分类是一种基于统计的方法，所以需要一定的样本图像。对视频文件来说，可以从邻近的几帧图像中选取几幅作为样本图像，另外一些作为测试图像。其中，高斯核函数的权值和阈值都由训练过程获得。

SVM的输入数据是一些n×5的矢量，n代表全部采样像素的总数，5代表特征空间的维数，也就是特征空间包含五种特征值，分别是R、G、B、I、H。以输入矢量x为例，其可以写成如下形式：

$x_{i,j}=[x_{i,j}^R,x_{i,j}^G,x_{i,j}^B,x_{i,j}^H,x_{i,j}^S]---\left(2\right)$

相应地，SVM的输出数据是对应于图像区域所属的类别，比如说天空。而实际上，采用数字0、1、2、3、4来表征不同的区域，分别对应于天空、远山、近山、陆地、其余。以输出数据c为例，其可以写成如下形式：

c_i,j＝[0]    (3)

首先，用在样本图像中所选取的已知类别的采样区域对SVM进行训练，确定分类器的各项参数、阈值和判决准则。然后，用训练所得的分类器对原始图像进行分类，将每一块区域都划分到对应的类别。SVM可以在维持深度图精度不变的情况下，节省运算时间，提高整体转换效率，所以能更好的适用于实时应用。其它步骤及参数与具体实施方式一或二相同。

具体实施方式四：本实施方式与具体实施方式一至三之一不同的是：步骤四所述的获取过程为：根据事先设定的灰度级为每一类别分配相应的灰度值，得到定性深度图。在分类之后，图像中不同的区域按照制定的判决准则被分为相应的类别。根据事先设定的灰度级，即公式4的大小关系，为每一类别分配相应的灰度值。其过程为，按照公式4的大小关系和经验赋的值，比如总的灰度级数是256的话，可以完成以下赋值：Gray(天空)＝0，Gray(远山)＝50，Gray(近山)＝80，Gray(远山)＝130。这个不固定的，原则上符合实际情况的都可以，具体选取的话要结合实验立体效果决定。其大小关系如下：

Gray(天空)<Gray(远山)<Gray(近山)<Gray(陆地)<Gray(其余)    (4)

灰度值赋值的准则与人眼视觉成像原理相符合，距离观察者比较近的区域其灰度值较大，而距离观察者较远的区域其灰度值越小。这样在分类的结果图像的基础上，完成上述赋值操作后或得到一幅数字图像，直接显示出来一幅按上述准则制定灰度图像，就是定性深度图。其它步骤及参数与具体实施方式一至三之一相同。

具体实施方式五：本实施方式与具体实施方式一至四之一不同的是：步骤五所述的优化过程为：使距离观察者最近的区域的像素的深度值呈由远及近的梯度变化。为了使提取的深度信息更加精确，对获得的深度图进一步优化。由于图像中属于陆地的区域距离观察者比较近，所以有必要对这一类区域内部的深度进行更细致的划分。最终，让属于陆地区域的像素的深度值呈由远及近的梯度变化，就是由远及近从小到大的变化。符合理论要求，效果更好。结合图3理解本实施方式。其它步骤及参数与具体实施方式一至四之一相同。

具体实施方式六：本实施方式与具体实施方式一至五之一不同的是：其特征在于步骤六的具体过程为：利用虚拟试点绘制技术，得到原图像的左视图和右视图，再对两幅视图图像进行融合处理，构建出3D图像。经过之前图像处理的全部过程，已经具备了构建立体图像的两个必要要素，即原始2D图像和相应的精确深度图。在这两个条件的基础上，利用虚拟试点绘制技术，很容易就可以得到原图像的左视图和右视图，再对两幅视图图像进行融合处理，就是将两幅图像加权叠加，就可以构建出拥有一定立体感的3D图像了。结合图4理解本实施方式。其它步骤及参数与具体实施方式一至五之一相同。

Claims (6)

1.一种基于SVM的2D图像的深度图提取方法，其特征在于所述方法包括以下步骤：

步骤一、采用一种基于Mean Shift算法的彩色图像分割方法来识别图像上着色均匀的区域，根据各像素间的相似程度将其划分到不同的集合；

步骤二、对步骤一得到的像素集合所对应的图像中不同的区域进行特征值选取；

步骤三、利用SVM对图像进行分类；

步骤四、定性深度图的获取；

步骤五、定性深度图的优化；

步骤六、利用虚拟试点绘制技术，构建出3D图像。

2.根据权利要求1所述的一种基于SVM的2D图像的深度图提取方法，其特征在于步骤二所述的特征值选取过程为：将RGB模型转换为HSI模型，并将RGB模型和HSI模型结合，以R、G、B三个分量为主，I、H两个分量为辅，先利用各自的大小关系排序进行初步划分，再利用各分量之间的差值的大小进一步精确划分。

3.根据权利要求2所述的一种基于SVM的2D图像的深度图提取方法，其特征在于步骤三所述的分类过程为：

步骤三(一)、设计基于SVM的分类器：

选用高斯核函数：

$K(x,y)=e^{-\mathrm{\&rho;}{\left|\right|x-y\left|\right|}_2^2}---\left(1\right)$

其中，ρ是可调系数，x和y是输入矢量；

SVM的输入矢量x为：

$x_{i,j}=[x_{i,j}^R,x_{i,j}^G,x_{i,j}^B,x_{i,j}^H,x_{i,j}^I]---\left(2\right)$

i和j分别表示像素的横纵坐标，

SVM的输出数据c为：

c_i,j＝[m]m为不同类别的标记，m＝0,1,2,3,4,    (3)

步骤三(二)、用在样本图像中所选取的已知类别的采样区域对SVM进行训练，确定分类器的各项参数、阈值和判决准则；然后，用训练所得的分类器对原始图像进行分类，将每一块区域划分到对应的类别。

4.根据权利要求3所述的一种基于SVM的2D图像的深度图提取方法，其特征在于步骤四所述的获取过程为：根据事先设定的灰度级为每一类别分配相应的灰度值，得到定性深度图。

5.根据权利要求4所述的一种基于SVM的2D图像的深度图提取方法，其特征在于步骤五所述的优化过程为：使距离观察者最近的区域的像素的深度值呈由远及近的梯度变化。

6.根据权利要求5所述的一种基于SVM的2D图像的深度图提取方法，其特征在于步骤六的具体过程为：利用虚拟试点绘制技术，得到原图像的左视图和右视图，再对两幅视图图像进行融合处理，构建出3D图像。