CN105631868A - 一种基于图像分类的深度信息提取方法 - Google Patents

Abstract

本发明公开了一种基于图像分类的深度信息提取方法，包括以下步骤：1)检测图像的类型，判断图像的类型是远景图像、左视图像、右视图像、普通图像四种类型中的哪一种；2)对图像采用Mean？shift分割方法进行分割，再对分割后的不同块根据垂直坐标进行深度赋值；3)对图像采用Mean？shift分割方法进行分割，再对分割后的不同块根据水平坐标进行深度赋值；4)对图像采用Mean？shift分割方法进行分割，再对分割后的不同块根据水平坐标进行深度赋值；5)对图像采用KMeans分割方法进行分割，分割出前景部分和背景部分，然后对背景部分和前景部分分别赋值。本发明的基于图像分类的深度信息提取方法，获取的深度图较为准确，且计算复杂度较低。

Description

一种基于图像分类的深度信息提取方法

【技术领域】

本发明涉及计算机视觉与数字图像处理领域，特别是涉及一种基于图像分类的深度信息提取方法。

【背景技术】

深度图像常被用于三维重建、自由视点编码等诸多领域。现有的深度信息提取主要集中于多视点图像的提取。对于单目图像深度信息的提取，由于单目图像的信息量少，深度信息提取复杂，因此其提取效率低，提取的质量也较差，常常需要人的手动操作等。

为了提高单目图像的深度图像质量，目前针对其深度图像的成像缺陷提出了一系列的改进方法。其中具有代表性的方法有两种：一种是，首先利用时域信息重建背景，然后提取背景的深度图，并分割出运动物体；最后根据运动物体在场景中的位置和背景深度图为运动物体分配深度值，并将这些深度值融入深度背景图中。该方法需要先后输入两帧图像，对于单帧单目图像的处理有所限制，而且处理速度较慢。另一种是利用边缘信息给图像进行区域分割后，给每一块区域分配一个相对的深度值，就可以得到整幅图像的深度图。这种方法处理得到的深度图准确度较低。这是因为：由于不同的图像受到例如颜色、光照强渡的影响，使得分割后的图像按块赋值较为复杂，而且赋值准确度不高，降低了对图像处理的效率。

【发明内容】

本发明所要解决的技术问题是：弥补上述现有技术的不足，提出一种基于图像分类的深度信息提取方法，获取的深度图较为准确，且计算复杂度较低。

本发明的技术问题通过以下的技术方案予以解决：

一种基于图像分类的深度信息提取方法，包括以下步骤：1)检测图像的类型，判断图像的类型是远景图像、左视图像、右视图像、普通图像四种类型中的哪一种；如果是远景图像，则进入步骤2)；如果是左视图像，则进入步骤3)；如果是右视图像，则进入步骤4)；如果是普通图像，则进入步骤5)；2)对图像采用Meanshift分割方法进行分割，再对分割后的不同块进行深度赋值，所赋深度值由块内的像素点的垂直方向的坐标确定得到；3)对图像采用Meanshift分割方法进行分割，再对分割后的不同块进行深度赋值，所赋深度值由块内的像素点的水平方向的坐标确定得到；4)对图像采用Meanshift分割方法进行分割，再对分割后的不同块进行深度赋值，所赋深度值由块内的像素点的水平方向的坐标确定得到；5)对图像采用KMeans分割方法进行分割，分割出前景部分和背景部分，然后根据背景部分是否属于远景图像、左视图像、右视图像三种类型的判断结果，对背景部分和前景部分分别赋值。

本发明与现有技术对比的有益效果是：

本发明的深度信息提取方法，检测输入的单目深度图像的类型，将图像类型划分成四种类型，即普通视图、远景视图、左视视图、右视视图，四种基本类型几乎涵盖所有种类的图像。通过分类处理，提高了图像深度赋值的效率。基于分类结果，对不同的图像类型采用不同的深度赋值方法。对相应的图像分别采用Meanshift和KMeans图像分割方法，将图像分割为对应的块，通过对块进行深度赋值，提高了深度图像各部分间匹配的准确性，从而提高了深度图的准确性。处理过程中，涉及的计算量仅判断分类、分割算法等，计算量小，极大地降低计算复杂度。

【附图说明】

图1是本发明具体实施方式的基于图像分类的深度信息提取方法的流程图；

图2a是本发明具体实施方式的深度信息提取方法处理时输入的第一幅图像；

图2b是本发明具体实施方式的深度信息提取方法处理第一幅图像得到的深度图；

图2c是采用传统的直接赋深度值处理第一幅图像得到的深度图；

图3a是本发明具体实施方式的深度信息提取方法处理时输入的第二幅图像；

图3b是本发明具体实施方式的深度信息提取方法处理第二幅图像得到的深度图；

图3c是采用传统的直接赋深度值处理第二幅图像得到的深度图；

图4a是本发明具体实施方式的深度信息提取方法处理时输入的第三幅图像；

图4b是本发明具体实施方式的深度信息提取方法处理第三幅图像得到的深度图；

图4c是采用传统的直接赋深度值处理第三幅图像得到的深度图；

图5a是本发明具体实施方式的深度信息提取方法处理时输入的第四幅图像；

图5b是本发明具体实施方式的深度信息提取方法处理第四幅图像得到的深度图；

图5c是采用传统的直接赋深度值处理第四幅图像得到的深度图。

【具体实施方式】

下面结合具体实施方式并对照附图对本发明做进一步详细说明。

如图1所示，为本具体实施方式的基于图像分类的深度信息提取方法的流程图，提取方法包括以下步骤：

A1：输入一帧待处理的2D单目图像，将图像进行滤波处理。输入的单目深度图像，可由照相机采集或网上下载所得。对所输入图像进行滤波处理，例如，进行双边滤波处理。

A2：检测图像的类型，判断图像的类型是远景图像、左视图像、右视图像、普通图像四种类型中的哪一种；如果是远景图像，则进入步骤2)；如果是左视图像，则进入步骤3)；如果是右视图像，则进入步骤4)；如果是普通图像，则进入步骤5)。

该步骤进行图像分类，具体检测时，可将待处理的图像从RGB色彩空间转换到HIS色彩空间，根据图像中像素点的H、S、I值判断图像的类型是否属于远景图像。

具体地，由以下式子判断是否满足远景视图：设在图像中坐标(x,y)处的像素点的H、S、I的值分别为H(x,y)，S(x,y)，I(x,y)，同时定义像素点的是否归为天空类像素的属性参数Sky(x,y)，以及是否归为地面类像素的属性参数Ground(x,y)，则：

若100<H(x,y)<180且100<I(x,y)<255，则Sky(x,y)＝1；否则，Sky(x,y)＝0。其中，Sky(x,y)＝1表示像素点(x，y)归类为天空的像素点。

若50<H(x,y)<100且100<S(x,y)<255，则Ground(x,y)＝1；否则，Ground(x,y)＝0。其中，Ground(x,y)＝1表示像素点(x，y)归类为地面的像素点。

统计图像中像素点归类为天空或者地面的像素点的个数Amount，也即可首先将所有像素点的Sky(x,y)的值与Ground(x,y)的值进行或运算，然后将各像素点或运算后的结果加和。由上述内容可知，Sky(x,y)和Ground(x,y)的值只会为1或者0。若Sky(x，y)和Ground(x,y)其中有一个为1，则或的结果为1。将或运算结果相加得到的总和即为像素点归类为天空或者地面的像素点的总个数Amount。将Amount与设定的阈值相比较，如果总个数Amount大于阈值，则图像属于远景图像类型，按照如下所述的步骤A3进行深度赋值。否则，属于非远景图像类型。

当图像为非远景图像类型时，可继续判断图像属于其余三种类型中的哪一种。

具体地，可先检测图像的边缘，然后检测边缘直线，最后计算检测的边缘直线的斜率值，根据斜率值判断图像为左视图像、右视图像和普通图像中的哪一种。用于图像边缘检测的方法算子有多种，其中canny算子检测比较准确，运行速度也较合理。因此，本具体实施方式中，利用Canny算子计算出图像的边缘。检测出边缘后，再利用Hough变换进行边缘直线检测，最后计算所检测的直线的斜率值。根据斜率值将图像分为左视图像、右视图像和普通图像。若每一条斜率不为零的直线的斜率都大于零，则图像为左视视图图像，按如下所述的步骤A4进行深度赋值；若每一条斜率不为零的直线的斜率都小于零，则图像为右视视图图像，按如下所述的步骤A5进行深度赋值；其他情况归为普通视图图像，按照如下所述的步骤A6进行深度赋值。

A3)对图像采用Meanshift分割方法进行分割，再对分割后的不同块进行深度赋值，所赋深度值由块内的像素点的垂直方向的坐标确定得到。

具体地，对于远景视图图像，其同一水平值的深度相近，因此块的深度赋值与块内像素点的垂直坐标有关。具体如何由块内像素点的垂直坐标设置像素点的深度值，有多种方法。例如，根据块内的垂直方向的坐标值最小的像素点垂直方向的坐标确定得到相应块的深度值，具体确定时根据y-50设置相应块的深度值，其中，y表示块内的垂直方向的坐标值最小的像素点垂直方向的坐标。该种设置方式是一种简单较为快速的方式，其余较为精细化的设置公式也可用于此处的深度赋值，只是计算量可能稍大。具体如何根据垂直坐标对深度进行赋值可由用户根据深度提取的精确度以及计算复杂度的要求综合设定。

A4)对图像采用Meanshift分割方法进行分割，再对分割后的不同块进行深度赋值，所赋深度值由块内的像素点的水平方向的坐标确定得到。

具体地，对于左视视图图像，块的深度赋值与块内像素点的水平坐标有关。例如，根据块内的水平方向的坐标值最小的像素点水平方向的坐标确定得到相应块的深度值。优选地，根据公式(cols-x)/k1计算得到深度值；其中，x表示块内的水平方向的坐标值最小的像素点水平方向的坐标，cols表示图像水平方向的长度，k1为3～5之间的正整数。根据该公式确定像素值，将图像分割完之后按照分割的块分块赋值，因此块的深度值与图像的大小、像素点的坐标位置相关。而设置除以系数k1可减缓图像深度的变化幅度，使图像的深度信息控制在易于控制观测的范围内。

A5)对图像采用Meanshift分割方法进行分割，再对分割后的不同块进行深度赋值，所赋深度值由块内的像素点的水平方向的坐标确定得到。

具体地，对于右视视图图像，块的深度赋值与块内像素点的水平坐标有关。例如，根据块内的水平方向的坐标值最小的像素点水平方向的坐标确定得到相应块的深度值，具体确定时根据x/k2计算得到像素点的深度值；其中，x表示块内的水平方向的坐标值最小的像素点水平方向的坐标，k2为3～5之间的正整数。该种设置方式，较为简单快速，且通过系数k2的设置，可减缓图像深度的变化幅度，使图像的深度信息控制在易于控制观测的范围内。

A6)对图像采用KMeans分割方法进行分割，分割出前景部分和背景部分，然后根据背景部分是否属于远景图像、左视图像、右视图像三种类型的判断结果，对背景部分和前景部分分别赋值。

对于普通图像，与远景图像不同，普通图像中包含物体，对普通图像采用KMeans分割方法，分割出前景(物体部分)和背景。将图像去除物体后的背景部分进行分类，例如采用A2的分类处理方法，判断其类型，然后根据是否属于远景图像、左视图像、右视图像三种类型的判断结果，对背景部分和前景部分分别赋值。对背景、前景分别赋值有多种实现方法。优选地，按照如下过程进行赋值。若背景图像非远景图像、左视图像、右视图像三种类型中的任意一种，则背景部分赋予第二深度值S2；前景部分赋予第一深度值S1。S1和S2的值是用户根据经验指定给图像的深度值。而由于前景物体较近，其深度值应较小，因此所指定的值满足S1<S2。若背景图像是远景图像、左视图像、右视图像三种类型中的任意一种，则背景部分根据其类型分别按照A3、A4、A5所述的步骤进行深度赋值，即背景部分为远景图像，则采用A3中的过程进行深度赋值；为左视图像，则采用A4中的过程进行深度赋值；为右视图像，则采用A5中的过程进行深度赋值。背景部分赋值后，前景部分取为其背景深度值的最小值。通过这种方式赋值，处理的速度快，每分钟可处理约20帧图像，且提取的深度图比较准确。

如图2a～2c所示，分别对应输入的第一幅图像，采用本具体实施方式的深度信息提取方法处理第一幅图像获得的深度图，以及传统的直接赋深度值得到的深度图。对于图2a的图像，其为远景视图图像，比较可知，图2b的深度图相对于图2c的深度图，层次较分明，信息更准确。同样地，对于图3a～3c，对应输入的第二幅图像的情形，其为左视视图图像。比较可知，图3b的深度图相对于图3c的深度图，层次较分明，信息也更准确。对于图4a～4c，对应输入的第三幅图像的情形，其为右视视图图像。比较可知，图4b的深度图相对于图4c的深度图，部分区域的深度信息较准确。对于图5a～5c，对应输入的第四幅图像的情形，其为普通视图图像。比较可知，图5b的深度图相对于图5c的深度图，深度图的变化幅度缓和，反映的深度信息也较准确。

综上，本具体实施方式的基于图像分类的图像深度信息提取方法，将输入的单目深度图像分成四种类型，即普通视图、远景视图、左视视图、右视视图，四种基本类型几乎涵盖所有种类的图像。通过基本的分类处理，提高了图像深度赋值的效率。基于分类结果，对不同的图像类型采用不同的深度赋值方法。对相应的图像分别采用Meanshift和KMeans图像分割将图像分割为对应的块，对块进行深度赋值，提高了深度图的准确性，且计算量也较小。本具体实施方式的方法，通过将各种不同的图像进行分类处理，综合了各种深度信息处理方法的优势，取长补短，获得精确度高的深度度，方便将深度信息进一步融入到其他应用中去。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下做出若干替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于图像分类的深度信息提取方法，其特征在于：包括以下步骤：

1)检测图像的类型，判断图像的类型是远景图像、左视图像、右视图像、普通图像四种类型中的哪一种；如果是远景图像，则进入步骤2)；如果是左视图像，则进入步骤3)；如果是右视图像，则进入步骤4)；如果是普通图像，则进入步骤5)；

2)对图像采用Meanshift分割方法进行分割，再对分割后的不同块进行深度赋值，所赋深度值由块内的像素点的垂直方向的坐标确定得到；

3)对图像采用Meanshift分割方法进行分割，再对分割后的不同块进行深度赋值，所赋深度值由块内的像素点的水平方向的坐标确定得到；

4)对图像采用Meanshift分割方法进行分割，再对分割后的不同块进行深度赋值，所赋深度值由块内的像素点的水平方向的坐标确定得到；

5)对图像采用KMeans分割方法进行分割，分割出前景部分和背景部分，然后根据背景部分是否属于远景图像、左视图像、右视图像三种类型的判断结果，对背景部分和前景部分分别赋值。

2.根据权利要求1所述的基于图像分类的深度信息提取方法，其特征在于：所述步骤5)中，判断背景部分是远景图像、左视图像、右视图像三种类型中的一种时，对所述背景部分，根据其类型分别采用所述步骤2)、步骤3)、步骤4)中的过程进行深度赋值；对所述前景部分，深度值赋值为背景部分的深度值中的最小值；判断背景部分不是远景图像、左视图像、右视图像三种类型中的一种时，对所述背景部分赋予第二深度值S2，对所述前景部分赋予第一深度值S1，且S1＜S2。

3.根据权利要求1所述的基于图像分类的深度信息提取方法，其特征在于：所述步骤1)中，将图像从RGB色彩空间转换到HIS色彩空间，根据图像中像素点的H、S、I值判断图像的类型是否属于远景图像。

4.根据权利要求3所述的基于图像分类的深度信息提取方法，其特征在于：判断时，包括如下步骤：A1)，判断像素点的类型：如果100<H(x,y)<180且100<I(x,y)<255，则像素点(x，y)归类为天空的像素点；如果50<H(x,y)<100且100<S(x,y)<255，则像素点(x,y)归类为地面的像素点；A2)统计图像中像素点归类为天空或者地面的像素点的个数Amount，如果Amount大于设定阈值，则图像的类型为远景图像；如果Amount小于等于设定阈值，则图像的类型视为非远景图像。

5.根据权利要求4所述的基于图像分类的深度信息提取方法，其特征在于：对于图像的类型为非远景图像时，先检测图像的边缘，然后检测边缘直线，最后计算检测的边缘直线的斜率值，根据斜率值判断图像为左视图像、右视图像和普通图像中的哪一种。

6.根据权利要求5所述的基于图像分类的深度信息提取方法，其特征在于：图像的边缘直线中，对于每一条斜率值不为零的边缘直线，其斜率值都大于零，则判断图像的类型为左视图像；图像的边缘直线中，对于每一条斜率值不为零的边缘直线，其斜率值都小于零，则判断图像的类型为右视图像；图像的边缘直线不属于上述情况时，则判断图像的类型为普通视图。

7.根据权利要求5所述的基于图像分类的深度信息提取方法，其特征在于：采用Canny算子检测图像的边缘。

8.根据权利要求5所述的基于图像分类的深度信息提取方法，其特征在于：采用Hough变换进行边缘直线检测。

9.根据权利要求1所述的基于图像分类的深度信息提取方法，其特征在于：所述步骤2)中，所赋深度值由块内的垂直方向的坐标值最小的像素点的垂直方向的坐标确定得到；所述步骤3)中，所赋深度值由块内的水平方向的坐标值最小的像素点的水平方向的坐标确定得到；所述步骤4)中，所赋深度值由块内的水平方向的坐标值最小的像素点的水平方向的坐标确定得到。

10.根据权利要求1所述的基于图像分类的深度信息提取方法，其特征在于：所述步骤3)中，所赋深度值为(cols-x)/k1；其中，x表示块内水平方向的坐标值最小的像素点的水平方向的坐标，cols表示图像水平方向的长度，k1为3～5之间的正整数。