CN106157293A

CN106157293A - 一种基于遮挡特征学习的深度次序推理方法

Info

Publication number: CN106157293A
Application number: CN201510196675.2A
Authority: CN
Inventors: 明安龙; 宋桂岭
Original assignee: WUXI BUPT PERCEPTIVE TECHNOLOGY INDUSTRY INSTITUTE Co Ltd
Current assignee: WUXI BUPT PERCEPTIVE TECHNOLOGY INDUSTRY INSTITUTE Co Ltd
Priority date: 2015-04-24
Filing date: 2015-04-24
Publication date: 2016-11-23

Abstract

本发明提供了一种基于遮挡特征学习的深度次序推理方法，包括以下步骤：通过伯克利算法获得过分割图像，使用一种遮挡边缘分类器，从普通边缘中提取过分割边缘；经过颜色模型处理，提取遮挡边缘特征；选择基于稀疏的分类器，训练并判定遮挡边缘；通过融合同层区域，去除伪边缘，避免了遮挡边缘分类器的过程中存在的误判问题；采用一种新的三重描述算子，实现半局部深度次序推理；最后，通过建模，把局部深度次序描述为一种偏序关系，通过图论的相关知识，把全局深度次序推理转化为一种求有向图中的有效路径的问题，从而完成整幅图像的深度次序推理。

Description

一种基于遮挡特征学习的深度次序推理方法

技术领域

本发明涉及一种基于遮挡特征学习的深度次序推理方法研究与实现。

背景技术

单目图像的深度次序推理，最初是由N.Mark和D.Mumford在1990年提出的。单目图像的深度次序推理包括两个过程：把图像分割为不重叠区域的过程和把分割后的区域按遮挡关系排序的过程。区域是边缘之间的部分。因此，把图像分割为不重叠区域的过程就可以转化为对边缘进行检测尤其是对遮挡边缘进行检测的过程。P.Arbelaez和J.Malik提出了边缘检测的方法。但是，他们所使用的方法只适用于分层概率边缘图，并且噪声边缘会严重地影响深度次序推理的结果。相对地，使用基于遮挡关系边缘图的方法，具有更好的鲁棒性。

遮挡关系的排序类似于前景背景分配的任务。在传统的方法中，“T-连接点”和“凹凸性”常被用来判决前景-背景关系。受到X.Ren，C.Fowlkes所著的“自然图像中的前景-背景分配”的启发，因此，判决的过程，本质上就是一种分类的过程。在这个基础上，本发明提出了一种新颖的适合于遮挡分类的算法。

单目图像的深度次序推理有诸多实际应用，包括模式识别、图像可视化。现存的一些单目图像的深度次序推理，因为场景中3D信息的缺失，深度次序推理的效果不是很好。本发明可以通过使用多种深度特征，弥补3D信息的缺失，保留跟深度次序有关的特征，减少无关因素的干扰。因为在整个推理过程中融合了多种特征，存在冗余特征，本发明通过对已经获得的多种特征，进行学习，完成深度次序推理。

发明内容

本发明的目的在于针对上述技术存在的缺陷，提出了一种基于遮挡特征学习的深度次序推理方法。本发明通过使用一种基于稀疏的分类器遮挡边缘分类器，提高了计算效率；采用一种新的三重描述算子，实现了边缘和边缘之间点描述；对遮挡边缘进行二次分类，融合同层区域，去除伪边缘，避免了遮挡边缘分类器的过程中存在的误判问题。

本发明是通过如下技术方案实现的，一种基于遮挡特征学习的深度次序推理方法，其特征在于：包括以下步骤：

(1)获得过分割图像：输入图像，通过伯克利算法获得过分割图像；

(2)提取过分割边缘：首先计算步骤(1)中所述的过分割图像中所有三分叉的连接点，每两个连接点形成一条边缘，多个边缘之间形成一个区域；然后，记录下所有连接点、每对连接点形成的边缘、每条边缘两侧的区域的详细信息，最终，过分割图像被划分成了连接点、边缘以及区域三个成分，且他们彼此之间互相联系；

(3)提取遮挡边缘特征：首先将过分割图像经过颜色模型处理，处理后的过分割图像的边缘特征转化为多个特征向量，然后用相邻区域的差的绝对值，来描述边缘，得到多个遮挡边缘特征；

(4)训练并判定遮挡边缘分类器：采用基于稀疏性的分类方法，从步骤(3)中的多个遮挡边缘特征中，选择出有辨识性的特征，完成遮挡边缘的分类；

(5)半局部深度次序推理：使用三重描述算子，来描述半局部的前景-背景关系；

所述的三重描述算子包含三个元素：两个T连接点，和两个连接点之间的一条曲线；如果两个连接点中只有一个是有效的，那么该曲线划分的线索，就是一种可靠的预测；通过使用三重描述算子，可以得到一种跟次序有关的偏序关系；

(6)全局深度次序推理：基于步骤(5)的半局部深度次序推理，可以获得临近区域的两两之间的关系，进而得到一个深度次序的有向图；然后，使用T.Cormen提到的“深度优先算法”从有向图的每个顶点开始，沿着顶点搜索路径，并判断该路径是否可以遍历完所有的顶点；一条能够遍历完所有顶点的有效路径即为本发明所要求解的全局深度次序推理结果，从而完成整幅图像的深度次序推理。

所述的步骤(3)中的边缘特征包括颜色特征和纹理特征两个方面，其中，颜色特征包括颜色属性和HSI颜色空间；颜色属性可以将RGB值映射为11个维度的颜色值，HSI颜色空间可以生成24个维度的直方图；纹理特征包括角二阶矩特征、对比度特征、可差分矩阵特征、熵特征和关联特征。

所述的步骤(4)中基于稀疏性的分类方法，步骤如下：

a)求最小化指标向量x：将步骤(3)中得到的多个遮挡边缘特征向量列在一起，组成一个矩阵A，矩阵A的每一行代表一个维度的特征值，L代表是否存在遮挡关系；若L＝1，则表示该边是遮挡边缘；若L＝-1，则该边是非遮挡边缘；最小化指标向量公式，求得最小化的指标向量x，最小化的指标向量x公式如下：

\min_{x} {| | A^{T} x - L | |}_{2}^{2} + λ {| | x | |}_{1}

b)对待测图像数据，重复步骤(1)-(3)，得到代表各个待测数据遮挡边缘的向量B，利用a)中求得的指标向量x，根据公式：L′＝B^Tx，如果L′＝1，则代表该边缘是遮挡边缘；如果L′＝-1，则代表该边缘是非遮挡边缘，完成对新获得的图像数据的遮挡边缘的分类。

所述的步骤(4)中还包括去除伪边缘步骤：通过在使用遮挡分类器时降低阈值，对步骤(4)中经过一级分类器判断为遮挡的边缘进行二次训练，融合同层区域，以改善漏检率。

本发明的优点在于：

(1)采用基于稀疏性的分类器，进行有区分度的深度信息特征选择；

(2)在特征选择的过程中，结合遮挡边缘检测和同层关系判决，既降低了搜索空间又提高了判断的效率；

(3)在遮挡关系描述上，提出了一种新的三重描述算子来描述次序关系，实现边缘和边缘之间的点的密切联系；

(4)通过建模，将全局深度次序推理过程转化为一个有向图模型，将问题的求解转化为求有向图的有效路径的问题。

附图说明

图1是本发明所述方法的流程图

具体实施方式

下面结合附图对本发明作进一步的描述。

如附图1所示：一种基于遮挡特征学习的深度次序推理方法，包括以下步骤：

(1)获得过分割图像：首先通过伯克利算法得到原图像的软边界图，然后用一个较小的阈值对软边界图进行二值化，得到过分割图像。

(2)提取过分割边缘：首先计算所有三分叉的连接点，每两个连接点形成一条边缘，多个边缘之间形成一个区域；然后，记录下所有连接点、每对连接点形成的边缘、每条边缘两侧的区域的详细信息，最终，过分割图像被划分成了连接点、边缘以及区域三个成分，且他们彼此之间互相联系。

(3)提取遮挡边缘特征：首先将过分割图像经过颜色模型处理，处理后的过分割图像的边缘特征包括颜色特征和纹理特征两个方面，其中颜色特征又包括颜色属性和HSI颜色空间；颜色属性能够可以将RGB值映射为11个维度的颜色值，HSI颜色空间能够生成24个维度的直方图；纹理特征主要采取了角二阶矩特征，对比度特征，可差分矩阵特征，熵特征和关联特征；最终把颜色和纹理特征转化为55个维度的特征向量，然后用相邻区域的差的绝对值，来描述边缘，得到多个遮挡边缘特征。

(4)训练并判定遮挡边缘分类器：选择一种基于稀疏性的分类器从步骤(3)中多个遮挡边缘特征中，选择出有辨识性的特征，完成遮挡边缘的分类，具体步骤如下：

a)训练基于稀疏分类器的实质，是寻找一个最小化的指标向量x，公式描述如下：

\min_{x} {| | A^{T} x - L | |}_{2}^{2} + λ {| | x | |}_{1}

将步骤(3)中得到的55个维度的遮挡边缘特征向量列在一起，组成一个矩阵A，矩阵A的每一行代表一个维度的特征值，L代表是否存在遮挡关系；其中，若L＝1，则表示该边是遮挡边缘，若L＝-1，则该边是非遮挡边缘；x代表该维度的特征值对判定遮挡关系的重要性，它的意义类似于权重；在上面的公式中，除了向量x是未知的，其他向量都是已知的；通过最小化上面的公式，可以求得最小化的指标向量x。

b)在测试的过程中，重复步骤(1)-(3)，得到代表各个测试数据的遮挡边缘的向量B，利用a)中求得的指标向量x，根据公式：L′＝B^Tx，如果L′＝1，则代表该边缘是遮挡边缘；如果L′＝-1，则代表该边缘是非遮挡边缘，完成对新获得的图像数据的遮挡边缘的分类。

(5)去除伪边缘(二次分类)：考虑到最终的层次关系判定是基于较大的区域进行的，而一旦出现特殊的漏检，比如两个不同明显不同层的区域出现了边缘缺损，就会严重影响最终的层次判断，因此本发明在使用分类器时降低了阈值以改善漏检率；具体做法为：对所有训练样本提取遮挡边缘，对步骤(4)中经过一级分类器判断为遮挡的边缘进行二次训练，融合同层区域；因为此时边缘个数大幅度减少，区域面积大幅度增加，有更多的梯度特征可以利用。

(6)半局部深度次序推理：根据步骤(5)获得的遮挡边缘，可以得到相应的遮挡区域，为了进行局部深度次序推理，本发明使用了一种三重描述算子，来描述半局部的前景-背景关系；该三重描述算子包含三个元素：两个T连接点，和两个连接点之间的一条曲线；如果两个连接点中只有一个是有效的，那么该曲线划分的线索，就是一种可靠的预测，因此这种方法可以降低局部推理的错误率。通过使用三重描述算子，就得到了一种跟次序有关的偏序关系。

(7)全局深度次序推理：基于步骤(6)的局部深度次序推理，可以获得临近区域的两两之间的关系，进而得到一个深度次序的有向图；然后，使用T.Cormen提到的“深度优先算法”从图的每个顶点开始，沿着顶点搜索路径，并判断该路径是否可以遍历完所有的顶点；一条能够遍历所有顶点的有效路径即为本发明所要求解的全局深度次序推理结果，进而完成整幅图像的深度次序推理。因为搜索区域有限，因此，完成上述搜索过程的时间耗费并不是很高。

本发明的目的是针对一般场景的单目图像的深度次序推理方法的研究与实现，本发明以Cornell Depth-Order数据集和NYU 2数据集的一部分图片来说明本发明的方法，别的固定场景的深度次序推理完全可以依此实现。

表1列出了本发明方法和用于比较的5个只使用了部分特征的方法的结果，结果的数值越大表示深度次序推理的结果越准确，从表1中可以看到，本发明方法都达到了最高的准确率。其中(o)是一种基准方法，(I)只使用了半局部特征，(II)只使用了全局特征，(III)只使用了颜色特征，(IV)只使用了纹理特征，(V)为本发明方法。

	(o)	(I)	(II)	(III)	(IV)	(V)
							Cornell	79.1	82.3	84.0	88.3	85.9	90.7
NYU2	60.3	62.9	65.1	65.1	69.7	75.7

表1基于Cornell Depth-Order Dataset(D)和NYU 2Dataset(N)的深度次序推理的准确性

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内的所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于遮挡特征学的深度次序推理方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的基于遮挡特征学习的深度次序推理方法，其特征在于：所述的步骤(3)中的边缘特征包括颜色特征和纹理特征两个方面。

3.根据权利要求2所述的基于遮挡特征学习的深度次序推理方法，其特征在于：所述的颜色特征包括颜色属性和HSI颜色空间；

其中，所述的颜色属性可以将RGB值映射为11个维度的颜色值；所述的HSI颜色空间可以生成24个维度的直方图；

所述的纹理特征包括角二阶矩特征、对比度特征、可差分矩阵特征、熵特征和关联特征。

4.根据权利要求1所述的基于遮挡特征学习的深度次序推理方法，其特征在于：所述的步骤(4)中基于稀疏性的分类方法，步骤如下：

\min_{x} {| | A^{T} x - L | |}_{2}^{2} + λ {| | x | |}_{1}

5.根据权利要求1所述的基于遮挡特征学习的深度次序推理方法，其特征在于：所述的步骤(4)中还包括去除伪边缘步骤：通过在使用遮挡分类器时降低阈值，对步骤(4)中经过一级分类器判断为遮挡的边缘进行二次训练，融合同层区域，以改善漏检率。