一种基于单目图像中物体的深度次序推理方法
技术领域
本发明涉及计算机视觉领域,尤其涉及一种基于单目图像中物体的深度次序推理方法。
背景技术
单目图像中物体的深度次序推理问题至今已从多种角度进行了讨论,例如前景后景分割、深度分割以及遮挡恢复等。其推理方法可简述为将图像分割为互不重叠的区域再对这些区域按遮挡关系进行层次排序。
遮挡边缘的检测在深度次序推断过程中起着至关重要的作用。已经报道的边缘检测的方法:gPb-OWT-UCM,给出了每一像素是否为边缘的概率。然而,由于自然场景的复杂属性,在对图像进行分割的过程中,并不能很好地保留遮挡边缘。传统的边缘线索如T角点和凹凸性常常用于判断区域前后关系。
现存的一些单目图像中物体的深度次序推理,因为场景中三维信息的缺失,深度次序推理的效果不是很好。本发明通过使用多种深度特征,弥补了三维信息的缺失,保留了跟深度次序有关的特征,减少无关因素的干扰。因为融合了多种特征,所以特征很丰富,但是存在冗余。通过对已经获得的多种特征,进行学习,来去粗取精,去伪存真。
发明内容
本发明的目的在于针对上述技术存在的缺陷,提出了一种基于单目图像中物体的深度次序推理方法。本发明通过使用一种基于稀疏编码的分类器检测遮挡边缘,节省时间和空间,提高了计算效率;采用一种新的三重描述算子,以一条边缘及两端的角点为线索进行遮挡边缘描述;采用核函数岭回归模型来进一步获得最为可靠的边缘概率图,提取遮挡边缘,为深度次序推断提供充足线索。
本发明是通过如下技术方案实现的,一种基于单目图像中物体的深度次序推理方法,其特征在于:包括以下步骤:
(1)获得过分割图像:首先,输入图像,对输入图像进行超像素化,利用SP-UCM方法过分割图像,得到原图像的软边界图,然后对软边界图进行二值化,从而得到过分割图像;
(2)提取过分割边缘:首先计算步骤(1)中所述的过分割图像中所有三分叉的连接点,每两个连接点形成一条边缘,多个边缘之间形成一个区域;然后,记录下所有连接点、每对连接点形成的边缘、每条边缘两侧的区域的详细信息,最终,过分割图像被划分成了连接点、边缘以及区域三个成分,从而可以提取出过分割边缘;
(3)提取遮挡边缘特征:首先将过分割图像经过颜色模型处理,得到颜色特征、纹理特征两个方面的多个特征向量;然后利用Gabor滤波器去捕捉边缘响应信息,最终得到颜色特征、纹理特征和边缘响应信息三个方面的多个特征向量,最后用相邻区域的差的绝对值,来描述边缘,得到多个遮挡边缘特征;
(4)特征子空间学习:采用基于稀疏性的回归模型分类器,从步骤(3)中的多个遮挡边缘特征中,学习并选择出有辨识度的特征子空间,完成最佳效果遮挡边缘区分;
(5)利用岭回归模型分类边缘:在步骤(4)中学习到的特征子空间基础上,首先,利用Meanshift聚类方法分别对正负样本空间进行聚类,将训练样本聚类为117个正样本的特征聚类中心和356个负样本特征的聚类中心;然后,再建立多项式核函数,将降维的特征子空间映射到高维的线性可分的特征空间中,从而学习到相应回归模型,即本专利所需要的遮挡边缘分类器;当给定新图像时,就可以根据提取的遮挡特征和学习的回归模型,提取出图像的遮挡边缘;
(6)半局部深度次序推理:根据步骤(5)中获得的遮挡边缘,使用三重描述算子,来描述半局部的前景-背景关系;
所述的三重描述算子包含三个元素:两端角点,和两端角点之间的一条曲线边缘;只要两端角点中有一个是有效的,那么该曲线划分的线索,就是一种可靠的预测;通过使用三重描述算子,可以得到一种跟次序有关的偏序关系;
(7)全局深度次序推理:基于步骤(6)的半局部深度次序推理,可以获得临近区域的两两之间的关系,进而得到一个深度次序的有向图;然后,使用T.Cormen提到的“深度优先算法”从有向图的每个顶点开始,沿着顶点搜索路径,并判断该路径是否可以遍历完所有的顶点;一条能够遍历完所有顶点的有效路径即为本发明所要求解的全局深度次序推理结果,从而完成整幅图像中物体的深度次序推理。
所述的步骤(3)中颜色特征包括颜色属性和HSI颜色空间;其中,所述的颜色属性可以将RGB值映射为11个维度的颜色值特征;所述的HSI颜色空间可以映射成24个维度的直方图特征;
所述的步骤(3)中的纹理特征包括角二阶矩特征、对比度特征、可差分矩阵特征、熵特征和关联特征,并从4个方向去提取,形成20维特征。
所述的步骤(3)中的边缘相应信息采用三种维度,每一维度从12个方向去提取该特征,形成36维特征。
进一步包括对步骤(4)中所述的基于稀疏性的回归模型分类器的训练,即求最小化指标向量x,最小化的指标向量x公式如下:
F为训练数据矩阵,即把前面提取的所有边缘的特征按行排列,矩阵的每一行代表一条边缘,每一列代表该边缘对应的特征维度的特征值;S为标签矩阵,+1表示遮挡,-1表示非遮挡;x表示该维度的特征值对于区分边缘遮挡的能力,可理解为权重系数;在上面的公式中,只有向量x是未知的,因而通过最小化上面的公式,可以求得最小化的指标向量x。
本发明的优点在于:
(1)提出了一种新颖的基于稀疏性的回归分类器,来学习那些具有区分力的特征子空间,并且设计的该分类器综合了判别性特征学习、遮挡边缘检测以及同层区域关系判断这三种功能,节省了深度次序推断的时间和空间,提升效率;
(2)在学习到的特征子空间中,采用核函数岭回归模型来进一步获得最为可靠的边缘概率图,提取遮挡边缘,为深度次序推断提供充足线索;
(3)在遮挡关系描述上,提出了一种新的三重描述算子来描述次序关系,实现边缘和边缘之间的点的密切联系;
(4)通过建模,将全局深度次序推理过程转化为一个有向图模型,将问题的求解转化为求有向图的有效路径的问题。
附图说明
图1是本发明所述方法的流程图
具体实施方式
下面结合附图对本发明作进一步的描述。
如附图1所示:一种基于单目图像中物体的深度次序推理方法,包括以下步骤:
(1)获得过分割图像:首先,输入图像,对输入图像进行超像素化,利用SP-UCM方法过分割图像,得到原图像的软边界图,然后对软边界图进行二值化,从而得到过分割图像。
(2)提取过分割边缘:首先计算步骤(1)中所述的过分割图像中所有三分叉的连接点,每两个连接点形成一条边缘,多个边缘之间形成一个区域;然后,记录下所有连接点、每对连接点形成的边缘、每条边缘两侧的区域的详细信息,最终,过分割图像被划分成了连接点、边缘以及区域三个成分,从而可以提取出过分割边缘。
(3)提取遮挡边缘特征:提取遮挡边缘特征:首先将过分割图像经过颜色模型处理,得到颜色特征、纹理特征两个方面的多个特征向量,其中,颜色特征包括颜色属性和HSI颜色空间,颜色属性可以将RGB值映射为11个维度的颜色值特征;HSI颜色空间可以映射成24个维度的直方图特征;纹理特征包括角二阶矩特征、对比度特征、可差分矩阵特征、熵特征和关联特征,并从4个方向去提取,形成20维特征;然后利用Gabor滤波器去捕捉边缘响应信息,该边缘相应信息采用三种维度,每一维度从12个方向去提取该特征,形成36维特征;最终得到颜色特征、纹理特征和边缘响应信息三个方面的多个特征向量,最后用相邻区域的差的绝对值,来描述边缘,得到多个遮挡边缘特征。
(4)特征子空间学习:采用基于稀疏性的回归模型分类器,从步骤(3)中的多个遮挡边缘特征中,学习并选择出有辨识度的特征子空间,完成最佳效果遮挡边缘区分;该步骤中包括对基于稀疏性的回归模型分类器的训练,即求最小化指标向量x,最小化的指标向量x公式如下:
F为训练数据矩阵,即把前面提取的所有边缘的特征按行排列,矩阵的每一行代表一条边缘,每一列代表该边缘对应的特征维度的特征值;S为标签矩阵,+1表示遮挡,-1表示非遮挡;x表示该维度的特征值对于区分边缘遮挡的能力,可理解为权重系数;在上面的公式中,只有向量x是未知的,因而通过最小化上面的公式,可以求得最小化的指标向量x。
(5)利用岭回归模型分类边缘:
步骤1:在步骤(4)中学习到的特征子空间的基础上,利用岭回归模型去进行遮挡边缘检测,其目标函数如下:
其中,C(x)=<w,x>+b,lq为对应边缘eq的遮挡标记,表示把原样本特征空间f映射到学习到的特征子空间中,w为回归系数,γ为参数。
步骤2:由于训练的边缘特征样本过于庞大,即使已经降维,但要学习到回归系数仍十分麻烦,本实施例中利用Meanshift聚类方法分别对正样本空间(对应标记为遮挡的边缘)和负样本空间(对应标记为非遮挡的边缘)进行聚类,从而将庞大的训练样本聚类为117个正样本的特征聚类中心和356个负样本特征的聚类中心;这样一方面保留了具有辨识度的遮挡边缘信息,另一方面大大减少了样本数量。
步骤3:由于特征空间的数据分布特性,边缘在特征子空间中可能线性不可分,为解决这一问题,本发明建立一个多项式核函数K,把它们映射到高维的线性可分的特征空间中,多项式核函数公式如下所示:
从而,基于核函数的岭回归模型可利用如下公式进行求解:
其中,为回归系数向量,K为根据核函数求得的核矩阵,Kpq即对应多项式核函数公式,I是单位矩阵,S为上面的标签矩阵;通过以上求解以上公式,可以学习到相应回归模型。
步骤4:在测试的过程中,重复步骤1-3,得到代表各个测试数据的边缘遮挡特征的向量A,同样先利用核函数去构造该样本特征的核矩阵K,再用核矩阵K和以学习到的回归系数矩阵相乘,即如果,S'=1,则代表该边缘是遮挡边缘;如果S'=-1,则代表该边缘是非遮挡边缘;这样就可以对新获得的图像数据,完成遮挡边缘的分类。
(6)半局部深度次序推理:根据步骤(5)中获得的遮挡边缘,使用三重描述算子,来描述半局部的前景-背景关系;该三重描述算子包含三个元素:两端角点,和两端角点之间的一条曲线边缘;只要两端角点中有一个是有效的,那么该曲线划分的线索,就是一种可靠的预测;通过使用三重描述算子,可以得到一种跟次序有关的偏序关系;
(7)全局深度次序推理:基于步骤(5)的半局部深度次序推理,可以获得临近区域的两两之间的关系,进而得到一个深度次序的有向图;然后,使用T.Cormen提到的“深度优先算法”从有向图的每个顶点开始,沿着顶点搜索路径,并判断该路径是否可以遍历完所有的顶点;一条能够遍历完所有顶点的有效路径即为本发明所要求解的全局深度次序推理结果,从而完成整幅图像中物体的深度次序推理。
本发明的目的是针对一般场景的单目图像中物体的深度次序推理方法的研究与实现,本发明以Cornell Depth-Order数据集和NYU 2数据集的一部分图片来说明本发明的方法,别的固定场景的深度次序推理完全可以依此实现。
表1列出了本发明方法和用于比较的5个只使用了部分特征的方法的结果,结果的数值越大表示深度次序推理的结果越准确,从表1中可以看到,本发明方法都达到了最高的准确率。其中(O)是一种基准方法,(I)只使用了半局部特征,(II)只使用了全局特征,(III)只使用了颜色特征,(IV)只使用了纹理特征,(V)为本发明方法。
|
(O) |
(I) |
(II) |
(III) |
(IV) |
(V) |
Cornell |
79.1 |
82.3 |
84.0 |
88.3 |
85.9 |
92.1 |
NYU2 |
60.3 |
62.9 |
65.1 |
71.5 |
69.7 |
79.2 |
表1基于Cornell Depth-Order Dataset(D)和NYU 2Dataset(N)的深度次序推理的准确性
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内的所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。