CN109785328B - 一种结合区域合并与深度连通性的似物性估计方法 - Google Patents

Abstract

一种结合区域合并和深度连通性的似物性估计方法，在RGB‑D图像上先结合颜色通道信息和深度连通性生成以权重值为表示的边缘轮廓图，接着在边缘轮廓图的基础上获得层次式分割块，然后将不同层次的分割块组合成假想物体，再采用区域生长方法将假想物体扩展成候选物体，最后依据颜色和深度特征对候选物体进行评分和排序，并以得分高的候选物体的边界框作为似物性估计结果。本发明综合利用了RGB‑D图像的颜色通道与深度通道，能够面对RGB‑D中似物性估计的任务，取得比现有方法更加准确和鲁棒的似物性估计效果。

Description

一种结合区域合并与深度连通性的似物性估计方法

技术领域

本发明属于计算机视觉技术领域，涉及到针对RGB-D图像的似物性估计方法，具体为一种结合区域合并与深度连通性的似物性估计方法。

背景技术

似物性估计的目标是用少量的预估框来预测不限种类的物体的位置。这项技术作为计算机视觉领域的基础技术，可以广泛应用于物体识别，图像标注，视觉跟踪等领域，是一个重要且新颖的研究方向。

RGB-D图像包含了颜色和深度两个通道。颜色通道与普通RGB图像相同，每个像素由R、G、B三个值来表示该像素的颜色信息；深度通道在每个像素上用一个值来表示物体与传感器之间的距离。

现有的似物性估计方法可以分为两个类别：窗口评分与区域合并。窗口评分方法根据不同的似物性特征对采样框进行评分。区域合并将图片分解成不同的分割块，然后合并相似的分割块产生最后的结果。

由于物体外观在颜色通道上的多样性与复杂性，现有的针对RGB图像的似物性估计方法在准确性上仍有改进的空间。与之对比的是，物体外表通常在深度通道上是相连的，且物体边缘与背景通常在深度通道上是不连通的。然而，受到采集设备和预测算法的影响，深度通道存在噪声问题。现有的针对RGB-D图像的似物性方法大多采用窗口评分，对深度通道的利用受深度信息质量的影响较大。本发明所涉及的方法为区域合并，并且综合考虑了物体外观特征与深度连通性特征，提高了方法的鲁棒性与准确性。

发明内容

本发明要解决的问题是：针对RGB图像的似物性估计方法忽视了深度通道，准确性不足。虽然利用深度通道的针对RGB-D图像的似物性方法目前已经出现，但容易收到深度信息质量的影响而不能充分利用深度信息，且相关研究仍然处于不成熟的阶段。

本发明的技术方案为：一种结合区域合并与深度连通性的似物性估计方法，在RGB- D图像上先结合颜色通道信息和深度连通性生成以权重值为表示的边缘轮廓图，接着在边缘轮廓图的基础上获得层次式分割块，然后将不同层次的分割块组合成假想物体，再采用区域生长方法将假想物体扩展成候选物体，最后依据颜色和深度特征对候选物体进行评分和排序，并以得分高的候选物体的边界框作为似物性估计结果。

本发明具体包括以下步骤：

1)结合颜色通道信息和深度连通性生成以权重值为表示的边缘轮廓图:

1.1)利用超度量轮廓图方法获得颜色通道的分割∈，以及相邻分割块∈_i与∈_j之间的边缘权重值

1.2)计算相邻分割块∈_i与∈_j之间的深度连通性

1.3)根据1.1)得到的颜色通道的边缘权重值

与1.2)得到的深度连通性

得到结合颜色通道信息和深度连通性的边缘权重值μ_i,j：

其中，e_i,j是相邻分割块∈_i与∈_j的边缘，E是所有边缘的集合；

1.4)计算所有边缘的权重值μ，并合并边缘权重值过小的分割块：

μ←{μ_i,j|μ_i,j≥τ},

其中，τ是一个阈值，取τ＝0.001。

2)利用边缘权重值μ获得层次式分割块

2.1)根据边缘权重值μ对边缘E进行层次式合并：

E^l←{e_i,j|μ_i,j≥σ(l-1)},

其中，σ表示步长，取σ＝0.2；l表示当前层次的序号，l的取值范围是{1,2,3,4,5}；E^l表示当前层次的边缘；

2.2)根据层次式边缘E^l获得对应的层次式分割

l的取值范围是{1,2,3,4,5}。

3)将在

上的分割块组合成假想物体集合

其中，

表示任取一块分割块组成的假想物体集合；

表示任取两块相邻且不重复分割块组成的假想物体集合；

表示任取三块相邻且不重复分割块组成的假想物体集合；

表示任取四块相邻且不重复分割块组成的假想物体集合；

4)对于假想物体集合

中的每个假想物体h，采用区域生长方法扩展成候选物体c：

其中，Φ_h表示与假想物体h相邻的分割块的集合；∈_j是在h中且与∈_i相邻的分割块；ρ^c是一个表示颜色权重的阈值，取ρ^c＝0.9；ρ^d是一个表示深度连通性的阈值，取ρ^d＝0.95；重复进行步骤4)操作，直到h^*＝h，此时h^*即为候选物体c；

5)依据颜色和深度特征对候选物体进行评分和排序，并以得分高的候选物体的边界框作为似物性估计结果:

5.1)采用最大边际相关性模型获得颜色通道评分Θ^c；

5.2)根据候选物体的内部深度连通性和边缘深度连通性获得深度通道评分Θ^d:

Θ^d＝(Υⁱⁿ)³-(F(Υ^bd,α))³,

其中，Υⁱⁿ表示候选物体的内部深度连通性；Υ^bd表示候选物体的边缘深度连通性；F表示惩罚高边缘深度连通性的方法，当Υ^bd小于α时，返回Υ^bd，否则返回1；α是一个阈值，取δ＝0.7。

5.3)根据5.1)得到的颜色通道评分Θ^c与5.2)得到的深度通道评分Θ^d，得到结合颜色和深度特征的评分Θ:

Θ＝βΘ^c+(1-β)Θ^d,

其中，β是一个线性组合的参数，取β＝0.4；

5.4)对候选物体的评分Θ进行排序，取前k个候选物体，并画出边界框作为似物性估计结果。

本发明采用新的颜色与深度的融合方式，简化层次式的合并，采用区域生长方法扩展成候选物体，提出了一种新的似物性估计方法，与现有技术相比有如下优点：采用深度连通性进行似物性估计，有效利用了深度信息，并且利用区域合并方法，结合颜色通道与深度通道，相对于传统方法，提高了方法的召回率与鲁棒性。图3展示了现有针对 RGB-D图像的似物性估计法和本发明的比较结果，可见本发明的似物性估计结果更加精确且鲁棒。

附图说明

图1为本发明的实施流程。

图2与本发明与现有针对RGB-D图像的方法的似物性估计结果的比较示例。

图3为本发明与现有针对RGB-D图像的方法在NJU1800数据集上的比较结果。

表1为本发明与现有针对RGB-D图像的方法的运行效率比较结果。

具体实施方式

本发明针对RGB-D图像提出了一种结合区域合并与深度连通性的似物性估计方法，如图1所示，包括以下步骤：

1)结合颜色通道信息和深度连通性生成以权重值为表示的边缘轮廓图:

1.1)利用超度量轮廓图方法(参考文献1)获得颜色通道的分割∈，以及相邻分割块∈_i与∈_j之间的边缘权重值

其取值范围为[0,1]；

1.2)计算相邻分割块∈_i与∈_j之间的深度连通性

其取值范围为[0,1]，计算方式如下：

其中，d_i与d_j分别表示分割块∈_i与∈_j的平均深度值；

1.3)根据1.1)得到的颜色通道的边缘权重值

与1.2)得到的深度连通性

得到结合颜色通道信息和深度连通性的边缘权重值μ_i,j：

其中，e_i,j是相邻分割块∈_i与∈_j的边缘，E是所有边缘的集合；μ_i,j的取值范围为[0,1]；

1.4)计算所有边缘的权重值μ，并合并边缘权重值过小的分割块：

μ←{μ_i,j|μ_i,j≥τ},

其中，τ是一个阈值，取τ＝0.001。

2)利用边缘权重值μ获得层次式分割块

2.1)根据边缘权重值μ对边缘E进行层次式合并：

E^l←{e_i,j|μ_i,j≥σ(l-1)},

其中，σ表示步长，取σ＝0.2；l表示当前层次的序号，l的取值范围是{1,2,3,4,5}；E^l表示当前层次的边缘；

2.2)根据层次式边缘E^l获得对应的层次式分割

l的取值范围是{1,2,3,4,5}。

3)将在

上的分割块组合成假想物体集合

其中，

表示任取一块分割块组成的假想物体集合；

表示任取两块相邻且不重复分割块组成的假想物体集合；

表示任取三块相邻且不重复分割块组成的假想物体集合；

表示任取四块相邻且不重复分割块组成的假想物体集合；

4)对于假想物体集合

中的每个假想物体h，采用区域生长方法扩展成候选物体c：

其中，Φ_h表示与假想物体h相邻的分割块的集合；∈_j是在h中且与∈_i相邻的分割块；ρ^c是一个表示颜色权重的阈值，取ρ^c＝0.9；ρ^d是一个表示深度连通性的阈值，取ρ^d＝0.95；重复进行步骤4)操作，直到h^*＝h，此时h^*即为候选物体c；

5)依据颜色和深度特征对候选物体进行评分和排序，并以得分高的候选物体的边界框作为似物性估计结果:

5.1)采用最大边际相关性模型(参考文献2)获得颜色通道评分Θ^c；

5.2)根据候选物体的内部深度连通性和边缘深度连通性获得深度通道评分Θ^d:

Θ^d＝(Υⁱⁿ)³-(F(Υ^bd,α))³,

其中，Υⁱⁿ表示候选物体的内部深度连通性；Υ^bd表示候选物体的边缘深度连通性；F表示惩罚高边缘深度连通性的方法，当Υ^bd小于α时，返回Υ^bd，否则返回1；α是一个阈值，取δ＝0.7；内部深度连通性与边缘深度连通性的计算如下：

其中，

表示在候选物体c之内的分割块集合；B_c表示在候选物体c边缘的分割块集合；Φ_i表示分割块∈_i的相邻块集合；|.|表示集合元素个数。

5.3)根据5.1)得到的颜色通道评分Θ^c与5.2)得到的深度通道评分Θ^d，得到结合颜色和深度特征的评分Θ:

Θ＝βΘ^c+(1-β)Θ^d,

其中，β是一个线性组合的参数，取β＝0.4；

5.4)对候选物体的评分Θ进行排序，取前k个候选物体，本发明实施取k＝1000，并画出边界框作为似物性估计结果。

本发明实施在NJU1800数据集上，与目前针对RGB-D图像的方法进行了比较。图2所示为本方法得到的结果和其他方法的结果比较示例，其中图2(f)为本方法的结果。参与比较的代表性方法如图2(a)-(f)所示，依次为：adaptive integration of depth and color(AIDC —参考文献3)，depth-aware layered edge(DLE—参考文献4)，elastic edgeboxes(EEB—参考文献5)，在objectness(OBJ—参考文献6)基础上把深度通道作为颜色通道第四维处理的基准线OBJ*，以及在multi-thresholding straddling expansion ofmultiscale combinatorial grouping(M-MCG—参考文献7)基础上把深度通道作为颜色通道第四维处理的基准线M*- MCG。图3(a)展示了各种方法在似物性估计结果和人工标识测试基准的交并比(IoU)为 0.8时似物性估计结果的数量与召回率的关系，图3(b)展示了似物性估计结果数量与平均召回率的曲线，图3(c)展示了返回1000个似物性估计结果时交并比与召回率的曲线，其中实线表示本发明方法的曲线。表1为本发明方法与现有针对RGB-D的方法运行效率的比较结果。

由图3可以发现，在IoU为0.8时，本方法的效果优于现有方法；在平均召回率上，本方法优于其它方法。当返回1000个似物性估计结果时，本方法优于其他方法。由此可见，本发明能够适应不同的似物性估计结果数量与IoU要求。由表1可以发现，本发明方法消耗时间与同为区域合并类型的M*-MCG相似。综合物体位置预测效果和时间开销，本发明方法优于现有的似物性估计方法。

表1

参考文献：

1.Arbelaez,P.:Boundary extraction in natural images using ultrametriccontour maps.In: CVPR Workshop.p.182(2006)

2.Arbelaez,P.,Pont-Tuset,J.,Barron,J.T.,Marques,F.,Malik,J.:Multiscale combinatorial grouping.In:CVPR.pp.328–335(2014)

3.Xu,X.,Ge,L.,Ren,T.,Wu,G.:Adaptive integration of depth and colorfor objectnes estimation.In:ICME.pp.1–6(2015)

4.Liu,J.,Ren,T.,Bao,B.K.,Bei,J.:Depth-aware layered edge for objectproposal.In:ICME. pp.1–6(2016)

5.Liu,J.,Ren,T.,Wang,Y.,Zhong,S.H.,Bei,J.,Chen,S.:Object proposalonRGB-D images via elastic edge boxes.Neurocomputing(2016)

6.Alexe,B.,Deselaers,T.,Ferrari,V.:Measuring the objectness of imagewindows.TPAMI 34, 2189–2202(2012)

7.Chen,X.,Ma,H.,Wang,X.,Zhao,Z.:Improving object proposals withmulti-thresholding straddling expansion.In:CVPR.pp.2587–2595(2015)。

Claims (3)

1.一种结合区域合并和深度连通性的似物性估计方法，其特征是在RGB-D图像上先结合颜色通道信息和深度连通性生成以权重值为表示的边缘轮廓图，接着在边缘轮廓图的基础上获得层次式分割块，然后将不同层次的分割块组合成假想物体，再采用区域生长方法将假想物体扩展成候选物体，最后依据颜色和深度特征对候选物体进行评分和排序，并以得分高的候选物体的边界框作为似物性估计结果；具体包括以下步骤：

1)结合颜色通道信息和深度连通性生成以权重值为表示的边缘轮廓图：

1.1)利用超度量轮廓图方法获得颜色通道的分割∈，以及相邻分割块∈_i与∈_j之间的边缘权重值

1.2)计算相邻分割块∈_i与∈_j之间的深度连通性

1.3)根据1.1)得到的颜色通道的边缘权重值

与1.2)得到的深度连通性

得到结合颜色通道信息和深度连通性的边缘权重值μ_i,j：

其中，e_i,j是相邻分割块∈_i与∈_j的边缘，E是所有边缘的集合；

1.4)计算所有边缘的权重值μ，并合并边缘权重值过小的分割块：

μ←{μ_i,j|μ_i,j≥τ},

其中，τ是一个阈值，取τ＝0.001；

2)利用边缘权重值μ获得层次式分割块

2.1)根据边缘权重值μ对边缘E进行层次式合并：

E^l←{e_i,j|μ_i,j≥σ(l-1)},

其中，σ表示步长，取σ＝0.2；l表示当前层次的序号，l的取值范围是{1,2,3,4,5}；E^l表示当前层次的边缘；

2.2)根据层次式边缘E^l获得对应的层次式分割

l的取值范围是{1,2,3,4,5}；

3)将在

上的分割块组合成假想物体集合

其中，

表示任取一块分割块组成的假想物体集合；

表示任取两块相邻且不重复分割块组成的假想物体集合；

表示任取三块相邻且不重复分割块组成的假想物体集合；

表示任取四块相邻且不重复分割块组成的假想物体集合；

4)对于假想物体集合

中的每个假想物体h，采用区域生长方法扩展成候选物体c：

其中，Φ_h表示与假想物体h相邻的分割块的集合；∈_j是在h中且与∈_i相邻的分割块；ρ^c是一个表示颜色权重的阈值，取ρ^c＝0.9；ρ^d是一个表示深度连通性的阈值，取ρ^d＝0.95；重复进行步骤4)操作，直到h^*＝h，此时h^*即为候选物体c；

5)依据颜色和深度特征对候选物体进行评分和排序，并以得分高的候选物体的边界框作为似物性估计结果:

5.1)采用最大边际相关性模型获得颜色通道评分Θ^c；

5.2)根据候选物体的内部深度连通性和边缘深度连通性获得深度通道评分Θ^d：

Θ^d＝(γⁱⁿ)³-(F(γ^bd,α))³,

其中，γⁱⁿ表示候选物体的内部深度连通性；γ^bd表示候选物体的边缘深度连通性；F表示惩罚高边缘深度连通性的方法，当γ^bd小于α时，返回γ^bd，否则返回1；α是一个阈值，取δ＝0.7；

5.3)根据5.1)得到的颜色通道评分Θ^c与5.2)得到的深度通道评分Θ^d，得到结合颜色和深度特征的评分Θ:

Θ＝βΘ^c+(1-β)Θ^d,

其中，β是一个线性组合的参数，取β＝0.4；

5.4)对候选物体的评分Θ进行排序，取前k个候选物体，并画出边界框作为似物性估计结果。

2.根据权利要求1所述的一种结合区域合并和深度连通性的似物性估计方法，其特征是步骤1.2)所述深度连通性的计算为：

a)如果分割块∈_i与∈_j相邻，深度连通性

的计算为：

其中，d_i与d_j分别表示分割块∈_i与∈_j的平均深度值；

b)如果分割块∈_i与∈_j不相邻，深度连通性

的计算为：

其中，P_i,j表示分割块∈_i与∈_j之间的连通路径的集合；

表示连通路径p_k的深度连通性，定义p_k:

其中N是不包括∈_i与∈_j的连通路径p_k的节点个数，则

的计算为：

3.根据权利要求1所述的一种结合区域合并和深度连通性的似物性估计方法，其特征是步骤5.2)所述内部深度连通性与边缘深度连通性的计算为：

其中，

表示在候选物体c之内的分割块集合；B_c表示在候选物体c边缘的分割块集合；

Φ_i表示分割块∈_i的相邻块集合；|.|表示集合元素个数。

Images