CN107610136B

CN107610136B - 基于凸包结构中心查询点排序的显著目标检测方法

Info

Publication number: CN107610136B
Application number: CN201710866766.1A
Authority: CN
Inventors: 曹剑中; 王亚楠; 王华伟; 黄会敏
Original assignee: XiAn Institute of Optics and Precision Mechanics of CAS; University of Chinese Academy of Sciences
Current assignee: XiAn Institute of Optics and Precision Mechanics of CAS; University of Chinese Academy of Sciences
Priority date: 2017-09-22
Filing date: 2017-09-22
Publication date: 2019-12-31
Anticipated expiration: 2037-09-22
Also published as: CN107610136A

Abstract

本发明属于计算机图像识别领域，具体涉及一种基于凸包结构中心查询点排序的显著目标检测方法，包括步骤：1)构造目标区域的凸包结构，求出凸包中心；2)对图像进行超像素分割，以超像素作为节点构建闭环图模型并计算最优相似度矩阵；3)以凸包中心所在超像素及其邻接超像素为标签过的查询点，构建标签向量，进行流形排序得到前景显著图；4)以距离凸包中心最近的两条边构建标签向量，流形排序得到背景显著图；5)将前景显著图和背景显著图二值化，交集处理后得到种子节点集合，进行流形排序得到最终显著图。本发明实现的是一种自底向上的显著目标检测方法，采用凸包结构进行中心先验，能够准确地找出显著目标的位置，获得准确的前景特征。

Description

基于凸包结构中心查询点排序的显著目标检测方法

技术领域

本发明属于计算机图像识别领域，具体涉及一种基于凸包结构中心查询点排序的显著目标检测方法。

背景技术

人类在接收和感知外部世界的时候，80％的信息都是通过视觉注意。因而人类具有非常强的图像数据处理的能力，而且能够快速的在复杂的视觉场景中分辨并筛选出显著的区域。而在计算机视觉领域，随着多媒体和互联网的飞速发展和图片的井喷式增长，图像的处理至关重要。显著目标检测就是图像分析和处理前期的一个重要工作，模拟人对于显著目标的快速获取能力，对目标区域的快速检测可以将计算资源优先分配给显著区域，减少了非显著区域对资源的浪费，能够显著的提高计算机的处理和分析能力。准确的检测出图像的显著图是近几年不断深入讨论的一个课题，并且应用在很多方向，包括目标识别、图像压缩、分割、匹配、自适应编码、图像视频摘要等。

现有的图像显著性检测算法按照实现方式，可分为两大类：自底向上的目的驱动模型和自顶向下的任务驱动模型。自顶向下的模型是从高级语义入手，通过任务驱动，如对特定目标进行检测。而自底向上模型是从底层入手，对图像的颜色，边缘，纹理等信息进行处理。

常用的显著目标检测算法主要有基于局部对比和基于全局对比两种。

局部对比方法将某区域与邻域内其他区域进行比较，如多尺度测量方式，中心-周围算子等。Ma和Zhang提出了基于LUV颜色空间计算感知单元的邻域对比，通过模糊增长的方式提取显著区域^[1]。Liu等利用高斯金字塔的线性融合，计算多尺度局部对比度特征来得到显著区域^[2]。Borji利用字典学习的方法从自然图片中学习图像的稀疏编码，利用稀疏编码分析图像的局部对比度^[3]。基于局部对比度的方法过于注重图像的细节，无法均匀的凸显整个显著区域，而且存在噪声误检。

全局对比方法是将某区域与整个图像范围内的其他区域均进行比较。Cheng提出了一种基于直方图对比度的计算方式(RC)^[4]，该方法首先将图进行过分割为小的区域，以全局范围的颜色距离和空间距离加权衡量每个区域的显著性，特殊颜色空间分布用来描述显著区域。Yang提出了一种基于图模型的显著目标检测方法(MR算法)^[5]，将流形排序^[6]引入到显著性检测中。以上全局对比方法虽然具有不错的效果和一定的代表性，但由于过分依赖边界背景，导致对于目标严重偏离中心区域的图像或背景复杂的图像，无法准确地检测出显著区域。

现有技术文件信息如下：

[1]Y.F.Ma,H.J.Zhang.Contrast-Based Image Attention Analysis by UsingFuzzy Growing[C].Proceedings of the Eleventh ACM International Conference onMultimedia,Berkeley,CA,USA,2003,374-381

[2]T.Liu,J.Sun,N.N.Zheng.Learning to detect a salient object[C].Proceedings of IEEE Conference on Computer Vision and Pattern Recognition,Minneapolis,Minnesota,USA,2007,1-8

[3]Borji A.Itti L.Exploiting local and global patch rarities forsaliency detection[C].Computer Vision and Pattern Recognition(CVPR),2012IEEEconference on.IEEE,2012:478-485.

[4]M.M.Cheng,G.X.Zhang,N.J.Mitra,et al.Global contrast based salientregion detection[C].In Proceedings of IEEE Conference on Computer Vison andPattern Recognition,2011,409-416

[5]Chuan Yang,Lihe Zhang,Huchuan Lu,Xiang Ruan,Ming-HsuanYang.Saliency Detection via Graph-Based Manifold Ranking.Proceedings of IEEEconference on Computer Vision and Pattern Recognition(CVPR 2013),Portland,June,2013.

[6]D.Zhou.J.Weston,A.Gretton,et al.Ranking on data manifolds[C].InAdvances in Neural Information Processing Systems,2004.

发明内容

为了解决现有技术中存在的上述技术问题，本发明提供了一种基于凸包结构中心查询点排序的显著目标检测方法。

本发明的技术解决方案是：一种基于凸包结构中心查询点排序的显著目标检测方法，其特殊之处在于，包括以下步骤：

1)获取图像，构造目标区域的凸包结构，并求出凸包中心O；

2)对图像进行超像素分割，以超像素作为节点，构建闭环图模型G，重新定义图模型的关联矩阵P′，并计算最优相似度矩阵A；

3)以凸包中心O所在超像素及其邻接超像素为标签过的查询点，构建标签向量y1，进行流形排序得到前景显著图S1＝A×y1；

4)以距离凸包中心O最近的两条边作为查询点，构建标签向量y2和y3，流形排序得到显著图S2＝1－A×y2和显著图S3＝1－A×y3，再将两个显著图S2和S3以相乘的方式得到背景显著图S4＝S2×S3；

5)将前景显著图S1和背景显著图S4二值化处理，分别得到前景种子q1和背景种子q2；对前景种子q1和背景种子q2进行交集处理后，得到种子查询点集合，进行流形排序得到最终显著图S。

进一步地，步骤1)的实现方式是：

1.1)获取图像；

1.2)利用颜色增强Harris角点检测算法检测出图像中的角点，包括显著区域的轮廓点；

1.3)消除靠近图像边界的兴趣点，计算出剩余的包含中心查询点的凸包；

1.4)计算凸包中心O；

进一步地，步骤1.2)的实现方式是：

1.2.1)利用水平和竖直两差分算子对图像的像素点进行滤波得到水平梯度I_x和竖直梯度I_y，进而得到梯度乘积m：

1.2.2)对梯度乘积m的每个元素进行高斯滤波，得到Harris矩阵M：

其中，x和y分别为图像像素点的横、纵坐标，w(x,y)为高斯窗函数滤波器；

1.2.3)计算对应于每一个像素点的角点响应函数R：

R＝detM-δ(traceM)²

其中，δ为调节参数，δ的取值范围是0-0.1；

1.2.4)筛选所有角点响应函数R大于阈值的像素点，作为角点或者显著区域的轮廓点。

进一步地，凸包中心O的横坐标为凸包所包含的像素点的横坐标的平均值，凸包中心O的纵坐标为凸包所包含的像素点的纵坐标的平均值。

进一步地，步骤2)的实现方式是：

2.1)将图形分割成N个大小一致且视觉效果均匀的超像素区域；

2.2)以超像素作为节点v构成节点集V，以相邻超像素之间共享的边作为超像素间的关联构成边集E；处于图像边界的超像素两两相连，并通过四条图像边界，构建闭环图模型G(V，E)；

2.3)计算闭环图模型G(V，E)的考虑非相邻像素点影响的关联矩阵P′：

2.3.1)构建一个N*N的关联矩阵P，定义每个对应元素如下：

2.3.2)求出各超像素的空间距离矩阵，并归一化；定义当距离小于设定阈值时为1，否则为0，从而得到N*N的距离矩阵；

2.3.3)将关联矩阵P与距离矩阵求并集，得到闭环图模型G(V，E)的考虑非相邻像素点影响的关联矩阵P′，P′为仅包含0、1元素的N阶方阵；

2.4)根据超像素的空间距离和颜色距离以及关联矩阵P′，计算度矩阵D和相似度矩阵W：

D＝diag{d₁₁,d₂₂,…d_nn}

W＝[w_i,j]_n×n

其中，p′_i,j为关联矩阵中对应(i，j)点的值，k为权重系数，i和j是节点的下标，D(v_i,v_j)是v_i和v_j之间的空间距离，c是节点v所包含像素在CIELAB空间的颜色均值，||c_i-c_j||是c_i和c_j之间的欧式距离，σ₁是用于控制空间距离加权的强度，σ₂是用于控制颜色距离加权的强度；

2.5)计算最优相似度矩阵A＝(D-αW)^-1，其中α为调节参数，α∈[0,1)；

进一步地，步骤2.3)中的其中(x_i,y_i)表示超像素节点v_i的中心点坐标。

进一步地，步骤3)中的标签向量y1是一个n×1维向量，其中凸包中心O所在的超像素所在节点以及与凸包中心O所在的超像素相连的节点的标签项均赋值为1，其余节点的标签项均赋值为0。

本发明的有益效果在于：

(1)本发明实现的是一种自底向上的显著目标检测方法，采用凸包结构进行中心先验，能够准确地找出显著目标的位置，获得准确的前景特征。

(2)本发明采用距离凸包中心最近的两个边进行排序，有效的抑制了边缘背景对目标的干扰，对于目标远离图像中心的情况有较好的效果。

(3)本发明充分将空间距离因素考虑在内，重新定义了图模型的关联矩阵，并求出了颜色距离和空间距离相结合的相似度矩阵，使得算法具有更高的鲁棒性。

(4)本发明采用前景种子和背景种子相与的方式，确保最后排序的种子节点为目标节点，提高了准确率。

附图说明

图1为本发明显著目标检测方法的步骤流程图。

图2为本发明显著目标检测方法的各步骤效果示意图。

图3为本发明在MSRA1000数据集上与各个算法的显著图对比结果。

具体实施方式

参见图1和图2，本发明提供了一种基于凸包中心流形排序的显著目标检测方法，其较佳实施例的操作步骤具体如下。

步骤一，获取图像，构造目标区域的凸包结构，并求出凸包中心O。

利用颜色增强Harris角点检测算子，检测出彩图像中的角点或者显著区域的轮廓点，消除靠近图像边界的兴趣点之后，计算出剩余的包含中心兴趣点的凸包，并计算出凸包中心O。

Harris算法步骤如下：

(1)利用水平和竖直两差分算子对图像的像素点进行滤波得到水平和竖直两梯度I_x，I_y，进而得到梯度的乘积。

(2)进一步对m的每个元素进行高斯滤波，得到新的M，称为Harris矩阵

其中，w(x,y)为所选的高斯窗函数滤波器。

(3)计算对应于每一个像素点的角点响应函数R：

R＝detM-k(traceM)²

通过将R与所设阈值对比，当R＞threshold，则该像素为角点。

凸包：通过一个凸多边形将Harris算法检测到的显著点都包含起来，这个凸多边形将图像分割成两部分，显著区域包含在凸包结构中而外部区域的像素趋于背景。

凸包中心：O＝(o_i,o_j)，而凸包中心的横纵坐标利用求凸包所包含的像素点的横纵坐标的平均值表示。

步骤二，将图像分割成超像素，并对每一个超像素标定，以超像素作为节点，构建一个闭环图模型G，重新定义图模型的关联矩阵P′，求出度矩阵D和相似度矩阵W，并计算最优相似度矩阵A。

利用SLIC算法，将图像分割成N个(根据程序，可调)大小一致且视觉效果均匀的超像素区域，以每一个超像素为节点，考虑不相邻的超像素的位置距离，构建一个闭环的新型图模型G＝(V,E)，根据超像素的空间距离和颜色距离，计算度矩阵D和相似度矩阵W。闭环图模型可以缩短超像素之间的测地距离，提高显著目标检测的准确率。

闭环图构建方式如下：

1.利用SLIC算法将输入图像分割成若干个大小一致且具有均匀视觉效果的超像素，将每一个超像素都作为图模型G的节点v，从而构成N维的节点集V(G)；相邻的超像素之间共享同一条边，记作e＝v_iv_j，称作超像素间的关联，所有的关联构成图G边集E(G)。

2.处于图像边界的超像素两两相连，并通过四条边，构成了一个连通的环。

3.特别的，在图像复杂的区域会出现距离相近但并不邻接的两超像素节点，按照传统的图模型(相邻节点邻接矩阵的对应元素为1，不相邻的对应元素为0)，往往不考虑这些非相邻像素点的影响。本发明对此特别的做了改变。具体步骤如下：

3.1构建一个N*N的关联矩阵P，定义每个对应元素如下：

3.2)求出各超像素的空间距离矩阵，并归一化；定义当距离小于设定阈值时为1，否则为0，从而得到N*N的距离矩阵；

3.3)将关联矩阵P与距离矩阵求并集，得到闭环图模型G(V，E)的考虑非相邻像素点影响的关联矩阵P′；

步骤三，以凸包中心为标签过的查询点(query)，构建标签向量y1，利用流形排序的迭代公式，求出前景显著图S1。

流行排序算法是一种以图模型来模拟数据集的流行结构，通过对图模型各个查询点之间的结构和关系建立，查询点会不断的把自身的排序值传递给相连接的查询点，直到达到最优效果为止。最终得到的排序反映了以该查询点为中心，其他查询点与此之间的关系紧密程度。给定一个数据集合X＝{x₁…x_l,x_l+1…x_n}∈R^n×m，包括l个已标记过的查询数据以及n-l个未标记的需要排序的数据。f:X→Rⁿ表示数列的一种排序方程，f_i表示对应数据x_i的排序值，f可以表示为一个n维向量f＝[f₁,f₂…f_n]^T。y＝[y₁,…y_n]^T表示需要排序的数据的一个标签向量，当x_i为所需查询的数据节点时，对应的y_i＝1，当x_i不是查询数据节点时，y_i＝0。具体的算法步骤如下：

1.根据分割后得超像素图构建一个闭环得带权图模型G(V,E)，其中V为顶点集(vertex)，在图中表示为超像素的集合，E为边集合(edge)。边E的权重表示为相似度矩阵W＝[w_i,j]_n×n，计算图的度矩阵D＝diag{d₁₁,d₂₂,…d_nn}，其中对相似度矩阵W归一化后得S＝D^-1/2WD^-1/2。

2.对排序算法得目标函数进行求解

得到最优解f^*＝(I-αS)^-1y，其中α是调节参数，α∈[0,1)。非归一化的解为

f^*＝(D-αW)^-1y (2)

令A＝(D-αW)^-1，A称作最优相似度矩阵，则

f^*＝Ay (3)

标签向量y_i＝1在此表示为该标签过的超像素的显著值为1。边集E的权重定义为两个超像素之间的颜色距离和空间距离的乘积。

其中k为一个权重系数，i，j是节点的下标，D(v_i,v_j)表示两个节点的空间距离：(x_i,y_i)表示超像素节点v_i的中心点坐标。c_i是节点v_i所包含像素在CIELAB空间的颜色均值。||c_i-c_j||为c_i,c_j之间的欧式距离。

由于人眼在观察一幅图像时，视觉注意点往往停留在某一块颜色显著的整体区域，很少分散在整幅图片上，这样的权重系数，将颜色距离和空间距离同时考虑在内，既保证的颜色差异对超像素显著值的影响，也使得显著性区域在空间上更加紧密。

通过w_i,j构建相似度矩阵W，进一步求出最优相似度矩阵A，则图像的显著值可用公式(2)表示为f^*＝Ay。当基于显著区域的查询点进行排序时，每个节点的显著值定义为归一化的排序向量f^*，当基于背景区域的查询点排序时，则显著值定义为1-f^*。

基于步骤一得到的凸包中心O＝(o_i,o_j)定义标签向量为n×1维向量y1，其中凸包中心所在超像素v_i以及与该超像素相连的节点赋值为1，其余点为0。利用公式(3)进行流形排序，得到一个显著图S₁。

步骤四，以距离凸包中心O＝(o_i,o_j)最近的两条边构建标签向量y2，y3，利用流行排序的迭代公式求出显著图S2和S3。进一步得到S4。

假设输入的图像大小为m×n，即表示有m×n个像素点，通过比较中心坐标与四条边的距离，找出横向和纵向两个最近的边。

min(o_i,m-o_i)and min(o_j,m-o_j)，

以最近的两条边的超像素作为新的标签向量y2，y3，(如果某超像素存在与该条边上，则对应的标签项为1，否则为0)再次利用公式(3)进行流行排序，通过公式1-f^*得到两个背景显著图S2，S3，两个显著图通过相乘的方式得到新的背景特征显著图S4。

选择距离最近的两条边，是为保证显著目标不会因为离该条边太远，而导致权重系数太小，进而通过流形排序时丢失目标。这种方式对于显著目标原理图像中心的情况具有很好鲁棒性。

步骤五：将步骤三和步骤四得到的显著图通过自定义阈值的方法进行二值化处理，阈值可选该图像的平均显著值，得到前景种子q₁和背景种子q₂，通过求交集的方式进行合并，得到新的基于目标得种子节点集合，

q_f＝q₁∩q₂

以该集合作为新的标签向量再次通过公式(3)进行排序，得到最终的显著图。

通过求交集，可以有效的将错误当成背景的种子节点去除，保证种子节点的正确率。

图3是本发明与近几年的几种最新的非机器学习算法进行比较分析。其中(a)为输入图片，(b)为标记过的显著目标，(c)为本发明的实现结果，(d)、(e)和(f)分别为三种有代表性的显著目标检测方法。

Claims

1.一种基于凸包结构中心查询点排序的显著目标检测方法，其特征在于，包括以下步骤：

1)获取图像，构造目标区域的凸包结构，并求出凸包中心O；

2.3.1)构建一个N*N的关联矩阵P，定义每个对应元素如下：

D＝diag{d₁₁,d₂₂,…d_nn}

W＝[w_i,j]_n×n

4)以距离凸包中心O最近的两条边构建标签向量y2和y3，流形排序得到显著图S2＝1－A×y2和显著图S3＝1－A×y3，再将两个显著图S2和S3以相乘的方式得到背景显著图S4＝S2×S3；

5)将前景显著图S1和背景显著图S4二值化处理，分别得到前景种子q1和背景种子q2；对前景种子q1和背景种子q2进行交集处理后，得到种子节点集合，进行流形排序得到最终显著图S。

2.根据权利要求1所述的基于凸包结构中心查询点排序的显著目标检测方法，其特征在于，步骤1)的实现方式是：

1.1)获取图像；

1.2)利用颜色增强Harris角点检测算法检测出图像中的角点，所述角点包括显著区域的轮廓点；

1.3)消除靠近图像边界的兴趣点，求出剩余的兴趣点的凸包结构；

1.4)计算凸包中心O。

3.根据权利要求2所述的基于凸包结构中心查询点排序的显著目标检测方法，其特征在于，步骤1.2)的实现方式是：

1.2.3)计算对应于每一个像素点的角点响应函数R：

R＝detM-δ(traceM)²

其中，δ为调节参数，δ的取值范围是0-0.1；

4.根据权利要求3所述的基于凸包结构中心查询点排序的显著目标检测方法，其特征在于：凸包中心O的横坐标为凸包所包含的像素点的横坐标的平均值，凸包中心O的纵坐标为凸包所包含的像素点的纵坐标的平均值。

5.根据权利要求4所述的基于凸包结构中心查询点排序的显著目标检测方法，其特征在于：步骤2.4)中的其中(x_i,y_i)表示超像素节点v_i的中心点坐标。

6.根据权利要求1所述的基于凸包结构中心查询点排序的显著目标检测方法，其特征在于：步骤3)中的标签向量y1是一个n×1维向量，其中凸包中心O所在的超像素所在节点以及与凸包中心O所在的超像素相连的节点的标签项均赋值为1，其余节点的标签项均赋值为0。