CN108460379A - 基于细化空间一致性二阶段图的显著目标检测方法 - Google Patents

Abstract

本发明公开了一种基于细化空间一致性二阶段图的显著目标检测方法，主要解决现有技术在复杂场景中不能完整一致地检测出显著目标的问题。其实现方案为：1.对输入图像进行过分割，得到若干超像素；2.构建第一阶段图；3.构建加权联合鲁棒稀疏表示模型；4.求取加权鲁棒稀疏表示模型的最优解；5.计算第一阶段图中各个节点的显著值；6.对空间一致性进行细化，构建第二阶段图；7.采用流行排序模型计算第二阶段图中各个节点的显著值；8.计算输入图像各个超像素的显著值；9.输出输入图像的像素级显著图。本发明具有较好的前景分割和背景抑制效果，能够在复杂场景下完整一致地检测图像显著目标，可用于计算机视觉中图像的预处理进程。

Description

基于细化空间一致性二阶段图的显著目标检测方法

技术领域

本发明属于图像处理技术领域，涉及一种显著目标检测方法，具体涉及一种基于细化空间一致性二阶段图的显著目标检测方法，可用于计算机视觉中图像的预处理进程。

技术背景

显著目标检测，旨在检测场景中吸引人眼注意、与周围区域具有显著差别的目标，并将该目标从场景中分割出来。作为一种重要的图像预处理方式，显著目标检测已广泛应用于图像分割、图像恢复、目标识别等图像处理领域。

现有的目标检测方法可以分为两大类：一类是有监督的、基于特定任务的自顶而下的显著目标检测方法，另一类是无监督的、不依赖于特定任务的自底而上的显著目标检测方法，基于图论的显著目标检测方法是一种重要的自底而上的显著目标检测方法。该类方法首先构建一个图，包括图的节点：像素、块、或者超像素，图的边：节点与节点之间的连接方式；然后，选取一些种子节点：背景种子节点或前景种子节点，确定节点的初始显著值；最后，计算各个节点的显著值。

早期的基于图论的显著目标检测方法如“Y.Wei,F.Wen,W.Zhu,J.Sun,Geodesicsaliency using background priors,in:Proceedings ofEuropean Conference onComputerVision,2012,pp.29-42.”仅通过一个阶段图计算各个节点的显著值，对初始节点的选取具有很高的敏感性，容易将部分背景误检测为前景。

为解决上述问题，一些基于二阶段图计算的显著目标检测方法被提出，如“Y.Liu,Q.Cai,X.Zhu,J.Cao,H.Li,Saliency detection using two-stage scoring,in:IEEEInternational Conference on Image Processing,2015,pp.4062-4066.”，公开了一种基于随机游走和流形排序的二阶段图的显著目标检测方法，该种方法通过第一阶段图中利用随机游走模型计算各个节点的显著值，得到粗检测结果，在第二阶段图计算过程中，根据第一阶段图的粗检测结果，确定第二阶段图各个节点的初始显著值，然后利用流形排序模型计算各个节点的显著值，对初始显著值具有较好的鲁棒性。然而，这种方法仅仅考虑了邻域空间一致性，即当前节点与其相邻的节点连接，本质上仅仅是在一个图上做了简单的两次计算。由于只考虑邻域空间一致性，得到的显著图中的显著目标内部可能会出现“空洞”，不能完整一致地的检测显著目标。此外，邻域空间一致性在简单场景下一般能够描述节点之间的关系，但是在复杂场景下，比如前景与背景之间很相似或者背景很复杂，很难很好地描述节点之间的关系，因而往往不能检测出显著目标。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于细化空间一致性二阶段图的显著目标检测方法，以提高在复杂场景图像中对显著目标检测的完整一致性效果。

实现本发明的关键技术是采用细化空间一致性的二阶段图方法，通过在两个阶段中对两个具有相同节点但不同连接边的图计算各个节点的显著值：对输入图像进行过分割，得到若干超像素；构建第一阶段图；构建加权联合鲁棒稀疏表示模型；求取加权鲁棒稀疏表示模型的最优解；计算第一阶段图中各个节点的显著值；对空间一致性进行细化，构建第二阶段图；采用流形排序模型计算第二阶段图中各个节点的显著值；计算输入图像各个超像素的显著值；输出输入图像的像素级显著图。其具体实现步骤包括如下：

(1)对输入图像进行过分割：

对输入图像进行过分割，得到N个超像素，N≥2，并提取每个超像素的m维特征，构成输入图像的特征矩阵X，X＝[x₁,x₂,...x_i...,x_N]∈R^m×N，x_i表示第i个超像素的特征向量；

(2)构建输入图像的第一阶段图

将N个超像素作为构成输入图像第一阶段图的节点集合并将中每个节点与其相邻节点连接，得到待构建的第一阶段图的连接边集合和组成输入图像的第一阶段图

(3)构建加权联合鲁棒稀疏表示模型：

其中，Zⁱ表示加权鲁棒稀疏表示模型的系数矩阵，||Zⁱ||_1,2表示Zⁱ的l_1,2范数，且Zⁱ(j,:)表示矩阵Zⁱ的第j行，||Z^j(j,:)||₂表示Z^j(j,:)的l₂范数，Zⁱ由第一阶段图中第i个节点和其相邻节点的稀疏表示系数构成，z_i表示中第i个节点的稀疏表示系数,Qⁱ表示权重矩阵,λ表示平衡因子,Eⁱ表示加权鲁棒稀疏表示模型的重构误差矩阵，||Eⁱ||_2,1表示Eⁱ的l_2,1范数，且Eⁱ(j,k)表示矩阵Eⁱ中位于(j,k)位置的元素，Eⁱ由中第i个节点和其相邻节点的重构误差组成，e_i表示中第i个节点的重构误差,N_i表示第i个节点的相邻节点的个数，x_i-k表示第i个节点的第k个相邻节点的特征向量，D表示加权鲁棒稀疏表示模型的背景字典；

(4)求取加权鲁棒稀疏表示模型的最优解：

采用交替方向乘子算法ADMM，对加权联合鲁棒稀疏表示模型进行求解，得到最优重构误差矩阵E^*和最优表示系数矩阵Z^*，其中， 为第一阶段图中第i个节点最优的重构误差， 表示中第i个节点最优的稀疏表示系数；

(5)计算第一阶段图中各个节点的显著值：

(5a)计算第一阶段图中第i个节点基于最优重构误差矩阵E^*的显著值sal_E(i)：

其中，σ_E为一个常数；

(5b)计算第一阶段图中第i个节点基于最优表示系数矩阵Z^*的显著值sal_Z(i)：

其中，σ_Z为一个常数；

(5c)对sal_E(i)和sal_Z(i)进行加权计算，得到第一阶段图中第i个节点的显著值

其中，α是权重因子

(6)对空间一致性进行细化，构建输入图像第二阶段图

将N个超像素作为构成输入图像第二阶段图的节点集合将节点集合进行区域划分，并将相邻的节点连接，以及将位于同一区域的节点连接，获取构成输入图像第二阶段图的连接边集合 和组成输入图像第二阶段图

(7)计算第二阶段图中各个节点的显著值：

采用流形排序模型计算第二阶段图中第i个节点的显著值

(8)计算输入图像各个超像素的显著值：

计算输入图像第i个超像素显著值

(9)输出输入图像的像素级显著图：

将每个超像素的显著值赋给其区域内的每个像素，得到最终输出的像素级显著图。

本发明与现有技术相比，具有如下优点：

1)本发明将超像素分别作为第一阶段图及第二阶段图的节点集合，将相邻节点连接作为第一阶段图的边集合，将相邻节点连接的同时将区域内节点进行连接作为第二阶段图的边集合，第二阶段图和第一阶段图具有相同的节点和不同的边，充分考虑了邻域空间一致性和区域空间一致性，从而细化空间一致性，避免现有技术中仅考虑邻域空间一致性的缺陷，仿真结果表明本发明在复杂场景下检测图像显著目标时更具有一致性效果。

2)本发明由于在计算第一阶段图各个节点的显著值时，是通过设定权重矩阵的加权联合鲁棒稀疏表示模型实现的，能够保留均匀区域的一致性和非均匀区域的多样性，仿真结果表明本发明在复杂场景下检测图像显著目标时更具有完整性效果。

附图说明

图1为本发明的实现流程图；

图2为本发明与现有技术在ECSSD数据库下的实验结果仿真对比图；

图3为本发明与现有技术在ECSSD数据库下的P-R曲线、F-measure曲线两种评价指标仿真对比图。

具体实施方式

以下结合附图和具体实施例，对本发明作进一步详细描述。

参照图1，本发明包括如下步骤：

步骤1)对输入图像进行过分割：

利用简单线性迭代聚类算法SLIC对输入图像进行过分割，得到N个超像素，经过对多个常用设置N＝50,100,150,200,250的实验效果进行比较，得到最佳检测效果的分割数量N＝200，并提取每个超像素的九维颜色特征：RGB、HSV和CIELab，构成输入图像的特征矩阵X，X＝[x₁,x₂,...x_i...,x_N]∈R^m×N，其中，m为特征维度，m＝9，x_i表示第i个超像素的特征向量，传统x_i的计算方法直接对第i个超像素内所有像素特征进行平均，该方法在不均匀图像区域和复杂场景鲁棒性较差，本发明采用权值平均的方法计算，其表达式为：

其中，f_j∈R^m×1表示第i个超像素内部的第j个像素的特征，n_i表示第i个超像素内部像素的个数，C表示归一化因子，w_ji表示权重因子，其表达式为：

p_i和p_j分别表示第i个超像素和该超像素内部的第j个像素的位置，σ_p为一个常数，σ_p设为

步骤2)构建输入图像的第一阶段图

将N个超像素作为构成输入图像第一阶段图的节点集合考虑邻域空间一致性，即当前节点与其相邻的节点具有相似的特征，从而具有相似的显著性，将中每个节点与其相邻节点连接，得到待构建的第一阶段图的连接边集合 和组成输入图像的第一阶段图

步骤3)构建加权联合鲁棒稀疏表示模型：

基于边界先验信息，选取第一阶段图的各边界节点作为背景种子节点，所有背景种子节点的特征组成的矩阵作为待构建加权鲁棒稀疏表示模型的背景字典D，并将中的第i个节点的特征与第i个节点相邻的节点特征组成特征矩阵Xⁱ，根据邻域空间一致性，当前节点与其空间相邻的节点具有相似的特征，从而具有相似的显著值。这种特性在简单场景下是适用的，但是在一些复杂的场景下不能完全适用，特别是在目标的边界处，为了解决这个问题，根据第i个节点与其相邻的每个节点的特征相似性构建连接边集合的权值矩阵设为矩阵中位置(i,j)处的元素，其表达式为：

其中，x_j表示特征矩阵X中对应的第j个超像素的特征向量；为一个常数，设为5；

根据构建权重矩阵Qⁱ，通过D、Xⁱ和Qⁱ构建加权联合鲁棒稀疏表示模型：

其中，Zⁱ表示加权鲁棒稀疏表示模型的系数矩阵，||Zⁱ||_1,2表示Zⁱ的l_1,2范数，且Zⁱ(j,:)表示矩阵Zⁱ的第j行，||Z^j(j,:)||₂表示Z^j(j,:)的l₂范数，Zⁱ由中第i个节点和其相邻节点的稀疏表示系数构成，z_i表示中第i个节点的稀疏表示系数；Qⁱ表示权重矩阵：

q_i-k等于第i个节点和第k个与其相邻的节点的连接边在权值矩阵中的权值，k＝1,2,...,N_i；λ表示平衡因子；Eⁱ表示加权鲁棒稀疏表示模型的重构误差矩阵，表示Eⁱ的l_2,1范数，且Eⁱ(j,k)表示矩阵Eⁱ中位于(j,k)位置的元素，Eⁱ由中第i个节点和其相邻节点的重构误差组成，e_i表示中第i个节点的重构误差；N_i表示第i个节点的相邻节点的个数，x_i-k表示第i个节点的第k个相邻节点的特征向量；

||Zⁱ||_1，2表示行稀疏操作，用于获取邻域空间一致性信息，使得在同一个字典下，只有当第i个节点和它的相邻节点具有相似的特征时，它们具有相似的稀疏表示系数；否则，它们的稀疏表示系数不相似，因此，加权鲁棒稀疏表示模型不仅在简单场景下保留一致性，而且在复杂场景下也能保留多样性，使检测目标更准确完整；

步骤4)求取加权鲁棒稀疏表示模型的最优解：

采用交替方向乘子算法ADMM，对加权联合鲁棒稀疏表示模型进行求解，得到最优重构误差矩阵E^*和最优表示系数矩阵Z^*，其中， 为第一阶段图中第i个节点最优的重构误差， 表示中第i个节点最优的稀疏表示系数；

步骤5)计算第一阶段图中各个节点的显著值：

步骤5a)给定背景字典，背景节点对应的重构误差比较低，而前景节点对应的重构误差比较高，基于此，计算第一阶段图中第i个节点基于最优重构误差矩阵E^*的显著值sal_E(i)：

其中，σ_E为一个常数，σ_E设为1；

步骤5b)给定背景字典，背景节点的表示系数的幅度比较小，而前景节点的表示系数的幅度比较大，基于此，计算第一阶段图中第i个节点基于最优表示系数矩阵Z*的显著值sal_Z(i)：

其中，σ_Z为一个常数，σ_Z设为

步骤5c)对sal_E(i)和sal_Z(i)进行加权计算，得到第一阶段图中第i个节点的显著值

其中，α是权重因子，α设为0.2；

步骤6)对空间一致性进行细化，构建输入图像第二阶段图

步骤6a)将N个超像素作为构成输入图像第二阶段图的节点集合

步骤6b)获取构成输入图像第二阶段图的连接边集合

步骤6b1)对节点集合进行区域划分：

将第一阶段图中第i个节点的显著值作为节点集合中第i个节点的初始显著值y_i，得到节点集合的初始显著值向量y，且y＝[y₁,y₂,...,y_i,...,y_N]^T，设置高阈值thre_high，thre_high＝2*mean(y)，低阈值thre_low，thre_low＝0.8*mean(y)，若y_i＜thre_low，则将第i个节点作为潜在的背景节点，若y_i＞thre_high，则将第i个节点作为潜在的前景节点，若y_i显著值介于thre_high与thre_low之间，则将第i个节点作为不确定节点，所有潜在的背景节点构成潜在的背景区域，所有潜在的前景节点构成潜在的前景区域；

步骤6b2)获取待构建的第二阶段图的连接边集合

将中每个节点与其相邻节点连接，得到连接边集合将位于潜在的背景区域的任意两个潜在背景节点连接，得到连接边集合将位于潜在的前景区域的任意两个潜在前景节点连接，得到连接边集合和组成待构建第二阶段图的连接边集合

与第一阶段图的边一样，考虑了邻域空间一致性，约束了邻域内的局部一致性，认为每个节点与其相邻的节点之间具有相似的特征，从而具有相似的显著性。在潜在的背景区域内约束了一致性，认为潜在的背景节点具有相似的显著性，即潜在的背景节点都是背景。在潜在的前景区域内约束了一致性，认为潜在的前景节点具有相似的显著性，即潜在的前景节点都是前景，和共同约束了区域空间一致性，与第一阶段图相比，第二阶段图细化了空间一致性，从而增强背景与前景之间的对比度，有助于把前景从背景中分割出来；

步骤6c)节点集合和连接边集合组成输入图像第二阶段图

步骤7)计算第二阶段图中各个节点的显著值：

采用流形排序模型计算第二阶段图中第i个节点的显著值其表达式为:

其中，表示向量f^*中的第i个元素，是流形排序模型的最优解，其表达式为：

表示第二阶段图中连接边集合的权值矩阵位于位置(i,j)处的元素，其表达式为：

为一个常数，设为

f_i表示在流形排序模型优化计算过程中，排序向量f中的第i个元素，f＝[f₁,f₂,...,f_i,...,f_N]^T，f_j的表示含义同f_i，d_i表示度矩阵中的第i个元素，且d_j的表示含义同d_i，β是权重因子，该优化公式的解为：

γ设为0.99；

步骤8)计算输入图像各个超像素的显著值：

计算输入图像第i个超像素显著值

步骤9)输出输入图像的像素级显著图：

将每个超像素的显著值赋给其区域内的每个像素，得到最终输出的像素级显著图。

以下结合仿真实验，对本发明的技术效果作进一步说明：

1、仿真条件：所有仿真实验均在Windows 7操作系统下采用Matlab 2013软件实现；

2、仿真内容及结果分析：

仿真1

将本发明与现有的基于随机游走和流形排序的二阶段图的显著目标检测方法在公共图像数据库ECSSD进行显著目标检测实验，部分实验结果进行直观的比较，如图2所示，其中，原始图像表示数据库中用于实验输入的图像，GT表示人工标定的二值图；

从图2可以看出，相较于现有技术，本发明对背景抑制效果更好，在复杂场景下的显著目标检测中具有更好的完整一致性效果。

仿真2

将本发明与现有的基于随机游走和流形排序的二阶段图的显著目标检测方法在公共图像数据库ECSSD进行显著目标检测实验得到的结果，采用公认的评价指标进行客观评价，评价仿真结果如图3所示，其中：

图3(a)为本发明和现有技术采用准确率-召回率(P-R)曲线进行评价的结果图；

图3(b)为本发明和现有技术采用F-Measure曲线进行评价的结果图；

从图3可以看出，相较于现有技术，本发明具有更高的PR曲线和F-measure曲线，从而表明了本发明对显著目标检测具有更好的一致性和完整性，充分表明了本发明方法的有效性和优越性。

Claims (4)

1.一种基于细化空间一致性二阶段图的显著目标检测方法，其特征在于包括如下步骤：

(1)对输入图像进行过分割：

对输入图像进行过分割，得到N个超像素，N≥2，并提取每个超像素的m维特征，构成输入图像的特征矩阵X，X＝[x₁,x₂,...x_i...,x_N]∈R^m×N，x_i表示第i个超像素的特征向量；

(2)构建输入图像的第一阶段图

将N个超像素作为构成输入图像第一阶段图的节点集合并将中每个节点与其相邻节点连接，得到待构建的第一阶段图的连接边集合和组成输入图像的第一阶段图

(3)构建加权联合鲁棒稀疏表示模型：

其中，Zⁱ表示加权鲁棒稀疏表示模型的系数矩阵，||Zⁱ||_1,2表示Zⁱ的l_1,2范数，且Zⁱ(j,:)表示矩阵Zⁱ的第j行，||Z^j(j,:)||₂表示Z^j(j,:)的l₂范数，Zⁱ由中第i个节点和其相邻节点的稀疏表示系数构成，z_i表示中第i个节点的稀疏表示系数,Qⁱ表示权重矩阵,λ表示平衡因子,Eⁱ表示加权鲁棒稀疏表示模型的重构误差矩阵，||Eⁱ||_2,1表示Eⁱ的l_2,1范数，且Eⁱ(j,k)表示矩阵Eⁱ中位于(j,k)位置的元素，Eⁱ由中第i个节点和其相邻节点的重构误差组成，e_i表示中第i个节点的重构误差,N_i表示第i个节点的相邻节点的个数，x_i-k表示第i个节点的第k个相邻节点的特征向量，D表示加权鲁棒稀疏表示模型的背景字典；

(4)求取加权鲁棒稀疏表示模型的最优解：

采用交替方向乘子算法ADMM，对加权联合鲁棒稀疏表示模型进行求解，得到模型的最优重构误差矩阵E^*和最优表示系数矩阵Z^*，其中， 为第一阶段图中第i个节点最优的重构误差， 表示中第i个节点最优的稀疏表示系数；

(5)计算第一阶段图中各个节点的显著值：

(5a)计算第一阶段图中第i个节点基于最优重构误差矩阵E^*的显著值sal_E(i)：

其中，σ_E为一个常数；

(5b)计算第一阶段图中第i个节点基于最优表示系数矩阵Z^*的显著值sal_Z(i)：

其中，σ_Z为一个常数；

(5c)对sal_E(i)和sal_Z(i)进行加权计算，得到第一阶段图中第i个节点的显著值

其中，α是权重因子；

(6)对空间一致性进行细化，构建输入图像第二阶段图

将N个超像素作为构成输入图像第二阶段图的节点集合将节点集合进行区域划分，并将相邻的节点连接，以及将位于同一区域的节点连接，获取构成输入图像第二阶段图的连接边集合和组成输入图像第二阶段图

(7)计算第二阶段图中各个节点的显著值：

采用流形排序模型计算第二阶段图中第i个节点的显著值

(8)计算输入图像各个超像素的显著值：

计算输入图像第i个超像素显著值

(9)输出输入图像的像素级显著图：

将每个超像素的显著值赋给其区域内的每个像素，得到最终输出的像素级显著图。

2.根据权利要求1所述的基于细化空间一致性二阶段图的显著目标检测方法，其特征在于，步骤(1)中所述的x_i，其表达式为：

其中，f_j∈R^m×1表示第i个超像素内部的第j个像素的九维颜色特征：RGB、HSV和CIELab，n_i表示第i个超像素内部像素的个数，C表示归一化因子，w_ji表示权重因子，其表达式为：

p_i和p_j分别表示第i个超像素和该超像素内部的第j个像素的位置，σ_p为一个常数。

3.根据权利要求1所述的基于细化空间一致性二阶段图的显著目标检测方法，其特征在于，步骤(3)中所述的构建加权联合鲁棒稀疏表示模型，按如下方法进行：

将第一阶段图的各边界节点作为背景种子节点，所有背景种子节点特征组成的矩阵作为待构建加权鲁棒稀疏表示模型的背景字典D，并将中的第i个节点的特征与第i个节点相邻的节点特征组成特征矩阵Xⁱ，同时根据第i个节点与其相邻的每个节点的特征相似性构建权值矩阵 设为矩阵中位置(i,j)处的元素，其表达式为：

其中，x_j表示特征矩阵X中对应的第j个超像素的特征向量；为一个常数；

根据构建权重矩阵Qⁱ，通过D、Xⁱ和Qⁱ构建加权联合鲁棒稀疏表示模型：

其中，Zⁱ表示加权鲁棒稀疏表示模型的系数矩阵，||Zⁱ||_1,2表示Zⁱ的l_1,2范数，且Zⁱ(j,:)表示矩阵Zⁱ的第j行，||Z^j(j,:)||₂表示Z^j(j,:)的l₂范数，Zⁱ由中第i个节点和其相邻节点的稀疏表示系数构成，z_i表示中第i个节点的稀疏表示系数；Qⁱ表示权重矩阵：

q_i-k等于第i个节点和第k个与其相邻的节点的连接边在权值矩阵中的权值，k＝1,2,...,N_i；λ表示平衡因子；Eⁱ表示加权鲁棒稀疏表示模型的重构误差矩阵，||Eⁱ||_2,1表示Eⁱ的l_2,1范数，且Eⁱ(j,k)表示矩阵Eⁱ中位于(j,k)位置的元素，Eⁱ由中第i个节点和其相邻节点的重构误差组成，e_i表示中第i个节点的重构误差；N_i表示第i个节点的相邻节点的个数，x_i-k表示第i个节点的第k个相邻节点的特征向量。

4.根据权利要求1所述的基于细化空间一致性二阶段图的显著目标检测方法，其特征在于，步骤(6)中所述的对空间一致性进行细化，构建输入图像第二阶段图按如下步骤进行：

(6a)将N个超像素作为构成输入图像第二阶段图的节点集合

(6b)获取构成输入图像第二阶段图的连接边集合

(6b1)对节点集合进行区域划分：

将第一阶段图中第i个节点的显著值作为节点集合中第i个节点的初始显著值y_i，得到节点集合的初始显著值向量y，且y＝[y₁,y₂,...,y_i,...,y_N]^T，设置高阈值thre_high，thre_high＝2*mean(y)，低阈值thre_low，thre_low＝0.8*mean(y)，若y_i＜thre_low，则将第i个节点作为潜在的背景节点，若y_i＞thre_high，则将第i个节点作为潜在的前景节点，所有潜在的背景节点构成潜在的背景区域，所有潜在的前景节点构成潜在的前景区域；

(6b2)获取待构建的第二阶段图的连接边集合

将中每个节点与其相邻节点连接，得到连接边集合将位于潜在的背景区域的任意两个潜在背景节点连接，得到连接边集合将位于潜在的前景区域的任意两个潜在前景节点连接，得到连接边集合和组成待构建第二阶段图的连接边集合

(6c)节点集合和连接边集合组成输入图像第二阶段图