CN111046868B - 基于矩阵低秩稀疏分解的目标显著性检测方法 - Google Patents

Abstract

本发明公开了一种基于矩阵低秩稀疏分解的目标显著性检测方法，首先，对图像进行超像素分割，提取出图像特征。其次，分别提取超像素的位置、颜色以及边缘先验，并融合成一个背景先验，以增大图像背景与显著目标的差异性。然后，一方面，利用加权Schatten p‑范数对图像背景进行低秩约束。另一方面，对于显著目标，则采用具有树结构稀疏特性的l_2,1范数和图像拉普拉斯正则化进行稀疏约束。本专利采用交替方向乘子法对模型进行求解。特别地，利用广义软阈值算法给出加权Schatten p‑范数子问题的解。本发明与已有的基于核范数的模型相比，能更好地逼近秩函数，使显著目标更易被检测出来，检测精度更高。

Description

基于矩阵低秩稀疏分解的目标显著性检测方法

技术领域

本发明属于图像处理技术领域，具体涉及基于矩阵低秩稀疏分解的目标显著性检测方法。

背景技术

在计算机视觉领域里，目标显著性检测已经成为一个具有挑战性的热门话题，其主要目的是提取图像的重要信息，即人们感兴趣的区域。近年来，目标显著性检测已被有效地运用于计算机视觉任务中，如图像检索、图像分割以及对象识别。

显著性检测的方法一般分为两大类。一类是基于数据驱动的自下而上的方法，其主要依赖于显著对象或背景的一些先验知识，例如颜色、纹理和位置等；另一类是基于目标任务驱动的自上而下的方法，该类方法需要利用标签进行有监督的学习训练。随着低秩矩阵恢复研究的兴起，很多学者也将其原理应用到目标显著性检测问题上，结合自下而上的方法，给出了一些基于低秩矩阵恢复的显著性检测方法。

假设一张图像可以分成信息冗余部分(即图像背景，通常处于低维特征子空间，具有低秩或近似低秩结构)和显著目标部分(即显著对象，具有稀疏结构，可视为稀疏噪声或误差)。换言之，对于给定的图像特征矩阵F∈R^m×n，可以拆分成一个对应图像背景的低秩矩阵L∈R^m×n和一个对应显著对象的稀疏矩阵S∈R^m×n。基于这样的假设，目标显著性检测可以看成是矩阵的低秩稀疏分解问题：

其中rank(·)为秩函数，λ为正则化参数，‖·‖₀为l₀范数。

由于秩函数是非凸的，并且不连续，因此(1)是一个NP难问题。所以，根据压缩感知和低秩矩阵恢复理论，利用核范数(NuclearNorm，简写为NN)和l₁范数分别对秩函数和l₀范数进行替代，将非凸优化问题(1)转化成以下凸优化问题：

其中

为L的核范数，即矩阵L的所有奇异值之和，

为S的l₁范数，即S所有元素绝对值之和。

尽管一些基于核范数的最小优化模型能较好地逼近非凸优化模型(1)，且具有很强的理论保证，但在实际应用中却只能获得次优解。这是因为所有非零奇异值对秩函数的影响是相同的，而核范数将所有非零奇异值加在一起，并且同时最小化，使得奇异值具有不同的贡献。因此，核范数不能成为秩函数的最佳近似替代。

近十多年来，为了更好地逼近秩函数，人们提出了一些秩函数的替代。有人提出了一种NN的非凸最小化的替代，即Schatten p-范数，其表示为

0＜p≤1。显然，当p＝1时，其等价于核范数，而当p越趋向0时，Schatten p-范数越近似于秩函数。Gu等人提出用加权核范数(Weighted Nuclear Norm，简写为WNN)

来替代核范数，利用权重改变不同奇异值对秩函数的影响，具有较好的效果。基于加权核范数和Schatten p-范数的提出与应用，Xie等人提出了能更好处理不同奇异值影响的加权Schatten p-范数，其表达式为

0＜p≤1，并提出其可以更好地逼近原始秩函数。但上述现有技术方法，在显著性检测中，仍存在检测精度较低的技术问题。

发明内容

有鉴于此，为了解决上述现有技术问题，本发明提出了一种基于加权Schatten p-范数与树结构稀疏分解的目标显著性检测方法，以提高显著性检测的精确度，。

本发明的技术解决方案是，提供了一种基于矩阵低秩稀疏分解的目标显著性检测方法：

(1)给定一张输入图像I，首先通过简单线性迭代聚类方法(simple lineariterative clustering，简写为SLIC)将其分割成互不重叠的N个超像素块；

(2)对于每个超像素块P_i提取一个D维的特征向量，记为f_i∈R^D。然后，将所有超像素块P_i的特征向量整合成一个表示图像I的特征矩阵F＝[f₁,...,f_N]∈R^D×N；

(3)对每个超像素块P_i分别提取位置Lo(i)、颜色Co(i)和边缘Bo(i)先验，并将其融合为一个背景先验Ω(i)＝Lo(i)·Co(i)·Bo(i)，从而得到背景先验权重Ω；

(4)将特征矩阵F分解成低秩矩阵与稀疏矩阵的和，即F＝L+S，所述低秩矩阵表征图像背景，所述稀疏矩阵表征显著目标；然后，利用加权Schatten p-范数约束低秩矩阵

对于显著目标，则用树结构稀疏l_2,1范数

和拉普拉斯正则化(Tr(SM_FS^T))对其进行约束；

(5)采用交替方向乘子法对分解模型进行求解，得出显著目标的检测效果图。

可选的，步骤(3)中，对于每个超像素，位置先验为

其中σ²为高斯分布方差，c为图像中心；颜色先验根据人眼对暖色系的敏感程度获取；边缘先验则是

其中B表示边缘超像素集合，q_i表示超像素P_i内的像素个数，|·|表示交集长度，即两个超像素块连接的像素个数；然后将三个先验值相乘，得到每个超像素对应的背景先验；最后，得到背景先验权重为

可选的，步骤(4)中，对低秩背景的加权Schatten p-范数约束为

其中权重为

C＝2max(m²,n²),ε＝10^-16；

利用有t层的索引树T表示图像块之间的空间关系，其中

表示树T的第i层的所有节点集合，b_i表示第i层的所有节点个数，

则基于加权树结构稀疏的l_2,1范数可以表示为：

其中

为矩阵S对应节点

的子矩阵，

表示节点

的权重，其表达式为

为保留图像固有局部结构，对显著目标进行拉普拉斯正则化约束

其中s_i表示S的第i列元素，Θ∈R^N×N为图像关联矩阵，其表达式为

为图像拉普拉斯矩阵。所以优化模型为

s.t.F＝L+S,

可选的，步骤(5)中，优化模型的拉格朗日函数为：

其中Y₁和Y₂是拉格朗日乘子，μ＞0是惩罚参数，J为辅助变量。用交替方向乘子法求解模型的步骤如下：

1)输入：特征矩阵F∈R^D×N，索引树

低秩权重W，稀疏权重

参数p，α，和β；

2)初始化：L₀＝0，S₀＝0，辅助变量J₀＝0，拉格朗日乘子Y_1,0＝0，Y_2,0＝0，惩罚因子μ₀＝0.1，μ_max＝10¹⁰，ρ＝1.1，以及迭代次数k＝0；

3)固定其他变量，由广义软阈值算法更新得到

4)固定其他变量，对Γ(L_k+1,S_k,J,Y_1,k,Y_2,k,μ_k)关于J求导并等于零，更新J_k+1；

5)固定其他变量，更新

6)分别更新Y_1,k+1＝Y_1,k+μ_k(F-L_k+1-S_k+1)，Y_2,k+1＝Y_2,k+μ_k(S_k+1-J_k+1)以及

μ_k+1＝min(ρμ_k,μ_max)；

7)重复步骤3)-6)，直到满足收敛条件时停止；

8)输出：L和S。

本发明与现有技术相比，具有如下优点：

本发明将图像处理成超像素的形式，然后对其进行特征和背景先验提取。相比于直接在单个图像像素上操作，可以减少操作成本。本发明用加权Schatten p-范数代替核范数，使其更好地逼近秩函数。另外，利用具有树结构稀疏特性的l_2,1范数，充分考虑了图像块之间的内在空间结构。并且，结合显著目标的拉普拉斯正则化约束，保留固有局部结构的同时，增大了背景与目标的差异性，大大提升了显著性检测的精确度。

附图说明

图1是本发明的流程图；

图2是本发明选取不同p值在ECSSD数据库的显著性检测结果；

图3是本发明与其他四种方法在不同数据库的显著性检测视觉效果图。

具体实施方式

以下结合附图对本发明的优选实施例进行详细描述，但本发明并不仅仅限于这些实施例。本发明涵盖任何在本发明的精神和范围上做的替代、修改、等效方法以及方案。

为了使公众对本发明有彻底的了解，在以下本发明优选实施例中详细说明了具体的细节，而对本领域技术人员来说没有这些细节的描述也可以完全理解本发明。

参照图1，本发明的具体实施过程如下：

步骤一，对于给定的输入图像I，首先通过简单线性迭代聚类方法(SLIC)将其分割成互不重叠的N个超像素块。

步骤二，对于每个超像素块P_i提取一个D维的特征向量，记为f_i∈R^D。然后，将所有超像素块P_i的特征向量整合成一个表示图像I的特征矩阵F＝[f₁,...,f_N]∈R^D×N。

步骤三，对每个超像素块P_i分别提取位置Lo(i)、颜色Co(i)和边缘Bo(i)先验，并将其融合为一个背景先验Ω(i)＝Lo(i)·Co(i)·Bo(i)，从而得到背景先验权重Ω。

其中，超像素块P_i的位置先验为

其中σ²为高斯分布方差，c为图像中心。颜色先验根据人眼对暖色系的敏感程度获取。边缘先验则是

其中B表示边缘超像素集合，q_i表示超像素P_i内的像素个数，|·|表示交集长度，即两个超像素连接的像素个数。然后将三个先验值相乘，得到每个超像素对应的背景先验。最后，得到背景先验权重为

步骤四，将特征矩阵F分解成低秩矩阵(图像背景)与稀疏矩阵(显著目标)的和，即F＝L+S。然后，利用加权Schatten p-范数约束低秩矩阵

对于显著目标，则用树结构稀疏l_2,1范数

和拉普拉斯正则化(Tr(SM_FS^T))对其进行约束。

其中，对低秩背景的加权Schatten p-范数约束为

其中权重为

C＝2max(m²,n²),ε＝10^-16。

利用有t层的索引树T表示图像块之间的空间关系，其中

表示树T的第i层的所有节点集合，b_i表示第i层的所有节点个数，

则基于加权树结构稀疏的l_2,1范数可以表示为

其中

为矩阵S对应节点

的子矩阵，

表示节点

的权重，其表达式为

为保留图像固有局部结构，对显著目标进行拉普拉斯正则化约束

其中s_i表示S的第i列元素，Θ∈R^N×N为图像关联矩阵，其表达式为

为图像拉普拉斯矩阵。所以优化模型为

s.t.F＝L+S,

步骤五，采用交替方向乘子法对分解模型进行求解，优化模型的拉格朗日函数为

其中Y₁和Y₂是拉格朗日乘子，μ＞0是惩罚参数，J为辅助变量。用交替方向乘子法求解模型的步骤如下：

(1)输入：特征矩阵F∈R^D×N，索引树

低秩权重W，稀疏权重

p，参数α和β；

(2)初始化：L₀＝0，S₀＝0，辅助变量J₀＝0，拉格朗日乘子Y_1,0＝0，Y_2,0＝0，惩罚因子μ₀＝0.1，μ_max＝10¹⁰，ρ＝1.1，以及迭代次数k＝0；

(3)固定其他变量，由广义软阈值算法更新

(4)固定其他变量，对Γ(L_k+1,S_k,J,Y_1,k,Y_2,k,μ_k)关于J求导并等于零，更新J_k+1；

(5)固定其他变量，更新

(6)分别更新Y_1,k+1＝Y_1,k+μ_k(F-L_k+1-S_k+1)，Y_2,k+1＝Y_2,k+μ_k(S_k+1-J_k+1)以及

μ_k+1＝min(ρμ_k,μ_max)；

(7)重复步骤(3)-(6)，直到满足收敛条件时停止；

(8)输出：L和S。

本发明的优势由以下实验结果与视觉效果图进一步说明。

1.实验说明

1)选取三个图像数据库，分别为ECSSD、iCoSeg以及Pascal1500。

2)确定本发明分别在不同数据库上参数p(0＜p≤1)的最优取值；

3)将本发明与现有的SMD、WLRR、ULR和GBMR四种方法在不同数据库上的显著性检测性能进行对比；

4)参数α和β分别设置为0.35和1.1；

5)以平均绝对误差(MAE)、OR指数(overlapping ratio)、加权F-measure指数(WF)、平均F-measure指数(aveF)和最大F-measure指数(maxF)作为显著性检测性能的评价指标。

2.实验内容与结果

1)确定本发明分别在不同数据库上参数p(0＜p≤1)的取值

本实验的目的是：说明不同p值对模型的影响。

选取p为[0.2,0.8]中间隔为0.1的七个值，分别在ECSSD上进行实验。从图2的四条曲线可知，当p＝0.3时显著性检测效果最好。在另外两个数据库上也得到相同的结论。

2)将本发明与现有的SMD、WLRR、ULR和GBMR四种方法在不同数据库上的显著性检测性能进行对比

本实验的目的是：展示在不同数据库下，本发明与其他四种方法的显著性检测性能。

图3展示了部分由五种方法进行目标显著性检测的视觉效果图。表1、表2和表3是在三个不同数据库中，五种方法分别进行目标显著性检测的评价指标结果。

表1五种算法在ECSSD数据库中的显著性检测结果

注：“+”表示值越大越好；“-”表示值越小越好.

表2五种算法在iCoSeg数据库中的显著性检测结果

表3五种算法在Pascal1500数据库中的显著性检测结果

综上所有分析，本发明在目标显著性检测问题上具有良好的表现，优于其他四种检测方法。

虽然以上将实施例分开说明和阐述，但涉及部分共通之技术，在本领域普通技术人员看来，可以在实施例之间进行替换和整合，涉及其中一个实施例未明确记载的内容，则可参考有记载的另一个实施例。

以上所述的实施方式，并不构成对该技术方案保护范围的限定。任何在上述实施方式的精神和原则之内所作的修改、等同替换和改进等，均应包含在该技术方案的保护范围之内。

Claims (2)

1.基于矩阵低秩稀疏分解的目标显著性检测方法，其特征在于：包括如下步骤：

(1)给定一张输入图像I，首先通过线性迭代聚类方法将其分割成互不重叠的N个超像素块；

(2)对于每个超像素块P_i提取一个D维的特征向量，记为f_i∈R^D；然后，将所有超像素块P_i的特征向量整合成一个表示图像I的特征矩阵：

F＝[f₁,...,f_N]∈R^D×N；

(3)对每个超像素块P_i分别提取位置Lo(i)、颜色Co(i)和边缘Bo(i)先验，并将其融合为一个背景先验Ω(i)＝Lo(i)·Co(i)·Bo(i)，从而得到背景先验权重Ω；

(4)将特征矩阵F分解成低秩矩阵与稀疏矩阵的和，即F＝L+S，所述低秩矩阵表征图像背景，所述稀疏矩阵表征显著目标；然后，利用加权Schattenp-范数约束低秩矩阵

对于显著目标，则用树结构稀疏l_2,1范数

和拉普拉斯正则化(Tr(SM_FS^Τ))对其进行约束；

(5)采用交替方向乘子法对分解模型进行求解，得出显著目标的检测效果图；

步骤(4)中，对低秩背景的加权Schattenp-范数约束为

其中权重为

C＝2max(m²,n²),ε＝10^-16；

利用有t层的索引树T表示图像块之间的空间关系，其中

表示树T的第i层的所有节点集合，b_i表示第i层的所有节点个数，

则基于加权树结构稀疏的l_2,1范数表示为：

其中

为矩阵S对应节点

的子矩阵，

表示节点

的权重，其表达式为

为保留图像固有局部结构，对显著目标进行拉普拉斯正则化约束

其中s_i表示S的第i列元素，Θ∈R^N×N为图像关联矩阵，其表达式为

为图像拉普拉斯矩阵， 所以优化模型为

s.t.F＝L+S,

步骤(5)中，优化模型的拉格朗日函数为：

其中Y₁和Y₂是拉格朗日乘子，μ＞0是惩罚参数，J为辅助变量；用交替方向乘子法求解模型的步骤如下：

1)输入：特征矩阵F∈R^D×N，索引树

低秩权重W，稀疏权重

参数p，α，和β；

2)初始化：L₀＝0，S₀＝0，辅助变量J₀＝0，拉格朗日乘子Y_1,0＝0，Y_2,0＝0，惩罚因子μ₀＝0.1，μ_max＝10¹⁰，ρ＝1.1，以及迭代次数k＝0；

3)分别更新Y_1,k+1＝Y_1,k+μ_k(F-L_k+1-S_k+1)，Y_2,k+1＝Y_2,k+μ_k(S_k+1-J_k+1)以及μ_k+1＝min(ρμ_k,μ_max)；

4)重复步骤6)，直到满足收敛条件时停止；

5)输出：L和S。

2.根据权利要求1所述的基于矩阵低秩稀疏分解的目标显著性检测方法，其特征在于：步骤(3)中，对于每个超像素，位置先验为

其中σ²为高斯分布方差，c为图像中心；颜色先验根据人眼对暖色系的敏感程度获取；边缘先验则是

其中B表示边缘超像素集合，q_i表示超像素P_i内的像素个数，|·|表示交集长度，即两个超像素块连接的像素个数；然后将三个先验值相乘，得到每个超像素对应的背景先验；最后，得到背景先验权重为

Images