CN104408708A - 一种基于全局和局部低秩的图像显著目标检测方法 - Google Patents

Abstract

本发明公开了一种基于全局和局部低秩的图像显著目标检测方法，包括：步骤(1)，获取初始显著图；步骤(2)，全局和局部低秩处理；步骤(3)，全局和局部显著图结合：结合全局显著图和局部显著图，根据两部分的贡献本发明分别给其不同的权重对其进行融合得到最终结果。本发明结合CIE Lab颜色空间对比度特征得到图像初始显著图；从全局和局部两个方面分别对初始显著图中的非显著信息进行抑制。通过本发明所得显著图中包含较少的背景非显著信息，便于将处理结果进一步应用于更多的计算机视觉、图像处理等任务中。通过本发明所得显著目标图像中包含的背景非显著信息更少，所得显著目标更加清晰、可靠。

Description

一种基于全局和局部低秩的图像显著目标检测方法

技术领域

本发明涉及计算机视觉和图像处理技术领域，具体涉及一种基于全局和局部低秩的图像显著目标检测方法。

背景技术

随着计算机视觉的发展，图像显著性目标检测作为计算机视觉领域的基本任务已经成为了研究的热点。检测显著性目标可以应用与图像分割，目标识别，图像缩放，图像压缩等领域。一个高质量的显著图可以为以上工作提供更好地预处理过程。

现阶段显著性目标检测的方法有很多，显著性检测精度已经有了较大的提升。但传统的显著性检测方法需要结合多种图像特征，在得到的显著目标的同时往往会引入许多图像背景中的非显著信息，使得所得显著目标处在一种比较杂乱的环境中，这为显著图的进一步应用带来很大的困难。

发明内容

本发明提出了一种基于全局和局部低秩的图像显著目标检测方法。其目的在与获取显著目标的同时去除了显著图中的非显著信息提高了所得显著图的质量，使得所得显著图中包含的非显著信息少，显著目标更加清晰。

本发明提出的基于全局和局部低秩的图像显著目标检测方法，包括：

步骤1，结合CIE Lab颜色空间对比度特征得到初始显著图；

步骤2，从全局方面对初始显著图进行低秩分解，对初始显著图背景中非显著信息进行抑制得到全局显著图，从局部方面将初始显著图分成若干图像块，提取出每一块的特征向量组成特征矩阵，对特征矩阵进行低秩分解，利用特征矩阵稀疏性，计算每一图像块的显著度，根据显著度的值大小的不同选出其中的低显著区域和非显著区域分别进行抑制，进而得到局部显著图；

步骤3，将得到的全局显著图和局部显著图，根据其对整体贡献的不同给以不同的权重进行融合得到最终结果。

优选地，步骤1进一步包括：在提取CIE Lab颜色空间中对比度特征时候，本发明分别求出CIE Lab颜色空间三通道图像与其均值之差的绝对值，作为三通道对比度特征矩阵；结合标准偏差和2-D熵来选取出标准偏差最大和2-D熵最小的对比度特征矩阵，结合这两个通道对比度特征得到图像的初始显著图。

得到图像的初始显著图，通过下述步骤实现：

(1a)CIE Lab颜色空间三通道图像与其均值之差的绝对值，由下式得到：

$I_{\mathrm{cj}}=|I_j-{\stackrel{\‾}{I}}_j|---\left(1\right)$

其中，j∈{1,2,3}表示CIE Lab颜色空间三个颜色通道；I_cj为j通道与其均值之差的绝对值，表示j通道对比度特征；

(1b)分别选取出标准偏差最大的I'_cj和2-D熵最小的I″_cj；将这两部分以不同的权重融合：

$I_p=0.35*I_{\mathrm{cj}}^{\′}+0.65*I_{\mathrm{cj}}^{\′\′}---\left(2\right)$

其中，I_p为初始显著图。

优选地，步骤2进一步包括：本发明对得到的初始显著图进行全局低秩分解，通过初始显著图减去分解后的低秩部分(背景非显著信息)得到全局显著图。

优选地，步骤2进一步包括：局部低秩时候本发明首先对初始显著图进行分块；然后，提取出每一图像块的特征向量作为特征矩阵的列向量，进而对特征矩阵进行低秩分解，根据所得稀疏噪声矩阵列向量模长的大小计算所对应图像块的显著度值，然后根据显著度值的不同给出两个阈值，根据这两个阈值将所对应的图像块分为以下三类：显著的、低显著的和非显著的，对低显著地和非显著的图像块进行相应的抑制处理。

步骤2中，首先，从全局方面对初始显著图进行低秩分解，对初始显著图背景中非显著信息进行抑制得到全局显著图，包括下述步骤：

(2a)从全局方面对初始显著图进行低秩分解，得到初始显著图的低秩部分和稀疏部分，

$\begin{array}{c}\underset{L,M}{\min }\left|\right|L|{|}_{*}+\mathrm{\λ}|\left|M\right|{|}_1\\ s.t.I_p=L+M\end{array}---\left(3\right)$

其中，L为低秩矩阵对应于图像背景冗余部分，M为稀疏矩阵对应于图像前景显著目标，λ为系数平衡低秩和稀疏两部分；

(2b)当λ取值过大时，一些前景目标信息会被当做背景处理；反之当λ取值较小时，一些背景信息会被当做前景目标处理，用初始显著图减去分解之后的低秩部分，得到全局显著图：

I_g＝I_p-L   (4)

其次，对特征矩阵进行低秩分解，进而得到局部显著图，包括下述步骤：

(2c)对所得初始显著图进行分块处理将初始显著图分成k个相同大小(m×n)的图像块p_k；提取特征矩阵：

Y＝[y₁,y₂,...,y_k]   (5)

式中，y_k＝mean(p_k,2)；

(2d)对特征矩阵Y进行低秩分解得到最优稀疏解E^*，根据最优稀疏解E^*计算每一图像块的显著度S(p_k)：

$S\left(p_k\right)=\mathrm{norm}\left(E^{*}(:,k)\right)=\sqrt{\mathrm{\Σ}{\left(E^{*}(:,k)\right)}^2}---\left(6\right)$

式中，k为第k个图像块；

(2e)根据每一块图像的显著度S(p_k)分别对图像块p_k进行不同的处理：

$p_k=\left\{\begin{array}{cc}{\mathrm{\&mu;}}_1{p}_k,& \mathrm{if}{\mathrm{\&sigma;}}_2<S\left(p_k\right)\&le;{\mathrm{\&sigma;}}_1\\ {\mathrm{\&mu;}}_2{p}_k,& \mathrm{ifS}\left(p_k\right)\&le;{\mathrm{\&sigma;}}_2\\ p_k& \mathrm{others}\end{array}\right.---\left(7\right)$

式中，阈值σ用来选择低显著图像块和非显著图像块；

(2f)当σ₂<S(p_k)≤σ₁，p_k为低显著区域；当S(p_k)≤σ₂，p_k为非显著区域；

(2g)对这两种区域分别乘以不同的系数u(0<μ₂<μ₁<1)，即得到局部显著图I_l。

优选地，步骤3进一步包括：本发明根据所得全局显著图和局部显著图对最终结果的贡献不同，分别给以不同的权重进行融合得到最终结果。通过下式得到：

I_s＝λ₁I_g+λ₂I_l   (8)

其中，I_s为图像显著目标，I_g为全局显著图，I_l为局部显著图。

本发明将CIE Lab颜色空间对比度特征得到图像初始显著图；从全局和局部两个方面分别对初始显著图中的非显著信息进行抑制。通过本发明所得显著图中包含较少的背景非显著信息，便于将处理结果进一步应用于更多的计算机视觉、图像处理等任务中。

利用本发明基于全局和局部低秩的图像显著目标检测方法，显著目标检测的优点是本发明结合了CIE Lab颜色空间中对比度特征可以快速的得到初始显著图，但初始显著图中包含有大量的背景非显著信息，并不能很好的突出显著目标。因此，本发明从全局对初始显著图进行低秩分解，从整体去除背景中大面积的非显著信息；另外，结合局部低秩，本发明对图像中非显著的图像区域和低显著地区域分别进行抑制。因此通过本发明所得显著目标图像中包含的背景非显著信息更少，所得显著目标更加清晰、可靠。

附图说明

图1为本发明基于全局和局部低秩的图像显著目标检测方法的总体流程图；

图2(a)-(e)为本发明初始显著图获取过程；

图3(a)-(d)为本发明初始显著图全局和局部低秩过程；

图4(a)-(d)为本发明最终显著性检测结果图。

具体实施方式

下面结合附图1至图4及具体实施方式进一步说明本发明。

图1给出了基于全局和局部低秩的图像显著目标检测方法的总体流程。

本文发明了一种基于全局和局部低秩的图像显著目标检测方法，其主要步骤介绍如下：

步骤(1)，获取初始显著图：原始图像在CIE Lab颜色空间三通道分别减去所对应各个通道的均值后得到三通道差异度特征矩阵，然后计算三通道特征矩阵的标准偏差和2-D熵，选取出标准偏差最大和2-D熵最小的结果并分别给以不同的权重进行融合得到初始显著图；

步骤(2)，全局和局部低秩处理：这里结合人眼视觉的全局与局部感知特性，分别利用低秩冗余的全局性和局部性分别获得全局感知、局部感知显著性图。全局低秩处理：将所得初始显著图进行全局低秩分解，用初始显著图减去低秩部分得到全局显著图；局部低秩处理：将初始显著图分成若干图像块，然后提取出每一图像块的特征向量组成特征矩阵，然后利用特征矩阵的稀疏性计算所对应图像块的显著度，并选取低显著度的图像块和非显著的图像块分别进行抑制，进而得到局部显著图；

步骤(3)，全局和局部显著图结合：结合全局显著图和局部显著图，根据两部分的贡献本发明分别给其不同的权重对其进行融合得到最终结果。

步骤(1)中，该方法利用CIE Lab颜色空间中不同通道对比度的不同，我们分别求出三个通道与其所在通道均值之差的绝对值，然后依据标准偏差最大和2-D熵最小规则分别选取合适的通道结果结合作为初始显著图。

步骤(2)中，利用全局低秩分解用步骤(1)所得初始显著图减去全局低秩分解后的低秩冗余部分(背景非显著信息)得到全局显著图；在局部处理中首先对初始显著图进行分块处理，然后提取每一图像块的特征向量作为特征矩阵的列向量，最后对特征矩阵低秩分解，根据矩阵稀疏性求出每一图像块的显著度，根据显著度的不同对显著度低的图像块分别进行不同的抑制处理得到局部显著图。

步骤(3)中，全局和局部显著图融合方法，该方法利用所得全局显著图和局部显著图，以不同的权重进行融合得到最终的结果。

下面通过具体实施例对本发明方法做进一步详细说明。

1.获取初始显著图

在CIE Lab颜色空间分别计算各个通道与其所在通道均值之差的绝对值，过程如图2(b)所示，其中，图2(a)为输入原始图像，具体计算方法如下：

$I_{\mathrm{cj}}=|I_j-{\stackrel{\&OverBar;}{I}}_j|---\left(1\right)$

其中，j∈{1,2,3}表示CIE Lab颜色空间三个颜色通道；I_cj为j通道与其均值之差的绝对值，表示j通道对比度特征。本发明分别选取出标准偏差最大的I'_cj如图2(c)所示和2-D熵最小的I″_cj如图2(d)所示；将这两部分以不同的权重融合：

$I_p=0.35*I_{\mathrm{cj}}^{\&prime;}+0.65*I_{\mathrm{cj}}^{\&prime;\&prime;}---\left(2\right)$

其中，I_p为初始显著图如图2(e)所示。

2.低秩处理

1)全局低秩

对初始显著图低秩分解，得到初始显著图的低秩部分和稀疏部分，计算方法如下：

$\begin{array}{c}\underset{L,M}{\min }\left|\right|L|{|}_{*}+\mathrm{\&lambda;}|\left|M\right|{|}_1\\ s.t.I_p=L+M\end{array}---\left(3\right)$

其中，L为低秩矩阵对应于图像背景部分，M为稀疏矩阵对应于图像前景目标，λ为稀疏平衡低秩和稀疏两部分。当λ取值过大时，一些前景目标信息会被当做背景处理；反之当λ取值较小时一些背景信息会被当做前景目标处理，本发明取λ＝0.008；本发明用初始显著图减去分解之后的低秩部分，得到全局显著图：

I_g＝I_p-L   (4)

过程如图3(c)所示，图3(a)为原始图像。

2)局部低秩

对所得初始显著图进行分块处理将初始显著图分成k个相同大小(m×n)的图像块pk；提取特征矩阵：

Y＝[y₁,y₂,...,y_k]   (5)

这里y_k＝mean(p_k,2)；对特征矩阵Y进行低秩分解可以得到最优稀疏解E^*。根据最优稀疏解计算每一图像块的显著度S(p_k)，计算方法如下：

$S\left(p_k\right)=\mathrm{norm}\left(E^{*}(:,k)\right)=\sqrt{\mathrm{\&Sigma;}{\left(E^{*}(:,k)\right)}^2}---\left(6\right)$

本发明根据每一块图像的显著度S(p_k)分别对图像块p_k进行不同的处理。计算方法如下：

$p_k=\left\{\begin{array}{cc}{\mathrm{\&mu;}}_1{p}_k,& \mathrm{if}{\mathrm{\&sigma;}}_2<S\left(p_k\right)\&le;{\mathrm{\&sigma;}}_1\\ {\mathrm{\&mu;}}_2{p}_k,& \mathrm{ifS}\left(p_k\right)\&le;{\mathrm{\&sigma;}}_2\\ p_k& \mathrm{others}\end{array}\right.---\left(7\right)$

这里，阈值σ用来选择低显著图像块和非显著图像块，当σ₂<S(p_k)≤σ₁，本发明p_k为低显著区域；当S(p_k)≤σ₂，本发明p_k为非显著区域对这两种区域分别乘以不同的系数u(0<μ₂<μ₁<1)。既而得到局部显著图I_l，此过程可以表述为在局部处理中减去了图像中局部非显著信息，具体过程如图3(b)所示。

3.获取最终显著图

根据全局合局部显著图对最终结果的贡献不同本发明分别给出不同的权重进行融合。计算方法如下：

I_s＝λ₁I_g+λ₂I_l   (8)

其中，I_s为最终结果如图3(d)所示，I_g为全局显著图，I_l为局部显著图，本发明取λ₁＝0.6，λ₂＝0.4。

附图4给出了本发明的一些显著性目标检测结果。其中，图4(a)图4(c)为输入图像，图4(b)给出了一些简单背景下的显著目标检测结果，图4(d)给出了复杂背景下的检测结果，可以直观看到本发明所提方法不仅能够适用于简单背景下的显著目标检测，而且在复杂背景下也有很好的表现。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于全局和局部低秩的图像显著目标检测方法，其特征在于，包括下述步骤：

步骤1，结合CIE Lab颜色空间对比度特征得到初始显著图；

步骤2，从全局方面对初始显著图进行低秩分解，对初始显著图背景中非显著信息进行抑制得到全局显著图；从局部方面将初始显著图分成若干图像块，提取出每一块的特征向量组成特征矩阵，对特征矩阵进行低秩分解，利用特征矩阵稀疏性，计算每一图像块的显著度，根据显著度的值大小的不同选出其中的低显著区域和非显著区域分别进行抑制，进而得到局部显著图；

步骤3，将得到的全局显著图和局部显著图，根据其对整体贡献的不同给以不同的权重进行融合得到最终结果。

2.根据权利要求1所述的方法，其特征在于，步骤1进一步包括：在提取CIE Lab颜色空间中对比度特征时，分别求出CIE Lab颜色空间三通道图像与其均值之差的绝对值，作为三通道对比度特征矩阵；结合标准偏差和2-D熵来选取出标准偏差最大和2-D熵最小的对比度特征矩阵，结合这两个通道对比度特征得到图像的初始显著图。

3.根据权利要求2所述的方法，其特征在于，所述得到图像的初始显著图，通过下述步骤实现：

(1a)CIE Lab颜色空间三通道图像与其均值之差的绝对值，由下式得到：

$I_{\mathrm{cj}}=|I_j={\stackrel{\&OverBar;}{I}}_j|---\left(1\right)$

其中，j∈{1,2,3}表示CIE Lab颜色空间三个颜色通道；I_cj为j通道与其均值之差的绝对值，表示j通道对比度特征；

(1b)分别选取出标准偏差最大的I'_cj和2-D熵最小的I″_cj；将这两部分以不同的权重融合：

I_p＝0.35*I'_cj+0.65*I″_cj                    (2)

其中，I_p为初始显著图。

4.根据权利要求1所述的方法，其特征在于，步骤2中，从全局方面对初始显著图进行低秩分解，对初始显著图背景中非显著信息进行抑制得到全局显著图，包括下述步骤：

(2a)从全局方面对初始显著图进行低秩分解，得到初始显著图的低秩部分和稀疏部分：

$\underset{L,M}{\min }{\left|\right|L\left|\right|}_{*}+\mathrm{\&lambda;}{\left|\right|M\left|\right|}_1$

                               (3)

s.t.I_p＝L+M

其中，L为低秩矩阵对应图像背景冗余部分，M为稀疏矩阵对应于图像前景目标，λ为系数平衡低秩和稀疏两部分；

(2b)当λ取值过大时，一些前景目标信息会被当做背景处理；反之当λ取值较小时，一些背景信息会被当做前景目标处理，用初始显著图减去分解之后的低秩部分，得到全局显著图：

I_g＝I_p-L                   (4)。

5.根据权利要求1所述的方法，其特征在于，步骤2中，对特征矩阵进行低秩分解，进而得到局部显著图，包括下述步骤：

(2c)对所得初始显著图进行分块处理将初始显著图分成k个相同大小(m×n)的图像块p_k；提取特征矩阵：

Y＝[y₁,y₂,...,y_k]                      (5)

式中，y_k＝mean(p_k,2)；

(2d)对特征矩阵Y进行低秩分解得到最优稀疏解E^*，根据最优稀疏解E^*计算每一图像块的显著度S(p_k)：

$S\left(p_k\right)=\mathrm{norm}\left(E^{*}(:,k)\right)=\sqrt{\mathrm{\&Sigma;}{\left(E^{*}(:,k)\right)}^2}---\left(6\right)$

式中，k为第k个图像块；

(2e)根据每一块图像的显著度S(p_k)分别对图像块p_k进行不同的处理：

$p_k=\left\{\begin{array}{ccc}{\mathrm{\&mu;}}_1{p}_k,& \mathrm{if}& {\mathrm{\&sigma;}}_2<S\left(p_k\right)\&le;{\mathrm{\&sigma;}}_1\\ {\mathrm{\&mu;}}_2{p}_k,& \mathrm{if}& S\left(p_k\right)\&le;{\mathrm{\&sigma;}}_2\\ p_k,& \mathrm{others}& \end{array}\right.---\left(7\right)$

式中，阈值σ用来选择低显著图像块和非显著图像块；

(2f)当σ₂<S(p_k)≤σ₁，p_k为低显著区域；当S(p_k)≤σ₂，p_k为非显著区域；

(2g)对这两种区域分别乘以不同的系数u(0<μ₂<μ₁<1)，即得到局部显著图I_l。

6.根据权利要求1所述的方法，其特征在于，步骤3中，将得到的全局显著图和局部显著图，不同的权重进行融合，通过下式得到：

I_s＝λ₁I_g+λ₂I_l                         (8)

其中，I_s为图像显著目标，I_g为全局显著图，I_l为局部显著图。