CN102930542A - 一种基于全局对比度的矢量化显著检测方法 - Google Patents

Abstract

本发明一种基于全局对比度的矢量化显著检测方法，包括步骤：1）提取图像中每个像素点的特征矢量，将图像中所有像素的特征矢量构成特征矩阵；2）对特征矩阵沿行方向求均值，得到图像的均值矢量；3）将特征矩阵的转置中每个元素取平方后沿行方向求和，将求和结果与特征矩阵的转置和均值矢量乘积的2倍相减得到图像的显著度矢量；4）将图像的显著度矢量形成该图像的显著谱。本发明相比现有的基于全局对比度的显著检测方法，更高效、计算复杂度低。

Description

一种基于全局对比度的矢量化显著检测方法

技术领域

本发明提出一种图像处理技术，特别涉及一种图像显著检测方法。

背景技术

人类具有一种天生的选择性视觉能力，能够在认知过程完成之前，快速扫视复杂场景并将注意力聚焦在一些显著的区域上。有研究表明人眼视觉系统只是有效处理众多感知信息中最不寻常的部分，所以这种选择性视觉能力有助于大脑和视觉系统打破信息处理的瓶颈。而且在计算机视觉处理中，模拟这种能力来提取显著谱也是至关重要的，因为显著谱已广泛地应用于许多计算机视觉的处理和研究中，包括内容感知的图像缩略图、自适应编码、智能图像尺寸重建、自动对象分割以及图像和视频摘要等。

视觉显著性是一种能够让一个物体从其邻域中区分出来的感知属性。在过去几十年间，相关研究者提出了各种图像显著检测模型。这些模型以自底向上、自顶向下和混合的形式加以实现。自底向上模型模拟人眼快速的、靠刺激驱动的注意力产生过程，而自顶向下模型模拟相对较慢的、依赖于某种视觉任务的注意力部署过程。

自底向上模型由于其与生理学的视觉理论之间的关系更容易理解而被研究的更多，该模型主要采用一些简单的特征来进行建模，比如亮度、对比度、颜色和运动等。目前，自底向上方法可以大致分为两大类，即基于局部对比度和全局对比度的方法。基于局部对比度的方法一般根据“中心-环绕”假设理论，从图像的局部邻域中提取显著特征。该方法提取出的图像显著谱通常更加突出对象的边界，并且由于在利用多尺度方法提取局部对比度特征时采用了剧烈的下采样，使得显著谱的分辨率很低。基于全局对比度的方法整合整幅图像的所有特征信息来计算显著谱。通常，这种方法生成的显著谱具有较高的分辨率、均匀的显著区域和清晰的边界。然而，这种方法在计算每个像素的显著值时，需要考虑该像素与图像中所有像素的对比度，并且现有方法大多对每个像素的显著度分别进行计算，运算量很大。

发明内容

本发明所要解决的技术问题是复杂度较低的基于全局对比度的矢量化显著检测方法。

本发明为解决上述技术问题所采用的技术方案是，一种基于全局对比度的矢量化显著检测方法，其特征在于，包括以下步骤：

1）提取图像中每个像素点的特征矢量，将图像中所有像素的特征矢量构成特征矩阵，特征矩阵的每一列为对应的一个像素点的特征矢量，特征矩阵的列数与图像中像素点个数相等；

2）对特征矩阵沿行方向求均值，得到图像的均值矢量；

3）将特征矩阵的转置中每个元素取平方后沿行方向求和，将求和结果与特征矩阵的转置和均值矢量乘积的2倍相减得到图像的显著度矢量；

4）将图像的显著度矢量归一化至[0,255]区间，按照矢量中各元素对应的像素在图像中的位置排列成矩阵，形成该图像的显著谱，显著谱中亮度越高的像素点其显著度越高。

具体的，所述像素点的特征矢量为像素点的像素值的转置。

具体的，对特征矩阵沿行方向求均值，得到图像的均值矢量为

其中N表示图像I中像素点的总个数，x_q表示图像I中的任意一个像素点的特征矢量。

优选的，所述像素点的特征矢量为像素点的像素值与去除亮度值后的颜色值所组成的矢量的转置；所述去除亮度值后的颜色值为（R′,G′,B′），[R′,G′,B′]＝[R-L,G-L,B-L]，其中L表示亮度，R表示红色通道强度，G表示绿色通道强度，B表示蓝色通道强度。

优选的，对特征矩阵沿行方向求均值，得到图像的均值矢量为

其中，xq表示图像I中的任意一个像素点的特征矢量，K为归一化常数，K使

ω_p,q表示像素点q和p的近似程度；||q-p||表示像素点q和p的空间距离，||·||表示L2范数。

本发明的有益效果是，相比现有的基于全局对比度的显著检测方法，更高效、计算复杂度低。之后提出的优化方法，进一步提高了检测结果的准确性和鲁棒性。

附图说明

图1为本发明流程图。

图2为优化原则1的示意图。

图3为(a)和(d)为原始图像，(b)和(e)为使用实施例1方法得到显著谱，(c)和(f)使用实施例2方法得到的显著谱。

图4为(a)和(d)为原始图像，(b)和(e)为使用实施例1方法得到显著谱，(c)和(f)使用实施例3方法得到的显著谱。

具体实施方式

在基于全局对比度的显著模型中，图像I中任一像素p的显著值S_g(p)表示为：

$S_g\left(p\right)=\underset{\∀q\∈I}{\mathrm{\Σ}}D(I_p,I_q)---\left(1\right)$

其中，I_p表示像素点p的颜色值，D(I_p,I_q)表示像素点p和q的颜色值距离，像素点q∈I。

通过将D(I_p,I_q)表示为欧式距离平方，公式(1)可以重新表示为：

$S_g\left(p\right)=\underset{\∀q\∈I}{\mathrm{\Σ}}{\left|\right|x_p-x_q\left|\right|}^2$

$=\underset{\∀q\∈I}{\mathrm{\Σ}}{(x_p-x_q)}^T(x_p-x_q)---\left(2\right)$

$={\mathrm{Nx}}_p^T{x}_p-2{\mathrm{Nx}}_p^T{\mathrm{\μ}}_x+\underset{\∀q\∈I}{\mathrm{\Σ}}{x}_q^T{x}_q$

其中，x_p=(x₁,x₂,x₃)^T为像素点p的特征矢量。像素点的特征矢量为像素点的像素值的转置。具体的，当像素点采用CIELAB颜色空间表示时，该像素点的像素值为（L，a，b），其中分量L表示亮度，分量a表示由绿色到红色的光谱变化，分量b表示由蓝色到黄色的光谱变化；当像素点采用YUV格式表示时，该像素点的像素值为(Y，U,V)，分量Y表示亮度，分量U表示输入信号红色部分与信号亮度值之间的色差分量，分量V表示输入信号蓝色部分与信号亮度值之间的色差分量；当像素点采用RGB格式表示时，该像素点的像素值为(R,G，B)，R分量表示红色通道强度，分量G表示绿色通道强度，分量B表示蓝色通道强度。N表示图像I的像素个数，

表示所有像素的特征矢量的平均矢量。由于给定一幅图像，公式(2)的第三项为一个常数，就可以得到一个基于全局对比度显著检测的矢量模型：

$S_g\left(p\right)\∝x_p^T{x}_p-2x_p^T{\mathrm{\μ}}_x---\left(3\right)$

其中，∝表示呈线性正比关系。本发明基于该矢量模型为基础，能够非常高效地得到整幅图像的显著谱。

以下为在Matlab R2010b实验平台上进行本发明提出的基于全局对比度的矢量化显著检测。

实施例1

本发明在Matlab R2010b实验平台上进行实现，如图1所示主要包括三个步骤，分别是图像特征矩阵的提取，均值矢量计算及显著值矢量计算，具体如下：

步骤一、提取图像中每个像素点的特征矢量，将图像中所有像素的特征矢量构成特征矩阵，特征矩阵的每一列为对应的一个像素点的特征矢量，特征矩阵的列数与图像中像素点个数相等。如果某像素点p的特征矢量为x_p=(x₁,x₂,x₃)^T，将所有像素的特征矢量拼接在一起，构造一个3×N的特征矩阵F，N为图像中所有像素个数；

步骤二、对特征矩阵沿行方向求均值，得到图像的均值矢量

步骤三、根据公式(3)，将特征矩阵的转置F^T中每个元素取平方后沿行方向求和，将求和结果与特征矩阵的转置和均值矢量乘积的2倍相减得到图像的显著度矢量S=sum(F^T.^2,2)-2(F^T*μ_x)；Matlab中sum(F^T.^2,2)表示将特征矩阵F的转置中每个元素取平方后，沿第二维（行方向）求和，即返回一个包含每一行所有元素的总和的列向量，sum(F^T.^2,2)的结果为一个N1的列向量；2(F^T*μ_x)表示特征矩阵的转置F和均值矢量μ_x乘积的2倍，2(F^T*μ_x)的结果也是一个N*1的列向量；

步骤四：将图像的显著度矢量归一化至[0,255]区间，按照矢量中各元素对应的像素在图像中的位置排列成矩阵，形成该图像的显著谱，显著谱中亮度越高的像素点其显著度越高。

以图3、图4为例，其中的（a）、（d）均为待进行显著度检测的原始图像，其中的（b）、（e）为采用了实施例1方法后的显著谱，可以看出实施例1的方法能够有效地识别图像中的显著区域，但检测的鲁棒性还有待提高。

为了对实施例1进行优化，对式（3）表示的全局对比度显著检测的矢量模型做进行分析： $S_g\left(p\right)\∝x_p^T{x}_p-2x_p^T{\mathrm{\μ}}_x\∝\left|x_p\right|\left(\right|x_p|-2|{\mathrm{\μ}}_x\left|\cos \mathrm{\θ}\right)$

其中，∝表示呈线性正比，|x_p|为矢量x_p的幅值，θ为矢量x_p和2μ_x的夹角，2|μ_x|cosθ为2μ_x在x_p上的映射。根据公式(3)的矢量模型，像素的显著值S_g(p)依赖于两个量，即θ和|x_p|。通过对矢量模型的进行优化，可以提高显著检测的准确性和鲁棒性。

优化的基于的原则为以下两点：

原则1：根据显著性的全局稀有原则，显著像素的特征应该不同于其他像素。用公式(3)来表示，显著像素的cosθ应该尽量小。

原则2：图像的平均特征应该主要取决于非显著像素的特征。也就是说，非显著像素与μ_x的夹角应该尽量小。在计算图像的均值矢量时，非显著像素应该比显著像素贡献更多。

于是，针对上面的的矢量模型，在实施例1的基础上提出了两种优化实例：

实施例2

该优化方案依据原则1，使显著像素的矢量进一步的偏离图像的均值矢量。如图2所示，当原始特征矢量x_p为由元素x₁,x₂确定，集合内所有元素的平均μ_x与原始特征矢量x_p之间的偏离度为θ；增加了元素x₃来优化特征矢量，优化后的特征矢x′_p由元素x₁,x₂,x₃确定，重新确定的集合内所有元素的平均

与优化后的特征矢量x′_p之间的偏离度为θ′。说明了，如果将像素的特征矢量中添加新的能有效区分显著和非显著像素的特征，能够使显著像素的矢量更加偏离图像均值矢量。

由于颜色对比度是吸引人眼注意力的一种重要特征，并且它所具备的高级显著性相对于亮度对比度能够更加吸引人的注意。因此，实施例2将颜色感知特征作为新特征加入像素点的特征矢量中。给定一幅图像，用R_p、G_p和B_p表示图像中任意一个像素p的RGB颜色值，L_p表示其亮度值。像素p的颜色感知特征表示为：

[R′_p,G′_p,B′_p]=[R_p-L_p,G_p-L_p,B_p-L_p]                    (4)

式(4)中的相减运算能够较大地去除颜色通道中的亮度分量，而保留主要的颜色信息。将颜色感知的特征加入原来的颜色矢量，得到新的特征矢量x′_p=(x₁,x₂,x₃,R′_p,G′_p,B′_p)^T，这样在基于实施1步骤不变的情况下，使用了新增加了颜色感知特征的特征矢量，图像的特征矩阵F为一个大小为6×N的矩阵。

图3中（c）、（f）为使用了实施例2方法得到的显著谱，相对于实施例1的结果而言，显著检测的准确性和鲁棒性有明显提升。

实施例3

根据矢量模型(3)，像素的显著值与图像的均值矢量μ_x有很大关系。依据优化原则2，用相似像素距离和来改变图像均值矢量的构建方式，让均值矢量偏向更有可能是背景的一些非显著像素。

图像中任意一个像素p的相似像素距离和定义为：

$S_d\left(p\right)=\frac{1}{N}\underset{\∀q\∈I}{\mathrm{\Σ}}{\mathrm{\ω}}_{p,q}{\left|\right|p-q\left|\right|}^2---\left(5\right)$

其中，ω_p,q用于衡量像素p和q的近似程度，可以用其颜色距离表示，||p-q||表示两个像素位置的空间距离，||·||表示L2范数。由于背景像素分布更加发散，前景物体更加集中，对于具有较大相似像素距离和的像素，其越有可能是背景的非显著像素，用它来计算均值矢量时，应该赋予更大的概率权重。

利用相似像素距离和改变像素的概率，优化后的均值矢量

表示为：

${\widehat{\mathrm{\μ}}}_x=\underset{\∀q\∈I}{\mathrm{\Σ}}\frac{1}{K}\exp \left(\frac{S_d\left(q\right)}{{\mathrm{\σ}}_p^2}\right)x_q---\left(6\right)$

其中，K为归一化常数，使

参数σ_p用于控制概率加权的强度，是一个经验值，根据实际情况可调，本实施例

设为0.1；根据式（5），

这样在基于实施1步骤不变的情况下，在计算图像的均值矢量时使用优化的均值矢量算法，这样矢量模型优化为：

${\hat{S}}_g\left(p\right)\∝x_p^T{x}_p-2x_p^T{\widehat{\mathrm{\μ}}}_x---\left(7\right)$

图4中（c）、（f）为使用了实施例3方法得到的显著谱，相对于实施例1的结果而言，显著检测的准确性和鲁棒性有明显提升。

实施例4

在实施例1的基础上结合实施2、3的那种优化方式，进行显著检测：

步骤一、提取每个像素的特征矢量，进一步构造整幅图像的特征矩阵，每个像素的特征矢量为x′_p=(x₁,x₂,x₃,R′_p,G′_p,B′_p)^T，将所有像素的特征矢量拼接在一起，构造一个6×N的特征矩阵F，N为图像中所有像素个数；

步骤二、按照公式(6)用每个像素的相似像素距离和对特征矢量进行加权后，对特征矩阵F沿着第二维（行方向）求均值，得到图像的均值矢量

其中，x_q表示图像I中的任意一个像素点的特征矢量，K为归一化常数，K使

ω_p,q表示像素点q和p的近似程度；||q-p||表示像素点q和p的空间距离；

步骤三、根据公式(7)，将矩阵F的转置每个元素取平方后，沿第二维（行方向）求和，再与F^T和

乘积的2倍相减，得到所有像素显著值的矢量S，

步骤四：然后将矢量S归一化到[0-255]区间，按照像素位置重新排序成矩阵后，即得到了图像的显著谱。

Claims (6)

1.一种基于全局对比度的矢量化显著检测方法，其特征在于，包括以下步骤：

1）提取图像中每个像素点的特征矢量，将图像中所有像素的特征矢量构成特征矩阵，特征矩阵的每一列为对应的一个像素点的特征矢量，特征矩阵的列数与图像中像素点个数相等；

2）对特征矩阵沿行方向求均值，得到图像的均值矢量；

3）将特征矩阵的转置中每个元素取平方后沿行方向求和，将求和结果与特征矩阵的转置和均值矢量乘积的2倍相减得到图像的显著度矢量；

4）将图像的显著度矢量归一化至[0,255]区间，按照矢量中各元素对应的像素在图像中的位置排列成矩阵，形成该图像的显著谱，显著谱中亮度越高的像素点其显著度越高。

2.如权利要求1所述一种基于全局对比度的矢量化显著检测方法，其特征在于，所述像素点的特征矢量为像素点的像素值的转置。

3.如权利要求2所述一种基于全局对比度的矢量化显著检测方法，其特征在于，当像素点采用CIELAB颜色空间表示时，该像素点的像素值为（L，a，b），其中分量L表示亮度，分量a表示由绿色到红色的光谱变化，分量b表示由蓝色到黄色的光谱变化；

当像素点采用YUV格式表示时，该像素点的像素值为(Y，U,V)，分量Y表示亮度，分量U表示输入信号红色部分与信号亮度值之间的色差分量，分量V表示输入信号蓝色部分与信号亮度值之间的色差分量；

当像素点采用RGB格式表示时，该像素点的像素值为(R,G，B)，R分量表示红色通道强度，分量G表示绿色通道强度，分量B表示蓝色通道强度。

4.如权利要求1所述一种基于全局对比度的矢量化显著检测方法，其特征在于，所述像素点的特征矢量为像素点的像素值与去除亮度值后的颜色值所组成的矢量的转置；

所述去除亮度值后的颜色值为（R′,G′,B′），[R′,G′,B′]＝[R-L,G-L,B-L]，其中L表示亮度，R表示红色通道强度，G表示绿色通道强度，B表示蓝色通道强度。

5.如权利要求1所述一种基于全局对比度的矢量化显著检测方法，其特征在于，对特征矩阵沿行方向求均值，得到图像的均值矢量为

其中N表示图像I中像素点的总个数，x_q表示图像I中的任意一个像素点的特征矢量。

6.如权利要求1所述一种基于全局对比度的矢量化显著检测方法，其特征在于，对特征矩阵沿行方向求均值，得到图像的均值矢量为

其中，x_q表示图像I中的任意一个像素点的特征矢量，K为归一化常数，K使

ω_p,q表示像素点q和p的近似程度；||q-p||表示像素点q和p的空间距离，||·||表示L2范数。

Images