CN105512663A - 一种基于全局与局部对比度的显著性检测方法 - Google Patents

Abstract

本发明公开了一种基于全局与局部对比度的显著性检测方法，该方法是基于三个显著性操作。第一个，CESC，认为就其周围的图像补丁块的稀缺性。第二个，CSC，通过考虑中心补丁块与其周围补丁块的相对位置拓展CESC算法。第三个，GC，利用其在整个图像的对比度的图像的补丁计算显著性。最后，这三个对比图进行合并。在RGB色彩空间下，检测结果比现有方法更简单并行之有效，其显著图更贴合于人眼的视觉感知系统所得到的结果，显著性检测质量高，且检测结果受图像的物理条件，光学条件，色彩差异影响小；本发明不受样本限制，更适于实际应用。

Description

一种基于全局与局部对比度的显著性检测方法

技术领域

本发明涉及一种基于多尺度上下文的显著性检测方法，属于计算机通信技术领域。

背景技术

21世纪，随着计算机技术和人工智能的迅猛发展和相关理论的不断完善，数字图像处理技术在许多领域受到广泛重视，为了人们更好更便捷的生活，图像处理的研究显得至关重要。其中，显着性检测是计算机视觉和图像处理的一项重要任务。图像显著性区域检测研究的目的是获得高质量的显著图，显著图反映了图像中不同区域的显著程度。利用显著图，可以快速定位和处理图像中的显著区域，以达到通过计算机模拟人类视觉显著性的目的。

然而，当前提出的多种显著性检测方法，仍然存在很多不足。即图像显著性检测结果质量普遍不高，不能正确反映出图像的显著性信息；显著性信息的使用方式和方法还比较初级等问题。但在实际应用中，对比度的计算是图像显著性计算的核心。由于生物学上对视觉显著性的研究不彻底，很多结论具有猜测性，Goferman等人提出了上下文集成方法，突破了生物学模型，简化了计算方法，但是，显著性检测质量不高。Achanta等提出的多尺度方法，采用局部对比度计算方法，检测结果容易受到图像中的复杂颜色，物体的质地纹理，多变的环境背景等因素的影响，使得通过已知方法得出的显著性图无法准确突出图像的前景。因此，就无法使图像显著性信息的潜力发挥出来。zhai和Shah等提出的基于直方图的计算方法，则采用全局对比度计算方法，当前景与背景色差不大时，造成显著性区域的误判，无法清晰指明物体的轮廓，这就使得显著性图的应用效果比较差。

同时，上述现有方法在图像背景与前景相似等复杂情况下，显著性的检测性能并不理想。现有方法仅重视单一对比度情况，检测性能远不能满足实际应用的需求。而本发明能够很好地解决上面的问题。

发明内容

本发明目的在于解决了上述现有技术问题，提出了一种视觉显著性的检测方法，该方法是在RGB色彩空间下，检测结果比现有方法更简单并行之有效，其显著图更贴合于人眼的视觉感知系统所得到的结果，显著性检测质量高，且检测结果受图像的物理条件，光学条件，色彩差异影响小；本发明不受样本限制，更适于实际应用。

本发明解决其技术问题所采取的技术方案是：在实现中，从1500自然场景随机选择的彩色图像中提取500000个8×8图像块(即用于RGB颜色空间中的每个子信道)。在词典里，每个基础功能是一个8×8＝64维向量，学习N＝200字典。稀疏编码系数用以上所学习的LARS算法原理。

此框架是基于三个显著性操作。第一个，CESC(center-surroundcontrast，即：中心-四周对比度)，认为就其周围的图像补丁块的稀缺性。第二个，CSC(corner-surroundcontrast，即：对角-四周对比度)，通过考虑中心补丁块与其周围补丁块的相对位置拓展CESC(center-surroundcontrast，即：中心-四周对比度)算法。第三个，GC(Globalcontrast，即：全局对比度)，利用其在整个图像的对比度的图像的补丁计算显著性。最后，这三个对比图进行合并。

输入的图像首先被调整成2⁹×2⁹像素。P＝{p₁,p₂...,p_N}(即从左上到右下无重叠的)代表一系列的补丁块。然后用稀疏编码算法去计算重造的系数α_i来代表补丁块P_i，即：

${\mathrm{\α}}_i^{*}(P_i,D)=\arg \underset{{\mathrm{\α}}_i\∈R^n}{\min }\frac{1}{2}\left|\right|p_i-{\mathrm{D\α}}_i|{|}_2^2+\mathrm{\λ}|\left|{\mathrm{\α}}_i\right|{|}_1$

其中λ是一正则化参数。D＝[d₁,d_2,...,d_n]∈R^m×n是一系列n×m维基础公式。这样， $p_i~p_i^{\′}={\mathrm{D\α}}_i^{*}.$

方法流程：

步骤1：每一个补丁块p_i的显著性值都包含在每一个像素x中(每一个补丁块等于8×8的64维像素)，*代表独立的CESC(center-surroundcontrast，中心-四周对比度)，CSC(corner-surroundcontrast,对角-四周对比度)，GC(Globalcontrast,全局对比度)的显著性的值，N()表示归一化运算，S_*(x)表征在RGB色彩空间中所有颜色频道的归一化与总和的显著性，即：

$S_{*}\left(x\right)=\underset{C\∈R,G,B}{\mathrm{\Σ}}N\left(S_{*}^c\right(x\left)\right)$

步骤2：基于多尺度空间的显著性检测，对步骤1所得的值取最大，即：

$S_{*}\left(x\right)={\max }_{m=1}^{M}N\left(S_{*}^m\right(x\left)\right)$

其中是步骤1所得大小调整后的第m个尺度的显著图(这里m取3)。

步骤3：在进行步骤2的操作后，再次对(CESC(center-surroundcontrast，中心-四周对比度)，CSC(corner-surroundcontrast,对角-四周对比度)，GC(Globalcontrast,全局对比度))三种情况下的对比显著性值进行归一化与组合，即：

S(x)＝Ν(S_se(x))οΝ(S_g(x))οΝ(S_c(x))

其中，上述公式中的“ο”是一个数学算子，可以代表“+”，“×”，“最大值”，“最小值”，这里第一个“。”取max，第二个“。”取“+”

步骤4：为了得到一个统一的比较准则，将显著性值S(x)的值范围规范到(0，1)中，再一次的归一化，即：

$S\left(x\right)=\frac{S\left(x\right)-S_{\min }\left(x\right)}{S_{\max }\left(x\right)-S_{\min }\left(x\right)}$

其中，x代表像素。

本发明步骤3所述对比显著性值进行归一化与组合的计算方法，包括如下步骤：

步骤3-1：CESC(center-surroundcontrast，中心-四周对比度)检测方法，其计算方法，包括如下步骤：

CESC(center-surroundcontrast，中心-四周对比度)显著性的计算中，中心补丁块p_i和它周围的补丁块的平均权重各不相同，即：

$S_{ce}^c\left(p_i\right)=\frac{1}{L}\underset{j=1}{\overset{L}{\mathrm{\Σ}}}{W}_{ij}^{-1}{D}_{ij}$

其中，W_ij是中心补丁块p_i和它周围补丁块p_j的距离，所有的计算距离的方法，包括：欧几里得距离；卡方距离，曼哈顿距离，切比雪夫距离等皆可以，此处采用的是欧氏距离。其中，欧式距离的计算公式为：d＝||x₁,x₂...x_n||₂，其中，x₁...x_n是图像上的点。其它距离公式：1)卡方距离的计算公式如下：2)两个n维向量(x₁₁,x₁₂...x_1n)与(x₂₁,x₂₂...x_2n)的曼哈顿距离计算公式如下：3)两个n维向量(x₁₁,x₁₂...x_1n)与(x₂₁,x₂₂...x_2n)的切比雪夫距离： $d=\underset{i}{\max }\left(\right|x_{1i}-x_{2i}\left|\right);$

步骤3-2：CSC(corner-surroundcontrast,对角-四周对比度)检测方法，包括如下步骤：

1)对于每一个补丁块P_i，它的CSC(corner-surroundcontrast,对角-四周对比度)显著性值的计算是四种类型的模板乘积，即右下左下右上左上(即：模板的大小是可以选择的，即：3×3；4×4等，此处采用的是2×2的模板。其中，3×3模板(以右下为例)有2种选择，如图1-1所示，4×4模板(以右下为例)有三种选择，如图1-2所示)，即：

$S_c^c\left(p_i\right)=S_{br}^c\left(p_i\right)\×S_{bl}^c\left(p_i\right)\×S_{tr}^c\left(p_i\right)\×S_{tl}^c\left(p_i\right)$

2)每一个模板特定(即右下)卡方距离的计算，从补丁块P_i到它的周围区域S_i的卡方距离，即：

$S_{br}^c\left(p_i\right)\∝{\mathrm{\χ}}^2\left(H\right(p_i),H(S_i\left)\right)$

3)卡方距离的具体计算：其中H()是一个分级直方图，B的值为100，直方图的统计计算依赖于所有的补丁块的相关系数α，并且H^b()是H()的第b个元素。具体计算公式如下：

${\mathrm{\χ}}^2\left(H\right(p_i),H(S_i\left)\right)=\frac{1}{2}\underset{b=1}{\overset{B}{\mathrm{\Σ}}}\frac{{\left(H^b\right(p_i)-H^b(S_i\left)\right)}^2}{H^b\left(p_i\right)+H^b\left(S_i\right)}$

步骤3-3：GC(Globalcontrast,全局对比度)检测方法，包括如下步骤：

计算每一个补丁块P(P_i)的概率代替每个像素的概率，并且用它的逆代表全局显著性：

$S_g^c\left(p_i\right)=p{\left(p_i\right)}^{-1}={\left(\underset{j=1}{\overset{n}{\Π}}p\right({\mathrm{\α}}_{ij}\left)\right)}^{-1}.$

有益效果：

1、本发明视觉显著性的计算结果比现有各种方法的质量都高。

2、本发明在同等条件下，具有很好地感知性能，显著性区域刻画更合理，其显著性图的利用效果更高，便于实际运用于计算机。

附图说明

图1、图1-1、图1-2为本发明中CSC(corner-surroundcontrast,对角-四周对比度)算法的四种类型示意图。

图2为本发明中CSC(corner-surroundcontrast,对角-四周对比度)算法，中心点距周围点卡方距离分布图。

图3为本发明中CSC(corner-surroundcontrast,对角-四周对比度)算法在B＝100时的直方图。

图4为不同显著性算法在同一个数据集下的实验结果示意图。

图5为本发明在不同参数分析下的结果示意图。

图6为本发明的方法流程图。

具体实施方式

下面结合说明书附图对本发明创造作进一步的详细说明。

在实现中，从1500自然场景随机选择的彩色图像中提取500000个8×8图像块(即用于RGB色彩空间中的每个子信道)。在词典里，每个基础功能是一个8×8＝64维向量，学习N＝200字典。稀疏编码系数用以上所学习的LARS算法原理。

如图6所示，此框架是基于三个显著性操作。第一个，CESC(center-surroundcontrast，中心-四周对比度)，认为就其周围的图像补丁块的稀缺性。第二个，CSC(corner-surroundcontrast,对角-四周对比度)，通过考虑中心补丁块与其周围补丁块的相对位置拓展CESC(center-surroundcontrast，中心-四周对比度)算法。第三个，GC(Globalcontrast,全局对比度)，利用其在整个图像的对比度的图像的补丁计算显著性。最后，这三个对比图进行合并。

输入的图像首先被调整成2⁹×2⁹像素。P＝{p₁,p₂...,p_N}(即从左上到右下无重叠的)代表一系列的补丁块。然后用稀疏编码算法去计算重造的系数α_i来代表补丁块P_i，即：

${\mathrm{\α}}_i^{*}(P_i,D)=\arg \underset{{\mathrm{\α}}_i\∈R^n}{\min }\frac{1}{2}\left|\right|p_i-{\mathrm{D\α}}_i|{|}_2^2+\mathrm{\λ}|\left|{\mathrm{\α}}_i\right|{|}_1$

其中λ是一正则化参数。D＝[d₁,d₂...,d_n]∈R^m×n是一系列n×m维基础公式。这样， $p_i~p_i^{\′}={\mathrm{D\α}}_i^{*}.$

方法流程：

步骤1：每一个补丁块p_i的显著性值都包含在每一个像素X中(即每一个补丁块等于8×8的64维像素)，其中，*代表独立的CESC(center-surroundcontrast，中心-四周对比度)，CSC(corner-surroundcontrast,对角-四周对比度)，GC(Globalcontrast,全局对比度)的显著性的值，S_*(x)表征在RGB色彩空间中所有颜色频道的归一化与总和，即：

$S_{*}\left(x\right)=\underset{C\∈R,G,B}{\Σ}N\left(S_{*}^c\right(x\left)\right)$

步骤2：基于多尺度空间的显著性检测，对步骤1所得的值取最大，即：

$S_{*}\left(x\right)={\max }_{m=1}^{M}N\left(S_{*}^m\right(x\left)\right)$

步骤3：在进行步骤2的操作后，再次对三种情况下(CESC(center-surroundcontrast，中心-四周对比度)，CSC(corner-surroundcontrast,对角-四周对比度)，GC(Globalcontrast,全局对比度))的对比显著性值进行归一化与组合，即：

S(x)＝Ν(S_se(x))οΝ(S_g(x))οΝ(S_c(x))

其中，公式中的“ο”是一个数学算子，可以代表“+”或“×”或“最大值”或“最小值”

步骤4：为了得到一个统一的比较准则，将S(x)的值范围规范到(0，1)中，再一次的归一化，即：

$S\left(x\right)=\frac{S\left(x\right)-S_{min}\left(x\right)}{S_{max}\left(x\right)-S_{min}\left(x\right)}$

其中，x代表像素。

本发明步骤3所述对比显著性值进行归一化与组合的计算方法，包括如下步骤：

步骤3-1：CESC(center-surroundcontrast，中心-四周对比度)检测方法，其计算方法包括如下步骤：

CESC(center-surroundcontrast，中心-四周对比度)显著性的计算中，中心补丁块p_i和它周围的补丁块的平均权重各不相同：

$S_{ce}^c\left(p_i\right)=\frac{1}{L}\underset{j=1}{\overset{L}{\Σ}}{W}_{ij}^{-1}{D}_{ij}$

其中，W_ij是中心补丁块p_i和它周围补丁块p_j的欧几里得距离。

步骤3-2：CSC(corner-surroundcontrast,对角-四周对比度)检测方法，包括如下步骤：

1)如图1所示，对于每一个补丁块P_i，它的CSC(corner-surroundcontrast,对角-四周对比度)显著性值的计算是四种类型的模板乘积，即右下左下右上左上

$S_c^c\left(p_i\right)=S_{br}^c\left(p_i\right)\×S_{bl}^c\left(p_i\right)\×S_{tr}^c\left(p_i\right)\×S_{tl}^c\left(p_i\right)$

2)每一个模板特定(即右下)卡方距离的计算，从补丁块P_i到它的周围区域S_i的卡方距离：

$S_{br}^c\left(p_i\right)\∝{\mathrm{\χ}}^2\left(H\right(p_i),H(S_i\left)\right)$

3)卡方距离χ²()的具体计算，其中H()是一个分级直方图，B的值为100，直方图的统计计算依赖于所有的补丁块的相关系数α，并且H^b()是H()的第b个元素。具体计算公式如下：

${\mathrm{\χ}}^2\left(H\right(p_i),H(S_i\left)\right)=\frac{1}{2}\underset{b=1}{\overset{B}{\Σ}}\frac{{\left(H^b\right(p_i)-H^b(S_i\left)\right)}^2}{H^b\left(p_i\right)+H^b\left(S_i\right)}$

步骤3-3：GC(Globalcontrast,全局对比度)检测方法，包括如下步骤：

计算每一个补丁块P(P_i)的概率代替每个像素的概率，并且用它的逆代表全局显著性：

$S_g^c\left(p_i\right)=p{\left(p_i\right)}^{-1}={\left(\underset{j=1}{\overset{n}{\Π}}p\right({\mathrm{\α}}_{ij}\left)\right)}^{-1}.$

如图2所示，是CSC(corner-surroundcontrast,对角-四周对比度)算法的中心点距离周围点卡方距离分布图。本发明给定参数B＝100，N＝200，是基于频率分布直方图的基础上，直方图的统计计算依赖于所有的补丁块的相关系数α。

如图4与图5所示，是不同显著性算法在同一数据集和不同参数分析下的结果，说明了在采用同一数据集的情况下(B＝100，L＝8，M＝3)，本发明所述的方法所得的显著性检测结果明显优于已知方法。并且本发明仅在RGB色彩空间下，便可以求出图像的显著性图。

Claims (3)

1.一种基于全局与局部对比度的显著性检测方法，其特征在于，所述方法包括如下步骤：

步骤1：每一个补丁块p_i显著性值都包含在每一个像素x中，即每一个补丁块等于8×8的64维像素，即：

$S_{*}\left(x\right)=\underset{C\∈R,G,B}{\Σ}N\left(S_{*}^c\right(x\left)\right)$

其中，*代表独立的CESC，CSC，GC的显著性的值，N()表示归一化运算，S_*(x)表征在RGB色彩空间中所有颜色频道的归一化与总和的显著性；

步骤2：基于多尺度空间的显著性检测，对步骤1所得的值取最大，即：

$S_{*}\left(x\right)={\max }_{m=1}^{M}N\left(S_{*}^m\right(x\left)\right)$

其中是步骤1所得大小调整后的第m个尺度的显著图；

步骤3：在进行步骤2的操作后，再次对CESC，CSC，GC三种情况下的对比显著性值进行归一化与组合，即：

S(x)＝Ν(S_se(x))оΝ(S_g(x))оΝ(S_c(x))

其中，上述公式中的“о”是一个数学算子，代表“+”，“×”，“最大值”，“最小值”，这里第一个“。”取max，第二个“。”取“+”；

步骤4：将S(x)的值范围规范到(0，1)中，再一次的归一化，即：

$S\left(x\right)=\frac{S\left(x\right)-S_{\min }\left(x\right)}{S_{max}\left(x\right)-S_{\min }\left(x\right)}$

其中x表征像素，显著性值s(x)。

2.根据权利要求1所述的一种基于全局与局部对比度的显著性检测方法，其特征在于，所述方法的步骤3包括如下步骤：

步骤3-1：CESC检测方法，包括：

CESC显著性的计算中，中心补丁块p_i和它周围的补丁块的平均权重各不相同：

$S_{ce}^c\left(p_i\right)=\frac{1}{L}\underset{j=1}{\overset{L}{\Σ}}{W}_{ij}^{-1}{D}_{ij}$

其中，W_ij是中心补丁块p_i和它周围补丁块p_j的距离，这里采用欧几里得距离，欧式距离的计算公式为：d＝||x₁,x₂...x_n||₂，其中，x₁...x_n是图像上的点，其它距离公式：1)卡方距离的计算公式如下：2)两个n维向量(x₁₁,x₁₂...x_1n)与(x₂₁,x₂₂...x_2n)的曼哈顿距离计算公式如下：3)两个n维向量(x₁₁,x₁₂...x_1n)与(x₂₁,x₂₂...x_2n)的切比雪夫距离： $d=\underset{i}{max}\left(\right|x_{1i}-x_{2i}\left|\right);$

步骤3-2：CSC检测方法，包括：

对于每一个补丁块P_i，所述CSC显著性值的计算是四种类型的模板乘积，即右下左下右上左上即：

$S_c^c\left(p_i\right)=S_{br}^c\left(p_i\right)\×S_{bl}^c\left(p_i\right)\×S_{tr}^c\left(p_i\right)\×S_{tl}^c\left(p_i\right)$

每一个模板特定(即右下)卡方距离的计算，从补丁块P_i到它的周围区域S_i的卡方距离为：

$S_{br}^c\left(p_i\right)\∝{\mathrm{\χ}}^2\left(H\right(p_i),H(S_i\left)\right)$

卡方距离χ²()的具体计算，其中H()是一个分级直方图，B的值为100，直方图的统计计算依赖于所有的补丁块的相关系数α，并且H^b()是H()的第b个元素，所述计算公式为：

${\mathrm{\χ}}^2\left(H\left(p_i\right),H\left(S_i\right)\right)=\frac{1}{2}\underset{b=1}{\overset{B}{\Σ}}\frac{{\left(H^b\left(p_i\right)-H^b\left(S_i\right)\right)}^2}{H^b\left(p_i\right)+H^b\left(S_i\right)}$

步骤3-3：GC检测方法，包括：

计算每一个补丁块P(P_i)的概率代替每个像素的概率，并且用它的逆代表全局显著性，即：

$S_g^c\left(p_i\right)=p{\left(p_i\right)}^{-1}={\left(\underset{j=1}{\overset{n}{\Π}}p\left({\mathrm{\α}}_{ij}\right)\right)}^{-1}.$

3.根据权利要求1所述的一种基于全局与局部对比度的显著性检测方法，其特征在于，所述方法步骤2中的m为3。