CN102521617A - 一种利用稀疏基的协同显著性检测方法 - Google Patents

Abstract

本发明涉及一种利用利用稀疏基检测协同显著性的方法，其特征在于：首先，从自然图像中使用独立变量分析方法，训练出一组稀疏基；然后，对输入图像滤波作用得到输入图像的特征分布，根据图像之间相互独立，定义了多组数据变量的K-L散度度量它们之间的相似性，最后，根据K-L散度性质找出散度下降明显的地方，也即是图像的相似处。本发明提出的利用稀疏基检测协同显著性的方法，采用ICA方法求取自然图像一组稀疏基，然后运用互信息作为图像相关性的度量，可以快速检测出多幅图像的共同显著性目标。

Description

一种利用稀疏基的协同显著性检测方法

技术领域

本发明涉及一种利用稀疏基的协同显著性检测方法，可以检测多幅图像的共同显著性目标。

背景技术

随着多媒体技术的发展，图像已经成为一种信息载体的重要方式。面对浩瀚的图像数据如何才能快速准确的处理成为了一个富有挑战且亟待解决的课题。在图像处理和分析中，人们所关心的只是图像中的一小部分内容，即所谓的显著区域，这通常称为前景或目标。近几年来，显著性的研究已经广泛应用到计算机视觉的各个领域，如目标识别，图像的分割，图像检索和视频检索等。

尽管图像显著性的研究取得了很多成果，但是仍有许多问题没有解决。什么是显著性，如何评价显著性并没有一个很好标准。心理学家研究表明人类视觉系统从一个场景中获得显著性特征，只关注那些感兴趣的部分，而不关注不相关的其他部分。然而，在众显著目标中哪一个是最显著的？以前的研究中主要是对一个单幅图像找到它的显著目标，可是当我们面对多幅图像时，那些在每幅图像中都存在的相同部分，我们则更加感兴趣。

发明内容

要解决的技术问题

本发明要解决的技术问题是：如何快速有效的检测出多幅图像中的共同显著性目标。本发明提供了一种基于稀疏基的协同显著性检测方法。

为解决上述技术问题，包括以下步骤：

步骤1：将M幅自然图像调整为120×160大小，提取调整后的每一幅图像中所有互不相交的8×8子图像块，得到300×M个8×8子图像块；然后对每个图像块在红、绿、蓝三个通道的灰度值拉伸，得到一组含有300×M个192维向量的向量组；

步骤2：对步骤1得到的192维向量组利用独立变量分析ICA算法得到一组互信息最小的稀疏特征基A，令K＝A^-1作为一个滤波器集合，k_i为K的第i行；

步骤3：提取测试图像I₀，I₁，I₂，L，I_n中所有的8×8子图像块，对每个图像块将红、绿、蓝三个通道的灰度值拉伸成192维向量组

(τ＝0，1，2，L，n)，其中每一列对应一个子图像块；

步骤4：使用滤波器集合K，对输入图像的子图像块进行滤波，计算每个子图像块滤波响应的绝对值；对显著性系数

的子图像块相应绝对值相加并规范化得到图像I_τ的第i个特征分布：

$p_i^{\left(\mathrm{\τ}\right)}=\frac{{\mathrm{\Σ}}_{\left\{m\right|{\mathrm{\α}}_m^{\left(\mathrm{\τ}\right)}>\mathrm{\θ}\}}\left|k_i^T{x}_m^{\left(\mathrm{\τ}\right)}\right|}{{\mathrm{\Σ}}_j{\mathrm{\Σ}}_{\left\{m\right|{\mathrm{\α}}_m^{\left(\mathrm{\τ}\right)}>\mathrm{\θ}\}}\left|k_j^T{x}_m^{\left(\mathrm{\τ}\right)}\right|}$ τ＝0，1，2，L，n

则测试图像I₀，I₁，I₂，L，I_n的特征分布

(τ＝0，1，2，L，n)；

所述显著性系数

为测试图像的第τ幅图像中第m个子图像块对构成整幅图像的显著图的显著性系数，初始值为1；

所述θ为显著性系数的阈值且满足θ∈(0，1)；

步骤5：计算图像I₀关于图像I₁，I₂，L，I_n互信息

$\mathrm{KL}\left(p^{\left(0\right)}\right||p^{\left(1\right)},p^{\left(2\right)},L,p^{\left(n\right)})=\mathrm{KL}\left(p^{\left(0\right)}\right|\left|\frac{p_i^{\left(0\right)}}{\underset{\mathrm{\τ}=1}{\overset{n}{\mathrm{\Π}}}{p}_i^{\mathrm{\τ}}}\right)=\underset{i}{\mathrm{\Σ}}{p}_i^{\left(0\right)}\log \frac{p_i^{\left(0\right)}}{\underset{\mathrm{\τ}=1}{\overset{n}{\mathrm{\Π}}}{p}_i^{\left(\mathrm{\τ}\right)}};$

步骤6：计算图像I₀关于图像I₁，I₂，L，I_n互信息变化率

$\frac{\∂}{{\∂p}_i}\mathrm{KL}\left(p^{\left(0\right)}\right|\left|\underset{\mathrm{\τ}=1}{\overset{n}{\mathrm{\Π}}}{p}_i^{\left(\mathrm{\τ}\right)}\right)=p_i^{\left(0\right)}+(1+p_i^{\left(0\right)})(\log p_i^{\left(0\right)}-\underset{\mathrm{\τ}}{\mathrm{\Σ}}\log p_i^{\left(\mathrm{\τ}\right)})-\mathrm{KL}\left(p^{\left(0\right)}\right|\left|\underset{\mathrm{\τ}=1}{\overset{n}{\mathrm{\Π}}}{p}_i^{\left(\mathrm{\τ}\right)}\right)$

其中： $\underset{i}{\mathrm{\Σ}}{p}_i^{\left(\mathrm{\τ}\right)}=1$ (τ＝0，1，2，L，n)；

步骤7：采用下式计算互信息减少的子图像块

$\frac{\∂}{{\∂p}_i}\mathrm{KL}\left(p^{\left(0\right)}\right|\left|\underset{\mathrm{\τ}=1}{\overset{n}{\mathrm{\Π}}}{p}^{\left(\mathrm{\τ}\right)}\right)=\max (-\frac{\∂}{{\∂p}_i}\mathrm{KL}\left(p^{\left(0\right)}\right|\left|\underset{\mathrm{\τ}=1}{\overset{n}{\mathrm{\Π}}}{p}^{\left(\mathrm{\τ}\right)}\right),0);$

步骤8：计算步骤7得到的互信息减少的子图像块后图像I_τ的第i个特征分布

$p_i^{\left(\mathrm{\τ}\right)}=\frac{{\mathrm{\Σ}}_{\left\{m\right|{\mathrm{\α}}_m^{\left(\mathrm{\τ}\right)}>\mathrm{\θ}\}}\left|k_i^T{x}_m^{\left(\mathrm{\τ}\right)}\right|}{{\mathrm{\Σ}}_j{\mathrm{\Σ}}_{\left\{m\right|{\mathrm{\α}}_m^{\left(\mathrm{\τ}\right)}>\mathrm{\θ}\}}\left|k_j^T{x}_m^{\left(\mathrm{\τ}\right)}\right|}$ τ＝0，1，2，L，n

其中：

${\mathrm{\α}}_m^{\left(\mathrm{\τ}\right)}=\frac{{\mathrm{\Σ}}_i\mathrm{\δKL}(p_i^{\left(\mathrm{\τ}\right)};p^{\left(\mathrm{\τ}\right)}|\left|\underset{r\≠\mathrm{\τ}}{\mathrm{\Π}}{p}_i^{\left(\mathrm{\τ}\right)}\right)\left(k_i^T{x}_m^{\left(\mathrm{\τ}\right)}\right)}{{\mathrm{\Σ}}_i\mathrm{\δKL}(p_i^{\left(\mathrm{\τ}\right)};p^{\left(\mathrm{\τ}\right)}|\left|\underset{r\≠\mathrm{\τ}}{\mathrm{\Π}}{p}_i^{\left(\mathrm{\τ}\right)}\right)};$

步骤9：迭代执行步骤5～步骤8循环N次，得到图像I₀关于图像I₁，I₂，L，I_n的特征分布 $p^{\left(0\right)}={[p_1^{\left(0\right)},p_2^{\left(0\right)},L]}^T;$

步骤10：利用步骤9得到的特征分布，计算图像I₀关于图像I₁，I₂，L，I_n协同显著图的向量表示

得到图像I₀关于图像I₁，I₂，L，I_n协同显著图；其中：X⁽⁰⁾为步骤3中得到的图像I₀向量表示，为对角矩阵，然后将Smap⁽⁰⁾的每一列还原为一个8×8大小的子图像块。

有益效果

本发明提出的利用稀疏基检测协同显著性的方法，采用ICA方法求取自然图像一组稀疏基，然后运用互信息作为图像相关性的度量，可以快速检测出多幅图像的共同显著性目标。

附图说明

图1：本发明方法的基本流程图；

图2：本发明方法利用基于稀疏基的协同显著性方法检测的结果。

具体实施方式

现结合实施例、附图对本发明作进一步描述：

用于实施的硬件环境是：AMD Athlon 64×25000+计算机、2GB内存、256M显卡，运行的软件环境是：Matlab2010a和Windows XP。我们用Matlab软件实现了本发明提出的方法。

本发明具体实施如下：

1、选取400幅自然图像，调整大小为120×160，提取调整后每一幅图像中所有互不相交的8×8子图像块，得到120000个8×8子图像块，对每个图像块分别对红、绿、蓝三个通道的灰度值拉伸，得到一组含有120000个192维向量的向量组。

2、对步骤1得到的192维向量组利用独立变量分析ICA算法得到一组互信息最小的稀疏特征基A，令K＝A^-1作为一个滤波器集合，k_i为K的第i行；

3、试验中选取五幅图像把大小统一调整为120×160，提取每一幅图像中所有的8×8的子图像块拉伸成192维向量

(τ＝0，1，2，3，4)。

4、使用滤波器集合K，对输入图像的子图像块进行滤波，计算每个子图像块滤波响应的绝对值；对显著性系数

的子图像块相应绝对值相加并规范化得到图像I_τ的第i个特征分布：

$p_i^{\left(\mathrm{\τ}\right)}=\frac{{\mathrm{\Σ}}_{\left\{m\right|{\mathrm{\α}}_m^{\left(\mathrm{\τ}\right)}>\mathrm{\θ}\}}\left|k_i^T{x}_m^{\left(\mathrm{\τ}\right)}\right|}{{\mathrm{\Σ}}_j{\mathrm{\Σ}}_{\left\{m\right|{\mathrm{\α}}_m^{\left(\mathrm{\τ}\right)}>\mathrm{\θ}\}}\left|k_j^T{x}_m^{\left(\mathrm{\τ}\right)}\right|}$ τ＝0，1，2，L，4则测试图像I₀，I₁，I₂，I₃，I₄的特征分布

(τ＝0，1，2，L，4)。

所述显著性系数

为测试图像的第τ幅图像中第m个子图像块对构成整幅图像的显著图的显著性系数，初始值为1；

5、计算图像I₀关于图像I₁，I₂，I₃，I₄互信息

$\mathrm{KL}\left(p^{\left(0\right)}\right||p^{\left(1\right)},p^{\left(2\right)},p^{\left(3\right)},p^{\left(4\right)})=\mathrm{KL}\left(p^{\left(0\right)}\right|\left|\frac{p_i^{\left(0\right)}}{\underset{\mathrm{\τ}=1}{\overset{4}{\mathrm{\Π}}}{p}_i^{\left(\mathrm{\τ}\right)}}\right)=\underset{i}{\mathrm{\Σ}}{p}_i^{\left(0\right)}\log \frac{p_i^{\left(0\right)}}{\underset{\mathrm{\τ}=1}{\overset{4}{\mathrm{\Π}}}{p}_i^{\left(\mathrm{\τ}\right)}};$

6、计算图像I₀关于图像I₁，I₂，I₃，I₄互信息变化率

$\frac{\∂}{{\∂p}_i}\mathrm{KL}\left(p^{\left(0\right)}\right|\left|\underset{\mathrm{\τ}=1}{\overset{4}{\mathrm{\Π}}}{p}_i^{\left(\mathrm{\τ}\right)}\right)=p_i^{\left(0\right)}+(1+p_i^{\left(0\right)})(\log p_i^{\left(0\right)}-\underset{\mathrm{\τ}}{\mathrm{\Σ}}\log p_i^{\left(\mathrm{\τ}\right)})-\mathrm{KL}\left(p^{\left(0\right)}\right|\left|\underset{\mathrm{\τ}=1}{\overset{4}{\mathrm{\Π}}}{p}_i^{\left(\mathrm{\τ}\right)}\right)$

其中： $\underset{i}{\mathrm{\Σ}}{p}_i^{\left(\mathrm{\τ}\right)}=1$ (τ＝0，1，2，3，4)；

7、采用下式计算互信息减少的子图像块

$\frac{\∂}{{\∂p}_i}\mathrm{KL}\left(p^{\left(0\right)}\right|\left|\underset{\mathrm{\τ}=1}{\overset{4}{\mathrm{\Π}}}{p}^{\left(\mathrm{\τ}\right)}\right)=\max (-\frac{\∂}{{\∂p}_i}\mathrm{KL}\left(p^{\left(0\right)}\right|\left|\underset{\mathrm{\τ}=1}{\overset{4}{\mathrm{\Π}}}{p}^{\left(\mathrm{\τ}\right)}\right),0);$

8、计算步骤7得到的互信息减少的子图像块后图像I_τ的第i个特征分布

$p_i^{\left(\mathrm{\τ}\right)}=\frac{{\mathrm{\Σ}}_{\left\{m\right|{\mathrm{\α}}_m^{\left(\mathrm{\τ}\right)}>\mathrm{\θ}\}}\left|k_i^T{x}_m^{\left(\mathrm{\τ}\right)}\right|}{{\mathrm{\Σ}}_j{\mathrm{\Σ}}_{\left\{m\right|{\mathrm{\α}}_m^{\left(\mathrm{\τ}\right)}>\mathrm{\θ}\}}\left|k_j^T{x}_m^{\left(\mathrm{\τ}\right)}\right|}$ τ＝0，1，2，3，4

其中：

${\mathrm{\α}}_m^{\left(\mathrm{\τ}\right)}=\frac{{\mathrm{\Σ}}_i\mathrm{\δKL}(p_i^{\left(\mathrm{\τ}\right)};p^{\left(\mathrm{\τ}\right)}|\left|\underset{r\≠\mathrm{\τ}}{\mathrm{\Π}}{p}_i^{\left(\mathrm{\τ}\right)}\right)\left(k_i^T{x}_m^{\left(\mathrm{\τ}\right)}\right)}{{\mathrm{\Σ}}_i\mathrm{\δKL}(p_i^{\left(\mathrm{\τ}\right)};p^{\left(\mathrm{\τ}\right)}|\left|\underset{r\≠\mathrm{\τ}}{\mathrm{\Π}}{p}_i^{\left(\mathrm{\τ}\right)}\right)};$

9、迭代执行步骤5～步骤8循环20次，得到图像I₀关于图像I₁，I₂，I₃，I₄的特征分布 $p^{\left(0\right)}={[p_1^{\left(0\right)},p_2^{\left(0\right)},L]}^T;$

10、利用步骤9得到的特征分布，计算图像I₀关于图像I₁，I₂，I₃，I₄协同显著图的向量表示

得到图像I₀关于图像I₁，I₂，I₃，I₄协同显著图；其中：X⁽⁰⁾为步骤3中得到的图像I₀向量表示，

为对角矩阵，然后将Smap⁽⁰⁾的每一列还原为一个8×8大小的子图像块。

Claims (1)

1.一种利用稀疏基的协同显著性检测方法，其特征在步骤如下：

步骤1：将M幅自然图像调整为120×160大小，提取调整后的每一幅图像中所有互不相交的8×8子图像块，得到300×M个8×8子图像块；然后对每个图像块在红、绿、蓝三个通道的灰度值拉伸，得到一组含有300×M个192维向量的向量组；

步骤2：对步骤1得到的192维向量组利用独立变量分析ICA算法得到一组互信息最小的稀疏特征基A，令K＝A^-1作为一个滤波器集合，k_i为K的第i行；

步骤3：提取测试图像I₀，I₁，I₂，L，I_n中所有的8×8子图像块，对每个图像块将红、绿、蓝三个通道的灰度值拉伸成192维向量组

(τ＝0，1，2，L，n)，

其中每一列对应一个子图像块；

步骤4：使用滤波器集合K，对输入图像的子图像块进行滤波，计算每个子图像块滤波响应的绝对值；对显著性系数

的子图像块相应绝对值相加并规范化得到图像I_τ的第i个特征分布：

$p_i^{\left(\mathrm{\τ}\right)}=\frac{{\mathrm{\Σ}}_{\left\{m\right|{\mathrm{\α}}_m^{\left(\mathrm{\τ}\right)}>\mathrm{\θ}\}}\left|k_i^T{x}_m^{\left(\mathrm{\τ}\right)}\right|}{{\mathrm{\Σ}}_j{\mathrm{\Σ}}_{\left\{m\right|{\mathrm{\α}}_m^{\left(\mathrm{\τ}\right)}>\mathrm{\θ}\}}\left|k_j^T{x}_m^{\left(\mathrm{\τ}\right)}\right|}$ τ＝0，1，2，L，n

则测试图像I₀，I₁，I₂，L，I_n的特征分布

(τ＝0，1，2，L，n)；

所述显著性系数

为测试图像的第τ幅图像中第m个子图像块对构成整幅图像的显著图的显著性系数，初始值为1；

所述θ为显著性系数的阈值且满足θ∈(0，1)；

步骤5：计算图像I₀关于图像I₁，I₂，L，I_n互信息

$\mathrm{KL}\left(p^{\left(0\right)}\right||p^{\left(1\right)},p^{\left(2\right)},L,p^{\left(n\right)})=\mathrm{KL}\left(p^{\left(0\right)}\right|\left|\frac{p_i^{\left(0\right)}}{\underset{\mathrm{\τ}=1}{\overset{n}{\mathrm{\Π}}}{p}_i^{\mathrm{\τ}}}\right)=\underset{i}{\mathrm{\Σ}}{p}_i^{\left(0\right)}\log \frac{p_i^{\left(0\right)}}{\underset{\mathrm{\τ}=1}{\overset{n}{\mathrm{\Π}}}{p}_i^{\left(\mathrm{\τ}\right)}};$

步骤6：计算图像I₀关于图像I₁，I₂，L，I_n互信息变化率

$\frac{\∂}{{\∂p}_i}\mathrm{KL}\left(p^{\left(0\right)}\right|\left|\underset{\mathrm{\τ}=1}{\overset{n}{\mathrm{\Π}}}{p}_i^{\left(\mathrm{\τ}\right)}\right)=p_i^{\left(0\right)}+(1+p_i^{\left(0\right)})(\log p_i^{\left(0\right)}-\underset{\mathrm{\τ}}{\mathrm{\Σ}}\log p_i^{\left(\mathrm{\τ}\right)})-\mathrm{KL}\left(p^{\left(0\right)}\right|\left|\underset{\mathrm{\τ}=1}{\overset{n}{\mathrm{\Π}}}{p}_i^{\left(\mathrm{\τ}\right)}\right)$

其中： $\underset{i}{\mathrm{\Σ}}{p}_i^{\left(\mathrm{\τ}\right)}=1$ (τ＝0，1，2，L，n)；

步骤7：采用下式计算互信息减少的子图像块

$\frac{\∂}{{\∂p}_i}\mathrm{KL}\left(p^{\left(0\right)}\right|\left|\underset{\mathrm{\τ}=1}{\overset{n}{\mathrm{\Π}}}{p}^{\left(\mathrm{\τ}\right)}\right)=\max (-\frac{\∂}{{\∂p}_i}\mathrm{KL}\left(p^{\left(0\right)}\right|\left|\underset{\mathrm{\τ}=1}{\overset{n}{\mathrm{\Π}}}{p}^{\left(\mathrm{\τ}\right)}\right),0);$

步骤8：计算步骤7得到的互信息减少的子图像块后图像I_τ的第i个特征分布

$p_i^{\left(\mathrm{\τ}\right)}=\frac{{\mathrm{\Σ}}_{\left\{m\right|{\mathrm{\α}}_m^{\left(\mathrm{\τ}\right)}>\mathrm{\θ}\}}\left|k_i^T{x}_m^{\left(\mathrm{\τ}\right)}\right|}{{\mathrm{\Σ}}_j{\mathrm{\Σ}}_{\left\{m\right|{\mathrm{\α}}_m^{\left(\mathrm{\τ}\right)}>\mathrm{\θ}\}}\left|k_j^T{x}_m^{\left(\mathrm{\τ}\right)}\right|}$ τ＝0，1，2，L，n

其中：

${\mathrm{\α}}_m^{\left(\mathrm{\τ}\right)}=\frac{{\mathrm{\Σ}}_i\mathrm{\δKL}(p_i^{\left(\mathrm{\τ}\right)};p^{\left(\mathrm{\τ}\right)}|\left|\underset{r\≠\mathrm{\τ}}{\mathrm{\Π}}{p}_i^{\left(\mathrm{\τ}\right)}\right)\left(k_i^T{x}_m^{\left(\mathrm{\τ}\right)}\right)}{{\mathrm{\Σ}}_i\mathrm{\δKL}(p_i^{\left(\mathrm{\τ}\right)};p^{\left(\mathrm{\τ}\right)}|\left|\underset{r\≠\mathrm{\τ}}{\mathrm{\Π}}{p}_i^{\left(\mathrm{\τ}\right)}\right)};$

步骤9：迭代执行步骤5～步骤8循环N次，得到图像I₀关于图像I₁，I₂，L，I_n的特征分布 $p^{\left(0\right)}={[p_1^{\left(0\right)},p_2^{\left(0\right)},L]}^T;$

步骤10：利用步骤9得到的特征分布，计算图像I₀关于图像I₁，I₂，L，I_n协同显著图的向量表示

得到图像I₀关于图像I₁，I₂，L，I_n协同显著图；其中：X⁽⁰⁾为步骤3中得到的图像I₀向量表示，

为对角矩阵，然后将Smap⁽⁰⁾的每一列还原为一个8×8大小的子图像块。

Images