CN102968635B - 一种基于稀疏编码的图像视觉特征提取方法 - Google Patents

Abstract

本发明涉及一种基于稀疏编码的图像视觉特征提取方法，属于计算机数字图像处理技术领域。首先提取图片集的底层特征；除去频率过低的标签，生成一个标签向量；生成一个底层特征相似性矩阵W作为流形约束的基础，从本质上结合底层视觉特征和高层文本特征；建立一个目标函数；对目标函数最小化，得到图片集底层特征稀疏编码构成的最优矩阵。本发明方法中，采用稀疏编码，不仅很好地挖掘图像的底层视觉特征以及高层文本的潜藏类别信息，而且使模型具有良好的鲁棒性；本方法采用最大化池方法，得到每一幅图片的唯一图像视觉特征向量；该方法保证了最终图像视觉特征简单有效。

Description

一种基于稀疏编码的图像视觉特征提取方法

技术领域

本发明涉及一种基于稀疏编码的图像视觉特征提取方法，属于计算机数字图像处理技术领域。

背景技术

图像视觉特征是计算机视觉领域为了使机器学习、感知图像而对图像进行的一种编码，视觉特征以分为全局特征和局部特征两种，常用的全局特征有颜色特征、纹理特征等，最常用的局部特征是尺度不变特征(Scale invariant feature transform，以下简称SIFT特征)。

稀疏编码是利用一组超完备的基去尽可能稀疏地表达一个向量的一种编码技术，现已广泛应用于压缩感知、图像修复、人脸识别等机器学习的各个领域，且取得了很好的效果。稀疏编码在图像处理领域的成功主要是由于两个原因：

(1)自然图片具有稀疏结构。基于人类视觉，一幅自然图片一般可以被少数几个基本结构描述——比如，边，线或者其他特征元素。当使用一组log-Gabor滤波器对图片过滤，并统计结果直方图，可以发现陡峭的尖峰，这说明图片具有稀疏结构。

(2)稀疏表达对噪声和其他退化情况具有更鲁棒的性质。这是因为，对于一组过完备的基，编码方式有无数种——而在完备情况下，编码方式只有一种——很难相信，先验知识（即词典）可以完全确定一幅图像。数值实验表明，当图像发生微小的平移或缩放操作时，稀疏编码系数只是在那些非0项附近平滑变动；而在完备编码的情况下，系数会发会很大的变化。

由于在图像处理领域的极大成功，稀疏编码成为广泛使用的技术之一。在学术界，对于图像数据具有稀疏结构已达成共识。

互联网图像一般有三方面的信息：图像的内容信息，图像数据分布的结构信息以及图像周围的短文本信息。图像的内容信息一般可由底层视觉特征（如SIFT特征）表达，图像数据分布的结构信息一般可以由流形技术挖掘，图像周围的短文本信息最常见的就是标签信息。但是目前缺乏一种将三种信息有效融合的技术手段。由于短文本蕴含的信息量非常有限，比如不能使用基于长文本广泛使用的多视觉(MultiView)思想，人们通常的做法是：

人们在考虑图像信息与短文本信息融合的时候，通常只会考虑层次模型。比如在图像检索中，人们通常使用谷歌的检索技术针对图像的标签进行第一次检索，然后基于第一次检索的结果再利用图像的视觉特征进行第二次检索，从而返回更精确的结果；

在图像分类中，人们通常提取出图像的视觉特征，比如SIFT特征，再做一次处理，比如利用概率潜藏语义分析(Probabilistic Latent Semantic Analysis)进行主题挖掘，然后利学支持向量机的多核理论，使用基于图像数据的核和标签的核的凸组合作为分类器的核分类。

这上述模型从本质上都是将两个特征分开讨论，而实际上它们是互相联系的，标签与图像内容必然存在语义的联系。

发明内容

本发明的目的是提出一种基于稀疏编码的互联网图像特征提取方法，将互联网图像的内容信息，图像数据分布的结构信息以及图像周围的文本信息有效融合，使提取出的特征能有效地表达图像语义。

本发明提出的基于稀疏编码的图像视觉特征提取方法，包括以下步骤：

（1）设图片集中共有N幅图片，提取图片集的底层特征，其中第i幅图片的底层特征集为 其中是第i幅图片的第k_i个底层特征，k_i＝1，2，...， 为集合中的元素个数，i=1，2，…，N；

（2）设定一个图片集中标签出现频率的阈值，将图片集中出现频率低于设定出现阈值的标签删除，图片集中第i幅图片的所有标签生成一个标签向量w_i，i=1，2，…，N；

（3）生成一个底层特征相似性矩阵W，具体过程如下：

（3-1）按下式计算底层特征集中任意两个底层特征之间的欧式距离：

${\left|\right|f_i^{\left(k_i\right)}-f_j^{\left(k_j\right)}\left|\right|}_2^2$

其中，k_i＝1….，k_j＝1….，i，j＝1….，N，||·||₂是向量的2范数；

（3-2）选择与底层特征距离最近的前k₀个底层特征作为的k₀近邻，并将k₀个近邻底层特征记为集合

（3-3）设定一个图片集底层特征相似性核函数K(·，·)；

（3-4）根据上述设定的核函数，按下式计算相似性矩阵W的每一个元素：

$W_{\mathrm{ij}}^{(k_i,k_j)}=\left\{\begin{array}{ccc}K(f_i^{\left(k_i\right)},f_j^{\left(k_j\right)})& \mathrm{if}& f_j^{\left(k_j\right)}\∈{\mathrm{\δ}}_{k_0}\left(f_i^{\left(k_i\right)}\right)\\ 0& \mathrm{else}& \end{array}\right.;$

（4）建立一个目标函数G(θ，B，α，D)：

$G(\mathrm{\θ},B,\mathrm{\α},D)=\underset{i}{\mathrm{\Σ}}\underset{k_i}{\mathrm{\Σ}}(\frac{1}{2}{\left|\right|f_i^{\left(k_i\right)}-{\mathrm{D\α}}_i^{\left(k_i\right)}\left|\right|}_2^2+{\mathrm{\λ}}_1{\left|\right|{\mathrm{\α}}_i^{\left(k_i\right)}\left|\right|}_1)$

$+{\mathrm{\λ}}_2\underset{i}{\mathrm{\Σ}}\underset{j\≠i}{\mathrm{\Σ}}\underset{k_i}{\mathrm{\Σ}}\underset{k_j}{\mathrm{\Σ}}\left({\mathrm{\θ}}_j^T{\mathrm{\θ}}_i\right){\left|\right|{\mathrm{\α}}_i^{\left(k_i\right)}-{\mathrm{\α}}_j^{\left(k_j\right)}\left|\right|}_2^2{W}_{\mathrm{ij}}^{(k_i,k_j)}$

$+{\mathrm{\λ}}_3\underset{i}{\mathrm{\Σ}}(\frac{1}{2}{\left|\right|w_i-{\mathrm{B\θ}}_i\left|\right|}_2^2+{\mathrm{\λ}}_4{\left|\right|{\mathrm{\θ}}_i\left|\right|}_1)$

其中，是图片集中第i幅图片的第k_i个底层特征的稀疏编码，D是图片集底层特征的基矩阵；α是图片集底层特征稀疏编码构成的矩阵，θ_i是图片集中第i幅图像的标签向量w_i的稀疏编码，为向量θ_j的转置，θ＝[θ₁，…，θ_N]是标签向量的稀疏编码构成的矩阵，B是图片集中标签的基矩阵，||·||₂是向量的2范数，||·||₁是向量的1范数，λ₁是图片集底层特征稀疏编码的稀疏性惩罚系数，λ₁为大于或等于零的数，λ₂是图片集底层特征的流形惩罚系数，λ₂为大于或等于零的数，λ₃是图片集标签稀疏编码的惩罚系数，λ₃为大于或等于零的数，λ₄是图片集标签稀疏编码的稀疏性惩罚系数，λ₄为大于或等于零的数；

（5）对上述目标函数G(θ，B，α，D)最小化，得到图片集底层特征稀疏编码构成的最优矩阵α^*，包括以下步骤：

（5-1）设目标函数G(θ，B，α，D)中的标签向量稀疏编码矩阵和图片集中标签的基矩阵B为常数，采用凸优化方法，分别迭代求解图片集底层特征稀疏编码构成的矩阵α以及图片集底层特征的基矩阵D；

(5-2)设目标函数G(θ，B，α，D)中的图片集底层特征稀疏编码构成的矩阵α和图片集底层特征的基矩阵D为常数，采用凸优化方法，分别迭代求解出标签向量稀疏编码矩阵θ以及图片集中标签的基矩阵B；

（5-3）重复步骤(5-1)和(5-2)，直到目标函数G(θ，B，α，D)的相对改变量小于10^-6，并从该目标函数G(θ，B，α，D)中得到图片集底层特征稀疏编码构成的最优矩阵

（6）根据上述图片集底层特征稀疏编码构成的最优矩阵α^*，得到子矩阵A_i，子矩阵A_i为第i幅图片的底层特征集的稀疏编码矩阵；

(7)采用最大化池方法，得到第i幅图片的图像视觉特征z_i，i=1,…,N，包括以下步骤：

（7-1）设图片集底层特征稀疏编码向量为d维，则第i幅图片的底层特征稀疏编码矩阵A_i的转置为 $A_i^T=[a_i^{\left(1\right)},...,a_i^{\left(d\right)}],$ 其中

（7-2）构造一个函数使用最大化池方法，得到第i幅图片的底层特征稀疏编码矩阵的列上最大值的绝对值，并将该绝对值作为函数的函数值，函数将映射成第i幅图片的图像视觉特征z_i，

本发明提出的基于稀疏编码的图像视觉特征提取方法，具有以下优点：

1、本方法提取出的特征具有广泛的应用，包括图像检索、场景摘要等等。

2、本方法使用稀疏编码能不仅能很好地挖掘图像的底层视觉特征以及高层文本的潜藏类别信息，而且使模型具有良好的鲁棒性。

3、本方法利用流形约束充分挖掘了图像数据分布的结构信息，而且作为底层视觉特征与高层文本特征的桥梁将两者从根本上结合，更好地表达了图像语义。

4、本方法基于最大化池技术使用一个向量表示一幅图像的高层特征，该特征简单有效，与大部分特征相比存储量大大降低。

5、本方法的模型具有较强的泛化能力，能处理多种情况的图像。

具体实施方式

本发明提出的基于稀疏编码的图像视觉特征提取方法，包括以下步骤：

（1）设图片集中共有N幅图片，提取图片集的底层特征，其中第i幅图片的底层特征集为 其中是第i幅图片的第k_i个底层特征，k_i＝1，2，...， 为集合中的元素个数，i=1，2，…，N；

（2）设定一个图片集中标签出现频率的阈值，将图片集中出现频率低于设定出现阈值的标签删除，图片集中第i幅图片的所有标签生成一个标签向量w_i，i=1，2，…，N；

（3）生成一个底层特征相似性矩阵W，具体过程如下：

（3-1）按下式计算底层特征集中任意两个底层特征之间的欧式距离：

${\left|\right|f_i^{\left(k_i\right)}-f_j^{\left(k_j\right)}\left|\right|}_2^2$

其中，k_i＝1，...，k_j＝1，...，i，j＝1，...，N，||·||₂是向量的2范数；

（3-2）选择与底层特征距离最近的前k₀个底层特征作为的k₀近邻，并将k₀个近邻底层特征记为集合

（3-3）设定一个图片集底层特征相似性核函数K(·，·)；

（3-4）根据上述设定的核函数，按下式计算相似性矩阵W的每一个元素：

$W_{\mathrm{ij}}^{(k_i,k_j)}=\left\{\begin{array}{ccc}K(f_i^{\left(k_i\right)},f_j^{\left(k_j\right)})& \mathrm{if}& f_j^{\left(k_j\right)}\∈{\mathrm{\δ}}_{k_0}\left(f_i^{\left(k_i\right)}\right)\\ 0& \mathrm{else}& \end{array}\right.;$

（4）建立一个目标函数G(θ，B，α，D)：

$G(\mathrm{\θ},B,\mathrm{\α},D)=\underset{i}{\mathrm{\Σ}}\underset{k_i}{\mathrm{\Σ}}(\frac{1}{2}{\left|\right|f_i^{\left(k_i\right)}-{\mathrm{D\α}}_i^{\left(k_i\right)}\left|\right|}_2^2+{\mathrm{\λ}}_1{\left|\right|{\mathrm{\α}}_i^{\left(k_i\right)}\left|\right|}_1)$

$+{\mathrm{\λ}}_2\underset{i}{\mathrm{\Σ}}\underset{j\≠i}{\mathrm{\Σ}}\underset{k_i}{\mathrm{\Σ}}\underset{k_j}{\mathrm{\Σ}}\left({\mathrm{\θ}}_j^T{\mathrm{\θ}}_i\right){\left|\right|{\mathrm{\α}}_i^{\left(k_i\right)}-{\mathrm{\α}}_j^{\left(k_j\right)}\left|\right|}_2^2{W}_{\mathrm{ij}}^{(k_i,k_j)}$

$+{\mathrm{\λ}}_3\underset{i}{\mathrm{\Σ}}(\frac{1}{2}{\left|\right|w_i-{\mathrm{B\θ}}_i\left|\right|}_2^2+{\mathrm{\λ}}_4{\left|\right|{\mathrm{\θ}}_i\left|\right|}_1)$

其中，是图片集中第i幅图片的第k_i个底层特征的稀疏编码，D是图片集底层特征的基矩阵；α是图片集底层特征稀疏编码构成的矩阵，θ_i是图片集中第i幅图像的标签向量w_i的稀疏编码，为向量θ_j的转置，θ-[θ₁，...，θ_N]是标签向量的稀疏编码构成的矩阵，B是图片集中标签的基矩阵，||·||₂是向量的2范数，||·||₁是向量的1范数，λ₁是图片集底层特征稀疏编码的稀疏性惩罚系数，λ₁为大于或等于零的数，λ₂是图片集底层特征的流形惩罚系数，λ₂为大于或等于零的数，λ₃是图片集标签稀疏编码的惩罚系数，λ₃为大于或等于零的数，λ₄是图片集标签稀疏编码的稀疏性惩罚系数，λ₄为大于或等于零的数；

（5）对上述目标函数G(θ，B，α，D)最小化，得到图片集底层特征稀疏编码构成的最优矩阵α^*，包括以下步骤：

（5-1）设目标函数G(θ，B，α，D中的标签向量稀疏编码矩阵和图片集中标签的基矩阵B为常数，则目标函数G(θ，B，α，D)变成了一个典型的带流形约束的稀疏编码问题，使用高效稀疏编码算法(Efficient sparse coding algorithms)介绍该算法及其出处，采用凸优化方法，分别迭代求解图片集底层特征稀疏编码构成的矩阵α以及图片集底层特征的基矩阵D；

(5-2)设目标函数G(θ，B，α，D)中的图片集底层特征稀疏编码构成的矩阵和图片集底层特征的基矩阵D为常数，则目标函数G(θ，B，α，D)变成了一个典型的带点积约束的稀疏编码问题，采用凸优化方法，分别迭代求解出标签向量稀疏编码矩阵θ以及图片集中标签的基矩阵B；

（5-3）重复步骤(5-1)和(5-2)，直到目标函数G(θ，B，α，D)的相对改变量小于10^-6，并从该目标函数G(θ，B，α，D)中得到图片集底层特征稀疏编码构成的最优矩阵

（6）根据上述图片集底层特征稀疏编码构成的最优矩阵α^*，得到子矩阵A_i，子矩阵A_i为第i幅图片的底层特征集的稀疏编码矩阵；

(7)采用最大化池(Max Pooling)方法，得到第i幅图片的图像视觉特征z_i，i=1,…,N，包括以下步骤：

（7-1）设图片集底层特征稀疏编码向量为d维，则第i幅图片的底层特征稀疏编码矩阵A_i的转置为 $A_i^T=[a_i^{\left(1\right)},...,a_i^{\left(d\right)}],$ 其中

（7-2）构造一个函数，使用最大化池方法，得到第i幅图片的底层特征稀疏编码矩阵的列上最大值的绝对值，并将该绝对值作为函数的函数值，函数将映射成第i幅图片的图像视觉特征z_i，

以下介绍本发明方法的一个实施例：

（1）假设共有两幅图像，分别有3个和2个SIFT特征，即 尽管SIFT特征是128维的，这里为简单计，用5维代替，设：

$f_1^{\left(1\right)}={\left(\mathrm{0.3,0.15,0.05,0.1,0.4}\right)}^T$

$f_1^{\left(2\right)}={\left(\mathrm{0.3,0.2,0.01,0.1,0.39}\right)}^T$

$f_1^{\left(3\right)}={\left(\mathrm{0.35,0.1,0.3,0.15,0.1}\right)}^T$

$f_2^{\left(1\right)}={\left(\mathrm{0.55,0.09,0.3,0.01,0.05}\right)}^T$

$f_2^{\left(2\right)}={\left(\mathrm{0.55,0.1,0.29,0.01,0.05}\right)}^T$

（2）设第一幅图片的标签分别为：海滩，狗，蓝天；第二幅图片的标签为蓝天，飞机。那么标签向量是4维的，用有序组(海滩，狗，蓝天，飞机)的指示向量表示：

w₁＝(1，1，1，0)^T

w₂＝(0，0，1，1)^T

（3）计算基于欧式距离的1近邻(也就是最近邻)。计算每两个特征之间的欧式距离。

（3－1）的1近邻是的1近邻是的1近邻是的1近邻是的1近邻是

（3-2）设定核函数 $K(x,y)=\exp (-{\left|\right|x-y\left|\right|}_2^2);$

（3-3）计算相似性矩阵W，其中非0元为：

$W_{\mathrm{1,1}}^{\left(\mathrm{1,2}\right)}=0.99581;$

$W_{\mathrm{1,1}}^{(2,1)}=0.99581;$

$W_{\mathrm{1,2}}^{\left(\mathrm{3,1}\right)}=0.95868;$

$W_{\mathrm{2,2}}^{\left(\mathrm{1,2}\right)}=0.9998;$

$W_{\mathrm{2,2}}^{\left(\mathrm{2,1}\right)}=0.9998;$

其他都是0。

（4）建立目标函数G(θ，B，α，D)

（5）最小化目标函数G(θ，B，α，D)，选定图片集底层特征的基矩阵列数为4，则可以解出：

${\mathrm{\α}}_1^{*\left(1\right)}={\left(\mathrm{0,0,0.8,0.2}\right)}^T;$

${\mathrm{\α}}_1^{*\left(2\right)}={(\mathrm{0,0,0}.7,0.3)}^T;$

${\mathrm{\α}}_1^{*\left(3\right)}={(\mathrm{0.4,0,0},0.6)}^T;$

${\mathrm{\α}}_2^{*\left(1\right)}={(\mathrm{0,0.5,0},0.5)}^T;$

${\mathrm{\α}}_2^{*\left(1\right)}={(\mathrm{0,0}.4,0,0.6)}^T;$

（6）得到每幅图像的子矩阵 $A_1=[{\mathrm{\α}}_1^{*\left(1\right)},{\mathrm{\α}}_1^{*\left(2\right)},{\mathrm{\α}}_1^{*\left(3\right)}],$ $A_2=[{\mathrm{\α}}_2^{*\left(1\right)},{\mathrm{\α}}_2^{*\left(2\right)}]$

（7）采用最大化池： $A_1^T=[a_1^{\left(1\right)},a_1^{\left(2\right)},a_1^{\left(3\right)},a_1^{\left(4\right)}]=\left[\begin{array}{cccc}0& 0& 0.8& 0.2\\ 0& 0& 0.7& 0.3\\ 0.4& 0& 0& 0.6\end{array}\right]$ $A_2^T=[a_2^{\left(1\right)},a_2^{\left(2\right)},a_2^{\left(3\right)},a_2^{\left(4\right)}]=\left[\begin{array}{cccc}0& 0.5& 0& 0.5\\ 0& 0.4& 0& 0.6\end{array}\right]$ 对矩阵的每一列的绝对值取最大值，比如则

Claims (1)

1.一种基于稀疏编码的图像视觉特征提取方法，其特征在于该方法包括以下步骤：

(1)设图片集中共有N幅图片，提取图片集的底层特征，其中第i幅图片的底层特征集为 其中是第i幅图片的第k_i个底层特征， 为集合中的元素个数，i＝1，2，…，N；

(2)设定一个图片集中标签出现频率的阈值，将图片集中出现频率低于设定出现频率阈值的标签删除，图片集中第i幅图片的所有标签生成一个标签向量w_i，i＝1，2，…，N；

(3)生成一个底层特征相似性矩阵W，具体过程如下：

(3-1)按下式计算底层特征集中任意两个底层特征之间的欧式距离：

其中，||·||₂是向量的2范数；

(3-2)选择与底层特征距离最近的前k₀个底层特征作为的k₀近邻，并将k₀个近邻底层特征记为集合

(3-3)设定一个图片集底层特征相似性核函数K(·，·)；

(3-4)根据上述设定的核函数，按下式计算相似性矩阵W的每一个元素：

(4)建立一个目标函数G(θ，B，α，D)：

其中，是图片集中第i幅图片的第k_i个底层特征的稀疏编码，D是图片集底层特征的基矩阵；α是图片集底层特征稀疏编码构成的矩阵， θ_i是图片集中第i幅图像的标签向量w_i的稀 疏编码，为向量θ_j的转置，θ＝[θ₁，...，θ_N]是标签向量的稀疏编码构成的矩阵，B是图片集中标签的基矩阵，||·||₂是向量的2范数，||·||₁是向量的1范数，λ₁是图片集底层特征稀疏编码的稀疏性惩罚系数，λ₁为大于或等于零的数，λ₂是图片集底层特征的流形惩罚系数，λ₂为大于或等于零的数，λ₃是图片集标签稀疏编码的惩罚系数，λ₃为大于或等于零的数，λ₄是图片集标签稀疏编码的稀疏性惩罚系数，λ₄为大于或等于零的数；

(5)对上述目标函数G(θ，B，α，D)最小化，得到图片集底层特征稀疏编码构成的最优矩阵α^*，包括以下步骤：

(5-1)设目标函数G(θ，B，α，D)中的标签向量稀疏编码矩阵θ和图片集中标签的基矩阵B为常数，采用凸优化方法，分别迭代求解图片集底层特征稀疏编码构成的矩阵α以及图片集底层特征的基矩阵D；

(5-2)设目标函数G(θ，B，α，D)中的图片集底层特征稀疏编码构成的矩阵α和图片集底层特征的基矩阵D为常数，采用凸优化方法，分别迭代求解出标签向量稀疏编码矩阵θ以及图片集中标签的基矩阵B；

(5-3)重复步骤(5-1)和(5-2)，直到目标函数G(θ，B，α，D)的相对改变量小于10^-6，并从该目标函数G(θ，B，α，D)中得到图片集底层特征稀疏编码构成的最优矩阵α^*,

(6)根据上述图片集底层特征稀疏编码构成的最优矩阵α^*，得到子矩阵A_i， i＝1,…,N，子矩阵A_i为第i幅图片的底层特征集的稀疏编码矩阵；

(7)采用最大化池方法，得到第i幅图片的图像视觉特征z_i，i＝1,…,N，包括以下步骤：

(7-1)设图片集底层特征稀疏编码向量为d维，则第i幅图片的底层特征稀疏编码矩阵A_i的转置为其中

j＝1,…,d,i＝1,…,N；

(7-2)构造一个函数使用最大化池方法，得到第i幅图片的底层特征稀疏编码矩阵的列上最大值的绝对值，并将该绝对值作为函数的函数值， 函数将映射成第i幅图片的图像视觉特征z_i， i＝1,…,N。