CN105224943A - 基于多线索归一化非负稀疏编码器的图像快速特征表示方法 - Google Patents

Abstract

本发明基于多线索归一化非负稀疏编码器的图像快速特征表示方法，具体步骤为：图像的局部特征提取：将数据集中每幅图像稠密地提取SIFT特征和颜色矩特征；从所提取的所有SIFT、颜色矩特征中，随机地选取若干对，以K-均值聚类的方法得到码书；利用求解得到的码书，按照基于多线索归一化非负稀疏编码编码器的松弛模型，优化求解编码器参数。测试阶段：利用训练过程得到的编码器，在对一幅图像进行特征表示时，仅提取一副输入图像的SIFT特征，利用编码器计算SIFT特征的编码系数，将所有编码系数按照空间金字塔最大池化的方式进行整合，所得到的高维的特征向量就是该图像的特征向量；利用所得的图像特征表示，进一步用于各种图像分类/检索等智能分析应用当中。

Description

基于多线索归一化非负稀疏编码器的图像快速特征表示方法

技术领域：

本发明涉及计算机视觉图像处理技术领域，具体涉及一种基于多线索归一化非负稀疏编码器的图像快速特征表示方法。

背景技术：

生物学研究表明，哺乳动物的初级视皮层对外界刺激的响应满足稀疏性，即只有少数的神经元被激活，相应的编码应该为稀疏编码。稀疏编码，通俗地说，就是将一个信号表示为一组基的组合，而且要求只需要少数的几个基就可以将信号重构出来。稀疏编码已经广泛应用到计算机视觉、图像信号处理等领域，例如，信号重构、信号去噪、图像特征提取、以及分类等应用。

传统的稀疏编码方法是基于最小均方误差意义下的重构，也就是使得重构误差尽可能小，同时，尽可能使得相应的编码系数稀疏化。由于稀疏编码之后的过程通常是最大池化(maxpooling)。这使得负数编码系数直接被忽略，造成了信息泄漏。在传统的稀疏编码基础之上，添加非负约束，引入了非负稀疏编码。在非负稀疏编码基础之上，进一步添加平移不变形约束，得到所谓的归一化非负稀疏编码。一方面使得稀疏编码系数的解释性得到加强，另一方面自动地使得传统的稀疏约束参数消失，避免了繁杂的参数调节过程。归一化非负稀疏编码的精确求解复杂度较高，不适合大规模的图像应用。通过使用自编码器模型，学习得到归一化非负稀疏编码的编码器，从而在编码过程中避免了迭代求解的过程，因此求解归一化非负稀疏编码只需要计算矩阵与矩阵乘法，以及一些非线性激活函数操作，从而大大增加了编码速度。

稀疏编码的基本理论模型：

记作N个D维的局部特征，表示含有M个基元的码书，表示对应的编码系数。并且X中第i个局部特征表示为x_i，其对应的编码系数为c_i。传统的稀疏编码模型目标在于优化以下的目标函数：

$\arg \underset{C}{min}\underset{i=1}{\overset{N}{\Σ}}\frac{1}{2}{||x_i-{\mathrm{Bc}}_i||}^2+\mathrm{\λ}{\left|c_i\right|}_{L_1}$

其中λ为L1范数的稀疏约束参数，通过调节λ，可以达到控制c_i稀疏程度的目的。

非负稀疏编码模型的目标函数在此基础之上，对于编码系数额外添加了非负约束：

$\begin{array}{c}\arg \underset{C}{min}\underset{i=1}{\overset{N}{\Σ}}\frac{1}{2}{||x_i-{\mathrm{Bc}}_i||}^2+\mathrm{\λ}{\left|c_i\right|}_{L_1}\\ s.t.c_i\left(j\right)\≥0,\∀j.\end{array}$

其中c_i(j)表示向量c_i的第j个分量。以上两种编码方式，都需要手工调节λ，来达到控制稀疏度的目的。在非负稀疏编码的基础上，我们进一步添加平移不变性约束，来达到归一化非负稀疏编码：

$\begin{array}{c}\arg \underset{C}{min}\underset{i=1}{\overset{N}{\Σ}}\frac{1}{2}{||x_i-{\mathrm{Bc}}_i||}^2\\ s.t.c_i\left(j\right)\≥0,1^T{c}_i=1,\∀i,j.\end{array}$

其中1为元素全部为1的M维列向量，c_i(j)为向量c_i的第j个分量。由于非负约束和平移不变性约束的联合作用，使得c_i的L1范数变成常数1,因此最后一项可以省略掉，从来达到了自适应的控制稀疏度的目的。尽管归一化非负稀疏编码的目标函数中没有显示的稀疏约束(L1范数正则项)，但是根据带约束凸优化的边界条件，归一化非负稀疏编码的结果通常都是稀疏的。

如图1所示，图1分析了稀疏编码，局部限定性编码，归一化非负稀疏编码的编码方案示意图。稀疏编码的结果趋向于局部性，但是并不严格地是局部性结果；局部限定性编码挑选几个临近的码字去重构输入局部特征；尽管归一化非负稀疏编码的目标函数里面没有显式的局部约束，事实上，它在目标函数里面从另一个角度隐含了局部约束。局部限定性编码强制重构局部特征在输入局部特征的局部子空间中，因为它选择的基都是非常接近输入局部特征的。而归一化非负稀疏编码仅仅允许重构局部特征存在于由所选择的基扩展成的单纯形(simplex)之中。

发明内容：

本发明的目的在于针对现有技术的不足，提供了一种基于多线索归一化非负稀疏编码器的图像快速特征表示方法，用于改进单线索归一化非负稀疏编码的特征表达能力，同时不增加任何计算复杂度。

为达到上述目的，本发明采用如下技术方案予以实现的：

基于多线索归一化非负稀疏编码器的图像快速特征表示方法，包括以下步骤：

1)对待处理的图像数据集中所有图像分别稠密地提取SIFT特征和颜色矩特征或者HOG特征和颜色矩特征；

2)对待处理的图像数据集中所有图像提取完SIFT特征后，随机地选取5万至50万的SIFT特征和颜色矩特征，分别求解出待处理的图像数据集的SIFT特征码书和颜色矩特征码书；

3)建立基于多线索归一化非负稀疏编码编码器的松弛模型；

4)利用步骤2)中求解得到的码书，按照步骤3)中建立的基于多线索归一化非负稀疏编码编码器的松弛模型，求解松弛模型的参数，得到基于多线索归一化非负稀疏编码编码器；

5)利用求解得到的基于多线索归一化非负稀疏编码编码器，对所有的SIFT特征进行编码；

6)对图像数据集中每张图像的编码进行空间金字塔最大池化方法整合，得到每张图像的特征向量。

本发明进一步的改进在于，步骤2)中，以K-均值聚类的方法分别求解出待处理的图像数据集的SIFT特征码书和颜色矩特征码书。

本发明进一步的改进在于，步骤3)中，基于多线索归一化非负稀疏编码编码器的松弛模型目标函数如下：

$\arg \underset{\mathrm{\θ},Z}{min}\underset{i=1}{\overset{N}{\Σ}}\frac{1}{2}{||\left[\begin{array}{c}{x}_i\\ y_i\end{array}\right]-\left[\begin{array}{c}B\\ P\end{array}\right]f_{\mathrm{\θ}}\left(x_i\right)||}^2+\mathrm{\β}{\left|z_i\right|}_{L_1}+\mathrm{\γ}\frac{1}{2}{||z_i-f_{\mathrm{\θ}}\left(x_i\right)||}^2$

其中，x_i,y_i分别表示其中第i个SIFT特征和颜色矩特征，表示对应于两种局部特征的含有M个基元的码书，D_x,D_y分别表示SIFT特征和颜色矩特征的维度，Z为引入的松弛变量矩阵，维度为M×N，z_i为对应于第i个局部特征的M维松弛变量向量，f_θ(·)为编码器的表达式，θ为编码器的参数，包括W₁,W₂,b₁,b₂，β,γ分别为控制松弛变量的稀疏度和编码器输出与松弛变量的逼近度的超参数；

使用两层神经网络模型来表示编码器f_θ(·)，即

f_θ(x)＝softmax(W₂(sigmoid(W₁x+b₁)+b₂))

其中，W₁,b₁分别为两层神经网络模型中第一层的权重系数和偏置系数；W₂,b₂分别为两层神经网络模型中第二层的权重系数和偏置系数，x为两层神经网络模型的输入SIFT特征。

本发明进一步的改进在于，步骤4)中，采用交替优化的策略求解参数θ,Z，具体方法如下：

401)固定参数θ，求解参数Z，公式如下：

$\arg \underset{Z}{min}\underset{i=1}{\overset{N}{\Σ}}\mathrm{\β}{\left|z_i\right|}_{L_1}+\mathrm{\γ}\frac{1}{2}{||z_i-f_{\mathrm{\θ}}\left(x_i\right)||}^2$

使用梯度下降法对上述公式进行优化；

402)固定参数Z，求解参数θ，公式如下：

$\arg \underset{\mathrm{\θ}}{min}\underset{i=1}{\overset{N}{\Σ}}\frac{1}{2}{||\left[\begin{array}{c}{x}_i\\ y_i\end{array}\right]-\left[\begin{array}{c}B\\ P\end{array}\right]f_{\mathrm{\θ}}\left(x_i\right)||}^2+\mathrm{\γ}\frac{1}{2}{||z_i-f_{\mathrm{\θ}}\left(x_i\right)||}^2$

使用梯度下降法对上述公式进行优化；

403)交互迭代步骤401)和402)，直至收敛；最终求得多线索归一化非负稀疏编码的编码器f_θ(x)。

本发明进一步的改进在于，步骤5)中，利用求解得到的基于多线索归一化非负稀疏编码编码器f_θ(x)，对输入图像的所有SIFT特征进行编码。

相对于现有技术，本发明具有如下的优点：

本发明使用自编码器模型，通过在编码器参数学习阶段，输入多种类型局部特征进行训练，期望得到的归一化非负稀疏编码的编码系数，能够同时“记忆”多种特征信息，进而能够进一步提升图像的特征表达能力；在图像编码阶段，在某些类型的局部特征不可获得的前提下(例如灰度图不能够得到颜色矩特征)，通过仅仅提取一种局部特征(SIFT)便可得到接近于输入多种特征(SIFT和颜色矩特征)的特征表示。同时相较于单线索的归一化非负稀疏编码来说，编码过程完全一致，不增加任何计算量。使用本发明的多线索归一化非负稀疏编码器能够快速地获得判别力较强的图像特征表示。

具体来说，本发明在单线索归一化非负稀疏编码的基础上，提出了多线索归一化非负稀疏编码模型，使得图像的最终特征表达能力进一步增强。并且，推导证明了多线索归一化非负稀疏编码器的优化与单线索完全等价。本发明使用松弛自编码器模型，优化求解多线索归一化非负稀疏编码器参数。本发明使用学习得到的多线索非负稀疏编码器，在图像编码阶段，只需提取一种输入特征直接计算多线索非负稀疏编码系数，避免了迭代求解的繁琐过程，从而大大提升了编码速度。本发明通过在训练阶段输入多种特征，使得编码器能够学习“记忆”得到多种特征信息，在编码阶段，当图像的某些信息缺失时，多线索编码器能够自动计算出多种信息的共享编码系数，在一定程度上能够弥补这种信息的缺失。

附图说明：

图1(a)至(c)分别为稀疏编码、局部限定性编码及归一化非负稀疏编码的编码示意图。

图2为空间金字塔最大池化示意图。

图3为本发明基于多线索归一化非负稀疏编码器的图像快速特征表示方法的流程图。

图4为学习编码器参数的自编码器网络示意图；其中，图4(a)为自编码器网络结构示意图，图4(b)为某个输入的SIFT特征编解码过程示例。

图5为多线索归一化非负稀疏编码器的参数优化网络结构示意图。

具体实施方式：

以下结合附图对本发明作进一步的详细说明。

本发明在优化归一化非负稀疏编码器的过程当中，通过提供多种输入局部特征，使得编码器参数能够学习“记忆”到多种特征信息(即多线索)，在编码阶段对输入图像进行特征编码时，仅需输入一种特征便能部分地得出多种特征的联合编码系数，与单一线索模式相比(训练编码器参数时，仅有一种输入特征)，图像的特征表达能力进一步得到增强。

本发明基于多线索归一化非负稀疏编码器的图像快速特征表示方法，包括以下几个步骤：

(1)对每一幅图片按照的一定大小的像素块，例如16×16，一定大小的步长，例如6像素的上下和左右滑动步长，稠密地提取SIFT特征和颜色矩特征，其中SIFT特征维度一般是128维，颜色矩特征为9维；

(2)对待处理的图像数据集中所有图像提取完SIFT特征后，随机地选取5万至50万的SIFT特征和颜色矩特征，使用K-均值算法或者其他任何带有约束条件的目标函数优化方法，求解出待处理的图像数据集的SIFT特征码书和颜色矩特征码书；

(3)推导建立基于多线索归一化非负稀疏编码编码器的松弛模型；

为推导出优化多线索归一化非负稀疏编码器的参数，我们首先推导出单线索的归一化非负稀疏编码器参数的优化方法：

我们不直接对归一化非负稀疏编码的目标函数进行严格求解，设定两层的神经网络可以直接计算出编码系数：

f_θ(x)＝softmax(W₂(sigmoid(W₁x+b₁)+b₂))

其中，W₁,b₁分别为两层神经网络模型中第一层的权重系数和偏置系数；W₂,b₂分别为两层神经网络模型中第二层的权重系数和偏置系数，x为两层神经网络模型的输入SIFT特征。由于f_θ(x)的输出满足非负约束和平移不变性约束，因此，我们将f_θ(x)代入归一化非负稀疏编码的目标函数当中，约束条件便可以省略掉：

$\arg \underset{\mathrm{\θ}}{min}\underset{i=1}{\overset{N}{\Σ}}\frac{1}{2}{||x_i-{\mathrm{Bf}}_{\mathrm{\θ}}\left(x_i\right)||}^2$

更进一步，我们对上述自编码器模型做一个松弛简化，引入松弛变量Z，使得编码输出系数f_θ(x)与Z有一定的差别，从而使得编码系数更加平滑，含编码器参数的目标函数变为：

$\arg \underset{\mathrm{\θ},Z}{min}\underset{i=1}{\overset{N}{\Σ}}\frac{1}{2}{||x_i-{\mathrm{Bf}}_{\mathrm{\θ}}\left(x_i\right)||}^2+\mathrm{\β}{\left|z_i\right|}_{L_1}+\mathrm{\γ}\frac{1}{2}{||z_i-f_{\mathrm{\θ}}\left(x_i\right)||}^2$

其中，记作N个D维的局部特征，x_i表示其中第i个样本，表示含有M个基元的码书，Z为引入的松弛变量，f_θ(·)为编码器的表达式，θ为编码器的参数，包括W₁,W₂,b₁,b₂，β,γ分别为控制松弛变量的稀疏度和编码器输出与松弛变量的逼近度的超参数。

如图5所示，在上述方法的基础上，我们继续推导多线索归一化非负稀疏编码器参数的优化方法：

记作一种N个D维的局部特征(例如SIFT特征)，表示含有M个基元的对应码书，记作不同于X的另外一种N个D维的局部特征，如颜色矩特征，表示含有M个基元的对应码书，表示两种局部特征共享的编码系数。多线索的非负稀疏编码目标函数可以表示如下：

$\begin{array}{c}\arg \underset{C}{min}\underset{i=1}{\overset{N}{\Σ}}\frac{1}{2}{||x_i-{\mathrm{Bc}}_i||}^2+\frac{1}{2}{||y_i-{\mathrm{Pc}}_i||}^2\\ s.t.c_i\left(j\right)\≥0,1^T{c}_i=1,\∀i,j.\end{array}$

上式可以被等价地写成标准的归一化非负稀疏编码目标函数，只需将两种特征和对应的码书拼接起来：

$\begin{array}{c}\arg \underset{C}{min}\underset{i=1}{\overset{N}{\Σ}}\frac{1}{2}{||\left[\begin{array}{c}{x}_i\\ y_i\end{array}\right]-\left[\begin{array}{c}B\\ P\end{array}\right]c_i||}^2\\ s.t.c_i\left(j\right)\≥0,1^T{c}_i=1,\∀i,j.\end{array}$

由于多线索归一化非负稀疏编码的目标函数可以被证明与单线索归一化非负稀疏编码完全等价，因此我们采用单线索归一化非负稀疏编码器参数的优化方法，将代入上式，并且采用松弛方法，可以得到多线索归一化非负稀疏编码器的参数优化目标函数：

$\arg \underset{\mathrm{\θ},Z}{min}\underset{i=1}{\overset{N}{\Σ}}\frac{1}{2}{||\left[\begin{array}{c}{x}_i\\ y_i\end{array}\right]-\left[\begin{array}{c}B\\ P\end{array}\right]f_{\mathrm{\θ}}\left(x_i\right)||}^2+\mathrm{\β}{\left|z_i\right|}_{L_1}+\mathrm{\γ}\frac{1}{2}{||z_i-f_{\mathrm{\θ}}\left(x_i\right)||}^2$

(4)采用交替优化的策略求解参数θ,Z，具体方法如下：

401)固定参数θ，求解参数Z，公式如下：

$\arg \underset{Z}{min}\underset{i=1}{\overset{N}{\Σ}}\mathrm{\β}{\left|z_i\right|}_{L_1}+\mathrm{\γ}\frac{1}{2}{||z_i-f_{\mathrm{\θ}}\left(x_i\right)||}^2$

使用梯度下降法对上述公式进行优化；

402)固定参数Z，求解参数θ，公式如下：

$\arg \underset{\mathrm{\θ}}{min}\underset{i=1}{\overset{N}{\Σ}}\frac{1}{2}{||\left[\begin{array}{c}{x}_i\\ y_i\end{array}\right]-\left[\begin{array}{c}B\\ P\end{array}\right]f_{\mathrm{\θ}}\left(x_i\right)||}^2+\mathrm{\γ}\frac{1}{2}{||z_i-f_{\mathrm{\θ}}\left(x_i\right)||}^2$

使用梯度下降法对上述公式进行优化；

403)交互迭代步骤401)和402)，直至收敛；最终求得多线索归一化非负稀疏编码的编码器f_θ(x)。

求解得到多线索归一化非负稀疏编码器之后，对整幅图像仅需提取一种局部特征进行编码操作。如图3所示，提取图像特征表示的全部流程如下：

(1)：对每一幅图片按照的一定大小的像素块，例如16×16，一定大小的步长，例如6像素的上下和左右滑动步长，稠密地提取SIFT特征，局部特征提取的方式方法与编码器训练过程中的局部特征提取方法应该保持一致。所提取的特征为128维的列向量；事实上，也可以提取HOG等图像的局部特征。

(2)：利用求解得到的编码器，将一副输入图像的每一个SIFT特征的多线索归一化非负稀疏编码系数直接计算出来。

(3)：如图2所示，将所有SIFT特征相应的编码系数，按照空间金字塔最大池化(SPMpooling)的方式进行整合，可以得到一个高维的特征向量，所得到的高维的特征向量就是该图像的最终特征表示。空间金字塔最大池化(SPMmaxpooling)：空间金字塔就是将原图片分别划分成的网格，一般划分成1×1、2×2、4×4的网格，每个网格可以看成一个较大的图像块。在每个图像块内，对其所有SIFT特征的稀疏编码在每一维上进行最大池化，即在每一个维上，池化的结果是所有稀疏编码相应维上绝对值的最大值。每个网格池化后可以得到该图像块上的特征向量，将所有网格或图像块上池化后的特征向量拼接到一起，所得到的一个高维的特征就是该整幅图片的特征向量，这个操作过程就称为空间金字塔最大池化。

本发明的编码方法所得到的编码判别性强，编码过程无需调节参数，编码速度相比较于传统方法大大提升，并且多线索特性使得性能进一步提高，可以用于图像分类/检索等任务。

Claims (5)

1.基于多线索归一化非负稀疏编码器的图像快速特征表示方法，其特征在于，包括以下步骤：

1)对待处理的图像数据集中所有图像分别稠密地提取SIFT特征和颜色矩特征或者HOG特征和颜色矩特征；

2)对待处理的图像数据集中所有图像提取完SIFT特征后，随机地选取5万至50万的SIFT特征和颜色矩特征，分别求解出待处理的图像数据集的SIFT特征码书和颜色矩特征码书；

3)建立基于多线索归一化非负稀疏编码编码器的松弛模型；

4)利用步骤2)中求解得到的码书，按照步骤3)中建立的基于多线索归一化非负稀疏编码编码器的松弛模型，求解松弛模型的参数，得到基于多线索归一化非负稀疏编码编码器；

5)利用求解得到的基于多线索归一化非负稀疏编码编码器，对所有的SIFT特征进行编码；

6)对图像数据集中每张图像的编码进行空间金字塔最大池化方法整合，得到每张图像的特征向量。

2.根据权利要求1所述的基于多线索归一化非负稀疏编码器的图像快速特征表示方法，其特征在于，步骤2)中，以K-均值聚类的方法分别求解出待处理的图像数据集的SIFT特征码书和颜色矩特征码书。

3.根据权利要求1所述的基于多线索归一化非负稀疏编码器的图像快速特征表示方法，其特征在于，步骤3)中，基于多线索归一化非负稀疏编码编码器的松弛模型目标函数如下：

$\arg \underset{\mathrm{\θ},Z}{min}\underset{i=1}{\overset{N}{\Σ}}\frac{1}{2}{||\left[\begin{array}{c}{x}_i\\ y_i\end{array}\right]-\left[\begin{array}{c}B\\ P\end{array}\right]f_{\mathrm{\θ}}\left(x_i\right)||}^2+\mathrm{\β}{\left|z_i\right|}_{L_1}+\mathrm{\γ}\frac{1}{2}{||z_i-f_{\mathrm{\θ}}\left(x_i\right)||}^2$

其中，x_i,y_i分别表示其中第i个SIFT特征和颜色矩特征，表示对应于两种局部特征的含有M个基元的码书，D_x,D_y分别表示SIFT特征和颜色矩特征的维度，Z为引入的松弛变量矩阵，维度为M×N，z_i为对应于第i个局部特征的M维松弛变量向量，f_θ(·)为编码器的表达式，θ为编码器的参数，包括W₁,W₂,b₁,b₂，β,γ分别为控制松弛变量的稀疏度和编码器输出与松弛变量的逼近度的超参数；

使用两层神经网络模型来表示编码器f_θ(·)，即

f_θ(x)＝softmax(W₂(sigmoid(W₁x+b₁)+b₂))

其中，W₁,b₁分别为两层神经网络模型中第一层的权重系数和偏置系数；W₂,b₂分别为两层神经网络模型中第二层的权重系数和偏置系数，x为两层神经网络模型的输入SIFT特征。

4.根据权利要求3所述的基于多线索归一化非负稀疏编码器的图像快速特征表示方法，其特征在于，步骤4)中，采用交替优化的策略求解参数θ,Z，具体方法如下：

401)固定参数θ，求解参数Z，公式如下：

$\arg \underset{Z}{min}\underset{i=1}{\overset{N}{\Σ}}\mathrm{\β}{\left|z_i\right|}_{L_1}+\mathrm{\γ}\frac{1}{2}{||z_i-f_{\mathrm{\θ}}\left(x_i\right)||}^2$

使用梯度下降法对上述公式进行优化；

402)固定参数Z，求解参数θ，公式如下：

$\arg \underset{\mathrm{\θ}}{min}\underset{i=1}{\overset{N}{\Σ}}\frac{1}{2}{||\left[\begin{array}{c}{x}_i\\ y_i\end{array}\right]-\left[\begin{array}{c}B\\ P\end{array}\right]f_{\mathrm{\θ}}\left(x_i\right)||}^2+\mathrm{\γ}\frac{1}{2}{||z_i-f_{\mathrm{\θ}}\left(x_i\right)||}^2$

使用梯度下降法对上述公式进行优化；

403)交互迭代步骤401)和402)，直至收敛；最终求得多线索归一化非负稀疏编码的编码器f_θ(x)。

5.根据权利要求4所述的基于多线索归一化非负稀疏编码器的图像快速特征表示方法，其特征在于，步骤5)中，利用求解得到的基于多线索归一化非负稀疏编码编码器f_θ(x)，对输入图像的所有SIFT特征进行编码。