CN105224944B - 基于码书块稀疏的非负稀疏编码的图像特征提取方法 - Google Patents

Abstract

本发明基于码书块稀疏的非负稀疏编码的图像特征提取方法，包括步骤：1)对待处理的图像数据集中所有图像分别稠密地提取块级特征；2)随机地选取若干块级特征；3)建立基于码书块稀疏的非负稀疏编码模型；4)用随机选取的块级特征来求解出该图像数据集块级特征的码书；5)固定码书，对所有的块级特征进行基于码书块稀疏的非负稀疏编码；6)对图像数据集每张图像的编码进行空间金字塔最大池化方法整合；7)按照基于码书块稀疏的非负稀疏编码模型的目标函数，求出该图像数据集空间金字塔最大池化后的初级特征向量的码书，对空间金字塔最大池化后的初级特征向量再进行一次基于码书块稀疏的非负稀疏编码，得到每张图像最终的特征向量。

Description

基于码书块稀疏的非负稀疏编码的图像特征提取方法

技术领域：

本发明涉及计算机视觉图像处理技术领域，具体涉及一种基于码书块稀疏的非负稀疏编码的图像特征提取方法。

背景技术：

稀疏编码已广泛应用于计算机视觉的各个领域(例如，图像分类、图像去噪等等)，传统的稀疏编码方法仅仅要求编码是稀疏的(所谓稀疏是指编码中的零元素较多)，而对码书的结构没有做任何要求，最近的一些实验结果表明：使用一个精心设计的码书往往能取得更好的编码结果；非负的编码在应用中往往有更好的稳定性。同时，一些研究结果表明，图像是由一些局部的小像素块拼接组成，使用一定数目学习出来的小的局部像素块，可以组合出来所有的自然图像，现有的稀疏编码方法并没有体现出这种局部性。传统的用稀疏编码提取图像特征的方法仅仅对块级特征做一次编码，这样的得到的图像特征在应用中不具有较强的判别性。

发明内容：

本发明的目的在于针对现有技术的不足，提供了一种基于码书块稀疏的非负稀疏编码的图像特征提取方法。

为达到上述目的，本发明采用如下技术方案：

基于码书块稀疏的非负稀疏编码的图像特征提取方法，包括以下步骤：

1)对待处理的图像数据集中所有图像分别稠密地提取块级特征；

2)对待处理的图像数据集中所有图像提取完块级特征后，随机地选取10万至50万的块级特征用于求该待处理的图像数据集块级特征的码书；

3)建立基于码书块稀疏的非负稀疏编码模型；

4)根据步骤2)和步骤3)，用随机选取的块级特征来求解出该图像数据集块级特征的码书；

5)该图像数据集块级特征的码书求解出来后，固定码书，对所有的块级特征进行基于码书块稀疏的非负稀疏编码；

6)对图像数据集每张图像的编码进行空间金字塔最大池化方法整合，得到每张图像的初级特征向量；

7)按照基于码书块稀疏的非负稀疏编码模型的目标函数，求出该图像数据集空间金字塔最大池化后的初级特征向量的码书，对空间金字塔最大池化后的初级特征向量再进行一次基于码书块稀疏的非负稀疏编码，得到每张图像最终的特征向量，用于计算机视觉任务。

本发明进一步的改进在于，步骤1)中，对待处理的图像数据集中所有图像按照16至32的像素块以及6至10的滑动步长，稠密地提取每个图像的块级特征。

本发明进一步的改进在于，步骤3)中，块级特征编码是非负的，码书的每一列是分块稀疏的。

本发明进一步的改进在于，步骤3)中，设码书为D＝[d₁,d₂,…,d_k]，D∈R^p×k的每一列表示一个基向量，块级特征向量x_j在基矩阵下相应的稀疏编码为c_j，j＝1,2,…,n，n为随机选取的块级特征的数目，X＝[x₁,x₂,…,x_n]为随机选取的块级特征形成的矩阵，编码矩阵C＝[c₁,c₂,…,c_n]，基于码书块稀疏的非负稀疏编码模型的目标函数如下：

s.t.C≥0

其中：‖d_i‖₂＝1，即码书每一列的模长或L-2范数为1；‖·‖_F表示矩阵的F-范数，即矩阵中所有元素的平方和的平方根；表示矩阵的m₁范数，即矩阵的所有元素的绝对值的和；C≥0表示矩阵C中每一个元素都是非负的；λ和γ均为权重系数；表示码书的第i列的第g个分块。

本发明进一步的改进在于，步骤4)的具体实现方法如下：

401)根据步骤2)中随机地选取10万至50万的块级特征，形成矩阵X；给定权重系数λ和γ的值，其中，0.01≤λ≤0.5，0.001≤γ≤0.5；

402)初始化码书D，并对码书的每一列做归一化：

随机初始化码书D，将码书D中的每一个元素都随机初始为-0.5至0.5之间的一个随机数，由将码书D的每一列的模长归一化成1；

403)随机初始化相应的编码矩阵C，将编码矩阵C中的每一个元素都初始化为0到1之间的一个随机数；

404)固定最新的码书D，优化编码矩阵C；

405)固定最新编码矩阵C，优化码书D；

406)重复步骤404)和405)，直到目标函数值前后两次的相对改变量小于10^-6。

本发明进一步的改进在于，步骤404)的具体实现方法如下：

步骤1：使用编码矩阵C的最新值，执行步骤2的更新式；

步骤2：更新式为

其中，符号←表示赋值符号，即将右边变量的值赋给左边的变量；符号和⊙分别表示Hardmard乘和除，即矩阵的点乘和点除；开方函数sqrt(·)作用于矩阵表示对相应矩阵的每个分量元素都做开方运算；H是与C同阶的元素全为1的矩阵；对于任意一个矩阵M，M₊＝max(M,0),M_-＝-min(M,0)，同开方函数sqrt(·)一样，max(·)和min(·)表示分别把矩阵的每个元素与0作比较，取相应的最大或最小元素；

步骤3：如果C的前后两次的更新值之差的F-范数小于事先给定的阈值ε则停止迭代，其中，ε＝10⁶；否则转步骤1。

本发明进一步的改进在于，步骤405)的具体实现方法如下：

步骤1：输入待编码的特征矩阵X；

步骤2：t＝1，初始化辅助变量L₀>0，η>1，将码书D的最新值记为D⁽⁰⁾，D^(t)表示码书的第t次迭代值；

步骤3：记W^(t)表示与D同阶的辅助矩阵W的第t次迭代值，W⁽¹⁾＝D⁽⁰⁾，β_t表示辅助变量β的第t次迭代值，β₁＝1；

步骤4：令k＝0；

步骤5：令L＝η^kL₀；

步骤6：D^(t)＝P_L(W^(t))；

其中，

这里<A,B>＝Tr(A^TB) 表示矩阵的内积，Tr(·)表示矩阵的迹，ρ>0表示惩罚 系数， 即 对角元素分别是的对角矩阵，I是k×k的单位矩阵；

步骤7：如果E(D^(t))≤Q_L(D^(t),W^(t))，则令L₀＝L，执行下一步；否则令k＝k+1，执行步骤5；

其中E(D^(t))＝f(D)+g(D)；

步骤8：如果‖D^(t)-D^(t-1)‖<10^-6，D＝D^(t)，停止迭代；否则，执行下一步；

步骤9：令

步骤10：令

步骤11；令t＝t+1，执行步骤4。

本发明进一步的改进在于，步骤6的具体实现方法如下：

经过运算可得

令则

于是有

其中，是V中与相对应的分块，

本发明进一步的改进在于，步骤5)中，该图像数据集块级特征的码书D求解出来后，固定码书D，对块级特征x按照来计算块级特征x的基于码书块稀疏的非负稀疏编码。

本发明进一步的改进在于，步骤7)中，按照基于码书块稀疏的非负稀疏编码模型的目标函数，求出该图像数据集空间金字塔最大池化后的初级特征向量的码书，其实现方法和步骤4)中求解该图像数据集块级特征的码书的方法一样。

相对于现有技术，本发明具有如下的优点：

本发明根据所要编码的特征的特点，将待学习的码书的每一个基(即每一列)设计成分块稀疏的结构，提出了基于码书块稀疏的非负稀疏编码模型；提出了求解块稀疏码书的快速方法。应用中，首先提取图像的块级特征，对块级特征进行基于码书块稀疏的非负稀疏编码，然后对编码进行空间金字塔最大池化整合(SPM pooling)，得到图像的初级特征向量。再次，按照基于码书块稀疏的非负稀疏编码模型的目标函数，求出该图像数据集空间金字塔最大池化后的初级特征的码书，对空间金字塔最大池化后的初级特征再进行一次基于码书块稀疏的非负稀疏编码，得到每张图像最终的特征向量，用于计算机视觉任务。按照本发明所提出来的图像特征提取方法得到的编码特征向量有更好的判别性。

综上所述，相比较于传统的稀疏编码方法，本发明的方法所提取到的图像特征向量有更好的判别性，本发明还对块稀疏码书的求解提出了快速的算法，可操作性强。

附图说明：

图1：块稀疏结构的码书示意图，每一列被分成了若干块；

图2：空间金字塔最大池化的示意图；

图3：本发明基于码书块稀疏的非负稀疏编码的图像特征提取方法的流程图。

具体实施方式：

以下结合附图和实施例对本发明作进一步的详细说明。

如图3所示，本发明基于码书块稀疏的非负稀疏编码的图像特征提取方法，包括以下步骤：

(1)：将待处理的图像数据集中所有图像按照一定大小的像素块(例如16×16像素大小的图像块)和事先确定的上下左右滑动步长(例如6像素的滑动步长)，分别稠密地提取图像的块级特征(例如，HOG、SIFT、GIST特征)。

(2)：从所提取的所有块级特征中，随机地选取n(例如，20万)个块级特征，所选取的全部特征形成一个矩阵，记为X＝[x₁,x₂,…,x_n]；每一列x_i∈R^p×1(i＝1,2,…,n)表示一个块级特征向量p表示所提取的图像块级特征的维度，n为随机选取的块级特征的数目，这里所随机选取的全部块级特征用于求该数据集块级特征的码书，块稀疏结构的码书示意图如图1所示。

(3)：设码书D＝[d₁,d₂,…,d_k]，D∈R^p×k的每一列表示一个基向量，块级特征向量x_j在基矩阵下相应的稀疏编码为c_j，j＝1,2,…,n，编码矩阵C＝[c₁,c₂,…,c_n]，，下面给出基于码书块稀疏的非负稀疏编码模型的目标函数：

s.t.C≥0,‖d_i‖₂＝1,i＝1,2,…,k.

其中，‖d_i‖₂＝1，即码书每一列的模长或L-2范数为1(向量的L-2范数等于其所有元素平方和的平方根)，要求码书中的每一个基的模长为1是为了防止出现平凡解。‖·‖_F表示矩阵的F-范数，即矩阵中所有元素的平方和的平方根。表示矩阵的m₁范数，即矩阵的所有元素的绝对值的和。C≥0表示矩阵C中每一个元素都是非负的。目标函数中，第一项的作用是为了保证重构的特征与原特征尽可能的结构相似，是对重构失真的一种衡量。目标函数中的第二项是为了保证编码的稀疏性。目标函数中的第三项是为了保证码书的块稀疏性。假定码书的每列按照待编码的特征的特点被划分成了b个分块，码书的结构示意图见说明书附图1，表示码书的第i列的第g个分块。λ和γ为调节目标函数中各项的权重系数，在方法实现过程中，可以根据不同的数据集进行调节。我们要寻求最优的码书和相应的非负稀疏编码使得目标函数取得最小值。

(4)：根据(2)中所选取的块级特征和(3)中的目标函数，求解块级特征的最优的码书。采用交替优化的策略来优化基于码书块稀疏的非负稀疏编码模型的目标函数，具体方案是：

第一步：给定所选取的块级特征，形成矩阵X；给定权重系数λ和γ的值。

第二步：初始化码书D，并对码书的每一列做归一化，将每列的模长化为1；

随机初始化码书D，将码书D中的每一个元素都随机初始为-0.5至0.5之间的一个随机数，由将码书D的每一列的模长归一化成1；

第三步：随机初始化相应的编码矩阵C，将C中的每一个元素都初始化为0到1之间的一个随机数；

第四步：固定最新的码书D，优化编码矩阵C；

第五步：固定最新编码矩阵C，优化码书D；；

重复执行第四步和第五步，直到目标函数值前后两次的相对改变量小于10^-6。

具体的分析与求解方案的过程如下：

由可得

其中，H是与C同阶(即行数和列数都相等)的元素全为1的矩阵。

固定最新的码书D，优化编码矩阵C的优化方法如下：

步骤1：使用C的最新值，执行步骤2的更新式。

步骤2：

其中，符号←表示赋值符号，即将右边变量的值赋给左边的变量；符号和⊙分别表示Hardmard乘和除，即矩阵的点乘和点除；开方函数sqrt(·)作用于矩阵表示对相应矩阵的每个分量元素都做开方运算；H是与C同阶(即行数和列数都相等)的元素全为1的矩阵；对于任意一个矩阵M，M₊＝max(M,0),M_-＝-min(M,0)，同开方函数sqrt(·)一样，max(·)和min(·)表示分别把矩阵的每个元素与0作比较，取相应的最大或最小元素；

步骤3：如果C的前后两次的更新值之差的F-范数小于事先给定的阈值ε(ε一般取10^-6)则停止迭代；否则转步骤1。

当固定最新编码矩阵C时，优化码书D，问题就转化为

s.t.‖d_i‖₂＝1,i＝1,2,…,k.

其中，约束条件‖d_i‖₂＝1要求码书的每一列的模长为1，本发明将关于码书的约束问题通过惩罚函数法转化为无约束问题。

其中，ρ>0表示惩罚系数。

令

E(D)＝f(D)+g(D)。

则

其中，即对角元素分别是的对角 矩阵，I是k×k的单位矩阵。

设W是与D同阶的矩阵，在W附近，E(D)可以近似等于

其中，<A,B>＝Tr(A^TB)表示矩阵的内积，Tr(·)表示矩阵的迹(对角元素的和)，定义

经过运算可得

令则经过计算可以得 到D最优解为

这里，是V中与相对应的分块。

固定C，优化D，的优化方法如下：

步骤1：输入待编码的特征矩阵X；

步骤2：t＝1，初始化辅助变量L₀>0，η>1，将码书D的最新值记为D⁽⁰⁾，D^(t)表示码书的第t次迭代值；

步骤3：记W^(t)表示与D同阶的辅助矩阵W的第t次迭代值，W⁽¹⁾＝D⁽⁰⁾，β_t表示辅助变量β的第t次迭代值，β₁＝1；

步骤4：令k＝0；

步骤5：令L＝η^kL₀；

步骤6：D^(t)＝P_L(W^(t))；

步骤7：如果E(D^(t))≤Q_L(D^(t),W^(t))，则令L₀＝L，执行下一步；否则令k＝k+1，执行步骤5；

步骤8：如果‖D^(t)-D^(t-1)‖<10^-6，D＝D^(t)，停止迭代；否则，执行下一步；

步骤9：令

步骤10：令

步骤11；令t＝t+1，执行步骤4。

(5)：固定码书D，然后对块级特征按照基于码书块稀疏的非负稀疏编码模型计算 相应的稀疏编码，即将目标函数中的码书D固定，按照来块级特征x的 基于码书块稀疏的非负稀疏编码。计算方法同(4)中的固定码书D优化C的方法相同。

(6)：对图像数据集每张图像的编码进行空间金字塔最大池化方法整合，得到每张图像的初级特征向量。

如图2所示，空间金字塔最大池化(SPM max pooling)：空间金字塔就是将原图像分别划分成的网格，一般划分成1×1、2×2、4×4的网格，每个网格可以看成一个较大的图像块。在每个图像块内，对其所有块级特征的稀疏编码在每一维上进行最大池化，即在每一个维上，池化的结果是块内相应的所有稀疏编码相应维上绝对值的最大值。每个网格池化后可以得到相应划分图像块上的特征向量，将所有网格或图像块上池化后的特征向量拼接到一起，所得到的一个高维的特征就是该整幅图片的初级特征向量，这个操作过程就称为空间金字塔最大池化。空间金字塔最大池化的示意图见说明书附图2。

(7)按照基于码书块稀疏的非负稀疏编码模型的目标函数，求出该图像数据集空间金字塔最大池化后的初级特征向量的码书，对空间金字塔最大池化后的初级特征向量再进行一次基于码书块稀疏的非负稀疏编码，得到每张图像最终的特征向量，用于计算机视觉任务。

Claims (9)

1.基于码书块稀疏的非负稀疏编码的图像特征提取方法，其特征在于，包括以下步骤：

1)对待处理的图像数据集中所有图像分别稠密地提取块级特征；

2)对待处理的图像数据集中所有图像提取完块级特征后，随机地选取10万至50万的块级特征用于求该待处理的图像数据集块级特征的码书；

3)建立基于码书块稀疏的非负稀疏编码模型；设码书为D＝[d₁,d₂,…,d_k]，D∈R^p×k的每一列表示一个基向量，块级特征向量x_j在基矩阵下相应的稀疏编码为c_j，j＝1,2,…,n，n为随机选取的块级特征的数目，X＝[x₁,x₂,…,x_n]为随机选取的块级特征形成的矩阵，编码矩阵C＝[c₁,c₂,…,c_n]，基于码书块稀疏的非负稀疏编码模型的目标函数如下：

s.t.C≥0

其中：||d_i||₂＝1，即码书每一列的模长或L-2范数为1；||·||_F表示矩阵的F-范数，即矩阵中所有元素的平方和的平方根；表示矩阵的m₁范数，即矩阵的所有元素的绝对值的和；C≥0表示矩阵C中每一个元素都是非负的；λ和γ均为权重系数；表示码书的第i列的第g个分块；

4)根据步骤2)和步骤3)，用随机选取的块级特征来求解出该图像数据集块级特征的码书；

5)该图像数据集块级特征的码书求解出来后，固定码书，对所有的块级特征进行基于码书块稀疏的非负稀疏编码；

6)对图像数据集每张图像的编码进行空间金字塔最大池化方法整合，得到每张图像的初级特征向量；

7)按照基于码书块稀疏的非负稀疏编码模型的目标函数，求出该图像数据集空间金字塔最大池化后的初级特征向量的码书，对空间金字塔最大池化后的初级特征向量再进行一次基于码书块稀疏的非负稀疏编码，得到每张图像最终的特征向量，用于计算机视觉任务。

2.根据权利要求1所述的基于码书块稀疏的非负稀疏编码的图像特征提取方法，其特征在于，步骤1)中，对待处理的图像数据集中所有图像按照16至32的像素块以及6至10的滑动步长，稠密地提取每个图像的块级特征。

3.根据权利要求1所述的基于码书块稀疏的非负稀疏编码的图像特征提取方法，其特征在于，步骤3)中，块级特征编码是非负的，码书的每一列是分块稀疏的。

4.根据权利要求1所述的基于码书块稀疏的非负稀疏编码的图像特征提取方法，其特征在于，步骤4)的具体实现方法如下：

401)根据步骤2)中随机地选取10万至50万的块级特征，形成矩阵X；给定权重系数λ和γ的值，其中，0.01≤λ≤0.5，0.001≤γ≤0.5；

402)初始化码书D，并对码书的每一列做归一化：

随机初始化码书D，将码书D中的每一个元素都随机初始为-0.5至0.5之间的一个随机数，由将码书D的每一列的模长归一化成1；

403)随机初始化相应的编码矩阵C，将编码矩阵C中的每一个元素都初始化为0到1之间的一个随机数；

404)固定最新的码书D，优化编码矩阵C；

405)固定最新编码矩阵C，优化码书D；

406)重复步骤404)和405)，直到目标函数值前后两次的相对改变量小于10^-6。

5.根据权利要求4所述的基于码书块稀疏的非负稀疏编码的图像特征提取方法，其特征在于，步骤404)的具体实现方法如下：

步骤1：使用编码矩阵C的最新值，执行步骤2的更新式；

步骤2：更新式为

其中，符号←表示赋值符号，即将右边变量的值赋给左边的变量；符号和⊙分别表示Hardmard乘和除，即矩阵的点乘和点除；开方函数sqrt(·)作用于矩阵表示对相应矩阵的每个分量元素都做开方运算；H是与C同阶的元素全为1的矩阵；对于任意一个矩阵M，M₊＝max(M,0),M_-＝-min(M,0)，同开方函数sqrt(·)一样，max(·)和min(·)表示分别把矩阵的每个元素与0作比较，取相应的最大或最小元素；

步骤3：如果C的前后两次的更新值之差的F-范数小于事先给定的阈值ε则停止迭代，其中，ε＝10^-6；否则转步骤1。

6.根据权利要求4所述的基于码书块稀疏的非负稀疏编码的图像特征提取方法，其特征在于，步骤405)的具体实现方法如下：

步骤1：输入待编码的特征矩阵X；

步骤2：t＝1，初始化辅助变量L₀＞0，η＞1，将码书D的最新值记为D⁽⁰⁾，D^(t)表示码书的第t次迭代值；

步骤3：记W^(t)表示与D同阶的辅助矩阵W的第t次迭代值，W⁽¹⁾＝D⁽⁰⁾，β_t表示辅助变量β的第t次迭代值，β₁＝1；

步骤4：令k＝0；

步骤5：令L＝η^kL₀；

步骤6：D^(t)＝P_L(W^(t))；

其中，

这里表示矩阵的内积，Tr(·)表示矩阵的迹，ρ＞0表示惩罚系数， 即对角元素分别是的对角矩阵，I是k×k的单位矩阵；

步骤7：如果E(D^(t))≤Q_L(D^(t),W^(t))，则令L₀＝L，执行下一步；否则令k＝k+1，执行步骤5；

其中E(D^(t))＝f(D)+g(D)；

步骤8：如果||D^(t)-D^(t-1)||＜10^-6，D＝D^(t)，停止迭代；否则，执行下一步；

步骤9：令

步骤10：令

步骤11；令t＝t+1，执行步骤4。

7.根据权利要求6所述的基于码书块稀疏的非负稀疏编码的图像特征提取方法，其特征在于，步骤6的具体实现方法如下：

经过运算可得

令则

于是有

其中，是V中与相对应的分块，

8.根据权利要求7所述的基于码书块稀疏的非负稀疏编码的图像特征提取方法，其特征在于，步骤5)中，该图像数据集块级特征的码书D求解出来后，固定码书D，对块级特征x按照来计算块级特征x的基于码书块稀疏的非负稀疏编码。

9.根据权利要求8所述的基于码书块稀疏的非负稀疏编码的图像特征提取方法，其特征在于，步骤7)中，按照基于码书块稀疏的非负稀疏编码模型的目标函数，求出该图像数据集空间金字塔最大池化后的初级特征向量的码书，其实现方法和步骤4)中求解该图像数据集块级特征的码书的方法一样。