CN103955707A - 一种基于深度层次特征学习的海量图像分类系统 - Google Patents

Abstract

本发明提供了一种基于深度层次特征学习的海量图像分类系统，包括如下步骤：步骤a、输入无标签和有标签图像数据，对无标签图像数据进行预处理，除干扰信息、保留关键信息；步骤b、将预处理之后的图像进行K-means特征学习，得到本层的字典；步骤c、如本层为第N层，对本层的字典与带标签图像数据集进行特征映射，得到深层次特征后进行步骤e，否则对本层的字典与的无标签图像数据进行特征映射，得到深层次的特征；步骤d、根据深层次特征的相关性，将多个高相关性特征聚合为一个感受野，如本层为N-1层则进行步骤e，否则作为下一层输入信息送给步骤b；步骤e、在第N层中，将学到的特征输入SVM分类器，进行分类。

Description

一种基于深度层次特征学习的海量图像分类系统

发明领域

本发明属于机器学习与图像处理技术领域，涉及分布式平台上的海量图像处理，尤其涉及一种基于深度层次特征的海量图像分类的实现方案。

背景技术

如今,随着多媒体技术的发展,包括图像、音频、视频等信息的多媒体数据大量涌现,如何将大量的信息进行分类,已经成为多媒体技术研究中的热点问题.图像分类研究任务主要由预处理,特征提取和分类三个主要环节构成,每个环节对图像的分类效果都有重要的影响.随着计算机软硬件和国际互联网技术的飞速发展,多媒体数据的数量也以惊人的速度增长,各行各业有越来越多的信息通过图像的形式进行表达,这无疑又给图像分类这一任务的各个环节带来了巨大的挑战。传统的图像分类是通过提取颜色、纹理以及形状特征等在单机上进行的，随着图像库的不断增大，复杂度不断增高，单机的提取人为设计的特征已经远远不能满足需求，使用并行处理无疑是一个好的解决方案。大数据处理平台Hadoop作为Map-Reduce架构的开源实现，主要用于大规模数据集的并行计算，由于架构简单，对数据密集型应用能够有效支持。本文正是在大数据处理平台Hadoop的基础上，设计并实现了基于深度层次特征学习的大规模图像分类框架。

发明内容

本发明要解决大规模图像的快速分类问题，针对图像分类的准确度，提出一种基于深度层次特征学习的大规模图像分类模型，研究实现在大数据处理平台Hadoop的基础上，提出并行化的深度层次特征学习模型，针对图像的高维性质，将低层特征中的多个特征聚合为一个感受野，从而达到降维的目的。

为了实现上述目的本发明采用以下技术方案：

一种基于深度层次特征学习的海量图像分类系统，其特征在于包括如下步骤：

步骤a、输入无标签和有标签的图像数据(学术组织来建立的数据集)，对无标签图像数据进行预处理，去除干扰信息、保留关键信息，作为第一层系统框架输入信息送给下一步处理；预处理包括对多张图片提取patches，同时对patches进行正则化和白化；

步骤b、输入信息采用K-means特征学习方法进行，得到本层的系统框架的字典；

步骤c、如本层为第N层，对本层系统框架的字典与的带标签图像数据集进行特征映射，得到深层次的特征后进行步骤e，否则对本层系统框架的字典与的无标签图像数据进行特征映射，得到深层次的特征；

步骤d、根据深层次的特征的相关性，将多个高相关性特征聚合为一个感受野，如本层为N-1层系统框架则进行步骤e，否则作为下一层系统框架的输入信息送给步骤b，

步骤e、在第N层系统框架中，其学到的特征将输入到SVM分类器中，进行最后的分类。

上述技术方案中，步骤b具体为经过步骤a处理后的图像信息进行并行化的深度层次特征学习，在第一层系统框架中，预处理后的patches作为Map节点的输入，采用K-means特征学习方法进行第一层系统框架的特征学习，得到聚类中心，在Reduce节点上对各个Map节点得到的聚类中心进行综合，得到第一层系统框架的聚类中心，即得到第一层系统框架的字典，字典公式如下：

D是字典，

x⁽ⁱ⁾是输入的第i个patches，

s⁽ⁱ⁾是x⁽ⁱ⁾对应的特征表达，

D^(j)表示第j层系统框架的字典，

Ds⁽ⁱ⁾是相当于D和s⁽ⁱ⁾的乘法，s⁽ⁱ⁾相当于是x⁽ⁱ⁾通过字典D的映射后的特征，Ds⁽ⁱ⁾在理想状态下，无限接近x⁽ⁱ⁾，因此在调整参数的时候，就需要最小化Ds⁽ⁱ⁾和x⁽ⁱ⁾之间的差；

上述技术方案中，步骤c中将得到深层次的特征具体为，将步骤b中得到的本层系统框架的字典给本层系统框架的每个Map节点，同时输入新的无标签的图像数据集给每个Map节点，对Map节点上的图像数据集进行特征学习，将输入图像数据进行特征映射得到深层次的特征，公式如下：

${\mathrm{\Φ}}_L(x;D_L,\mathrm{\ζ})=\max \{0,D_L^T-\mathrm{\ζ}\}---\left(2\right)$

ζ是一个根据系统性能可调整的常量；

D_L为第L层系统框架的字典；

为第L层系统框架的字典的转置；

x是输入的图片。

上述技术方案中，步骤d具体为步骤c中得到的深层次的特征的相关性，采用欧式距离作为图像特征之间相似性度量方法，将低层特征中多个特征聚合为一个感受野，保证每个感受野中的特征是相似性最高的，如本层为N-1层系统框架则进行步骤e，否则作为下一层系统框架的输入信息送给步骤b。

上述技术方案中，对patches进行正则化采用以下方式进行图像块的正则化：

${\tilde{X}}^{\left(i\right)}=\frac{{\tilde{X}}^{\left(i\right)}-\mathrm{mean}\left(X^{\left(i\right)}\right)}{\sqrt{\mathrm{var}\left(X^{\left(i\right)}\right)+\mathrm{\σ}}}---\left(3\right)$

其中X⁽ⁱ⁾是输入的patches，var和mean是X⁽ⁱ⁾的方差和平均值，σ是一个常量，在进行除法之前的操作，减少了噪音以及防止方差趋近于零的时候，防止除数为零。

上述技术方案中，采用PCA白化方法对经过正则化的每个X⁽ⁱ⁾进行减少像素间相关性的处理：

$[\mathrm{\Λ},U]:=\mathrm{Eig}\left(\mathrm{cov}\left(\tilde{X}\right)\right),---\left(4\right)$

$X_{\mathrm{rot}}^{\left(i\right)}:=U^T{\tilde{X}}^{\left(i\right)},---\left(5\right)$

$x_{\mathrm{PCAwhite},i}=\frac{x_{\mathrm{rot},i}}{\sqrt{{\mathrm{\λ}}_i+\mathrm{\ϵ}}},---\left(6\right)$

其中，公式(11)计算了的特征值和特征向量，公式(12)减少输入图片的像素之间相关性，通过公式(13)得到了白化后的数据，ε为常数。

上述技术方案中，图像特征之间相似性度量方法，具体为深层次的特征采用公式4来产生感受野，感受野拥有相同数目的最相似的特征，对不同的两个图像特征Z_j和Z_k，的相似度的计算如下：

$d(j,k;Z)\≡d[Z_j,Z_k]\≡\frac{{\mathrm{\Σ}}_i{Z}_j^{{\left(i\right)}^2}{Z}_k^{{\left(i\right)}^2}-1}{\sqrt{{\mathrm{\Σ}}_i(Z_j^{{\left(i\right)}^4}-1){\mathrm{\Σ}}_i(Z_j^{{\left(i\right)}^4}-1)}}.---\left(7\right)$

表示特征Z_j中第j个元素

表示特征Z_k中第i个元素

Z表示是具体的特征

k、j为整数。

本发明的有益效果

本发明在传统深度学习框架的基础上提出了一种采用大数据处理的方式进行图像分类的框架，本发明具有以下优点：

1.在研究深度学习框架的基础上，采用非监督学习方法K-means进行特征的学习，由于K-means的训练参数相对于传统的非监督学习方法减少了很多，因此，该框架在保证分类准确度的前提下，大大减少了分类复杂度。；

2.针对海量图像分类问题，并行化是解决资源共享的关键技术，在大数据处理平台hadoop的基础上，对深度层次特征学习的每层处理并行化，降低了时间成本和资源开销。

3.将低层特征中多个相似度高的特征聚合到一个感受野中，并且将每个感受野中的操作并行化，提高了高层处理性能，在一定程度上减少了训练时间和降低了图像数据维度。

4.为了验证本发明的效果，我们在大规模数据集ImageNet和CIFAR-10上分别作了实验，在ImageNet上选取120,000张图片进行实验，其中100,000张图片用于训练，20,000用于测试；在CIFAR-10整个数据集上进行实验，包括50,000张图片进行训练，10,000张图片进行测试。在这两个数据集上我们都达到了非常好的分类效果。图3展示了在数据集CIFAR-10上我们的方法和[1]的结果比较的结果，(1)是我们的结果，(2)是[1]的方法的结果。同时分类结果如表6所示，在相对较小的数据集CIFAR-10数据集上，我们的分类准确度为87.98％，[1]的准确度为88.02％比我们多了0.04％，但是在大规模数据集ImageNet上，我们达到了96.83％，而[1]只达到了89.38％，这充分说明，我们的方法更适合用于大规模图像数据集的分类，而[1]在处理相对较大的数据集上有一定的局限性。其中，[1]是Coates,A.,Lee,H.,Ng,A.Y.Ananalysisofsingle-layernetworksinunsupervisedfeaturelearning.inAdvancesinNeuralInformationProcessingSystems,2010.

附图说明

附图1大规模图像分类系统框架图。

附图2K-means特征提取图。

附图3字典比较图。

附图4CIFAR-10样本图片。

附图5ImageNet样本图片。

附图6为实验结果。

具体实施方式

为了使得本发明的目的、技术方案和有益效果更加清楚明白，以下结合具体案例，并参照附图，对本发明进行进一步详细的说明

本发明是用于大规模图像分类的，该方法在大数据处理平台Hadoop以及深度层次特征学习的基础上对大规模图像进行分类，首先，分析了图像处理技术和机器学习等相关领域的最新研究成果，对大规模图像数据进行特征学习，感受野选择以及分类算法的设计，提出了在大数据处理平台hadoop基础上，基于深度层次特征学习的大规模图像分类框架。该方法避免了人为设计大规模图像特征的繁琐工作，在保证分类准确度的前提下，减少了训练时间，本框架的成果在大规模数据库管理、军事、医疗等方面有着重要的意义。

我们的测试实验软硬件环境为：

硬件环境：

电脑类型：台式机；

CPU：Pentium(R)Dual-CoreCPUE5600@2.93GHz

内存：4.00GB(3.49GB可用)

系统类型：32位操作系统

显示卡：集成显卡

软件环境：

IDE：Eclipse

图像处理SDK：JavaCV

开发语言：Java；

如图1本发明对大规模图像分类的系统框架图，对大规模图像分类包括如下步骤：

步骤一：首先为了能够在每一层都有新的特征(这里的特征指的是通过深度层次学习得到的特征，深度层次特征模型采用的是深度学习的框架，学到的特征是机器认为有用的特征，省去了认为设计的过程)作为输入，丰富每层的特征，同时减少训练时间，避免用整个大规模数据集(这里所指的数据集分为训练数据集和测试数据集，在训练过程中，对于第一层到倒数第二层，我们使用无标签数据集对框架进行训练，对于最后一层，我们采用带标签数据集进行训练，在测试过程中，我们采用带标签数据集进行测试，得到最终的结果)训练每一层，我们将训练数据集S分成小的数据集S_i，其中i＝1…N(N为层数)，用这小数据集Si去训练每一层。在第一层训练过程中，在每个Map节点上从每张图片中随机提取多个图片块。

步骤二：为了保证分类准确度，在分类之前，需要对步骤一中的图像块进行预处理，预处理包括正则化和白化。我们用以下方式进行图像块的正则化：

${\tilde{X}}^{\left(i\right)}=\frac{{\tilde{X}}^{\left(i\right)}-\mathrm{mean}\left(X^{\left(i\right)}\right)}{\sqrt{\mathrm{var}\left(X^{\left(i\right)}\right)+\mathrm{\σ}}}---\left(3\right)$

其中var和mean是X⁽ⁱ⁾的方差和平均值，σ是一个常量，在进行除法之前的操作，减少了噪音以及防止方差趋近于零的时候，防止除数为零。

由于原始图片中，每个像素与相邻接的像素高度相关，我们采用PCA白化方法对经过正则化的每个X⁽ⁱ⁾进行减少像素间相关性的处理：

$[\mathrm{\Λ},U]:=\mathrm{Eig}\left(\mathrm{cov}\left(\tilde{X}\right)\right),---\left(4\right)$

$X_{\mathrm{rot}}^{\left(i\right)}:=U^T{\tilde{X}}^{\left(i\right)},---\left(5\right)$

$x_{\mathrm{PCAwhite},i}=\frac{x_{\mathrm{rot},i}}{\sqrt{{\mathrm{\λ}}_i+\mathrm{\ϵ}}},---\left(6\right)$

其中，公式(2)计算了的特征值和特征向量，公式(3)减少输入图片的像素之间相关性，通过公式(4)得到了白化后的数据。注意到，有些特征值λ_i可能非常接近与零，因此，我们对λ_i加上一个非常小的常数ε，保证这种情况不会发生，得到如下：

$x_{\mathrm{PCAwhite},i}=\frac{x_{\mathrm{rot},i}}{\sqrt{{\mathrm{\λ}}_i+\mathrm{\ϵ}}}---\left(6\right)$

步骤三：采用非监督学习K-means进行特征提取。在预处理之后，K-means用于对无标签数据进行分类(无标签数据和有标签数据是数据集固有的特征，不需要我们进行判定，我们只是利用无标签数据和有标签数据)，在第一层L＝1，K-means对图像块(这里的图像块是指前面所说的patches)进行字典提取，得到字典D_L(包含K_L个聚类中心)，在其余层L＝i，K-means将感受野上进行字典提取得到字典D_L(包含K_L个聚类中心)。为了获得丰富的特征，字典的大小需要随着层数的增加而增加，给定一个字典D_L，我们定义一个特征映像函数Φ_L:R^N→R^KL，该函数将输入向量x⁽ⁱ⁾映射为一个大小为K_L的新的特征表达。这里我们采用作为我们的特征映射函数其中ζ是一个根据系统性能可调整的常量。

步骤四：特征提取和分类。给定特征提取函数以及字典，我们可以提取图像的特征(这里的特征指的是深度层次特征学习得到的特征，我们的框架是采用深度学习的思想，深度学习得到的特征是机器认为有用的特征，不需要认为的设计，因此省略了认为设计的过程)。在先前的工作中已经证明了进行池化操作可以得到更紧凑的特征，更好的鲁棒性以及达到图像旋转不变性。在我们的工作中，由于用K-means得到的特征相对来说比较稀疏，我们采用平均池化使得特征更紧凑。图2阐述了从图像块中提取特征并将得到的特征进行池化的操作，通过特征提取函数将得到的ω-by-ω的感受野映射到K_L的特征向量，然后将得到的K_L特征池化为4-by-4的图像去形成一个新的特征向量。(这里新的特征不是后面提到的特征Z_j和Z_k，这里所说的新的特征是对最后一层得到的特征进行平均池化操作之后的特征，这些特征是用来最终的分类的，而Z_j和Z_k是在除了第一层以外的每一层中学习到的特征)

步骤五：感受野的选择。字典D_L维度非常大，才能获得丰富的特征，得到的特征的维度都相当大，因此，有效的选择感受野是提高性能的有力手段，将相似度高的特征放到同一个感受野中，对接下来的工作有很大的意义。我们采用公式(6)来产生特征映射块，特征映射块拥有相同数目的最相似的特征，给定特征Z_j和Z_k，则特征Z_j和Z_k之间的相似度的计算如下：

$d(j,k;Z)\≡d[Z_j,Z_k]\≡\frac{{\mathrm{\Σ}}_i{Z}_j^{{\left(i\right)}^2}{Z}_k^{{\left(i\right)}^2}-1}{\sqrt{{\mathrm{\Σ}}_i(Z_j^{{\left(i\right)}^4}-1){\mathrm{\Σ}}_i(Z_j^{{\left(i\right)}^4}-1)}}.---\left(7\right)$

这里，我们设计的核心思想是，寻找与Z_L相似度最高的前T个特征形成一个特征映射块，之后，K-means在每个特征映射块上并行的提取字典，大幅度减少了训练时间。

Claims (7)

1.一种基于深度层次特征学习的海量图像分类系统，其特征在于包括如下步骤：

步骤a、输入无标签和有标签的图像数据，对无标签图像数据进行预处理，去除干扰信息、保留关键信息，作为第一层系统框架输入信息送给下一步处理；预处理包括对多张图片提取patches，同时对patches进行正则化和白化；

步骤b、输入信息采用K-means特征学习方法进行，得到本层的系统框架的字典；

步骤c、如本层为第N层，对本层系统框架的字典与的带标签图像数据集进行特征映射，得到深层次的特征后进行步骤e，否则对本层系统框架的字典与无标签图像数据进行特征映射，得到深层次的特征；

步骤d、根据深层次的特征的相关性，将多个高相关性特征聚合为一个感受野，如本层为N-1层系统框架则进行步骤e，否则作为下一层系统框架的输入信息送给步骤b；

步骤e、在第N层系统框架中，其学到的特征将输入到SVM分类器中，进行最后的分类。

2.根据权利要求1所述的一种基于深度层次特征学习的海量图像分类系统，其特征在于：步骤b具体为经过步骤a处理后的图像信息进行并行化的深度层次特征学习，在第一层系统框架中，预处理后的patches作为Map节点的输入，采用K-means特征学习方法进行第一层系统框架的特征学习，得到聚类中心，在Reduce节点上对各个Map节点得到的聚类中心进行综合，得到第一层系统框架的聚类中心，即得到第一层系统框架的字典，如公式(1)所示：

D是字典，

x⁽ⁱ⁾是输入的第i个patches，

s⁽ⁱ⁾是x⁽ⁱ⁾对应的特征表达，

D^(j)表示第j层系统框架的字典，

Ds⁽ⁱ⁾是相当于D和s⁽ⁱ⁾的乘法，s⁽ⁱ⁾相当于是x⁽ⁱ⁾通过字典D的映射后的特征，Ds⁽ⁱ⁾在理想状态下，无限接近x⁽ⁱ⁾，因此在调整参数的时候，就需要最小化Ds⁽ⁱ⁾和x⁽ⁱ⁾之间的差。

3.根据权利要求1所述的一种基于深度层次特征学习的海量图像分类系统，其特征在于：步骤c中将得到深层次的特征具体为，步骤b中得到的本层系统框架的字典给本层系统框架的每个Map节点，同时输入新的无标签的图像数据集给每个Map节点，对Map节点上的图像数据集进行特征学习，将输入图像数据进行特征映射得到深层次的特征，公式如下：

${\mathrm{\Φ}}_L(x;D_L,\mathrm{\ζ})=\max \{0,D_L^T-\mathrm{\ζ}\}---\left(2\right)$

ζ是一个根据系统性能可调整的常量；

D_L为第L层系统框架的字典；

为第L层系统框架的字典的转置；

x是输入的图片。

4.根据权利要求1所述的一种基于深度层次特征学习的海量图像分类系统，其特征在于：步骤d具体为步骤c中得到的深层次的特征的相关性，采用欧式距离作为图像特征之间相似性度量方法，将低层特征中多个特征聚合为一个感受野，保证每个感受野中的特征是相似性最高的，如本层为N-1层系统框架则进行步骤e，否则作为下一层系统框架的输入信息送给步骤b。

5.根据权利要求1所述的一种基于深度层次特征学习的海量图像分类系统，其特征在于：

对patches进行正则化采用以下方式进行图像块的正则化：

${\tilde{X}}^{\left(i\right)}=\frac{{\tilde{X}}^{\left(i\right)}-\mathrm{mean}\left(X^{\left(i\right)}\right)}{\sqrt{\mathrm{var}\left(X^{\left(i\right)}\right)+\mathrm{\σ}}}---\left(3\right)$

其中X⁽ⁱ⁾是输入的patches，var和mean是X⁽ⁱ⁾的方差和平均值，σ是一个常量，在进行除法之前的操作，减少了噪音以及防止方差趋近于零的时候，防止除数为零。

6.根据权利要求1所述的一种基于深度层次特征学习的海量图像分类系统，其特征在于：采用PCA白化方法对经过正则化的每个X⁽ⁱ⁾进行减少像素间相关性的处理：

$[\mathrm{\Λ},U]:=\mathrm{Eig}\left(\mathrm{cov}\left(\tilde{X}\right)\right),---\left(4\right)$

$X_{\mathrm{rot}}^{\left(i\right)}:=U^T{\tilde{X}}^{\left(i\right)},---\left(5\right)$

$x_{\mathrm{PCAwhite},i}=\frac{x_{\mathrm{rot},i}}{\sqrt{{\mathrm{\λ}}_i+\mathrm{\ϵ}}},---\left(6\right)$

其中，公式(4)计算了的特征值和特征向量，公式(5)减少输入图片的像素之间相关性，通过公式(6)得到了白化后的数据，ε为常数。

7.根据权利要求4所述的一种基于深度层次特征学习的海量图像分类系统，其特征在于：图像特征之间相似性度量方法，具体为深层次的特征采用公式6来产生感受野，感受野拥有相同数目的最相似的特征，对不同的两个图像特征Z_j和Z_k，的相似度的计算如下：

$d(j,k;Z)\≡d[Z_j,Z_k]\≡\frac{{\mathrm{\Σ}}_i{Z}_j^{{\left(i\right)}^2}{Z}_k^{{\left(i\right)}^2}-1}{\sqrt{{\mathrm{\Σ}}_i(Z_j^{{\left(i\right)}^4}-1){\mathrm{\Σ}}_i(Z_j^{{\left(i\right)}^4}-1)}}.---\left(7\right)$ 表示特征Z_j中第j个元素

表示特征Z_k中第i个元素

Z表示是具体的特征

k、j为整数。