CN103425996A - 一种并行分布式的大规模图像识别方法 - Google Patents

Abstract

本发明公开了一种并行分布式的大规模图像识别方法，包括以下步骤：1）第一调度节点将大类别图像数据库部署在SIFT计算节点提取SIFT特征矢量；2）第二调度节点将SIFT特征矢量构建高斯混合模型，并发回每个Fisher计算节点提取Fisher特征矢量；3）第三调度节点收集所有Fisher计算节点的特征矢量，数据进行分段和发往给每个Training计算节点；4）每一Training计算节点对每一类别同步训练一个一对多的SVM子分类器，并由第三调度节点根据权重整合所有子分类器模板参数生成最终分类器模板；5）分类测试利用SVM分类器得到类别输出。此方法具有大幅提高了海量图像数据的处理速度等优点。

Description

一种并行分布式的大规模图像识别方法

技术领域

本发明涉及一种模式识别技术，特别涉及一种并行分布式的大规模图像识别方法。

背景技术

随着互联网的快速发展，人们已经习惯于在日常生活中借助互联网随时随地的发布、获取和交换信息，互联网上的信息量呈现一种爆发增长的发展势头，同时数字摄影的普及和存储技术的进步也使得包含各种主题目标的图像数量在飞速增长。对于这些大量出现的图像进行分类，是一项急切需要解决的工程实践问题，图像分类是模式识别与机器视觉领域的一个重要组成部分。对于未经过训练的机器而言，图像只不过是一幅组合起来的离散像素点，但是图像分类技术通过对图像数据提取特征信息并加以分类，能够克服这种机器与人之间的语义鸿沟。近几年来，如何对大量不同类别的目标训练出有鉴别能力的分类器已成为科学研究人员关注的热点，并且在诸如互联网图像搜索或视频搜索等工程领域具有广泛的应用需求和相当高的应用价值。

目前已有一些图像分类相关的技术和专利，如专利201110175101.9提供一种基于视觉词典的图像分类方法。这种方法分别使用Harris-Affine、MSER和SIFT算子抽取图像数据集的局部特征并生成联合特征，再基于移动均值和区域哈希法的聚类算法形成视觉词典，最后根据视觉词典生成特征表示并建立分类器。专利201010184378.3提供一种基于主动学习和半监督学习的多类图像分类方法。这项专利目的在于减轻大量图像数据下人工标注的负担，使分类器相比其他监督学习分类器同样能够具有高效的分类性能。其包括初始样本的选择、CST半监督学习、训练样本集及分类器模型更新、分类过程迭代五个步骤。专利201110443434.5将图像分类方法融入图像检索中，输入待检索图像后，先送入分类器进行分类获得与类别对应的检索图像集，再运用相似度计算算法求得待检索图像与检索图像集内每幅图像的相似度距离，对距离按升序输出。虽然已有许多提及图像分类技术的专利，但是随着图像数据规模不断增长，如何能快速高效的对海量数据进行训练和学习依然是一个亟待解决的问题，特别是在大类别图像数据库面前，存在一台机器提取特征和特征训练过程中计算时间过长的缺点。

发明内容

本发明的首要目的在于克服现有技术的缺点与不足，提供一种并行分布式的大规模图像识别方法，该方法通过多台机器对海量图像数据进行分布式处理，并且对图像数据进行分布式的训练，以提高了图像分类的速度，实现了在线实时的大类别图像分类检索，极大缩短了研发周期。

本发明的目的通过下述技术方案实现：一种并行分布式的大规模图像识别方法,包括如下步骤：

步骤1、由第一调度节点将大类别图像数据库平均部署在SIFT(Scale-Invariant Feature Transform,尺度不变特征变形)特征提取计算节点上；

步骤2、每个特征提取计算节点对图像数据先进行高斯平滑预处理，再密集采样和生成SIFT特征矢量；

步骤3、第一调度节点随机生成图像索引序号，发往SIFT计算节点；SIFT计算节点依据索引序号挑选出索引序号对应图像的SIFT特征矢量后，再统一将这些特征矢量发送给第二调度节点，第二调度节点再将这些特征矢量构建高斯混合模型，并将高斯混合模型发送回每个Fisher（费舍尔）计算节点；

步骤4、每个Fisher计算节点基于高斯混合模型对图像提取Fisher特征矢量；

步骤5、每个Fisher计算节点将图像数据库中所有训练图像的特征矢量发送给第三调度节点，第三调度节点收集所有Fisher计算节点的特征矢量，并将所有特征矢量进行数据分段，然后计算各段所对应的权重后，最后将分段特征矢量发往每个Training计算节点，此时每个Training计算节点分别存储了分段特征矢量数据，使每个Training计算节点只需对各自分段特征矢量数据进行机器学习和训练；

步骤6、训练时，在每一Training（训练）计算节点上，以类别为单位对每一类别同步训练一个一对多的SVM子分类器，并由第三调度节点根据权重整合所有子分类器模板参数生成最终分类器模板，并将最终分类器模板更新分类测试计算节点的分类器模板；

步骤7、分类测试计算节点对当前测试图像，先提前SIFT特征矢量，接着基于高斯混合模型提取图像的Fisher特征矢量，然后利用更新分类器模板的SVM分类器得到当前图像的类别输出，以完成当前测试图像的分类判断。

步骤5中对特征矢量进行数据分段过程如：

第三调度节点将训练全集平均划分成K段，所述训练全集的表达式为：

(x₁,y₁),...,(x_n,y_n)∈R^d×{-1,+1}，

其中，(x₁,y₁)是其中第一段训练数据，R^d×{-1,+1}表示数据x共d维的实数值，而数据y是一种取值为-1和+1的值；

第k分段训练全集的表达式为：

$(x_1^k,y_1),...,(x_n^k,y_n)\∈R^{d/k}\×\{-1,+1\},$

其中，k∈{1,2,...K}。

步骤5中k段训练l类的权重

在第三调度节点上采用下面计算公式：

${\mathrm{\α}}_l^k=\frac{d_l^k-\underset{r\∈\{\mathrm{1,2},...k\}}{\min }\left(d_l^r\right)}{\underset{r\∈\{\mathrm{1,2},...k\}}{\max }\left(d_l^r\right)-\underset{r\∈\{\mathrm{1,2}...k\}}{\min }\left(d_l^k\right)},k=\mathrm{1,2}...k,l=\mathrm{1,2},...L,$

其中，L为训练总类数，

是当前第k段类l训练样本的类内特征均值与总体训练样本特征均值μ^k的欧式距离，用下面公式计算得到：

$d_l^k=\left|\right|{\mathrm{\μ}}_l^k-{\mathrm{\μ}}^k\left|\right|,{\mathrm{\μ}}^k=\frac{1}{L}\underset{l}{\overset{L}{\mathrm{\Σ}}}{\mathrm{\μ}}_l^k,k=\mathrm{1,2}...k,l=\mathrm{1,2},...L,$

其中，

为第k段l训练类的类内样本特征均值，μ^k是总体训练样本特征均值，

表示在1到K中寻找类l训练样本的类内特征均值与总体训练样本特征均值μ^k的欧式距离的最小值，表示在1到K中寻找类l训练样本的类内特征均值

与总体训练样本特征均值μ^k的欧式距离的最大值。

步骤6中，一对多的SVM子分类器是采用基于并行化的分段数据随机梯度下降优化算法进行训练，一对多的SVM子分类器训练过程如下：在SVM训练时，使用Hinge误差函数作为目标函数，所以第k段l训练类的一对多SVM分类器优化目标函数定义为：

$Q(w_l^k,b_l^k,x^k,y^k)=\underset{w_l^k\∈R^{d/k}}{\mathrm{Minimze}}\frac{\mathrm{\λ}}{2}{\left|\right|w_l^k\left|\right|}^2+\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}C(y_i^k,{\left(w_l^k\right)}^T{x}_i^k),$

其中， $C(y_i^k,{\left(w_l^k\right)}^T{x}_i^k)-\max \{\mathrm{0,1}-y_i^k({\left(w_l^k\right)}^T{x}_i^k+b_l^k)\},$ $w_l^k$ 是d/K×1维的权重向量，λ是正则化参数，

是偏置项，

是第k段的特征矢量数据，

是第k段的类标签，C是损失函数；优化目标函数

对

的梯度分布为：

${\&dtri;}_{w}Q(w_l^k,b_l^k,x_t^k,y_t^k)=\left\{\begin{array}{cc}\mathrm{\&lambda;}{w}_l^k-y_t^k{x}_t^k& \mathrm{if}{\&dtri;}_t<1\\ \mathrm{\&lambda;}{w}_l^k& \mathrm{if}{\&dtri;}_t\&GreaterEqual;1\end{array}\right.$

${\&dtri;}_{b}Q(w_l^k,b_l^k,x_t^k,y_t^k)=\left\{\begin{array}{cc}-y_t^k& \mathrm{if}{\mathrm{\&Delta;}}_t<1\\ 0& \mathrm{if}{\mathrm{\&Delta;}}_1\&GreaterEqual;1\end{array}\right.$

其中，是d/K×1维的权重向量，λ是正则化参数，是迭代次数t时第k段的特征矢量数据，

是迭代次数t时第k段的类标签，

根据随机梯度下降优化算法，算法逐个读取样本点对

和

进行迭代更新，所述迭代更新的公式如下：

$w_{t,l}^k=\left\{\begin{array}{cc}(1-\mathrm{\&lambda;\&eta;})w_{t-1,l}^k+\mathrm{\&eta;}{y}_t^k{x}_t^k,& \mathrm{if}{\mathrm{\&Delta;}}_t<1\\ (1-\mathrm{\&lambda;\&eta;})w_{t-1,l}^w,& \mathrm{if}{\mathrm{\&Delta;}}_t\&GreaterEqual;1\end{array}\right.$

$b_{t,l}^k=\left\{\begin{array}{cc}{b}_{t-1,l}^k+\mathrm{\&eta;}{y}_t^k,& \mathrm{iuf}{\mathrm{\&Delta;}}_t<1\\ b_{t-1,l}^k,& \mathrm{if}{\mathrm{\&Delta;}}_t\&GreaterEqual;1\end{array}\right.,,$

其中，

是迭代次数t时d/K×1维的权重向量，是迭代次数t-1时d/K×1维的权重向量，λ是正则化参数，

是迭代次数t时第k段的特征矢量数据，

是迭代次数t时第k段的类标签，η是学习率参数，随着迭代次数的增加而减少，η的值为

是迭代次数t时偏置项，

是迭代次数t-1时偏置项；通过对数据进行分段，使得训练计算节点只对k段训练全集进行SVM训练，各个训练计算节点完全独立，且并行化计算。

步骤6中第三调度节点根据权重整合所有子分类器模板参数生成最终分类器模板的方法如下：由第三调度节点根据已经生成的权重值乘以各子训练模板生成最终模板，所述最终模板所对应的SVM权重w_l和偏置b_l为：

$\left\{\begin{array}{c}{w}_1=({\mathrm{\&alpha;}}_l^1{w}_l^1,{\mathrm{\&alpha;}}_l^2{w}_l^2,...,{\mathrm{\&alpha;}}_l^k{w}_l^k)\\ b_l=\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_l^k{b}_l^k\end{array}\right.,l=\mathrm{1,2},...,L,$

其中，

是各个分段的权重值，是独立分段第k段训练得到的SVM参数。

具体的实现步骤如下：

1.由第一调度节点将大类别图像数据库平均部署在多个特征提取计算节点上。

2.每个特征提取计算节点对图像数据先进行高斯平滑预处理，再密集采样和生成SIFT(Scale-Invariant Feature Transform)特征矢量。SIFT特征矢量具体提取细节可参考文献David G.Lowe,"Distinctive Image Features fromScale-Invariant Keypoints",2004。

3.第一调度节点随机生成图像索引序号，发往SIFT计算节点；SIFT计算节点依据索引序号挑选出索引序号对应图像的SIFT特征矢量后，再统一将这些特征矢量发送给第二调度节点，第二调度节点再将这些特征矢量构建高斯混合模型，并将高斯混合模型发送回每一Fisher计算节点。构建高斯混合模型的具体细节可参考文献Jeff A.Bilmes."A Gentle Tutorial of the EM Algorithm andits Application to Parameter Estimation for Gaussian Mixture and HiddenMarkov Models",1998。

4.每个Fisher计算节点基于高斯混合模型对图像提取Fisher特征矢量。Fisher特征矢量的提取具体细节可参考文献Florent Perronnin andChristopher Dance,"Fisher Kernels on Visual Vocabularies for ImageCategorization",2007。

5.每个Fisher计算节点将图像数据库中所有训练图像的特征矢量发送给第三调度节点，第三调度节点收集所有Fisher计算节点的特征矢量，并将所有特征矢量进行数据分段，然后计算各段所对应的权重后，最后将分段特征矢量发往每一Training计算节点，此时每个Training计算节点分别存储了分段特征矢量数据，这样每个Training计算节点只需对各自分段特征矢量数据进行机器学习和训练。

6.训练时，在每一Training计算节点上，以类别为单位对每一类别同步训练一个一对多的SVM子分类器，并由第三调度节点根据权重整合所有子分类器模板参数生成最终分类器模板，并将最终分类器模板更新分类测试计算节点的分类器模板。SVM的分类器训练过程可参考文献Leon Bottou,Large-ScaleMachine Learning with Stochastic Gradient Descent,2010。

7.分类测试计算节点对当前测试图像，先提前SIFT特征矢量，接着基于高斯混合模型提取图像的Fisher特征矢量，然后利用更新分类器模板的SVM分类器得到当前图像的类别输出，从而最终完成当前测试图像的分类判断。

作为一种优选方案，步骤5中对特征矢量进行数据分段可描述为如下过程，第三调度节点将训练全集

(x₁,y₁),...,(x_n,y_n)∈R^d×{-1,+1}平均划分成K段，第k分段训练全集为

$(x_1^k,y_1),...,(x_n^k,y_n)\&Element;R^{d/k}\&times;\{-1,+1\},$ 其中k∈{1,2,...K}，此方法也可以直接推广到非均分模式

作为一种优选方案，步骤5中各段数据所对应的权重的计算过程如下，k段训练l类的权重

可在第三调度节点上采用下面计算公式：

${\mathrm{\&alpha;}}_l^k=\frac{d_l^k-\underset{r\&Element;\{\mathrm{1,2},...k\}}{\min }\left(d_l^r\right)}{\underset{r\&Element;\{\mathrm{1,2},...k\}}{\max }\left(d_l^r\right)-\underset{r\&Element;\{\mathrm{1,2}...k\}}{\min }\left(d_l^k\right)},k=\mathrm{1,2}...k,l=\mathrm{1,2},...L,$

其中L为训练总类数，

是当前第k段类l训练样本的类内特征均值

与总体训练样本特征均值μ^k的欧式距离，具体是

$d_l^k=\left|\right|{\mathrm{\&mu;}}_l^k-{\mathrm{\&mu;}}^k\left|\right|,{\mathrm{\&mu;}}^k=\frac{1}{L}\underset{l}{\overset{L}{\mathrm{\&Sigma;}}}{\mathrm{\&mu;}}_l^k,k=\mathrm{1,2}...k,l=\mathrm{1,2},...L,$ ${\mathrm{\&mu;}}_l^k$ 为第k段l训练类的类内样本特征均值，μ^k是总体训练样本特征均值，其中

意味在1到K中寻找类l训练样本的类内特征均值与总体训练样本特征均值μ^k的欧式距离最小值，意味在1到K中寻找类l训练样本的类内特征均值

与总体训练样本特征均值μ^k的欧式距离最大值。

作为一种优选方案，步骤6中一对多的SVM子分类器是采用基于并行化的分段数据随机梯度下降优化算法进行训练。具体如下：在SVM训练时，使用Hinge误差函数作为目标函数，所以第k段l训练类的一对多SVM分类器优化目标函数定义为

$Q(w_l^k,b_l^k,x^k,y^k)=\underset{w_l^k\&Element;R^{d/k}}{\mathrm{Minimze}}\frac{\mathrm{\&lambda;}}{2}{\left|\right|w_l^k\left|\right|}^2+\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}C(y_i^k,{\left(w_l^k\right)}^T{x}_i^k),$

其中 $C(y_i^k,{\left(w_l^k\right)}^T{x}_i^k)-\max \{\mathrm{0,1}-y_i^k({\left(w_l^k\right)}^T{x}_i^k+b_l^k)\},$ $w_l^k$ 是d/K×1维的权重向量，λ是正则化参数，是偏置项，

是第k段的特征矢量数据，

是第k段的类标签，C是损失函数。优化目标函数

对

的梯度分布为：

${\&dtri;}_{w}Q(w_l^k,b_l^k,x_t^k,y_t^k)=\left\{\begin{array}{cc}\mathrm{\&lambda;}{w}_l^k-y_t^k{x}_t^k& \mathrm{if}{\&dtri;}_t<1\\ \mathrm{\&lambda;}{w}_l^k& \mathrm{if}{\&dtri;}_t\&GreaterEqual;1\end{array}\right.$

${\&dtri;}_{b}Q(w_l^k,b_l^k,x_t^k,y_t^k)=\left\{\begin{array}{cc}-y_t^k& \mathrm{if}{\mathrm{\&Delta;}}_t<1\\ 0& \mathrm{if}{\mathrm{\&Delta;}}_1\&GreaterEqual;1\end{array}\right.,$

其中

根据随机梯度下降优化算法，算法逐个读取样本点对进行迭代更新，迭代更新公式如下：

$w_{t,l}^k=\left\{\begin{array}{cc}(1-\mathrm{\&lambda;\&eta;})w_{t-1,l}^k+\mathrm{\&eta;}{y}_t^k{x}_t^k,& \mathrm{if}{\mathrm{\&Delta;}}_t<1\\ (1-\mathrm{\&lambda;\&eta;})w_{t-1,l}^w,& \mathrm{if}{\mathrm{\&Delta;}}_t\&GreaterEqual;1\end{array}\right.$

$b_{t,l}^k=\left\{\begin{array}{cc}{b}_{t-1,l}^k+\mathrm{\&eta;}{y}_t^k,& \mathrm{iuf}{\mathrm{\&Delta;}}_t<1\\ b_{t-1,l}^k,& \mathrm{if}{\mathrm{\&Delta;}}_t\&GreaterEqual;1\end{array}\right.,$

其中，η是学习率参数，其一般随着迭代次数的增加而减少，可以取

通过对数据进行分段，使得Training计算节点只需对k段训练全集进行SVM训练，各个Training计算节点完全独立，且并行化计算，计算完成后各个Training计算节点将所训练得到的SVM模板打包发回第三调度节点，由第三调度节点根据已经生成的权重值整合所有子训练模板生成最终分类器模板，其最终模板所对应的SVM权重w_l和偏置b_l为：

$\left\{\begin{array}{c}{w}_1=({\mathrm{\&alpha;}}_l^1{w}_l^1,{\mathrm{\&alpha;}}_l^2{w}_l^2,...,{\mathrm{\&alpha;}}_l^k{w}_l^k)\\ b_l=\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_l^k{b}_l^k\end{array}\right.,l=\mathrm{1,2},...,L,$

其中，

是各个分段的权重值，

是独立分段第k段训练得到的SVM参数。

最终生成的训练模板由第三调度节点发送到测试计算节点上。

本发明的工作原理：利用数据分块，并设计一种分布式和并行化的图像训练方法来实现一种并行分布式的大规模图像识别系统。

本发明相对于现有技术具有如下的优点及效果：

1、本发明提出一种并行分布式的大规模图像识别系统，通过多台机器对海量图像数据进行分布式处理大大缩短研发周期，提高图像分类速度，以实现在线实时的大类别图像分类检索。

2、本发明提出一种分布式的算法处理方案，通过将整体任务进行分解，从而实现特征提取并行化和SVM训练并行化，大幅提高海量图像数据的训练速度，并且实现过程简单，易于推广到其他算法。

3、本发明还提出一种并行化的分段数据随机梯度下降优化算法，通过对数据分段能够降低单一机器上的计算开销，同时通过加权突出有效特征数据段，降低训练难度。

4、本发明涉及模式识别技术领域，具体提供一种并行分布式的大规模图像识别系统。此系统通过对整体任务进行分解，从而实现特征提取并行化和SVM训练并行化，同时在训练一对多SVM时使用一种并行化的分段数据随机梯度下降优化算法，通过加权突出有效特征数据段以提高训练速度和分类性能。本发明提出的大规模图像数据分布式的处理方案和改进的随机梯度下降优化算法，能大幅提高对海量图像数据的处理速度，降低单一机器的计算开销，实现过程简单易于推广。

附图说明

图1是本发明的分布式图像训练的部署方案框图。

图2是本发明的图像识别方法的识别流程框图。

图3是本发明的训练和测试方法整体流程框图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

如图1所示，为本发明的分布式图像训练的部署方案框图，给出了分布式图像训练的部署方案，系统部署方法总体而言，图像数据库的数据将经过SIFT计算节点机群，再送入fisher计算节点机群，最终送入训练节点机群，其中调度节点机群负责各个机群之间的数据调度。

如图2所示，为本发明的图像识别方法的识别流程框图，以图像数据库ImageNet为例,该数据库包括21K个不同的主题目标类别，共14M张图像，所有图像放入图像数据库，作为训练样本集。系统的训练过程分为以下几个步骤：由第一调度节点将图像数据集平均配置到各个SIFT计算节点上，每个SIFT计算节点先对本地数据集进行高斯平滑预处理，忽略过于细节的局部极值点，再对图像密集采样和生成SIFT特征矢量（具体实现细节可以参考David G.Lowe,"Distinctive Image Features from Scale-Invariant eypoints",InternationalJournal of Computer Vision,2004）。由于密集SIFT算法会生成大量的特征点，因此还需要设定一个经验阈值挑选出那些落在非平坦区域的主题目标特征点。由于SIFT特征是具有尺度不变性质的局部特征描述符，故而可以生成视觉词汇，本发明中采用高斯混合模型构建。首先第一调度节点随机生成索引序号发往SIFT计算节点；SIFT计算节点依据索引序号挑选出索引序号对应图像的SIFT特征矢量后，再统一将这些特征矢量发送给第二调度节点，第二调度节点再将这些特征矢量构建高斯混合模型，并将高斯混合模型发送回每一Fisher计算节点。构建高斯混合模型的具体细节可参考文献Jeff A.Bilmes."A Gentle Tutorial of theEM Algorithm and its Application to Parameter Estimation for GaussianMixture and Hidden Markov Models",1998。每个Fisher计算节点基于高斯混合模型对图像提取Fisher特征矢量(具体实现细节可以参考Florent Perronninand Christopher Dance,"Fisher Kernels on Visual Vocabularies for ImageCategorization",Computer Vision and Pattern Recognition,2007)。相比于BOV算法中简单的单词统计直方图，Fisher向量还包含更高阶的统计特征信息，如均值和标准差，因此会更利于后续的分类过程。每个Fisher计算节点将图像数据库中所有训练图像的特征矢量发送给第三调度节点。第三调度节点收集所有Fisher计算节点的特征矢量，并将所有特征矢量进行数据分段。然后计算各段对应的权重后，最后将分段特征矢量发往每一Training计算节点，此时每个Training计算节点分别存储了分段特征矢量数据。训练时，在每一Training计算节点上，以类别为单位对每一类别同步训练一个一对多的SVM子分类器。该过程可描述为，调度节点将训练全集：

(x₁,y₁),...,(x_n,y_n)∈R^d×{-1,+1}划分成K段，第k分段训练全集为：

$(x_1^k,y_1),...,(x_n^k,y_n)\&Element;R^{d/k}\&times;\{-1,+1\},$ 其中k∈{1,2,...K}。k段训练l类的权重

可采用下式在第三调度节点上进行计算：

${\mathrm{\&alpha;}}_l^k=\frac{d_l^k-\underset{r\&Element;\{\mathrm{1,2},...k\}}{\min }\left(d_l^r\right)}{\underset{r\&Element;\{\mathrm{1,2},...k\}}{\max }\left(d_l^r\right)-\underset{r\&Element;\{\mathrm{1,2}...k\}}{\min }\left(d_l^k\right)},k=\mathrm{1,2}...k,l=\mathrm{1,2},...L,$

其中L为训练总类数，

是当前第k段类l训练样本的类内特征均值与总体训练样本特征均值μ^k的欧式距离，具体是：

$d_l^k=\left|\right|{\mathrm{\&mu;}}_l^k-{\mathrm{\&mu;}}^k\left|\right|,{\mathrm{\&mu;}}^k=\frac{1}{L}\underset{l}{\overset{L}{\mathrm{\&Sigma;}}}{\mathrm{\&mu;}}_l^k,k=\mathrm{1,2}...k,l=\mathrm{1,2},...L,$ ${\mathrm{\&mu;}}_l^k$ 为第k段l训练类的类内样本特征均值，μ^k是总体训练样本特征均值。其中

意味在1到K中寻找类l训练样本的类内特征均值与总体训练样本特征均值μ^k的欧式距离最小值，

意味在1到K中寻找类l训练样本的类内特征均值

与总体训练样本特征均值μ^k的欧式距离最大值。本发明使用线性Hinge误差函数的线性SVM分类器进行训练，所以第k段l训练类的一对多SVM分类器优化目标函数定义为

$Q(w_l^k,b_l^k,x^k,y^k)=\underset{w_l^k\&Element;R^{d/k}}{\mathrm{Minimze}}\frac{\mathrm{\&lambda;}}{2}{\left|\right|w_l^k\left|\right|}^2+\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}C(y_i^k,{\left(w_l^k\right)}^T{x}_i^k),$

其中 $C(y_i^k,{\left(w_l^k\right)}^T{x}_i^k)-\max \{\mathrm{0,1}-y_i^k({\left(w_l^k\right)}^T{x}_i^k+b_l^k)\},$ $w_l^k$ 是d/K×1维的权重向量，λ是正则化参数，

是偏置项，

是第k段的特征矢量数据，

是第k段的类标签，C是损失函数。优化目标函数对的梯度分布为：

${\&dtri;}_{w}Q(w_l^k,b_l^k,x_t^k,y_t^k)=\left\{\begin{array}{cc}\mathrm{\&lambda;}{w}_l^k-y_t^k{x}_t^k& \mathrm{if}{\&dtri;}_t<1\\ \mathrm{\&lambda;}{w}_l^k& \mathrm{if}{\&dtri;}_t\&GreaterEqual;1\end{array}\right.$

${\&dtri;}_{b}Q(w_l^k,b_l^k,x_t^k,y_t^k)=\left\{\begin{array}{cc}-y_t^k& \mathrm{if}{\mathrm{\&Delta;}}_t<1\\ 0& \mathrm{if}{\mathrm{\&Delta;}}_1\&GreaterEqual;1\end{array}\right.,$

其中，根据随机梯度下降优化算法，算法逐个读取样本点对进行迭代更新，迭代更新公式如下：

$w_{t,l}^k=\left\{\begin{array}{cc}(1-\mathrm{\&lambda;\&eta;})w_{t-1,l}^k+\mathrm{\&eta;}{y}_t^k{x}_t^k,& \mathrm{if}{\mathrm{\&Delta;}}_t<1\\ (1-\mathrm{\&lambda;\&eta;})w_{t-1,l}^w,& \mathrm{if}{\mathrm{\&Delta;}}_t\&GreaterEqual;1\end{array}\right.$

$b_{t,l}^k=\left\{\begin{array}{cc}{b}_{t-1,l}^k+\mathrm{\&eta;}{y}_t^k,& \mathrm{iuf}{\mathrm{\&Delta;}}_t<1\\ b_{t-1,l}^k,& \mathrm{if}{\mathrm{\&Delta;}}_t\&GreaterEqual;1\end{array}\right.,$

其中，η是学习率参数，其一般随着迭代次数的增加而减少，可以取通过对数据进行分段，使得Training计算节点只需对k段训练全集进行SVM训练，各个Training计算节点完全独立，且并行化计算，计算完成后各个Training计算节点将所训练得到的SVM模板打包发回第三调度节点，由第三调度节点根据已经生成的权重值乘以各子训练模板生成最终模板，其最终模板所对应的SVM权重w_l和偏置b_l为：

$\left\{\begin{array}{c}{w}_1=({\mathrm{\&alpha;}}_l^1{w}_l^1,{\mathrm{\&alpha;}}_l^2{w}_l^2,...,{\mathrm{\&alpha;}}_l^k{w}_l^k)\\ b_l=\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_l^k{b}_l^k\end{array}\right.,l=\mathrm{1,2},...,L,$

其中

是各个分段的权重值，

是独立分段第k段训练得到的SVM参数。最终生成的训练模板由第三调度节点发送到测试计算节点上。

在实际商业应用中，用户可使用移动终端对感兴趣的目标例如古建筑拍照，然后将图片上传至云端服务器的测试计算节点，由云端服务器的测试计算节点在已经训练好的大规模图像库中进行在线图像分类，由服务器根据分类得到的结果将古建筑的相关信息如名称来历、结构布局、美学价值等发送给用户的移动终端，从而实现移动环境下的图像检索服务。

如图3所示，为本发明的训练和测试方法整体流程框图，给出了系统的训练和测试方法整体流程框图，训练过程是将数据库内的图像首先进行图像平滑和归一化预处理，然后进行SIFT特征提取，接着提取Fisher特征，最后再进行分布式SVM训练，详细步骤已在于前面图像识别方法的识别流程中给予介绍说明，而在测试，或者在实际商业应用过程中，用户可使用移动终端对感兴趣的目标例如古建筑拍照，然后将图片上传至云端服务器的测试计算节点，由云端服务器的测试计算节点对图像也进行平滑和归一化预处理，然后进行SIFT特征提取，接着提取Fisher特征这一系列过程后，利用已经训练好的大规模图像库中SVM分类器进行在线图像分类，由服务器根据分类得到的结果将古建筑的相关信息如名称来历、结构布局、美学价值等发送给用户的移动终端，从而实现移动环境下的图像检索服务。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (5)

1.一种并行分布式的大规模图像识别方法,其特征在于，包括如下步骤：

步骤1、由第一调度节点将大类别图像数据库平均部署在SIFT特征提取计算节点上；

步骤2、每个特征提取计算节点对图像数据先进行高斯平滑预处理，再密集采样和生成SIFT特征矢量；

步骤3、第一调度节点随机生成图像索引序号，发往SIFT计算节点；SIFT计算节点依据索引序号挑选出索引序号对应图像的SIFT特征矢量后，再统一将这些特征矢量发送给第二调度节点，第二调度节点再将这些特征矢量构建高斯混合模型，并将高斯混合模型发送回每个Fisher计算节点；

步骤4、每个Fisher计算节点基于高斯混合模型对图像提取Fisher特征矢量；

步骤5、每个Fisher计算节点将图像数据库中所有训练图像的特征矢量发送给第三调度节点，第三调度节点收集所有Fisher计算节点的特征矢量，并将所有特征矢量进行数据分段，然后计算各段所对应的权重后，最后将分段特征矢量发往每个Training计算节点，此时每个Training计算节点分别存储分段特征矢量数据，使每个Training计算节点只需对各自分段特征矢量数据进行机器学习和训练；

步骤6、训练时，在每一Training计算节点上，以类别为单位对每一类别同步训练一个一对多的SVM子分类器，并由第三调度节点根据权重整合所有子分类器模板参数生成最终分类器模板，并将最终分类器模板更新分类测试计算节点的分类器模板；

步骤7、分类测试计算节点对当前测试图像，先提前SIFT特征矢量，接着基于高斯混合模型提取图像的Fisher特征矢量，然后利用更新分类器模板的SVM分类器得到当前图像的类别输出，以完成当前测试图像的分类判断。

2.根据权利要求1所述的并行分布式的大规模图像识别方法，其特征在于，步骤5中对特征矢量进行数据分段过程如：

第三调度节点将训练全集平均划分成K段，所述训练全集的表达式为：

(x₁,y₁),...,(x_n,y_n)∈R^d×{-1,+1}，

其中，(x₁,y₁)是其中第一段训练数据，R^d×{-1,+1}表示数据x共d维的实数值，而数据y是一种取值为-1和+1的值；

第k分段训练全集的表达式为：

$(x_1^k,y_1),...,(x_n^k,y_n)\&Element;R^{d/k}\&times;\{-1,+1\},$

其中，k∈{1,2,...K}。

3.根据权利要求1所述的并行分布式的大规模图像识别方法，其特征在于，步骤5中k段训练l类的权重

在第三调度节点上采用下面计算公式：

${\mathrm{\&alpha;}}_l^k=\frac{d_l^k-\underset{r\&Element;\{\mathrm{1,2},...k\}}{\min }\left(d_l^r\right)}{\underset{r\&Element;\{\mathrm{1,2},...k\}}{\max }\left(d_l^r\right)-\underset{r\&Element;\{\mathrm{1,2}...k\}}{\min }\left(d_l^k\right)},k=\mathrm{1,2}...k,l=\mathrm{1,2},...L,$

其中，L为训练总类数，

是当前第k段类l训练样本的类内特征均值

与总体训练样本特征均值μ^k的欧式距离，用下面公式计算得到：

$d_l^k=\left|\right|{\mathrm{\&mu;}}_l^k-{\mathrm{\&mu;}}^k\left|\right|,{\mathrm{\&mu;}}^k=\frac{1}{L}\underset{l}{\overset{L}{\mathrm{\&Sigma;}}}{\mathrm{\&mu;}}_l^k,k=\mathrm{1,2}...k,l=\mathrm{1,2},...L,$

其中，

为第k段l训练类的类内样本特征均值，μ^k是总体训练样本特征均值，

表示在1到K中寻找类l训练样本的类内特征均值

与总体训练样本特征均值μ^k的欧式距离的最小值，

表示在1到K中寻找类l训练样本的类内特征均值

与总体训练样本特征均值μ^k的欧式距离的最大值。

4.根据权利要求1所述的并行分布式的大规模图像识别方法，其特征在于，步骤6中，一对多的SVM子分类器是采用基于并行化的分段数据随机梯度下降优化算法进行训练，一对多的SVM子分类器的训练过程如下：在SVM训练时，使用Hinge误差函数作为目标函数，所以第k段l训练类的一对多SVM分类器优化目标函数定义为：

$Q(w_l^k,b_l^k,x^k,y^k)=\underset{w_l^k\&Element;R^{d/k}}{\mathrm{Minimze}}\frac{\mathrm{\&lambda;}}{2}{\left|\right|w_l^k\left|\right|}^2+\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}C(y_i^k,{\left(w_l^k\right)}^T{x}_i^k),$

其中， $C(y_i^k,{\left(w_l^k\right)}^T{x}_i^k)-\max \{\mathrm{0,1}-y_i^k({\left(w_l^k\right)}^T{x}_i^k+b_l^k)\},$ $w_l^k$ 是d/K×1维的权重向量，λ是正则化参数，

是偏置项，

是第k段的特征矢量数据，是第k段的类标签，C是损失函数；优化目标函数

对

的梯度分布为：

${\&dtri;}_{w}Q(w_l^k,b_l^k,x_t^k,y_t^k)=\left\{\begin{array}{cc}\mathrm{\&lambda;}{w}_l^k-y_t^k{x}_t^k& \mathrm{if}{\&dtri;}_t<1\\ \mathrm{\&lambda;}{w}_l^k& \mathrm{if}{\&dtri;}_t\&GreaterEqual;1\end{array}\right.$

${\&dtri;}_{b}Q(w_l^k,b_l^k,x_t^k,y_t^k)=\left\{\begin{array}{cc}-y_t^k& \mathrm{if}{\mathrm{\&Delta;}}_t<1\\ 0& \mathrm{if}{\mathrm{\&Delta;}}_1\&GreaterEqual;1\end{array}\right.$

其中，是d/K×1维的权重向量，λ是正则化参数，

是迭代次数t时第k段的特征矢量数据，

是迭代次数t时第k段的类标签，根据随机梯度下降优化算法，算法逐个读取样本点对

和进行迭代更新，所述迭代更新的公式如下：

$w_{t,l}^k=\left\{\begin{array}{cc}(1-\mathrm{\&lambda;\&eta;})w_{t-1,l}^k+\mathrm{\&eta;}{y}_t^k{x}_t^k,& \mathrm{if}{\mathrm{\&Delta;}}_t<1\\ (1-\mathrm{\&lambda;\&eta;})w_{t-1,l}^w,& \mathrm{if}{\mathrm{\&Delta;}}_t\&GreaterEqual;1\end{array}\right.$

$b_{t,l}^k=\left\{\begin{array}{cc}{b}_{t-1,l}^k+\mathrm{\&eta;}{y}_t^k,& \mathrm{iuf}{\mathrm{\&Delta;}}_t<1\\ b_{t-1,l}^k,& \mathrm{if}{\mathrm{\&Delta;}}_t\&GreaterEqual;1\end{array}\right.,$

其中，

是迭代次数t时d/K×1维的权重向量，

是迭代次数t-1时d/K×1维的权重向量，λ是正则化参数，

是迭代次数t时第k段的特征矢量数据，

是迭代次数t时第k段的类标签，η是学习率参数，随着迭代次数的增加而减少，η的值为

是迭代次数t时偏置项，

是迭代次数t-1时偏置项；通过对数据进行分段，使得训练计算节点只对k段训练全集进行SVM训练，各个训练计算节点完全独立，且并行化计算。

5.根据权利要求1所述的并行分布式的大规模图像识别方法，其特征在于，步骤6中,第三调度节点根据权重整合所有子分类器模板参数生成最终分类器模板的方法如下：由第三调度节点根据已经生成的权重值乘以各子训练模板生成最终模板，所述最终模板所对应的SVM权重w_l和偏置b_l为：

$\left\{\begin{array}{c}{w}_1=({\mathrm{\&alpha;}}_l^1{w}_l^1,{\mathrm{\&alpha;}}_l^2{w}_l^2,...,{\mathrm{\&alpha;}}_l^k{w}_l^k)\\ b_l=\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_l^k{b}_l^k\end{array}\right.,l=\mathrm{1,2},...,L,$

其中，

是各个分段的权重值，

是独立分段第k段训练得到的SVM参数。

Images