CN104268552B - 一种基于部件多边形的精细类别分类方法 - Google Patents

Abstract

本发明涉及图像信息处理技术领域，尤其涉及一种基于部件多边形的精细类别分类方法。本发明采用基于部件点的多边形可以有效地校正不同姿态下目标，分类过程采用的fisher编码特征对目标尺度和方向上的变化具有鲁棒性，所用的贪婪算法能找出最具判别力的部件点组合的集合，而精细分类器能够区分非常相似的类别。本发明提供的方法将目标图像的部件点进行连接，构建了多个基于部件点的多边形，可有效减少校正所带来的误差。

Description

一种基于部件多边形的精细类别分类方法

技术领域

本发明涉及图像信息处理技术领域，尤其涉及一种基于部件多边形的精细类别分类方法。

背景技术

近年来，随着相机的普及，网络上的图像资源飞速增加。而在这些图像中，大部分是与人关系密切的事物，比如人们的宠物和交通工具。我们将属于一个相同类别的子类称为精细类别。这种类别的分类相比传统的分类问题，更具挑战性。因为传统的分类解决的问题是将不同的大类区分开，比如猫和车辆。这些都是在外观上差异很大的类别，所以我们可以用比较简单的分类器就能得到较为理想的结果。然而在精细类别的分类中，子类之间的相似度非常高，往往共享了很多外观特征，所以要得到理想的分类结果是极具挑战性的。

目前，有很多针对精细类别分类的工作。国外的著名实验室也提供了很多经典的数据库以供对应的研究。比如鸟分类数据库和狗分类数据库。这些数据库提供了目标的检测框和部件的关键点，为之后的工作提供了坚实的基础。现有的方法一般从标注的检测框中分割目标，然后通过提取目标的底层特征，将其特征进行编码后直接用SVM分类器加以训练和分类。这种方法对传统的分类问题能得到不错的分类精度，但是针对精细类别的图像仍然缺乏判别性。因为精细类别的图像不同类别的区分点往往在一些细节，如果将部件信息忽略，直接用目标整体的特征进行分类的话，很难将相似的子类分辨开来。基于这个问题，一些研究人员提出了基于部件点的精细类别分类的方法。它随机选取两个部件点，将其进行校正，然后选取任意两个类别，从校正的部件点对中提取底层特征，用分类器进行训练，得到对应的分类打分，将其作为中层语义，然后再训练分类，从而得到了目前最优的分类结果。

现有的基于部件点的精细图像分类中忽略了分类对象的姿态变化，针对不同姿态下的目标，都采用非常简单的校正操作。事实上，在目标姿态不同时，简单的校正方法并不能取得很好的校正结果，从而使得同一子类的特征不具鲁棒性，影响分类的准确性。

发明内容

针对上述现有技术的不足，本发明基于多个部件点的空间位置关系，对于需要分类的目标图像，先用针对所有类别的分类器得到一个最初的分类结果，再用易混淆的类别组合训练的分类器进行分类，最终实现精细类别分类。

本发明方法流程如图1所示，主要包括以下步骤：

步骤1：构建图像数据库，从数据库的训练图像集中各个图像的目标区域采样大小相等、形状一致的矩形图像区域，提取所述矩形图像区域的sift特征；

步骤2：从步骤1所提取的矩形图像区域的sift特征中随机选取P个sift特征用于训练高斯混合模型；

步骤3：针对需要分类的目标图像，选取目标图像中两个以上的部件点作为用于分类的部件组合，提取目标图像中的部件组合围成的面积最大的多边形图像区域的fisher特征；搜寻步骤1所述的训练图像集，标定并提取其中含有所述用于分类的部件组合的训练图像；

步骤4：提取训练图像集中的与需要进行分类的目标图像相关的训练图像的相关图像区域的fisher特征；

步骤5：利用步骤4所得的相关图像区域的fisher特征和所述相关图像区域所属的图像为训练样本，训练线性支持向量机(SVM)分类器的分类模型；

步骤6：基于步骤1至5的结果，并利用贪婪算法确定所述部件组合中分类效果最好的部件点的组合，至此实现了用全体类别的分类器对目标图像的分类；

步骤7：根据步骤6所得的所有类别的分类器的分类结果得到所有类别间的混淆矩阵；针对每一个类别，找到错分为这一类的类别，将其作为这一类别的容易混淆的类别集合；

步骤8：针对每一个步骤7所述的容易混淆的类别集合相似的类别集合，均采用步骤6所提供的贪婪算法得到最具判别力的部件组合的集合，由此实现了针对特定类别的分类器的学习。

本发明的有益效果：

本发明所提出的基于部件多边形的精细图像分类方法能够有效地提升分类的精度，该方法所用的基于部件点的多边形可以有效地校正不同姿态下目标，提取的fisher编码特征对目标尺度和方向上的变化具有鲁棒性，所用的贪婪算法能找出最具判别力的部件点组合的集合，而精细分类器能够区分非常相似的类别。发明的主要创新点在于提取部件点组合所形成的多变形的高维特征，用两层分类器去区分精细类别。相比传统的分类方法，该方案能够更有效地校正不同姿态下的目标，能找到具备判别性的部件点的组合。

附图说明

图1是本发明方法流程图。

具体实施方式

下面结合图1对本发明做进一步详细说明。

本发明主要可以分为全部类别的分类器的学习和精细类别分类器的学习，全部类别的分类的学习包括步骤：

步骤1：构建图像数据库，该数据库中的所有训练图像的多个部件点的位置已被标注，每张训练图像均有对应的类别标签；从训练图像集中各个图像的目标区域采样M个大小相等、形状一致的矩形图像区域并记为A₁、A₂、……、A_M，这些矩形图像区域的尺寸可以是4×4、8×8、16×16(像素单位)等多种尺寸，且所提取的矩形图像区域与相邻的矩形图像区域的采样间距均相同；提取所述矩形图像区域A₁、A₂、……、A_M的sift特征；

步骤2：从步骤1所提取的矩形图像区域A₁、A₂、……、A_M的sift特征中随机选取P个sift特征用于训练高斯混合模型；

步骤3：针对需要进行分类的目标图像，随机选取该目标图像的两个以上的部件点构成部件组合J，部件组合J包含C个部件点分别为J₁、J₂、……、J_C，利用步骤2所得的高斯混合模型提取目标图像中的部件点J₁、J₂、……、J_C连接而成的面积最大的多边形图像区域的fisher特征；搜寻步骤1所述的训练图像集，标定并提取其中含有部件组合J的H个训练图像并记为T₁、T₂、……、T_H；

步骤4：针对步骤3所提取的每一幅含有部件组合J的训练图像T₁、T₂、……、T_H，以图像T₁为例，选定图像T₁中由部件点J₁、J₂、……、J_C连接而成的面积最大的多边形图像区域，利用步骤2所得的高斯混合模型提取所述多边形图像区域的fisher特征，对剩余的图像T₂、T₃、……、T_H均采用上述相同处理过程提取每个训练图像中相应区域的fisher特征；由此可得到训练图像集中的与需要进行分类的目标图像相关的训练图像的相应图像区域的fisher特征；

步骤5：以图像T₂、T₃、……、T_H为训练样本，训练线性支持向量机(SVM)分类器的分类模型；本发明所用的线性SVM的分类函数具体如下：

f(x)＝w^Tx+b (1)

其中，x指多边形区域的fisher向量特征，w、b指分类器的参数，其对应的分类界面为w^Tx+b＝0；搜集分类器界面附近的样本作为训练分类器的样本，这些样本称为支持向量；当代价函数最小时，可确定分类器的参数w、b，其中，所述代价函数具体如下：

min||w||²

subject to y_i(w^Tx+b)≥1,i＝1,...,N (2)

其中，y_i代表训练图像集的第i张图像的类别标签，N代表图像的总数；代价函数的作用是保证分类准确度的同时，使得不同类别之间的间隔最大化；通过拉格朗日乘子的方法对(2)式求解，可以得到分类器的参数w：

w＝∑_iα_iy_ix_i (3)

其中，α_i是支持向量x_i的拉格朗日系数。

步骤6：基于步骤1至5的结果，并利用贪婪算法确定所述部件组合中分类效果最好的部件点的组合，贪婪算法的具体过程如下：

步骤6-1：提取步骤2所述的需要进行分类的目标图像中的部件点J₁、J₂、……、J_C连接而成面积最大的多边形图像区域的fisher特征，并提取步骤4所述的含有部件组合J的图像T₁、T2、……、T_H中的由部件点J₁、J₂、……、J_C连接而成的面积最大的多边形图像区域的fisher特征；

步骤6-2：对于训练图像集中的含有部件组合J的图像T₁、T₂、……、T_H，由步骤1可知所述各图像的类别标签；用步骤5的线性SVM分类器集合步骤6-1所述的fisher特征得到需要进行分类的目标图像分别属于图像T₁、T₂、……、T_H对应的各个类别标签的后验概率，将后验概率最大的类别标签设定为该目标图像的预测标签，通过与所述目标图像的真实标签相比较，将概率最大所对应的标签作为目标图像的标签，得到每个部件组合训练的分类器的分类精度。

步骤6-3：提取步骤6-2所得的所有部件组合所训练的分类器的分类精度最高的部件组合，将其作为初始集合；针对需要进行分类的目标图像，用步骤6-2分析的除去分类精度最高的分类器对目标图像进行类别分类，得到对应类别的后验概率，将不同类别的后验概率与初始集合的分类器得到的类别后验概率相加得目标图像所属各类别的综合概率，再选取所述综合概率最大的类别作为目标图像的预测标签，与图像的真实标签对比后，可以得到目标图像的新的分类精度，与之前的分类精度进行比较，如果新的精度高于之前的精度，则在部件多边形的集合中添加对应的部件点组合。

步骤6-4：循环执行步骤6-1至6-3的过程，不断更新选取的判别性强的部件点集合，直至需要进行分类的目标图像的分类精度不再增加，最终获得的部件多边形的集合则能达到最优的分类精度，至此实现了用全体类别的分类器对目标图像的分类。

进一步的，所述的由指定部件点连接而成的面积最大的多边形图像区域的fisher特征的具体提取方法如下：

针对由指定部件点连接而成面积最大的多边形图像区域，从所述多边形区域采样L个大小相等、形状一致的矩形图像区域并记为D₁、D₂、……、D_L，这些矩形图像区域的尺寸可以是4×4、8×8、16×16(像素单位)等多种尺寸，且所提取的矩形图像区域与相邻的矩形图像区域的采样间距均相同；提取所述矩形图像区域D₁、D₂、……、D_L的sift特征，用fisher向量方法并结合步骤2所得的高斯混合模型对上述sift特征进行编码，即可得到相应的多边形图像区域的fisher特征

精细类别分类器的学习主要分为两个步骤：

进一步的，完成步骤1至步骤6的过程实现用全体类别的分类器对目标图像的分类后，还可通过精细类别分类器的学习对目标图像做进一步的精细分类，精细类别分类器的学习包括以下步骤：

步骤7：根据步骤6所得的所有类别的分类器的分类结果，设定混淆类别阈值，针对第i类的类别，提取出所有分类中大于该混淆类别阈值的类别，则所提取的这些类别就是与第i类易混淆的类别，由此得到所有类别间的混淆矩阵；针对每一个类别，找到错分为这一类的类别，将其作为这一类别的容易混淆的类别集合；

步骤8：针对每一个步骤7所述的容易混淆的类别集合相似的类别集合，均采用步骤6所提供的贪婪算法得到最具判别力的部件组合的集合，由此实现了针对特定类别的分类器的学习。

针对需要进行精细分类的目标图像，首先通过步骤1至步骤6实现了用全部类别的分类器进行分类，由此得到一个初始的分类结果，然后再用精细类别的分类器将容易混淆的类别区分开来，最终大道目标图像的精细类别分类的目的。

Claims (3)

1.一种基于部件多边形的精细类别分类方法，其特征在于，包括以下步骤：

步骤1：构建图像数据库，该数据库中的所有训练图像的多个部件点的位置已被标注，每张训练图像均有对应的类别标签；从训练图像集中各个图像的目标区域采样M个大小相等、形状一致的矩形图像区域并记为A₁、A₂、……、A_M，且所提取的矩形图像区域与相邻的矩形图像区域的采样间距均相同；提取所述矩形图像区域A₁、A₂、……、A_M的sift特征；

步骤2：从步骤1所提取的矩形图像区域A₁、A₂、……、A_M的sift特征中随机选取P个sift特征用于训练高斯混合模型；

步骤3：针对需要进行分类的目标图像，随机选取该目标图像的两个以上的部件点构成部件组合J，部件组合J包含C个部件点分别为J₁、J₂、……、J_C，利用步骤2所得的高斯混合模型提取目标图像中的部件点J₁、J₂、……、J_C连接而成的面积最大的多边形图像区域的fisher特征；搜寻步骤1所述的训练图像集，标定并提取其中含有部件组合J的H个训练图像并记为T₁、T₂、……、T_H；

步骤4：针对步骤3所提取的每一幅含有部件组合J的训练图像T₁、T₂、……、T_H，以图像T₁为例，选定图像T₁中由部件点J₁、J₂、……、J_C连接而成的面积最大的多边形图像区域，利用步骤2所得的高斯混合模型提取所述多边形图像区域的fisher特征，对剩余的图像T₂、T₃、……、T_H均采用上述相同处理过程提取每个训练图像中相应区域的fisher特征；由此可得到训练图像集中的与需要进行分类的目标图像相关的训练图像的相应图像区域的fisher特征；

步骤5：以图像T₂、T₃、……、T_H为训练样本，训练线性支持向量机(SVM)分类器的分类模型；

步骤6：基于步骤1至5的结果，并利用贪婪算法确定所述部件组合中分类效果最好的部件点的组合，贪婪算法的具体过程如下：

步骤6-1：提取步骤2所述的需要进行分类的目标图像中的部件点J₁、J₂、……、J_C连接而成面积最大的多边形图像区域的fisher特征，并提取步骤4所述的含有部件组合J的图像T₁、T₂、……、T_H中的由部件点J₁、J₂、……、J_C连接而成的面积最大的多边形图像区域的fisher特征；

步骤6-2：对于训练图像集中的含有部件组合J的图像T₁、T₂、……、T_H，由步骤1可知所述各图像的类别标签；用步骤5的线性SVM分类器集合步骤6-1所述的fisher特征得到需要进行分类的目标图像分别属于图像T₁、T₂、……、T_H对应的各个类别标签的后验概率，将后验概率最大的类别标签设定为该目标图像的预测标签，通过与所述目标图像的真实标签相比较，将概率最大所对应的标签作为目标图像的标签，得到每个部件组合训练的分类器的分类精度；

步骤6-3：提取步骤6-2所得的所有部件组合所训练的分类器的分类精度最高的部件组合，将其作为初始集合；针对需要进行分类的目标图像，用步骤6-2分析的除去分类精度最高的分类器对目标图像进行类别分类，得到对应类别的后验概率，将不同类别的后验概率与初始集合的分类器得到的类别后验概率相加得目标图像所属各类别的综合概率，再选取所述综合概率最大的类别作为目标图像的预测标签，与图像的真实标签对比后，可以得到目标图像的新的分类精度，与之前的分类精度进行比较，如果新的精度高于之前的精度，则在部件多边形的集合中添加对应的部件点组合；

步骤6-4：循环执行步骤6-1至6-3的过程，不断更新选取的判别性强的部件点集合，直至需要进行分类的目标图像的分类精度不再增加，最终获得的部件多边形的集合则能达到最优的分类精度，至此实现了用全体类别的分类器对目标图像的分类；

步骤7：根据步骤6所得的所有类别的分类器的分类结果，设定混淆类别阈值，针对第i类的类别，提取出所有分类中大于该混淆类别阈值的类别，则所提取的这些类别就是与第i类易混淆的类别，由此得到所有类别间的混淆矩阵；针对每一个类别，找到错分为这一类的类别，将其作为这一类别的容易混淆的类别集合；

步骤8：针对每一个步骤7所述的容易混淆的类别集合相似的类别集合，均采用步骤6所提供的贪婪算法得到最具判别力的部件组合的集合，由此实现了针对特定类别的分类器的学习。

2.根据权利要求1所述的一种基于部件多边形的精细类别分类方法，其特征在于，由指定部件点连接而成的面积最大的多边形图像区域的fisher特征的具体提取方法如下：

针对由指定部件点连接而成面积最大的多边形图像区域，从所述多边形区域采样L个大小相等、形状一致的矩形图像区域并记为D₁、D₂、……、D_L，且所提取的矩形图像区域与相邻的矩形图像区域的采样间距均相同；提取所述矩形图像区域D₁、D₂、……、D_L的sift特征，用fisher向量方法并结合步骤2所得的高斯混合模型对上述sift特征进行编码，即可得到相应的多边形图像区域的fisher特征。

3.根据权利要求1或2所述的一种基于部件多边形的精细类别分类方法，其特征在于，所述的线性支持向量机(SVM)分类器的分类函数具体如下：

f(x)＝w^Tx+b

其中，x指多边形区域的fisher向量特征，w、b指分类器的参数，其对应的分类界面为w^Tx+b＝0；搜集分类器界面附近的样本作为训练分类器的样本，这些样本称为支持向量；当代价函数最小时，可确定分类器的参数w、b，其中，所述代价函数具体如下：

min||w||²

subject to y_i(w^Tx+b)≥1,i＝1,...,N

其中，y_i代表训练图像集的第i张图像的类别标签，N代表训练图像集的图像总数；代价函数的作用是保证分类准确度的同时，使得不同类别之间的间隔最大化；通过拉格朗日乘子的方法对代价函数式求解，可以得到分类器的参数w：

w＝∑_iα_iy_ix_i

其中，α_i是支持向量x_i的拉格朗日系数。