CN110378380B - 一种基于多核集成分类学习的图像分类方法 - Google Patents

Abstract

本发明公开了一种基于多核集成分类学习的图像分类方法，获取用于分类的图像数据作为样本集X和与之对应的样本标签集Y，并对样本集X进行归一化处理。将部分样本集作为训练集用于训练支持向量机模型，首先求解每个单核分类模型的损失loss，通过对所有的损失loss进行加权集成形成一个集成损失，再通过最小化集成损失来共同优化每一个单核分类模型，从而获得训练好的多核集成分类模型；将剩余样本集作为测试集输入所构造的多核集成分类模型，获得对图像数据的分类结果，本发明利用多核集成分类模型对图像进行分类，提高图像分类的准确度。

Description

一种基于多核集成分类学习的图像分类方法

技术领域

本发明属于图像处理分类技术领域，尤其涉及一种基于多核集成分类学习的图像分类方法。

背景技术

图像处理在人们的日常生活中扮演着越来越重要的位置，其中图像分类在图像处理中有着非常重要的应用。包括人脸识别，医学图像处理以及互联网领域的图像检索等。

支持向量机(Support Vector Machine,SVM)是一种基于结构风险最小化原则的通用学习算法,它的基本思想是在样本输入空间或特征空间构造出一个最优超平面,使得超平面到两类样本集之间的距离达到最大,从而取得最好的泛化能力。他的解是全局最优的,不需要人工设计网络结构。对于非线性问题，SVM设法将它通过非线性变换(核函数)转化为另一空间中的线性问题,在这个变换空间来求解最优的线性分类面。而这种非线性变换可以通过定义适当的内积函数,即核函数实现。

核函数是把特征从低维空间映射到高维空间，但是目前我们经常使用的SVM都是单核的，在使用的时候，需要根据经验或试验来选择哪种核函数，怎样指定它的参数，这样很不方便。另一方面，实际应用中，特征往往不是单一性的，而是异构的。就图像分类来说，可能用到颜色相关的特征、纹理相关的特征、空间相关的特征,这几类特征对应的最佳的核函数未必相同,让他们共用同一个核函数,未必能得到最优的映射,也就是说无法得到较为准确的分类结果。

发明内容

本发明根据现有技术中存在的问题，提出了一种基于多核集成分类学习的图像分类方法，利用多核集成分类模型对图像进行分类，提高图像分类的准确度。

本发明所采用的技术方案如下：

一种基于多核集成分类学习的图像分类方法，

获取用于分类的图像数据作为样本集X和与之对应的样本标签集Y，并对样本集X进行归一化处理。

将部分样本集作为训练集用于训练支持向量机模型，首先求解每个单核分类模型的损失loss，通过对所有的损失loss进行加权集成形成一个集成损失，再通过最小化集成损失来共同优化每一个单核分类模型，从而获得训练好的多核集成分类模型；

将剩余样本集作为测试集输入所构造的多核集成分类模型，获得对图像数据的分类结果。

进一步，所述单核分类模型的构建方法为：

根据训练集获得不同的基础内核K，由不同的基础内核K构建单核分类模型，

其中，C是控制第一项和第二项之间权衡的参数，ξ_it是铰链损失，t为第t样本，N为训练集中的样本数，a_i是每个训练集权重，K_i是第i个内核Gram矩阵。

进一步，对所有的损失loss进行加权集成，获得所述多核集成分类模型的方法为：

其中，L是基础内核的个数，α_i是每个训练集权重，w_i是添加在每个单核分类模型所求解的损失上的权重，K_i是第i个内核Gram矩阵，b_i是对于特定K_i的偏移量，a_im为与样本x_m对应的训练集权重，K_i(x_t，x_m)是样本x_t和x_m内积表示，a_im是K_i(x_t，x_m)系数，y_t是训练样本标签集中第t个标签；

进一步，根据多核集成分类模型，求解出拉格朗日乘子β＝[β₁，β₂...，β_N]^T的最大值的过程为：

首先，初始化w_i，然后对多核集成分类模型使用拉格朗日乘子法转化为对偶形式如下：

其中，Q为对的累加表示，Y为样本标签集，N为训练集样本数，β＝[β₁，β₂...，β_N]^T，β_t是第t个拉格朗日乘子，t＝1、2...、N，y_t是样本标签集中第t个标签，从而求解出β最大值；

进一步，固定β最大值，利用最小化问题的求解并更新权重w_i，使用增广拉格朗日乘子法求解的过程为：

初始化参数w_i、λ、η_i、τ和θ，并将参数w_i、λ、η_i、τ和θ代入上式经过循环求解后输出最优的权重w_i；

进一步，根据所述最优的权重w_i，得到最后的二值分类器的模型：Y＝sign(f(X_test)),并将测试集输入该分类器，实现对图像的分类。

进一步，所述循环求解结束的判断条件为：loss>1e-6或者迭代次数小于设定的次数；

进一步，所述损失loss的更新方法为：设定开始时loss_new，计算出 从而得到loss＝|loss_old-loss_new|；根据更新后的参数w_i、λ、η_i、τ和θ重新计算loss_old，保存loss_old←loss_new，迭代次数加1；

本发明的有益效果：

本发明通过对单核分类模型的损失加权集成的方式构造多核集成分类模型，能够消除单核分类模型中由于核函数选择不同而导致的分类效果不好的问题；再通过求解多核集成分类模型来学习它们的最佳权重，能够实现共同优化这些单核分类模型，达到优于其他多核学习算法的图像分类效果。

附图说明

图1是本发明的整体流程框图；

图2是本发明多核集成分类模型的构造方法；

图3是本发明多核集成分类模型与其他四个对比算法在两个图像数据集上的准确率对比图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。

如图1所示本发明所提出的一种基于多核集成分类学习的图像分类方法，具体实现过程有以下几个步骤：

S1，获取用于分类的图像数据作为样本集X和与之对应的样本标签集Y。对于空间R，设有样本集X＝[x₁,x₂....x_M]∈R^M*q和Y＝[y₁,y₂....y_M]∈R^M*p，其中，X为样本集，Y为对应的标签。M为样本数，q为X的维度，p为Y维度，对样本集进行归一化处理。将样本集X分为训练集X_trian＝[x₁,x₂....x_N]∈R^N*q和测试集X_test＝[x₁,x₂....x_N]∈R^N*q。

S2，根据训练集内的数据样本获得不同的基础内核K，由不同的基础内核K分别构建单核分类模型：

其中，ξ_it是铰链损失(hinge loss),t＝1、2、...、N，N为训练集样本数，a_i是每个训练集权重，K_i是第i个内核Gram矩阵，第一项是单核分类模型的损失loss，其用作预测基础核SVM模型的质量的标准，第二项是a_i ^TK_ia_i平滑核函数，C是控制第一项和第二项之间权衡的参数。

S3，由于不同的基础内核类型及其参数选择会产生不同的分类结果。为了获得更好的分类模型，本发明通过对单核分类模型的损失loss进行w_i加权，从而把多个基础内核分类器进行集成，并且这些单核分类模型是共同优化的。得到以下多核集成分类模型：

其中，L是基础内核的个数，α_i是每个训练集权重，K_i是第i个内核Gram矩阵,w_i是添加在每个单核分类模型所求解的损失上的权重，b_i是对于特定K_i的偏移量，x_t是第t个样本，，K_i(x_t，x_m)是样本x_t和样本x_m内积表示，a_im是K_i(x_t，x_m)系数，y_t为是样本标签集中第t个标签。

S4，求解式(2)的多核集成分类模型，获得最优的权重w_i的过程如下：

S4.1，首先固定w_i的值,并初始化然后对式(2)使用拉格朗日乘子法转化为对偶形式如下：

其中，Q为的表示，β_t是第t个拉格朗日乘子，t＝1，2，...，N，β＝[β₁，β₂...，β_N]^T，Y为样本标签集，y_t是样本标签集中第t个标签，C是控制第一项和第二项之间权衡的参数，求解出β值；

S4.2，固定最大的拉格朗日乘子β，通过使用增广拉格朗日乘子法对(3)式最小化问题的求解，更新w_i。

初始化参数为：λ＝0，η_i＝0,τ＝1,θ＝1.1，循环求解w_i、λ、η_i、τ和θ，其中，λ为拉格朗日乘子，η_i为拉格朗日乘子，τ为惩罚因子，θ为学习率。

S4.3，设定当输入初始参数时loss_new＝0，计算出 从而得到loss＝|loss_old-loss_new|；

w_i、λ、η_i、τ和θ的更新规则为：

根据更新后的参数重新计算出从而得到更新后的loss＝|loss_old-loss_new|，保存loss_old←loss_new，迭代次数加1；循环判断条件为：loss>1e-6或者迭代次数小于500次。当循环退出，则已经找出最优的权重w_i，从而获得训练好的多核集成分类模型。

S4，根据最优的权重w_i得到目标分类器：其中f(x_t)是预测的标签结果，x_t是测试集中的第t个样本，K_i(x_t，x_m)是x_t和x_m内积表示，a_im是K_i(x_t，x_m)系数。

S5，将测试集X_test＝[x₁,x₂....x_N]∈R^N*q输入训练好的多核集成分类模型的目标分类器：Y_pre＝sign(f(X_test)),利用上面所述的目标分类器对待分类的图像进行分类，获取分类结果。

S6，对上一步目标分类器获得的分类结果采用一对多法(one-versus-rest)，将扩展到解决多类问题，S5和S6两步具体分类方法为:首先将某一个类别的样本标记为一类,其余类别样本统一标记成另一类,由此得到与样本类别相等个数的二值分类器,然后将测试图像样本分别使用这些二值分类器中分类，所属的类别的投票数累加1，然后该测试样本属于投票数较大的一类,得到分类结果。

结合附图3，可以看出我们的多核集成模型在对ORL(奥利维蒂研究实验室人脸图像数据集)和Extended YaleB(耶鲁人脸图像数据集)的分类上相比于其他的多核学习方法可以取得更好的分类效果。

本发明的技术方案是为了消除由于单个核选择不同而导致的分类效果不好的问题，现有的技术是通过对多个核函数的线性组合进行多核学习，本发明采用的是把多个基础单核分类模型通过损失加权集成的方式进行多核集成分类学习，可以实现在多个核空间中训练模型取得更好的分类效果。

以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims (6)

1.一种基于多核集成分类学习的图像分类方法，其特征在于，获取用于分类的图像数据作为样本集X和与之对应的样本标签集Y，并对样本集X进行归一化处理；将样本集X分为训练集和测试集；

根据训练集内的数据样本获得不同的基础内核K，由不同的基础内核K分别构建单核分类模型，求解每个单核分类模型的损失loss，通过对所有的损失loss进行加权集成形成一个集成损失，再通过最小化集成损失来共同优化每一个单核分类模型，所述单核分类模型的构建方法为：

根据训练集获得不同的基础内核K，由不同的基础内核K构建单核分类模型，

其中，C是控制第一项和第二项之间权衡的参数，ξ_it是铰链损失，t为第t样本，N为训练集中的样本数，a_i是每个训练集权重，K_i是第i个内核Gram矩阵；

把多个基础内核分类器进行集成，从而获得训练好的多核集成分类模型；对所有的损失loss进行加权集成，获得所述多核集成分类模型的方法为：

其中，L是基础内核的个数，α_i是每个训练集权重，w_i是添加在每个单核分类模型所求解的损失上的权重，K_i是第i个内核Gram矩阵，b_i是对于特定K_i的偏移量，a_im为与样本x_m对应训练集的权重，K_i(x_t，x_m)是样本x_t和x_m内积表示，a_im是K_i(x_t，x_m)系数，y_t是训练样本标签集中第t个标签；

将剩余样本集作为测试集输入所构造的多核集成分类模型，获得对图像数据的分类结果；

对分类器获得的分类结果采用一对多法解决多类问题，将某一个类别的样本标记为一类,其余类别样本统一标记成另一类,由此得到与样本类别相等个数的二值分类器,然后将测试图像样本分别使用这些二值分类器中分类，所属的类别的投票数累加1，然后该测试样本属于投票数较大的一类,得到分类结果。

2.根据权利要求1所述的一种基于多核集成分类学习的图像分类方法，其特征在于，根据多核集成分类模型，求解出拉格朗日乘子β＝[β₁，β₂...，β_N]^T的最大值，过程为：

初始化w_i，然后对多核集成分类模型使用拉格朗日乘子法转化为对偶形式如下：

其中，Q为对的累加表示，Y为样本标签集，N为训练集样本数，β＝[β₁，β₂...，β_N]^T，β_t是第t个拉格朗日乘子，t＝1、2...、N，y_t是样本标签集中第t个标签，从而求解出β最大值。

3.根据权利要求2所述的一种基于多核集成分类学习的图像分类方法，其特征在于，固定β最大值，利用最小化问题的求解并更新权重w_i，使用增广拉格朗日乘子法求解的过程为：

初始化参数w_i、λ、η_i、τ和θ，并将参数w_i、λ、η_i、τ和θ代入上式经过循环求解后输出最优的权重w_i。

4.根据权利要求3所述的一种基于多核集成分类学习的图像分类方法，其特征在于，根据所述最优的权重w_i，得到最后的二值分类器的模型：Y＝sign(f(X_test)),并将测试集输入该分类器，实现对图像的分类。

5.根据权利要求3所述的一种基于多核集成分类学习的图像分类方法，其特征在于，所述循环求解结束的判断条件为：loss>1e-6或者迭代次数小于设定的次数。

6.根据权利要求5所述的一种基于多核集成分类学习的图像分类方法，其特征在于，所述损失loss的更新方法为：设定开始时loss_new，计算出 从而得到loss＝|loss_old-loss_new|；根据更新后的参数w_i、λ、η_i、τ和θ重新计算loss_old，保存loss_old←loss_new，迭代次数加1。