CN111310864A - 一种基于分组稀疏的多核学习图像分类方法 - Google Patents

Abstract

本发明公开了一种基于分组稀疏的多核学习图像分类方法，属于图像模式识别技术领域。本发明主要解决图像分类时的异构特征选择问题。主要步骤包括：(1)挑选图像样本，并按比例分成训练样本和测试样本；(2)分别提取每幅图像的形状、SIFT和Gabor等异构特征；(3)利用分组稀疏多核学习分类算法训练分类器，然后以测试样本测试分类功率；(4)采用多重交叉实验来验证算法的平均性能。本发明在处理异构特征选择问题时，利用MKL进行特征选择时依然实施稀疏约束，但针对每一个特征，允许选择多个不同的基核函数，从而形成组间稀疏而组内非稀疏的效果，使得MKL在处理异构特征选择问题时，能有效提高分类整体性能。

Description

一种基于分组稀疏的多核学习图像分类方法

技术领域

本发明涉及图像模式识别技术领域，更具体地说，涉及一种基于分组稀疏的多核学习图像分类方法。

背景技术

据不完全统计，人类获取信息的80％与图像信息有关。因此，如何有效理解这些图像信息显得尤为重要，图像分类技术就是图像理解的重要前提。众所周知，图像中不仅存在如纹理、形状、颜色等全局特征，还存在一些诸如SIFT、LBP、SURF和MSERs等形式的局部特征，这些不同形式的异构特征在图像分类时所发挥的作用不同，如何在设计分类器时进行牲征选择，是图像模式识别领域的一项关键技术。

核方法由于其在解决线性不可分问题上的良好表现，被广泛应用于图像分类。稀疏表示分类方法在人脸识别中得到应用并取得了很好的识别效果。国内外学者的研究成果已经证明，稀疏表示和核方法在利用图像同构特征进行分类时，是较为有效的图像分类手段。但当分类目标呈现多种特征，尤其是异构特征时，如何选择适合的分类特征，单一核的选择往往达不到令人满意的分类性能。为此，多核学习(Multiple Kernel KernelLearning，MKL)就被引入到图像分类中。

从稀疏表示和多核学习在图像分类领域的现有研究成果可看出，仍然存在以下主要问题有待解决：首先，相关算法的计算复杂度过高，参数选择仍缺少合适依据；其次，如何有效组合图像的异构特征，全局特征和局部特征如何取舍，相关策略仍然不够成熟。

经检索，中国发明专利，申请号为：ZL201910833071.2，申请日：2019年09月04日。该发明公开一种基于多核学习的遥感图像稀疏表达分类方法，主要解决遥感图像空-谱特征的样本分布不平坦、数据不规则等问题，提高对空-谱特征中蕴含丰富且复杂非线性结构信息的表达能力。主要步骤包括：(1)对遥感图像进行空-谱特征提取操作，提取遥感图像的形态学特征；(2)结合遥感图像数据分布特点根据不同准则选取一组基核函数并构建多核稀疏表示模型；(3)利用一组训练数据通过两步交替优化策略学习得到基核函数的最优线性组合；(4)根据训练得到的基核函数最优线性组合将未标注像元映射到集成核特征空间，并利用基于稀疏表达方法进行分类。其不足之处在于：(1)为普通稠密表达的样本找到合适的字典是构建稀疏表示模型的关键，该申请案虽提出将多核学习嵌入到稀疏表示模型构建多核稀疏表达模型，但并未明确给出每个模型字典的构建方法；(2)这种分类方法只适合遥感图像数据，对于普通场景图像，由于缺少空-谱特征的支持，难以完成精细分类任务。

中国专利号ZL201610581635.4，申请日为：2016年07月22日，公开了一种基于结构稀疏多核学习的多模态数据特征筛选和分类方法，包括：提取数据特征，并对特征进行归一化；利用核函数为数据的每个特征构建一个核矩阵；根据数据特征将所有特征和其对应的核函数进行分组；利用带有类标签的训练数据训练结构稀疏化多核分类模型，并优化模型参数；使用训练好的结构稀疏化多核分类模型对测试数据进行分类。该申请案将数据特征的选择和数据模态融合在统一的结构稀疏化多核分类模型中进行建模，将结构稀疏化特征选择和基于最优核表示的分类器学习同时进行。其不足之处在于：该申请案在建立分类模型时使用了近9成的样本作为训练样本，这个训练样本占比不适合所有数据集。该申请案在MRI图像中计算每个脑功能区域的体积作为特征，在PET图像中提取灰度的平均值作为特征，因此是在同一部位的两幅不同图像上进行不同性质的特征提取，不能很好的解决现有的问题。

发明内容

1.发明要解决的技术问题

鉴于现有技术中在图像分类时，当分类目标呈现多种特征，尤其是异构特征时，分类特征选择困难的问题，本发明提出一种基于分组稀疏的多核学习图像分类方法，利用MKL进行特征选择时实施稀疏约束；针对每一个特征，选择多个不同的基核函数，从而形成组间稀疏而组内非稀疏的效果，使得MKL在处理异构特征选择问题时，能有效挖掘适于分类的有效特征，有助于提高图像分类整体性能。

2.技术方案

为达到上述目的，本发明提供的技术方案为：

本发明的一种基于分组稀疏的多核学习图像分类方法，其步骤为：

步骤一、从数据库中挑选已标定图像样本，并将样本随机分成训练样本和测试样本；

步骤二、分别提取样本中每幅图像的形状特征、SIFT特征和Gabor特征；

步骤三、选取基核并设置基核参数候选值；

步骤四、将步骤二中提取的训练样本的特征代入分组稀疏多核学习分类模型进行训练；

步骤五、利用测试样本对分组稀疏多核学习分类算法进行测试。

更进一步地，所述的步骤一中，数据库为Caltech-101图像数据库，挑选出的每一幅图像裁剪成指定大小。

更进一步地，所述的步骤二中，先基于Hu不变矩提取7维形状特征向量，再以关键点为中心将图像块分割成4×4个较小的区块，然后提取每个小区块中心点的SIFT特征向量；按32×32大小对图像进行分块，整幅图像被分成64块，利用二维Gabor滤波器提取每个图像块的Gabor特征。

更进一步地，所述的步骤三中，设置10个基核参数候选值，以产生不同基核；针对每一个特征，通过混合l₁-范数和l₂-范数组合约束来产生每个基核的最优权重d_rh，使得每个异构特征可以与多个不同的基核相关联，不同特征属性得以对应最合适的基核。

更进一步地，所述的步骤四中，分组稀疏多核学习分类模型是基于多核学习框架，基于多核学习的决策函数为：

式中，x_i和x_j是输入样本，y_i和y_j是对应的类别标签，α_i和α_j是拉格朗日乘数，K_m表示不同的基核函数，M为基核数量，d_m是组合系数，b为偏置参数；M为基核数量，N为样本数量。

更进一步地，在基于MKL框架

的基础上，对组合系数d_m添加l₁-范数和l₂-范数的组合约束；设定分类目标有s个特征，每个特征有h个核函数备选，得到sh个基核，进而得出分组稀疏多核学习分类算法基本框架：

上式中，d_m＝[d_m1，d_m2，...，d_mh]，ξ_i为松弛变量，w为变量，C为惩罚因子。

更进一步地，固定组合系统d，所述的式(6)转化成一个关于变量w，ξ_i和b的Lagrangian方程，通过求导并代入KKT条件，式(6)转化成一个最小-最大优化问题：

式中，K_rp表示不同的基核，d_rp是每个基核的权重。

更进一步地，将所述的式(6)最小-最大优化问题转化成一个半无限规划问题，通过迭代法求解出α和d，最后计算GS-MKL算法的决策函数：

更进一步地，所述的步骤四中，分组稀疏多核学习分类模型以多核学习框架为基础，具体框架如下：

3.有益效果

采用本发明提供的技术方案，与已有的公知技术相比，具有如下显著效果：

(1)鉴于现有技术中在图像分类时，当分类目标呈现多种特征，尤其是异构特征时，分类特征选择困难的问题，本发明的一种基于分组稀疏的多核学习图像分类方法，利用MKL进行特征选择时依然实施稀疏约束，但针对每一个特征，允许选择多个不同的基核函数，从而形成组间稀疏而组内非稀疏的效果，使得MKL在处理异构特征选择问题时，能有效提高分类整体性能。

(2)本发明的分类算法，其多核学习类似于多传感器，在再生核希尔伯特空间中对样本进行分布式感知，最后再对多个感知结果进行融合，组合后的新核替代原来的单核，有效提高核学习机的分类性能。

附图说明

图1为本发明的多核学习的特征选择流程图；

图2为本发明的分组稀疏的异构特征选择流程图；

图3为本发明的GS-MKL算法和经典图像分类算法训练和测试过程框图。

具体实施方式

为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。

针对图像异构特征的融合问题，本发明提出一种基于分组稀疏的多核学习图像分类方法，在利用MKL进行特征选择时依然实施稀疏约束，但针对每一个特征，允许选择多个不同的基核函数，从而形成组间稀疏而组内非稀疏的效果，使得MKL在处理异构特征选择问题时，能有效挖掘适于分类的有效特征，有助于提高图像分类整体性能。与现有相关算法的对比实验结果表明，在算法时间开销相当的前提下，本算法在图像分类精度上具有一定的优越性。同时本发明的的分类算法，其多核学习类似于多传感器，在再生核希尔伯特空间中对样本进行分布式感知，最后再对多个感知结果进行融合，组合后的新核替代原来的单核，有效提高核学习机的分类性能。

实施例1

结合图1-3，本实施例的一种基于分组稀疏多核学习分类算法，其步骤为：

步骤一、利用Caltech-101图像数据库，挑选部分类别一定数量的已标定图像样本，并将每一幅图像裁剪成256×256大小。将数据集按3个比例(45％、60％、75％)随机分成训练样本，其余为测试样本。

步骤二、分别提取每幅图像的形状特征、SIFT特征、LBP纹理和Gabor特征。(1)基于Hu不变矩提取7维形状特征向量。(2)以关键点为中心将256×256大小的图像块分割成4×4个较小的区块(每个区块的大小为64×64)，然后提取每个小区块中心点的SIFT特征向量，整幅图像就可由128维(4×4×8)SIFT特征向量表示。(3)按32×32大小对图像进行分块，整幅图像被分成64块。为减少计算量，只考虑一个方向和尺度，利用二维Gabor滤波器提取每个图像块的Gabor特征，然后计算每块对应的能量，得到能量矩阵(8×8)，最后采用主成分分析法将能量矩阵降维成1×64的行向量，作为原始图像在某一方向和尺度变换后的特征向量。

步骤三、选用RBF核作为基核，设置10个基核参数候选值[2^-3，2^-4，…，2⁵，2⁶]，每个特征允许对应所有不同参数的基核，因此，三个异构特征共对应30个子核。针对每一个特征，通过混合l₁-范数和l₂-范数组合约束来产生每个基核的最优权重d_rh，使得每个异构特征可以与多个不同的基核相关联，不同特征属性得以对应最合适的基核。

步骤四、利用分组稀疏多核学习分类算法(GS-MKL)在训练数据上训练分类器，然后以测试数据测试分类功率。

GS-MKL算法是以多核学习(Multiple Kernel Kernel Learning，MKL)框架为基础，具体框架如下：

式(1)中，N为样本数量，x_i和x_j是输入样本，y_i和y_j是对应的类别标签，α_i和α_j是拉格朗日乘数，C是惩罚因子，K_m表示不同的基核函数，M为基核数量，d_m是组合系数。

式(1)中的目标函数L(α_i，α_j)是一个可微的凸函数，因此可以通过目标函数对d_m求导来求解多核组合系数d_m。相应的梯度表示如下：

最终可得基于多核学习的决策函数为：

式(4)中，b为偏置参数。

在基本MKL框架

的基础上，对组合系数d_m添加l₁-范数和l₂-范数的组合约束。假设分类目标有s个特征，每个特征有h个核函数备选(可以通过不同的核参数来设计)，则可得到sh个基核，组合系数可表示如下：

d＝[d₁；d₂；…；d_s]＝[d₁₁；d₁₂；…；d_sh]∈R^(s×h)×1 (5)

使用sh个基核和组合系数d，分组稀疏多核学习分类算法(GS-MKL)基本框架如下式所示：

式(6)中，C为惩罚因子，ξ_i为松弛变量，d_m＝[d_m1，d_m2，...，d_mh]。

当固定组合系统d，分组稀疏多核学习分类算法可转化成一个关于变量w、ξ_i，和b的Lagrangian方程，令方程对三个变量的偏导等0，求解结果代入KKT(Karush-Kuhn-Tucker)条件，式(6)即可转化成一个最小-最大优化问题：

式(8)中，K_rp表示不同的基核，d_rp是每个基核的权重。

为了实现异构特征选择，将式(8)所示优化问题可转化成一个半无限规划(Semi-infinite programming，SIP)问题，并可通过迭代法求解。首先，固定组合系数d，求解关于变量α的最大值问题；然后固定α求解关于变量d的最小值问题。设α^*是最小值问题的最优解，令目标函数S(α^*，d)＝θ，且对所有迭代求解出来的α，有S(α，d)≤θ约束。通过固定α，式(8)可转化成最小化θ的SIP问题：

综上所述，分组稀疏多核学习分类算法(GS-MKL)步骤如下：

Step1：初始化：t＝1；S⁰＝1；θ⁰＝0；

容忍误差∈，迭代次数阈值T。

Step2：当

且t＜T重复公式(1)～(6)，否则转Step3

(1)固定d^t-1，求解式(8)得到最优解α^t；

(2)将α^t和d^t-1代入式(8)得到S^t；

(3)固定α^t，求解式(10)得到d^t和θ^t；

(4)t＝t+1；

Step3：计算优化后的核

并插入到决策函数计算中：

步骤五、利用测试样本对分组稀疏多核学习分类算法进行测试。

实施例2

本实施例的一种基于分组稀疏多核学习分类算法，针对Caltech-101图像库和Corel 5k图像数据库，调整对应的样本数量和图像块大小，然后做相似的实验和对比实验。实验对比结果如表1所示。

本实验选取8个类别，每类选30个样本共240个样本进行实验，采用多重交叉实验来验证算法的平均性能。对同种规模的训练样本和测试样本，将本实施例所提算法分别与Simple-MKL[A.Rakotomamonjy，F.Bach，S.Canu，Y.Grandvalet.SimpleMKL[J].Journal ofMachine Learning Research，2008，9(11)：2491-2521]、Lasso-MKL[Xu Z L，Jin R，Yang HQ，et al.Simple and efficient multiple kernel learning by group lasso[C].Proceedings of International Conference on Machine Learning，London：ElsevierLimited，2010：1175-1182.]和Lp-MKL[Kloft M，Brefeld U，Sonnenburg S，et al.Lp-Normmultiple kernel learning[J].Journal of Machine Learning Research，2011，12：953-997.]等经典算法在Caltech-101图像库上做性能对比实验。实验对比结果如表1所示。表中的45％、60％和75％是指训练样本的比例。

表1分类结果比较表

以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (9)

1.一种基于分组稀疏的多核学习图像分类方法，其特征在于，其步骤为：

步骤一、从数据库中挑选已标定图像样本，并将样本随机分成训练样本和测试样本；

步骤二、分别提取样本中每幅图像的形状特征、SIFT特征和Gabor特征；

步骤三、选取基核并设置基核参数候选值；

步骤四、将步骤二中提取的训练样本的特征代入分组稀疏多核学习分类模型进行训练；

步骤五、利用测试样本对分组稀疏多核学习分类算法进行测试。

2.根据权利要求1所述的一种基于分组稀疏的多核学习图像分类方法，其特征在于：所述的步骤一中，数据库为Caltech-101图像数据库，挑选出的每一幅图像裁剪成指定大小。

3.根据权利要求1或2所述的一种基于分组稀疏的多核学习图像分类方法，其特征在于：所述的步骤二中，先基于Hu不变矩提取7维形状特征向量，再以关键点为中心将图像块分割成4×4个较小的区块，然后提取每个小区块中心点的SIFT特征向量；按32×32大小对图像进行分块，整幅图像被分成64块，利用二维Gabor滤波器提取每个图像块的Gabor特征。

4.根据权利要求3所述的一种基于分组稀疏的多核学习图像分类方法，其特征在于：所述的步骤三中，设置10个基核参数候选值，以产生不同基核；针对每一个特征，通过混合l₁-范数和l₂-范数组合约束来产生每个基核的最优权重d_rh，使得每个异构特征可以与多个不同的基核相关联，不同特征属性得以对应最合适的基核。

5.根据权利要求4所述的一种基于分组稀疏的多核学习图像分类方法，其特征在于：所述的步骤四中，分组稀疏多核学习分类模型是基于多核学习框架，基于多核学习的决策函数为：

式中，x_i和x_j是输入样本，y_i和y_j是对应的类别标签，α_i和α_j是拉格朗日乘数，K_m表示不同的基核函数，M为基核数量，d_m是组合系数，b为偏置参数；M为基核数量，N为样本数量。

6.根据权利要求5所述的一种基于分组稀疏的多核学习图像分类方法，其特征在于：在基于MKL框架

的基础上，对组合系数d_m添加l₁-范数和l₂-范数的组合约束；设定分类目标有s个特征，每个特征有h个核函数备选，得到sh个基核，进而得出分组稀疏多核学习分类算法基本框架：

上式中，d_m＝[d_m1,d_m2,…,d_mh]，ξ_i为松弛变量，w为变量，C为惩罚因子。

7.根据权利要求6所述的一种基于分组稀疏的多核学习图像分类方法，其特征在于：固定组合系统d，所述的式(6)转化成一个关于变量w,ξ_i和b的Lagrangian方程，通过求导并代入KKT条件，式(6)转化成一个最小-最大优化问题：

式中，K_rp表示不同的基核，d_rp是每个基核的权重。

8.根据权利要求7所述的一种基于分组稀疏的多核学习图像分类方法，其特征在于：将所述的式(6)最小-最大优化问题转化成一个半无限规划问题，通过迭代法求解出α和d，最后计算GS-MKL算法的决策函数：

9.根据权利要求8所述的一种基于分组稀疏的多核学习图像分类方法，其特征在于：所述的步骤四中，分组稀疏多核学习分类模型以多核学习框架为基础，具体框架如下：

Images