CN102930301A - 基于特征权重学习与核稀疏表示的图像分类方法 - Google Patents

基于特征权重学习与核稀疏表示的图像分类方法 Download PDF

Info

Publication number
CN102930301A
CN102930301A CN2012103937905A CN201210393790A CN102930301A CN 102930301 A CN102930301 A CN 102930301A CN 2012103937905 A CN2012103937905 A CN 2012103937905A CN 201210393790 A CN201210393790 A CN 201210393790A CN 102930301 A CN102930301 A CN 102930301A
Authority
CN
China
Prior art keywords
dictionary
class
sub
reconstructed error
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012103937905A
Other languages
English (en)
Other versions
CN102930301B (zh
Inventor
郑喆坤
简萌
焦李成
刘兵
沈彦波
刘娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201210393790.5A priority Critical patent/CN102930301B/zh
Publication of CN102930301A publication Critical patent/CN102930301A/zh
Application granted granted Critical
Publication of CN102930301B publication Critical patent/CN102930301B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开一种基于特征权重学习与核稀疏表示的图像分类方法。主要解决现有技术缺少特征层判别能力的问题。实现步骤为:将训练样本与测试样本映射到核空间;在核空间中构造结构化的字典,用该字典对训练样本和测试样本进行稀疏表示;通过Fisher判别准则,利用训练集的稀疏系数求解每类子字典的权重及对应重构误差的权重;根据字典权重和重构误差权重计算测试样本的重构误差;从各类子字典对测试样本的重构误差中选择最小值,将其对应子字典的类作为测试样本的分类结果。本发明可增强字典及重构误差在特征层的类判别能力,提高基于图像重构的分类器的性能,可用于人脸识别,图像分类,图像标记,图像检索和图像分割。

Description

基于特征权重学习与核稀疏表示的图像分类方法
技术领域
本发明属于图像处理技术领域,特别涉及基于核稀疏表示的分类方法,可用于对图像进行分类。
背景技术
图像分类是计算机视觉以及模式识别领域的主要课题之一。近些年来,稀疏表示方法被成功应用于图像分类。在基于稀疏表示的分类SRC方法中,测试样本首先由尽可能少的训练样本的线性组合来表示,之后通过比较各类数据对该测试样本的重建误差来寻找能够最好的线性表示该样本的类,将样本归入该类。杨等人在文章:FisherDiscrimination Dictionary Learning for Sparse Representation中提出了一个针对模式分类问题的基于SRC的FDDL模型。假设D=(D1,D2,...,DC)是一个从训练集构造的结构化的字典,Dp是对应第p类数据的子字典。在字典学习过程中,根据Fisher判别准则使得样本在字典上的稀疏表示系数在最小化类内散度的同时最大化类间散度,则利用结构化字典中的每个子字典能更好的表示对应类的样本。Chiang等人在文章:Learning Component-level Sparse Representation Using Histogram Information for ImageClassification中提出了基于特征重要性学习的稀疏表示分类方法,将特征重要性作为子字典特征层的权重,衡量每个子字典用来表示对应类样本时在特征层上的类特异性;之后,每个子字典根据其上的特征重要性迭代更新以减少不重要的特征成分的影响。由于稀疏表示SR具有很好的重构样本的能力,所以SRC作为一种基于样本重构的分类方法能够提供很好的分类性能。然而,因为同一方向的样本在归一化后将会合而为一,使得这些SRC方法不能正确分类具有相同方向的样本。针对SRC方法的这一缺陷,张等在文章:kernel sparse representation-based classifier中提出了基于核稀疏表示的分类方法KSRC,用非线性的核映射将输入样本映射到高维的核空间中,分离了样本空间中方向相同的样本,使得核空间中的SRC分类器对于相同方向的样本的分类正确率得以提升。虽然KSRC方法能够提高SRC方法对于相同方向样本的分类性能,但是由于KSRC方法与SRC方法都没有利用训练样本在特征层上的类别信息,所以在特征层上它们都不具有图像判别能力,不能从特征层上对图像进行正确分类。
发明内容
本发明的目的在于针对上述现有技术的不足,提出一种基于特征权重学习与核稀疏表示的图像分类方法,以改善KSRC分类器,提高图像分类正确率。
实现本发明的技术思路是:在核子空间中通过训练集构造一个结构化的字典,其中每个子字典代表一类样本;根据每类训练集利用Fisher判别分析学习对应的子字典权重与重构误差权重;用所得的权重调整SRC分类器中的字典与重构误差,从而改进分类器,提高分类器的分类性能。
具体实现步骤如下:
(1)训练步骤
1a)输入训练集X'={X'1,X′2,...,X'C},其中X′p表示训练集中的第p类样本的集合,用非线性核映射将训练集X'中的样本映射到核空间,并用主成分分析PCA算法将其降维到核子空间中,得到核子空间中的训练集X={X1,X2,...,XC},其中Xp表示训练集中的第p类样本的集合p=1,2,...,C,C表示训练集中的样本类别数;
1b)在核子空间中,利用训练集X构造结构化字典D=(D1,D2,...,DC),其中Dp,p=1,2,...,C表示结构化字典中与训练子集Xp对应的子字典;
1c)求解训练子集Xp在字典D上的稀疏系数A,p=1,2,...,C;
1d)基于训练子集Xq、字典D、训练子集的稀疏系数A,利用非支配排序遗传算法NSGA-2从如下优化公式中,求得第p类子字典Dp的权重βp,p=1,2,...,C,q=1,2,...,C,
min β 1 , β 2 , . . . , β C Σ q = 1 C Σ q = p , p = 1 C | | X q - β p D p A p | | 2,1 max β 1 , β 2 , . . . , β C Σ q = 1 C Σ q ≠ p , p = 1 C | | X q - β p D p A p | | 2,1 ,
该式在字典的特征层加入权重影响因子βp,利用Fisher判别准则在最小化类内重构误差的同时最大化类间重构误差构造函数,通过优化该式求得第p类子字典的权重βp,p=1,2,...,C,式中,||·||2,1表示先按列计算矩阵2范数再计算行向量的1范数,Ap是稀疏系数A中对应第p个子字典的系数子集;
1e)基于训练子集Xq、字典D、训练子集的稀疏系数A,利用非支配排序遗传算法NSGA-2从如下优化公式中,求得第p类子字典Dp对应重构误差的权重ωp,p=1,2,...C,q=1,2,...,C,
min ω 1 , ω 2 , . . . , ω C Σ p = 1 C Σ q = p , q = 1 C | | ω p | X q - D p A p | | | 2,1 max ω 1 , ω 2 , . . . , ω C Σ p = 1 C Σ q ≠ p , q = 1 C | | ω p | X q - D p A p | | | 2,1 ,
该式在重构误差的特征层加入权重影响因子ωp,利用Fisher判别准则在最小化类内重构误差的同时最大化类间重构误差构造函数,通过优化该式求得第p类子字典对应的重构误差的权重ωp,p=1,2,...,C,式中,||·||2,1表示先按列计算2范数再计算行向量的1范数,Ap是稀疏系数A中对应第p类子字典的系数子集,ωp是对由第p类子字典对应的重构误差的权重;
(2)测试步骤
2a)用非线性核映射将测试样本y映射到核空间中,并用主成分分析PCA算法将核空间中的测试样本映射到训练样本所在的核子空间中;
2b)求解测试样本y在字典D上的稀疏系数α,其中α=(α12,...,αC),αp是测试样本y在子字典Dp上的稀疏系数,p=1,2,...,C;
2c)根据训练步骤1d)得到的子字典的权重βp和训练步骤1e)得到的重构误差的权重ωp,计算测试样本y在第p类子字典上的重构误差rp(y),p=1,2,...,C,
rp(y)=||ωp|y-βpDpαp|||2
式中,||·||2表示计算矩阵的2范数;
2d)比较各类子字典Dp对测试样本y的重构误差rp(y),从中选择最小值,将其对应子字典Dp的类p作为测试样本y的分类结果,p=1,2,...,C。
本发明与现有的技术相比具有以下优点:
1、本发明由于在字典的特征层加入权重影响因子,提高了字典的类判别能力。
2、本发明由于在重构误差的特征层加入权重影响因子,提高了重构误差的类判别能力。
3、本发明由于将字典权重和重构误差权重有效的结合到分类器中,提高了基于稀疏表示的分类器SRC的分类正确率。
4、本发明由于利用Fisher判别准则将分类器学习问题构造为多个优化公式,在求解过程中同时优化多个公式,避免了将多个优化公式加权转化为单个优化公式带来的权值选择问题,避免了权值对分类器性能的约束,确保分类器具有更好的类判别能力。
仿真结果表明,本方法用于人脸识别、图像分类和图像分割,相比一般分类器能取得较高的分类正确率。
附图说明
图1是本发明的流程示意图;
图2是分别是本发明仿真所用的四个人脸图像库的人脸图像示例;
图3是本发明仿真所用的纹理图像及其真实分割结果;
图4是用本发明与已有5种分类方法分别在不同维数子空间上对图2中所示ORL图像库的识别错误率对比结果图示;
图5是用本发明与已有5种分类方法分别在不同维数子空间上对图2中所示UMIST图像库的识别错误率对比结果图示;
图6是用本发明与已有5种分类方法分别在不同维数子空间上对图2中所示CMU_PIE图像库的识别错误率对比结果图示;
图7是用本发明与已有5种分类方法分别在不同维数子空间上对图2中所示Extended_YaleB图像库的识别错误率对比结果图示;
图8是用本发明与已有KSRC方法在图3所示纹理图像上的分割正确率平均值对比示意图。
具体实施方式
参照图1,本发明的具体实施方式如下:
步骤1,输入训练集并将其映射到核子空间
首先,输入训练集X'={X'1,X′2,...,X'C},其中X'p表示训练集中的第p类样本的集合,p=1,2,...,C,C表示训练集中的样本类别数;
其次,用非线性核映射即如下高斯核函数k(x,y),将输入样本空间中训练集X′的样本映射到核空间,得到核空间中的训练集X″=[k(xi,xj)]n×n
k(x,y)=exp(-t||x-y||2),
其中,x和y表示任意两个样本,||·||表示x和y的距离,exp(·)是指数函数,t>0是高斯核的参数,本发明中将其设为的中值,是所有训练样本的均值,xi和xj分别是输入样本空间中训练集的第i个和第j个训练样本,i=1,2,...,n,j=1,2,...,n,n是训练集中样本的个数;
然后,用主成分分析PCA算法将核空间中的训练集X″再降维到核子空间中,得到核子空间中的训练集X={X1,X2,...,XC},其中Xp表示训练集中的第p类样本的集合p=1,2,...,C,C表示训练集中的样本类别数。
步骤2,构造结构化字典
基于分类的目的,假设D=(D1,D2,...,DC)是一个从训练集得到的结构化的字典,Dp是对应第p类数据的子字典,p=1,2,...,C,由于训练集本身是样本特征的完全表示,所以在本发明中使用核子空间中的训练集X作为初始字典,即D=X。
步骤3,求解训练子集Xp在字典D上的稀疏系数A
本发明采用字典对样本稀疏表示的重构误差来度量样本与各类的相似性,在训练过程中首先要求得训练子集Xp在字典D上的稀疏系数A,本发明采用如下无约束的最小二乘法模型,通过同时最小化样本的重构误差与非零系数的个数得到稀疏系数A,
min A | | X p - DA | | 2,1 + λ | | A | | 1 , p = 1,2 , . . . , C ,
式中,D是字典,A是训练子集Xp的稀疏系数,||·||2,1表示先按列计算矩阵的2范数再计算向量的1范数,||·||1表示计算矩阵的1范数,λ是最小二乘法模型参数,λ∈(0,1)。
步骤4,求子字典Dp的权重βp
本发明在子字典的特征层加入权重影响因子βp,利用Fisher判别准则在最小化类内重构误差的同时最大化类间重构误差构造函数,求解权重影响因子βp,即根据训练子集Xq、字典D、训练子集的稀疏系数A,利用非支配排序遗传算法NSGA-2从如下优化公式中,求得第p类子字典Dp的权重βp,p=1,2,...,C,q=1,2,...,C,
min β 1 , β 2 , . . . , β C Σ q = 1 C Σ q = p , p = 1 C | | X q - β p D p A p | | 2,1 max β 1 , β 2 , . . . , β C Σ q = 1 C Σ q ≠ p , p = 1 C | | X q - β p D p A p | | 2,1 ,
式中,||·||2,1表示先按列计算矩阵2范数再计算行向量的1范数,Ap是稀疏系数A中对应第p个子字典的系数子集。
步骤5,求子字典Dp对应重构误差的权重ωp
本发明在重构误差的特征层加入权重影响因子ωp,利用Fisher判别准则在最小化类内重构误差的同时最大化类间重构误差构造函数,求解权重影响因子ωp,即根据训练子集Xq、字典D、训练子集的稀疏系数A,利用非支配排序遗传算法NSGA-2从如下优化公式中,求得第p类子字典Dp对应重构误差的权重ωp,p=1,2,...C,q=1,2,..,C,
min ω 1 , ω 2 , . . . , ω C Σ p = 1 C Σ q = p , q = 1 C | | ω p | X q - D p A p | | | 2,1 max ω 1 , ω 2 , . . . , ω C Σ p = 1 C Σ q ≠ p , q = 1 C | | ω p | X q - D p A p | | | 2,1 ,
式中,||·||2,1表示先按列计算2范数再计算行向量的1范数,Ap是稀疏系数A中对应第p类子字典的系数子集,ωp是对由第p类子字典对应的重构误差的权重。
步骤6,输入测试样本y′并将其映射到核子空间
首先,输入测试样本y′;
其次,用非线性核映射将y′映射到核空间,得到核空间中的测试样本y″=[k(xi,y′)]n×1,其中xi是输入样本空间中训练集的第i个训练样本,i=1,2,...,n,n是训练集中样本的个数;
然后,用主成分分析PCA算法将核空间中的测试样本y″映射到训练样本所在的核子空间中,得到核子空间中的测试样本y。
步骤7,求解测试样本y在D上的稀疏系数α
求解测试样本y的稀疏系数α,采用如下无约束的最小二乘法模型,通过同时最小化样本的重构误差与非零系数的个数得到稀疏系数α,
min α | | y - Dα | | 2 + λ | | α | | 1 ,
式中,D是字典,α是测试样本y的稀疏系数,||·||2表示计算矩阵的2范数,||·||1表示计算向量的1范数,λ是最小二乘法模型参数,λ∈(0,1)。
步骤8,计算测试样本的重构误差rp(y)
本发明利用训练过程中得到的重构误差权重ωp与子字典权重βp改进分类决策准则,即在重构误差||y-Dpαp||2中加入了子字典权重βp及重构误差权重ωp,构成改进的重构误差rp(y),如下式,
rp(y)=||ωp|y-βpDpαp|||2,p=1,2,...,C,
该式分别用子字典权重βp及重构误差权重ωp调整字典与重构误差的特征层,通过提高字典与重构误差对样本的判别能力改善基于样本重构的分类器的性能,式中,||·||2表示计算矩阵的2范数。
步骤9,输出分类结果
本发明采用基于重构的分类原理进行图像数据分类,因此通过比较各类子字典Dp对测试样本y的重构误差rp(y),从中选择最小值,将其对应子字典Dp的类p作为测试样本y的分类结果,p=1,2,...,C。
本发明的效果可以通过以下实验进一步说明:
1.仿真条件:
在CPU为pentium(R)IV、3.19GHZ、内存3G、WINDOWS XP系统,Matlab7.10平台上进行了仿真。
2.仿真内容:
本发明利用两个权重因子ωp和βp改进SRC分类器,为说明字典权重βp和重构误差ωp对分类结果的影响,以下实验对比不仅包括5种经典方法,还包括单独使用字典权重βp的核稀疏表示分类方法记为DLKSRC,单独使用重构误差ωp的核稀疏表示分类方法记为RLKSRC,和结合了字典权重βp与重构误差权重ωp的核稀疏表示分类方法记为CIKSRC。以下实验分别将本发明应用于人脸识别、数据分类和图像分割领域。
仿真1,人脸识别
本发明选择了图2所示的四个人脸数据库做人脸识别,并将本发明与最近邻NN方法、最近子空间NS方法、支撑向量机SVM方法、基于稀疏表示的分类SRC方法和基于核稀疏表示的分类KSRC方法进行对比。由于人脸图像数据维数过大,实验中将图像映射到子空间中,分别在不同维数子空间中对比各个方法的图像分类性能。图2例举了每个人脸数据库中对应于同一对象的10幅图,分别是图2(a)所示的ORL数据库、图2(b)所示的UMIST数据库、图2(c)所示的CMU_PIE数据库以及图2(d)所示的Extended YaleB数据库。
①对图2(a)所示的ORL数据库,利用本发明与最近邻NN方法、最近子空间NS方法、支撑向量机SVM方法、基于稀疏表示的分类SRC方法和基于核稀疏表示的分类KSRC方法进行分类识别,分别在10,20,40,60,80,100,120,140,260,180,200维子空间对比各个方法的图像分类性能。每个方法在每个子空间上单独运行十次的平均识别错误率如表1所示。与其对应的维数-平均错误率曲线如图4所示。从表1及图4中可以看出在低维子空间中SRC方法比NN方法、NS方法及SVM方法性能差,KSRC方法比NN方法、NS方法、及SVM方法性能好,而本发明能够有效地提高KSRC方法的分类性能,尤其是在10维子空间中本发明的优越性非常明显。
②对图2(b)所示的UMIST数据库,利用本发明与最近邻NN方法、最近子空间NS方法、支撑向量机SVM方法、基于稀疏表示的分类SRC方法和基于核稀疏表示的分类KSRC方法进行分类识别,分别在10,20,40,60,80,100,120,140,260,180,200维子空间对比各个方法的图像分类性能。每个方法在每个子空间单独运行十次的平均识别结果错误率如表2所示。与其对应的维数-平均错误率曲线如图5所示。从表2及图5中可以看出在低维子空间中SRC方法比NN方法差、比NS方法及SVM方法性能好,KSRC方法比NN方法及SRC方法性能好,而本发明能够有效地提高KSRC方法的分类性能,尤其是在10维子空间中本发明的优越性非常明显。
表1ORL数据库上的平均识别错误率实验结果比较(单位:%)
  维数   NN   NS   SVM   SRC   KSRC   DLKSRC   RLKSRC   CIKSRC
  10   58.20   51.75   58.35   60.80   16.60   12.00   12.50   11.50
  20   36.70   30.25   37.20   38.25   8.50   6.50   6.50   6.50
  40   21.70   16.40   19.50   18.05   6.35   5.50   6.00   6.00
  60   16.85   12.05   14.40   12.75   5.75   5.00   5.50   5.50
  80   15.35   11.60   12.35   10.20   5.50   5.00   5.00   5.00
  100   12.90   10.20   11.25   9.50   5.40   6.00   6.00   6.50
  120   13.20   9.85   10.85   8.50   5.10   5.50   5.00   6.00
  140   13.80   9.90   10.15   8.55   5.00   6.00   6.00   6.00
  160   12.35   9.55   9.40   7.90   5.15   5.50   5.50   5.50
  180   12.20   8.85   9.25   7.60   5.00   6.00   5.50   5.50
  200   11.75   8.85   9.25   7.30   5.00   6.00   5.50   5.50
表2UMIST数据库上的平均识别错误率实验结果比较(单位:%)
  维数   NN   NS   SVM   SRC   KSRC   DLKSRC   RLKSRC   CIKSRC
  10   24.65   29.65   35.85   28.03   6.20   5.28   4.58   4.23
  20   10.67   11.73   15.85   12.11   3.35   3.17   2.82   2.82
  40   6.06   5.63   6.62   4.68   2.08   2.46   2.11   2.46
  60   5.53   4.23   4.68   3.66   1.90   1.41   1.76   1.76
  80   4.68   3.66   3.77   2.99   1.48   1.41   1.76   1.76
  100   4.54   3.77   3.31   2.89   1.30   1.41   1.76   1.76
  120   4.47   3.84   2.89   2.89   1.30   1.06   1.06   1.41
  140   4.47   3.31   2.96   2.71   1.27   1.06   0.70   0.70
  160   4.12   3.56   2.39   2.64   1.34   1.06   1.06   1.06
  180   4.12   3.94   2.43   2.89   1.23   1.06   0.70   1.06
  200   4.08   3.17   2.46   2.25   1.20   1.06   1.41   1.41
③对图2(c)所示的CMU_PIE数据库,利用本发明与最近邻NN方法、最近子空间NS方法、支撑向量机SVM方法、基于稀疏表示的分类SRC方法和基于核稀疏表示的分类KSRC方法进行分类识别,分别在10,20,40,60,80,100,120,140,260,180维子空间对比各个方法的图像分类性能。每个方法在每个子空间单独运行十次的平均识别结果错误率如表3所示。与其对应的维数-平均错误率曲线如图6所示。从表3及图6中可以看出在低维子空间中SRC方法比NS方法及SVM方法性能差,KSRC方法比NS方法及SVM方法性能好,而本发明能够有效地提高KSRC方法的分类性能,尤其是在10维子空间中本发明的优越性非常明显。
表3CMU_PIE数据库上的平均识别错误率实验结果比较(单位:%)
  维数   NN   NS   SVM   SRC   KSRC   DLKSRC   RLKSRC   CIKSRC
  10   56.24   48.70   53.22   55.47   8.54   2.81   3.07   3.07
  20   18.72   13.90   20.47   21.91   0.39   0.67   0.94   0.94
  40   2.67   2.18   3.96   2.15   0.01   0.27   0.27   0.27
  60   0.80   0.87   1.30   0.56   0.00   0.27   0.27   0.27
  80   0.53   0.60   0.82   0.37   0.00   0.13   0.27   0.40
  100   0.31   0.48   0.67   0.20   0.00   0.13   0.27   0.27
  120   0.20   0.21   0.25   0.08   0.00   0.13   0.27   0.27
  140   0.13   0.21   0.32   0.08   0.00   0.13   0.13   0.13
  160   0.13   0.12   0.12   0.05   0.00   0.13   0.40   0.40
  180   0.04   0.11   0.21   0.01   0.00   0.27   0.27   0.27
④对图2(d)所示的Extended_YaleB数据库,利用本发明与最近邻NN方法、最近子空间NS方法、支撑向量机SVM方法、基于稀疏表示的分类SRC方法和基于核稀疏表示的分类KSRC方法进行分类识别,分别在10,20,40,60,80,100,120,140,260,180,200维子空间对比各个方法的图像分类性能。每个方法在每个子空间单独运行十次的平均识别结果错误率如表4所示。与其对应的维数-平均错误率曲线如图7所示。从表4及图7中可以看出在低维子空间中SRC方法比NS方法性能差,KSRC方法比NS方法性能好,而本发明能够有效地提高KSRC方法的分类性能,尤其是在10维子空间中本发明的优越性非常明显。
表4Extended_YaleB数据库上的平均识别错误率实验结果比较(单位:%)
  维数   NN   NS   SVM   SRC   KSRC   DLKSRC   RLKSRC   CIKSRC
  10   61.27   58.08   58.56   58.56   10.85   2.35   2.28   2.35
  20   29.29   21.59   27.76   27.76   1.26   0.39   0.47   0.55
  40   9.41   3.96   7.57   7.57   0.44   0.39   0.39   0.39
  60   4.64   1.50   3.12   3.12   0.39   0.39   0.39   0.39
  80   2.75   0.82   1.61   1.61   0.39   0.39   0.39   0.39
  100   1.81   0.52   0.99   0.99   0.39   0.39   0.39   0.39
  120   1.36   0.53   0.78   0.78   0.39   0.39   0.39   0.39
  140   1.26   0.42   0.66   0.66   0.39   0.39   0.39   0.39
  160   0.82   0.40   0.53   0.53   0.39   0.47   0.39   0.39
  180   0.91   0.42   0.57   0.57   0.39   0.39   0.39   0.39
  200   0.80   0.41   0.46   0.46   0.39   0.39   0.47   0.39
仿真2,数据分类
选择了16个UCI数据集分别做数据分类测试,数据集信息如表5所示。
表5UCI数据集的相关信息
  数据集   维数   类别数   样本数
  Heart   13   2   270
  Bupa   6   2   345
  Ecoli   7   8   336
  Glass   9   6   214
  Lenses   4   3   24
  Lung_cancer   56   3   32
  Sonar   60   2   208
  Pima_indians_diabetes   8   2   768
  Air   64   3   359
  Vowel   10   11   528
  Breast_cancer   9   2   683
  Diabetes   8   2   768
  Dermatology   33   6   366
  Haberman   3   2   306
  Movement_libra   90   15   360
  Vehicle   18   4   846
将本发明与最近邻NN方法、最近子空间NS方法、支撑向量机SVM方法、基于稀疏表示的分类SRC方法和基于核稀疏表示的分类KSRC方法,分别单独运行十次,其分类错误率平均值及方差如表6所示,其中黑体表示该数据集上的最佳分类结果。
从表6可以看出,本发明能够有效的提高核稀疏表示分类器的分类性能,尤其是在其中9个数据集上本发明相比其他5种方法获得了最好的分类结果,而与其相比SVM方法只在4个数据集上获得了最佳分类结果,SRC方法只在3个数据集上获得了最佳分类结果。由于UCI数据库包含许多不同类型的数据源。
实验结果表明,本发明方法可以应用于除了人脸数据库以外的许多不同种类的数据分类问题上。
仿真3,图像分割
本发明选择了图3所示的三个人工纹理图像做图像分割测试,并将本发明与基于核稀疏表示的分类KSRC方法进行了对比,单独运行十次的平均分割正确率如表7所示,其中黑体表示该数据集上的最佳分类结果。在三个纹理图像上分割结果的平均值对比如图8所示。结果表明本发明的性能优于KSRC方法。
表6UCI数据集上识别错误率的均值及方差实验结果比较(单位:%)
Figure BDA00002260280000121
表7纹理图像上的分类正确率实验结果比较(单位:%)
  图像   KSRC   DLKSRC   RLKSRC   CIKSRC
  1   75.14±0.00   75.38±0.30   92.65±0.17   92.73±0.16
  2   92.30±0.00   92.44±0.17   94.39±0.03   94.60±0.27
  3   77.83±0.20   77.92±0.15   77.83±0.20   78.07±0.23
综上,本发明通过调整字典与重构误差在特征层的权重,有效地增强了字典与重构误差的类判别能力,提高了基于稀疏表示的分类器的分类正确率。

Claims (4)

1.一种基于特征权重学习与核稀疏表示的图像分类方法,包括:
(1)训练步骤
1a)输入训练集X'={X′1,X′2,...,X'C},其中X′p表示训练集中的第p类样本的集合,用非线性核映射将训练集X'中的样本映射到核空间,并用主成分分析PCA算法将其降维到核子空间中,得到核子空间中的训练集X={X1,X2,...,XC},其中Xp表示训练集中的第p类样本的集合p=1,2,...,C,C表示训练集中的样本类别数;
1b)在核子空间中,利用训练集X构造结构化字典D=(D1,D2,...,DC),其中Dp,p=1,2,...,C表示结构化字典中与训练子集Xp对应的子字典;
1c)求解训练子集Xp在字典D上的稀疏系数A,p=1,2,...,C;
1d)基于训练子集Xq、字典D、训练子集的稀疏系数A,利用非支配排序遗传算法NSGA-2从如下优化公式中,求得第p类子字典Dp的权重βp,p=1,2,...,C,q=1,2,...,C,
min β 1 , β 2 , . . . , β C Σ q = 1 C Σ q = p , p = 1 C | | X q - β p D p A p | | 2,1 max β 1 , β 2 , . . . , β C Σ q = 1 C Σ q ≠ p , p = 1 C | | X q - β p D p A p | | 2,1 ,
该式在字典的特征层加入权重影响因子βp,利用Fisher判别准则在最小化类内重构误差的同时最大化类间重构误差构造函数,通过优化该式求得第p类子字典的权重βp,p=1,2,...,C,式中,||·||2,1表示先按列计算矩阵2范数再计算行向量的1范数,Ap是稀疏系数A中对应第p个子字典的系数子集;
1e)基于训练子集Xq、字典D、训练子集的稀疏系数A,利用非支配排序遗传算法NSGA-2从如下优化公式中,求得第p类子字典Dp对应重构误差的权重ωp,p=1,2,...C,q=1,2,...,C,
min ω 1 , ω 2 , . . . , ω C Σ p = 1 C Σ q = p , q = 1 C | | ω p | X q - D p A p | | | 2,1 max ω 1 , ω 2 , . . . , ω C Σ p = 1 C Σ q ≠ p , q = 1 C | | ω p | X q - D p A p | | | 2,1 ,
该式在重构误差的特征层加入权重影响因子ωp,利用Fisher判别准则在最小化类内重构误差的同时最大化类间重构误差构造函数,通过优化该式求得第p类子字典对应的重构误差的权重ωp,p=1,2,...,C,式中,||·||2,1表示先按列计算2范数再计算行向量的1范数,Ap是稀疏系数A中对应第p类子字典的系数子集,ωp是对由第p类子字典对应的重构误差的权重;
(2)测试步骤
2a)用非线性核映射将测试样本y′映射到核空间中,并用主成分分析PCA算法将核空间中的测试样本y″映射到训练样本所在的核子空间中,得到核子空间中的测试样本y;
2b)求解测试样本y在字典D上的稀疏系数α,其中α=(α12,...,αC),αp是测试样本y在子字典Dp上的稀疏系数,p=1,2,...,C;
2c)根据训练步骤1d)得到的子字典的权重βp和训练步骤1e)得到的重构误差的权重ωp,计算测试样本y在第p类子字典上的重构误差rp(y),p=1,2,...,C,
rp(y)=||ωp|y-βpDpαp|||2
式中,||·||2表示计算矩阵的2范数;
2d)比较各类子字典Dp对测试样本y的重构误差rp(y),从中选择最小值,将其对应子字典Dp的类p作为测试样本y的分类结果,p=1,2,...,C。
2.根据权利要求1所述的系统,其特征在于,所述步骤1a)和步骤2a)中的非线性核映射,采用如下高斯核函数:
k(x,y)=exp(-t||x-y||2),
式中,||·||表示x和y的距离,exp(·)是指数函数,t>0是高斯核函数的参数,x和y表示任意两个图像。
3.根据权利要求1所述的系统,其特征在于,步骤1c)所述的求解训练子集Xp在字典D上的稀疏系数A,采用如下无约束的最小二乘法模型,通过同时最小化样本的重构误差与非零系数的个数得到稀疏系数A,
min A | | X p - DA | | 2,1 + λ | | A | | 1 ,
式中,D是字典,A是训练子集Xp的稀疏系数,||·||2,1表示先按列计算矩阵的2范数再计算向量的1范数,||·||1表示计算矩阵的1范数,λ是最小二乘法模型参数,λ∈(0,1)。
4.根据权利要求1所述的系统,其特征在于,步骤2b)所述的求解测试样本y的稀疏系数α,采用如下无约束的最小二乘法模型,通过同时最小化样本的重构误差与非零系数的个数得到稀疏系数α,
min α | | y - Dα | | 2 + λ | | α | | 1 ,
式中,D是字典,α是测试样本y的稀疏系数,||·||2表示计算矩阵的2范数,||·||1表示计算向量的1范数,λ是最小二乘法模型参数,λ∈(0,1)。
CN201210393790.5A 2012-10-16 2012-10-16 基于特征权重学习与核稀疏表示的图像分类方法 Expired - Fee Related CN102930301B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210393790.5A CN102930301B (zh) 2012-10-16 2012-10-16 基于特征权重学习与核稀疏表示的图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210393790.5A CN102930301B (zh) 2012-10-16 2012-10-16 基于特征权重学习与核稀疏表示的图像分类方法

Publications (2)

Publication Number Publication Date
CN102930301A true CN102930301A (zh) 2013-02-13
CN102930301B CN102930301B (zh) 2015-05-20

Family

ID=47645098

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210393790.5A Expired - Fee Related CN102930301B (zh) 2012-10-16 2012-10-16 基于特征权重学习与核稀疏表示的图像分类方法

Country Status (1)

Country Link
CN (1) CN102930301B (zh)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103177265A (zh) * 2013-03-25 2013-06-26 中山大学 基于核函数与稀疏编码的高清图像分类方法
CN103198305A (zh) * 2013-04-19 2013-07-10 江苏科技大学 一种人脸视频图像验证方法及其嵌入式实现装置
CN103745473A (zh) * 2014-01-16 2014-04-23 南方医科大学 一种脑组织提取方法
CN103761533A (zh) * 2014-01-21 2014-04-30 南京信息工程大学 基于核鉴别线性表示的分类方法
CN103984918B (zh) * 2014-04-21 2015-06-10 郑州轻工业学院 一种基于类内及类间变化的人脸图像识别方法
CN105393265A (zh) * 2013-07-12 2016-03-09 微软技术许可有限责任公司 人机交互学习中的主动特征化
CN105574475A (zh) * 2014-11-05 2016-05-11 华东师范大学 一种基于共同向量词典的稀疏表示分类方法
CN105608478A (zh) * 2016-03-30 2016-05-25 苏州大学 一种图像的特征提取与分类联合方法及系统
CN105740908A (zh) * 2016-01-31 2016-07-06 中国石油大学(华东) 基于核空间自解释稀疏表示的分类器设计方法
CN105760821A (zh) * 2016-01-31 2016-07-13 中国石油大学(华东) 基于核空间的分类聚集稀疏表示的人脸识别方法
CN105868796A (zh) * 2016-04-26 2016-08-17 中国石油大学(华东) 基于核空间的线性鉴别稀疏表示分类器的设计方法
CN106066994A (zh) * 2016-05-24 2016-11-02 北京工业大学 一种基于Fisher判别的稀疏表示的人脸识别方法
CN106251324A (zh) * 2016-05-09 2016-12-21 浙江大学 一种基于隐含核空间稀疏形状表示的目标分割方法
CN106529601A (zh) * 2016-11-16 2017-03-22 东北大学 基于稀疏子空间多任务学习的图像分类预测方法
CN107330912A (zh) * 2017-05-10 2017-11-07 南京邮电大学 一种基于多特征融合的稀疏表示的目标追踪方法
CN107832786A (zh) * 2017-10-31 2018-03-23 济南大学 一种基于字典学习的人脸识别分类方法
CN108805179A (zh) * 2018-05-24 2018-11-13 华南理工大学 一种基于人脸局部约束编码校准识别方法
CN109376706A (zh) * 2018-12-03 2019-02-22 苏州大学 基于鲁棒判别字典对学习的人脸识别方法、装置及介质
CN109726724A (zh) * 2018-12-21 2019-05-07 浙江农林大学暨阳学院 一种遮挡情况下水尺图像特征加权学习识别方法
CN109840914A (zh) * 2019-02-28 2019-06-04 华南理工大学 一种基于用户交互式的纹理分割方法
CN110070136A (zh) * 2019-04-26 2019-07-30 安徽工程大学 一种图像表示分类方法及其电子设备
CN110532950A (zh) * 2019-08-29 2019-12-03 中国科学院自动化研究所 基于微表情视频的视频特征提取方法、微表情识别方法
CN110543836A (zh) * 2019-08-16 2019-12-06 北京工业大学 一种面向彩色图像的车辆检测方法
CN110991226A (zh) * 2020-01-16 2020-04-10 常熟理工学院 基于重构模型的人体运动意向检测方法
CN112465042A (zh) * 2020-12-02 2021-03-09 中国联合网络通信集团有限公司 一种分类网络模型的生成方法及装置
CN112949749A (zh) * 2021-03-25 2021-06-11 辽宁科技大学 一种面向不平衡钢卷外形缺陷数据的分类方法
CN113156416A (zh) * 2021-05-17 2021-07-23 电子科技大学 一种基于多重核字典学习的未知目标判别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609681A (zh) * 2012-01-12 2012-07-25 北京大学 基于字典学习模型的人脸识别方法
CN102722712A (zh) * 2012-01-02 2012-10-10 西安电子科技大学 基于连续度的多尺度高分辨图像目标检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722712A (zh) * 2012-01-02 2012-10-10 西安电子科技大学 基于连续度的多尺度高分辨图像目标检测方法
CN102609681A (zh) * 2012-01-12 2012-07-25 北京大学 基于字典学习模型的人脸识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHEOLKON JUNG,LICHENG JIAO,ETC.: "Position-Patch Based Face Hallucination Using Convex Optimization", 《IEEE SIGNAL PROCESSING LETTERS》 *
宋相法,焦李成: "基于稀疏表示及光谱信息的高光谱遥感图像分类", 《电子与信息学报》 *

Cited By (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103177265A (zh) * 2013-03-25 2013-06-26 中山大学 基于核函数与稀疏编码的高清图像分类方法
CN103177265B (zh) * 2013-03-25 2016-09-14 中山大学 基于核函数与稀疏编码的高清图像分类方法
CN103198305A (zh) * 2013-04-19 2013-07-10 江苏科技大学 一种人脸视频图像验证方法及其嵌入式实现装置
CN103198305B (zh) * 2013-04-19 2016-04-27 江苏科技大学 一种人脸视频图像验证方法及其嵌入式实现装置
US9779081B2 (en) 2013-07-12 2017-10-03 Microsoft Technology Licensing, Llc Feature completion in computer-human interactive learning
CN105393265A (zh) * 2013-07-12 2016-03-09 微软技术许可有限责任公司 人机交互学习中的主动特征化
CN105393265B (zh) * 2013-07-12 2018-01-05 微软技术许可有限责任公司 人机交互学习中的主动特征化
US11023677B2 (en) 2013-07-12 2021-06-01 Microsoft Technology Licensing, Llc Interactive feature selection for training a machine learning system and displaying discrepancies within the context of the document
US10372815B2 (en) 2013-07-12 2019-08-06 Microsoft Technology Licensing, Llc Interactive concept editing in computer-human interactive learning
CN103745473B (zh) * 2014-01-16 2016-08-24 南方医科大学 一种脑组织提取方法
CN103745473A (zh) * 2014-01-16 2014-04-23 南方医科大学 一种脑组织提取方法
CN103761533A (zh) * 2014-01-21 2014-04-30 南京信息工程大学 基于核鉴别线性表示的分类方法
CN103984918B (zh) * 2014-04-21 2015-06-10 郑州轻工业学院 一种基于类内及类间变化的人脸图像识别方法
CN105574475B (zh) * 2014-11-05 2019-10-22 华东师范大学 一种基于共同向量词典的稀疏表示分类方法
CN105574475A (zh) * 2014-11-05 2016-05-11 华东师范大学 一种基于共同向量词典的稀疏表示分类方法
CN105760821A (zh) * 2016-01-31 2016-07-13 中国石油大学(华东) 基于核空间的分类聚集稀疏表示的人脸识别方法
CN105740908A (zh) * 2016-01-31 2016-07-06 中国石油大学(华东) 基于核空间自解释稀疏表示的分类器设计方法
CN105740908B (zh) * 2016-01-31 2017-05-24 中国石油大学(华东) 基于核空间自解释稀疏表示的分类器设计方法
CN105760821B (zh) * 2016-01-31 2017-06-06 中国石油大学(华东) 基于核空间的分类聚集稀疏表示的人脸识别方法
CN105608478A (zh) * 2016-03-30 2016-05-25 苏州大学 一种图像的特征提取与分类联合方法及系统
CN105868796B (zh) * 2016-04-26 2019-03-01 中国石油大学(华东) 基于核空间的线性鉴别稀疏表示分类器的设计方法
CN105868796A (zh) * 2016-04-26 2016-08-17 中国石油大学(华东) 基于核空间的线性鉴别稀疏表示分类器的设计方法
CN106251324A (zh) * 2016-05-09 2016-12-21 浙江大学 一种基于隐含核空间稀疏形状表示的目标分割方法
CN106251324B (zh) * 2016-05-09 2019-05-28 浙江大学 一种基于隐含核空间稀疏形状表示的目标分割方法
CN106066994A (zh) * 2016-05-24 2016-11-02 北京工业大学 一种基于Fisher判别的稀疏表示的人脸识别方法
CN106529601B (zh) * 2016-11-16 2019-10-11 东北大学 基于稀疏子空间多任务学习的图像分类预测方法
CN106529601A (zh) * 2016-11-16 2017-03-22 东北大学 基于稀疏子空间多任务学习的图像分类预测方法
CN107330912A (zh) * 2017-05-10 2017-11-07 南京邮电大学 一种基于多特征融合的稀疏表示的目标追踪方法
CN107330912B (zh) * 2017-05-10 2021-06-11 南京邮电大学 一种基于多特征融合的稀疏表示的目标追踪方法
CN107832786A (zh) * 2017-10-31 2018-03-23 济南大学 一种基于字典学习的人脸识别分类方法
CN107832786B (zh) * 2017-10-31 2019-10-25 济南大学 一种基于字典学习的人脸识别分类方法
CN108805179A (zh) * 2018-05-24 2018-11-13 华南理工大学 一种基于人脸局部约束编码校准识别方法
CN108805179B (zh) * 2018-05-24 2022-03-29 华南理工大学 一种基于人脸局部约束编码校准识别方法
CN109376706A (zh) * 2018-12-03 2019-02-22 苏州大学 基于鲁棒判别字典对学习的人脸识别方法、装置及介质
CN109726724A (zh) * 2018-12-21 2019-05-07 浙江农林大学暨阳学院 一种遮挡情况下水尺图像特征加权学习识别方法
CN109726724B (zh) * 2018-12-21 2023-04-18 浙江农林大学暨阳学院 一种遮挡情况下水尺图像特征加权学习识别方法
CN109840914B (zh) * 2019-02-28 2022-12-16 华南理工大学 一种基于用户交互式的纹理分割方法
CN109840914A (zh) * 2019-02-28 2019-06-04 华南理工大学 一种基于用户交互式的纹理分割方法
CN110070136A (zh) * 2019-04-26 2019-07-30 安徽工程大学 一种图像表示分类方法及其电子设备
CN110070136B (zh) * 2019-04-26 2022-09-09 安徽工程大学 一种图像表示分类方法及其电子设备
CN110543836A (zh) * 2019-08-16 2019-12-06 北京工业大学 一种面向彩色图像的车辆检测方法
CN110532950A (zh) * 2019-08-29 2019-12-03 中国科学院自动化研究所 基于微表情视频的视频特征提取方法、微表情识别方法
CN110991226A (zh) * 2020-01-16 2020-04-10 常熟理工学院 基于重构模型的人体运动意向检测方法
CN112465042A (zh) * 2020-12-02 2021-03-09 中国联合网络通信集团有限公司 一种分类网络模型的生成方法及装置
CN112465042B (zh) * 2020-12-02 2023-10-24 中国联合网络通信集团有限公司 一种分类网络模型的生成方法及装置
CN112949749A (zh) * 2021-03-25 2021-06-11 辽宁科技大学 一种面向不平衡钢卷外形缺陷数据的分类方法
CN112949749B (zh) * 2021-03-25 2023-08-25 辽宁科技大学 一种面向不平衡钢卷外形缺陷数据的分类方法
CN113156416B (zh) * 2021-05-17 2022-05-17 电子科技大学 一种基于多重核字典学习的未知目标判别方法
CN113156416A (zh) * 2021-05-17 2021-07-23 电子科技大学 一种基于多重核字典学习的未知目标判别方法

Also Published As

Publication number Publication date
CN102930301B (zh) 2015-05-20

Similar Documents

Publication Publication Date Title
CN102930301B (zh) 基于特征权重学习与核稀疏表示的图像分类方法
CN102663100B (zh) 一种两阶段混合粒子群优化聚类方法
CN108564129B (zh) 一种基于生成对抗网络的轨迹数据分类方法
CN106778853A (zh) 基于权重聚类和欠抽样的不平衡数据分类方法
CN104751469B (zh) 基于核模糊c均值聚类的图像分割方法
CN110795564B (zh) 一种缺少负例的文本分类方法
CN104298999B (zh) 基于递归自动编码的高光谱特征学习方法
CN105389583A (zh) 图像分类器的生成方法、图像分类方法和装置
CN104573729A (zh) 一种基于核主成分分析网络的图像分类方法
CN106295694A (zh) 一种迭代重约束组稀疏表示分类的人脸识别方法
CN106203483A (zh) 一种基于语义相关多模态映射方法的零样本图像分类方法
CN105868796A (zh) 基于核空间的线性鉴别稀疏表示分类器的设计方法
CN104778482A (zh) 基于张量半监督标度切维数约减的高光谱图像分类方法
CN110364264A (zh) 基于子空间学习的医疗数据集特征降维方法
CN103593674A (zh) 一种颈部淋巴结超声图像特征选择方法
CN105929113A (zh) 一种带子空间投影的电子鼻信号误差自适应学习方法
CN103020167A (zh) 一种计算机中文文本分类方法
CN107578063B (zh) 基于快速选取地标点的图像谱聚类方法
CN103473308B (zh) 基于最大间隔张量学习的高维多媒体数据分类方法
Wang et al. Hierarchical mixing linear support vector machines for nonlinear classification
CN104200134A (zh) 一种基于局部线性嵌入算法的肿瘤基因表数据特征选择方法
CN106203520B (zh) 基于深度相关向量机的sar图像分类方法
CN104573726B (zh) 基于四等分及各成分重构误差最优组合的人脸图像识别方法
CN106203515A (zh) 多准则融合应用于高维小样本数据特征选择的方法
CN102955946A (zh) 基于线性分类树和神经网络的两阶段快速分类器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150520

Termination date: 20201016