CN102930301A - 基于特征权重学习与核稀疏表示的图像分类方法 - Google Patents

Abstract

本发明公开一种基于特征权重学习与核稀疏表示的图像分类方法。主要解决现有技术缺少特征层判别能力的问题。实现步骤为：将训练样本与测试样本映射到核空间；在核空间中构造结构化的字典，用该字典对训练样本和测试样本进行稀疏表示；通过Fisher判别准则，利用训练集的稀疏系数求解每类子字典的权重及对应重构误差的权重；根据字典权重和重构误差权重计算测试样本的重构误差；从各类子字典对测试样本的重构误差中选择最小值，将其对应子字典的类作为测试样本的分类结果。本发明可增强字典及重构误差在特征层的类判别能力，提高基于图像重构的分类器的性能，可用于人脸识别，图像分类，图像标记，图像检索和图像分割。

Description

基于特征权重学习与核稀疏表示的图像分类方法

技术领域

本发明属于图像处理技术领域，特别涉及基于核稀疏表示的分类方法，可用于对图像进行分类。

背景技术

图像分类是计算机视觉以及模式识别领域的主要课题之一。近些年来，稀疏表示方法被成功应用于图像分类。在基于稀疏表示的分类SRC方法中，测试样本首先由尽可能少的训练样本的线性组合来表示，之后通过比较各类数据对该测试样本的重建误差来寻找能够最好的线性表示该样本的类，将样本归入该类。杨等人在文章：FisherDiscrimination Dictionary Learning for Sparse Representation中提出了一个针对模式分类问题的基于SRC的FDDL模型。假设D＝(D¹,D²,...,D^C)是一个从训练集构造的结构化的字典，D^p是对应第p类数据的子字典。在字典学习过程中，根据Fisher判别准则使得样本在字典上的稀疏表示系数在最小化类内散度的同时最大化类间散度，则利用结构化字典中的每个子字典能更好的表示对应类的样本。Chiang等人在文章：Learning Component-level Sparse Representation Using Histogram Information for ImageClassification中提出了基于特征重要性学习的稀疏表示分类方法，将特征重要性作为子字典特征层的权重，衡量每个子字典用来表示对应类样本时在特征层上的类特异性；之后，每个子字典根据其上的特征重要性迭代更新以减少不重要的特征成分的影响。由于稀疏表示SR具有很好的重构样本的能力，所以SRC作为一种基于样本重构的分类方法能够提供很好的分类性能。然而，因为同一方向的样本在归一化后将会合而为一，使得这些SRC方法不能正确分类具有相同方向的样本。针对SRC方法的这一缺陷，张等在文章：kernel sparse representation-based classifier中提出了基于核稀疏表示的分类方法KSRC，用非线性的核映射将输入样本映射到高维的核空间中，分离了样本空间中方向相同的样本，使得核空间中的SRC分类器对于相同方向的样本的分类正确率得以提升。虽然KSRC方法能够提高SRC方法对于相同方向样本的分类性能，但是由于KSRC方法与SRC方法都没有利用训练样本在特征层上的类别信息，所以在特征层上它们都不具有图像判别能力，不能从特征层上对图像进行正确分类。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于特征权重学习与核稀疏表示的图像分类方法，以改善KSRC分类器，提高图像分类正确率。

实现本发明的技术思路是：在核子空间中通过训练集构造一个结构化的字典，其中每个子字典代表一类样本；根据每类训练集利用Fisher判别分析学习对应的子字典权重与重构误差权重；用所得的权重调整SRC分类器中的字典与重构误差，从而改进分类器，提高分类器的分类性能。

具体实现步骤如下：

(1)训练步骤

1a)输入训练集X'＝{X'¹,X′²，...,X'^C}，其中X′^p表示训练集中的第p类样本的集合，用非线性核映射将训练集X'中的样本映射到核空间，并用主成分分析PCA算法将其降维到核子空间中，得到核子空间中的训练集X＝{X¹,X²,...,X^C}，其中X^p表示训练集中的第p类样本的集合p＝1,2,...,C，C表示训练集中的样本类别数；

1b)在核子空间中，利用训练集X构造结构化字典D＝(D¹,D²,...,D^C)，其中D^p,p＝1,2，...,C表示结构化字典中与训练子集X^p对应的子字典；

1c)求解训练子集X^p在字典D上的稀疏系数A，p＝1,2，...,C；

1d)基于训练子集X^q、字典D、训练子集的稀疏系数A，利用非支配排序遗传算法NSGA-2从如下优化公式中，求得第p类子字典D^p的权重β^p，p＝1,2，...,C，q＝1,2,...,C，

$\left\{\begin{array}{c}\underset{{\mathrm{\β}}^1,{\mathrm{\β}}^2,...,{\mathrm{\β}}^C}{\min }\underset{q=1}{\overset{C}{\mathrm{\Σ}}}\underset{q=p,p=1}{\overset{C}{\mathrm{\Σ}}}{\left|\right|X^q-{\mathrm{\β}}^p{D}^p{A}^p\left|\right|}_{\mathrm{2,1}}\\ \underset{{\mathrm{\β}}^1,{\mathrm{\β}}^2,...,{\mathrm{\β}}^C}{\max }\underset{q=1}{\overset{C}{\mathrm{\Σ}}}\underset{q\≠p,p=1}{\overset{C}{\mathrm{\Σ}}}{\left|\right|X^q-{\mathrm{\β}}^p{D}^p{A}^p\left|\right|}_{\mathrm{2,1}}\end{array}\right.,$

该式在字典的特征层加入权重影响因子β^p，利用Fisher判别准则在最小化类内重构误差的同时最大化类间重构误差构造函数，通过优化该式求得第p类子字典的权重β^p，p＝1,2，...,C，式中，||·||_2,1表示先按列计算矩阵2范数再计算行向量的1范数，A^p是稀疏系数A中对应第p个子字典的系数子集；

1e)基于训练子集X^q、字典D、训练子集的稀疏系数A，利用非支配排序遗传算法NSGA-2从如下优化公式中，求得第p类子字典D^p对应重构误差的权重ω^p，p＝1,2,...C，q＝1,2,...,C，

$\left\{\begin{array}{c}\underset{{\mathrm{\ω}}^1,{\mathrm{\ω}}^2,...,{\mathrm{\ω}}^C}{\min }\underset{p=1}{\overset{C}{\mathrm{\Σ}}}\underset{q=p,q=1}{\overset{C}{\mathrm{\Σ}}}{\left|\right|{\mathrm{\ω}}^p|X^q-D^p{A}^p|\left|\right|}_{\mathrm{2,1}}\\ \underset{{\mathrm{\ω}}^1,{\mathrm{\ω}}^2,...,{\mathrm{\ω}}^C}{\max }\underset{p=1}{\overset{C}{\mathrm{\Σ}}}\underset{q\≠p,q=1}{\overset{C}{\mathrm{\Σ}}}{\left|\right|{\mathrm{\ω}}^p|X^q-D^p{A}^p|\left|\right|}_{\mathrm{2,1}}\end{array}\right.,$

该式在重构误差的特征层加入权重影响因子ω^p，利用Fisher判别准则在最小化类内重构误差的同时最大化类间重构误差构造函数，通过优化该式求得第p类子字典对应的重构误差的权重ω^p，p＝1,2,...,C，式中，||·||_2，1表示先按列计算2范数再计算行向量的1范数，A^p是稀疏系数A中对应第p类子字典的系数子集，ω^p是对由第p类子字典对应的重构误差的权重；

(2)测试步骤

2a)用非线性核映射将测试样本y映射到核空间中，并用主成分分析PCA算法将核空间中的测试样本映射到训练样本所在的核子空间中；

2b)求解测试样本y在字典D上的稀疏系数α，其中α＝(α¹,α²，...,α^C)，α^p是测试样本y在子字典D^p上的稀疏系数，p＝1,2，...,C；

2c)根据训练步骤1d)得到的子字典的权重β^p和训练步骤1e)得到的重构误差的权重ω^p，计算测试样本y在第p类子字典上的重构误差r_p(y)，p＝1,2，...,C，

r_p(y)＝||ω^p|y-β^pD^pα^p|||₂，

式中，||·||₂表示计算矩阵的2范数；

2d)比较各类子字典D^p对测试样本y的重构误差r_p(y)，从中选择最小值，将其对应子字典D^p的类p作为测试样本y的分类结果，p＝1,2，...,C。

本发明与现有的技术相比具有以下优点：

1、本发明由于在字典的特征层加入权重影响因子，提高了字典的类判别能力。

2、本发明由于在重构误差的特征层加入权重影响因子，提高了重构误差的类判别能力。

3、本发明由于将字典权重和重构误差权重有效的结合到分类器中，提高了基于稀疏表示的分类器SRC的分类正确率。

4、本发明由于利用Fisher判别准则将分类器学习问题构造为多个优化公式，在求解过程中同时优化多个公式，避免了将多个优化公式加权转化为单个优化公式带来的权值选择问题，避免了权值对分类器性能的约束，确保分类器具有更好的类判别能力。

仿真结果表明，本方法用于人脸识别、图像分类和图像分割，相比一般分类器能取得较高的分类正确率。

附图说明

图1是本发明的流程示意图；

图2是分别是本发明仿真所用的四个人脸图像库的人脸图像示例；

图3是本发明仿真所用的纹理图像及其真实分割结果；

图4是用本发明与已有5种分类方法分别在不同维数子空间上对图2中所示ORL图像库的识别错误率对比结果图示；

图5是用本发明与已有5种分类方法分别在不同维数子空间上对图2中所示UMIST图像库的识别错误率对比结果图示；

图6是用本发明与已有5种分类方法分别在不同维数子空间上对图2中所示CMU_PIE图像库的识别错误率对比结果图示；

图7是用本发明与已有5种分类方法分别在不同维数子空间上对图2中所示Extended_YaleB图像库的识别错误率对比结果图示；

图8是用本发明与已有KSRC方法在图3所示纹理图像上的分割正确率平均值对比示意图。

具体实施方式

参照图1，本发明的具体实施方式如下：

步骤1，输入训练集并将其映射到核子空间

首先，输入训练集X'＝{X'¹,X′²,...,X'^C}，其中X'^p表示训练集中的第p类样本的集合，p＝1,2,...,C，C表示训练集中的样本类别数；

其次，用非线性核映射即如下高斯核函数k(x,y)，将输入样本空间中训练集X′的样本映射到核空间，得到核空间中的训练集X″＝[k(x_i,x_j)]_n×n，

k(x，y)＝exp(-t||x-y||²)，

其中，x和y表示任意两个样本，||·||表示x和y的距离，exp(·)是指数函数，t＞0是高斯核的参数，本发明中将其设为的中值，是所有训练样本的均值，x_i和x_j分别是输入样本空间中训练集的第i个和第j个训练样本，i＝1,2,...,n，j＝1,2,...,n，n是训练集中样本的个数；

然后，用主成分分析PCA算法将核空间中的训练集X″再降维到核子空间中，得到核子空间中的训练集X＝{X¹,X²，...,X^C}，其中X^p表示训练集中的第p类样本的集合p＝1,2，...,C，C表示训练集中的样本类别数。

步骤2，构造结构化字典

基于分类的目的，假设D＝(D¹,D²，...,D^C)是一个从训练集得到的结构化的字典，D^p是对应第p类数据的子字典，p＝1,2,...,C，由于训练集本身是样本特征的完全表示，所以在本发明中使用核子空间中的训练集X作为初始字典，即D＝X。

步骤3，求解训练子集X^p在字典D上的稀疏系数A

本发明采用字典对样本稀疏表示的重构误差来度量样本与各类的相似性，在训练过程中首先要求得训练子集X^p在字典D上的稀疏系数A，本发明采用如下无约束的最小二乘法模型，通过同时最小化样本的重构误差与非零系数的个数得到稀疏系数A，

$\underset{A}{\min }{\left|\right|X^p-\mathrm{DA}\left|\right|}_{\mathrm{2,1}}+\mathrm{\λ}{\left|\right|A\left|\right|}_1,p=\mathrm{1,2},...,C,$

式中，D是字典，A是训练子集X^p的稀疏系数，||·||_2，1表示先按列计算矩阵的2范数再计算向量的1范数，||·||₁表示计算矩阵的1范数，λ是最小二乘法模型参数，λ∈(0,1)。

步骤4，求子字典D^p的权重β^p

本发明在子字典的特征层加入权重影响因子β^p，利用Fisher判别准则在最小化类内重构误差的同时最大化类间重构误差构造函数，求解权重影响因子β^p，即根据训练子集X^q、字典D、训练子集的稀疏系数A，利用非支配排序遗传算法NSGA-2从如下优化公式中，求得第p类子字典D^p的权重β^p，p＝1,2，...,C，q＝1,2,...,C，

$\left\{\begin{array}{c}\underset{{\mathrm{\β}}^1,{\mathrm{\β}}^2,...,{\mathrm{\β}}^C}{\min }\underset{q=1}{\overset{C}{\mathrm{\Σ}}}\underset{q=p,p=1}{\overset{C}{\mathrm{\Σ}}}{\left|\right|X^q-{\mathrm{\β}}^p{D}^p{A}^p\left|\right|}_{\mathrm{2,1}}\\ \underset{{\mathrm{\β}}^1,{\mathrm{\β}}^2,...,{\mathrm{\β}}^C}{\max }\underset{q=1}{\overset{C}{\mathrm{\Σ}}}\underset{q\≠p,p=1}{\overset{C}{\mathrm{\Σ}}}{\left|\right|X^q-{\mathrm{\β}}^p{D}^p{A}^p\left|\right|}_{\mathrm{2,1}}\end{array}\right.,$

式中，||·||_2,1表示先按列计算矩阵2范数再计算行向量的1范数，A^p是稀疏系数A中对应第p个子字典的系数子集。

步骤5，求子字典D^p对应重构误差的权重ω^p

本发明在重构误差的特征层加入权重影响因子ω^p，利用Fisher判别准则在最小化类内重构误差的同时最大化类间重构误差构造函数，求解权重影响因子ω^p，即根据训练子集X^q、字典D、训练子集的稀疏系数A，利用非支配排序遗传算法NSGA-2从如下优化公式中，求得第p类子字典D^p对应重构误差的权重ω^p，p＝1,2,...C，q＝1,2,..,C，

$\left\{\begin{array}{c}\underset{{\mathrm{\ω}}^1,{\mathrm{\ω}}^2,...,{\mathrm{\ω}}^C}{\min }\underset{p=1}{\overset{C}{\mathrm{\Σ}}}\underset{q=p,q=1}{\overset{C}{\mathrm{\Σ}}}{\left|\right|{\mathrm{\ω}}^p|X^q-D^p{A}^p|\left|\right|}_{\mathrm{2,1}}\\ \underset{{\mathrm{\ω}}^1,{\mathrm{\ω}}^2,...,{\mathrm{\ω}}^C}{\max }\underset{p=1}{\overset{C}{\mathrm{\Σ}}}\underset{q\≠p,q=1}{\overset{C}{\mathrm{\Σ}}}{\left|\right|{\mathrm{\ω}}^p|X^q-D^p{A}^p|\left|\right|}_{\mathrm{2,1}}\end{array}\right.,$

式中，||·||_2,1表示先按列计算2范数再计算行向量的1范数，A^p是稀疏系数A中对应第p类子字典的系数子集，ω^p是对由第p类子字典对应的重构误差的权重。

步骤6，输入测试样本y′并将其映射到核子空间

首先，输入测试样本y′；

其次，用非线性核映射将y′映射到核空间，得到核空间中的测试样本y″＝[k(x_i,y′)]_n×1，其中x_i是输入样本空间中训练集的第i个训练样本，i＝1,2，...,n，n是训练集中样本的个数；

然后，用主成分分析PCA算法将核空间中的测试样本y″映射到训练样本所在的核子空间中，得到核子空间中的测试样本y。

步骤7，求解测试样本y在D上的稀疏系数α

求解测试样本y的稀疏系数α，采用如下无约束的最小二乘法模型，通过同时最小化样本的重构误差与非零系数的个数得到稀疏系数α，

$\underset{\mathrm{\α}}{\min }{\left|\right|y-\mathrm{D\α}\left|\right|}_2+\mathrm{\λ}{\left|\right|\mathrm{\α}\left|\right|}_1,$

式中，D是字典，α是测试样本y的稀疏系数，||·||₂表示计算矩阵的2范数，||·||₁表示计算向量的1范数，λ是最小二乘法模型参数，λ∈(0,1)。

步骤8，计算测试样本的重构误差r_p(y)

本发明利用训练过程中得到的重构误差权重ω^p与子字典权重β^p改进分类决策准则，即在重构误差||y-D^pα^p||₂中加入了子字典权重β^p及重构误差权重ω^p，构成改进的重构误差r_p(y)，如下式，

r_p(y)＝||ω^p|y-β^pD^pα^p|||₂，p＝1,2，...,C，

该式分别用子字典权重β^p及重构误差权重ω^p调整字典与重构误差的特征层，通过提高字典与重构误差对样本的判别能力改善基于样本重构的分类器的性能，式中，||·||₂表示计算矩阵的2范数。

步骤9，输出分类结果

本发明采用基于重构的分类原理进行图像数据分类，因此通过比较各类子字典D^p对测试样本y的重构误差r_p(y)，从中选择最小值，将其对应子字典D^p的类p作为测试样本y的分类结果，p＝1,2，...,C。

本发明的效果可以通过以下实验进一步说明：

1.仿真条件：

在CPU为pentium(R)IV、3.19GHZ、内存3G、WINDOWS XP系统，Matlab7.10平台上进行了仿真。

2.仿真内容：

本发明利用两个权重因子ω^p和β^p改进SRC分类器，为说明字典权重β^p和重构误差ω^p对分类结果的影响，以下实验对比不仅包括5种经典方法，还包括单独使用字典权重β^p的核稀疏表示分类方法记为DLKSRC，单独使用重构误差ω^p的核稀疏表示分类方法记为RLKSRC，和结合了字典权重β^p与重构误差权重ω^p的核稀疏表示分类方法记为CIKSRC。以下实验分别将本发明应用于人脸识别、数据分类和图像分割领域。

仿真1，人脸识别

本发明选择了图2所示的四个人脸数据库做人脸识别，并将本发明与最近邻NN方法、最近子空间NS方法、支撑向量机SVM方法、基于稀疏表示的分类SRC方法和基于核稀疏表示的分类KSRC方法进行对比。由于人脸图像数据维数过大，实验中将图像映射到子空间中，分别在不同维数子空间中对比各个方法的图像分类性能。图2例举了每个人脸数据库中对应于同一对象的10幅图，分别是图2(a)所示的ORL数据库、图2(b)所示的UMIST数据库、图2(c)所示的CMU_PIE数据库以及图2(d)所示的Extended YaleB数据库。

①对图2(a)所示的ORL数据库，利用本发明与最近邻NN方法、最近子空间NS方法、支撑向量机SVM方法、基于稀疏表示的分类SRC方法和基于核稀疏表示的分类KSRC方法进行分类识别，分别在10，20，40，60，80，100，120，140，260，180，200维子空间对比各个方法的图像分类性能。每个方法在每个子空间上单独运行十次的平均识别错误率如表1所示。与其对应的维数-平均错误率曲线如图4所示。从表1及图4中可以看出在低维子空间中SRC方法比NN方法、NS方法及SVM方法性能差，KSRC方法比NN方法、NS方法、及SVM方法性能好，而本发明能够有效地提高KSRC方法的分类性能，尤其是在10维子空间中本发明的优越性非常明显。

②对图2(b)所示的UMIST数据库，利用本发明与最近邻NN方法、最近子空间NS方法、支撑向量机SVM方法、基于稀疏表示的分类SRC方法和基于核稀疏表示的分类KSRC方法进行分类识别，分别在10，20，40，60，80，100，120，140，260，180，200维子空间对比各个方法的图像分类性能。每个方法在每个子空间单独运行十次的平均识别结果错误率如表2所示。与其对应的维数-平均错误率曲线如图5所示。从表2及图5中可以看出在低维子空间中SRC方法比NN方法差、比NS方法及SVM方法性能好，KSRC方法比NN方法及SRC方法性能好，而本发明能够有效地提高KSRC方法的分类性能，尤其是在10维子空间中本发明的优越性非常明显。

表1ORL数据库上的平均识别错误率实验结果比较（单位：%）

维数	NN	NS	SVM	SRC	KSRC	DLKSRC	RLKSRC	CIKSRC
									10	58.20	51.75	58.35	60.80	16.60	12.00	12.50	11.50
20	36.70	30.25	37.20	38.25	8.50	6.50	6.50	6.50
									40	21.70	16.40	19.50	18.05	6.35	5.50	6.00	6.00
60	16.85	12.05	14.40	12.75	5.75	5.00	5.50	5.50
									80	15.35	11.60	12.35	10.20	5.50	5.00	5.00	5.00
100	12.90	10.20	11.25	9.50	5.40	6.00	6.00	6.50
									120	13.20	9.85	10.85	8.50	5.10	5.50	5.00	6.00
140	13.80	9.90	10.15	8.55	5.00	6.00	6.00	6.00
									160	12.35	9.55	9.40	7.90	5.15	5.50	5.50	5.50
180	12.20	8.85	9.25	7.60	5.00	6.00	5.50	5.50
									200	11.75	8.85	9.25	7.30	5.00	6.00	5.50	5.50

表2UMIST数据库上的平均识别错误率实验结果比较（单位：%）

维数	NN	NS	SVM	SRC	KSRC	DLKSRC	RLKSRC	CIKSRC
									10	24.65	29.65	35.85	28.03	6.20	5.28	4.58	4.23
20	10.67	11.73	15.85	12.11	3.35	3.17	2.82	2.82
									40	6.06	5.63	6.62	4.68	2.08	2.46	2.11	2.46
60	5.53	4.23	4.68	3.66	1.90	1.41	1.76	1.76
									80	4.68	3.66	3.77	2.99	1.48	1.41	1.76	1.76
100	4.54	3.77	3.31	2.89	1.30	1.41	1.76	1.76
									120	4.47	3.84	2.89	2.89	1.30	1.06	1.06	1.41
140	4.47	3.31	2.96	2.71	1.27	1.06	0.70	0.70
									160	4.12	3.56	2.39	2.64	1.34	1.06	1.06	1.06
180	4.12	3.94	2.43	2.89	1.23	1.06	0.70	1.06
									200	4.08	3.17	2.46	2.25	1.20	1.06	1.41	1.41

③对图2(c)所示的CMU_PIE数据库，利用本发明与最近邻NN方法、最近子空间NS方法、支撑向量机SVM方法、基于稀疏表示的分类SRC方法和基于核稀疏表示的分类KSRC方法进行分类识别，分别在10，20，40，60，80，100，120，140，260，180维子空间对比各个方法的图像分类性能。每个方法在每个子空间单独运行十次的平均识别结果错误率如表3所示。与其对应的维数-平均错误率曲线如图6所示。从表3及图6中可以看出在低维子空间中SRC方法比NS方法及SVM方法性能差，KSRC方法比NS方法及SVM方法性能好，而本发明能够有效地提高KSRC方法的分类性能，尤其是在10维子空间中本发明的优越性非常明显。

表3CMU_PIE数据库上的平均识别错误率实验结果比较（单位：%）

维数	NN	NS	SVM	SRC	KSRC	DLKSRC	RLKSRC	CIKSRC
									10	56.24	48.70	53.22	55.47	8.54	2.81	3.07	3.07
20	18.72	13.90	20.47	21.91	0.39	0.67	0.94	0.94
									40	2.67	2.18	3.96	2.15	0.01	0.27	0.27	0.27
60	0.80	0.87	1.30	0.56	0.00	0.27	0.27	0.27
									80	0.53	0.60	0.82	0.37	0.00	0.13	0.27	0.40
100	0.31	0.48	0.67	0.20	0.00	0.13	0.27	0.27
									120	0.20	0.21	0.25	0.08	0.00	0.13	0.27	0.27
140	0.13	0.21	0.32	0.08	0.00	0.13	0.13	0.13
									160	0.13	0.12	0.12	0.05	0.00	0.13	0.40	0.40
180	0.04	0.11	0.21	0.01	0.00	0.27	0.27	0.27

④对图2(d)所示的Extended_YaleB数据库，利用本发明与最近邻NN方法、最近子空间NS方法、支撑向量机SVM方法、基于稀疏表示的分类SRC方法和基于核稀疏表示的分类KSRC方法进行分类识别，分别在10，20，40，60，80，100，120，140，260，180，200维子空间对比各个方法的图像分类性能。每个方法在每个子空间单独运行十次的平均识别结果错误率如表4所示。与其对应的维数-平均错误率曲线如图7所示。从表4及图7中可以看出在低维子空间中SRC方法比NS方法性能差，KSRC方法比NS方法性能好，而本发明能够有效地提高KSRC方法的分类性能，尤其是在10维子空间中本发明的优越性非常明显。

表4Extended_YaleB数据库上的平均识别错误率实验结果比较（单位：%）

维数	NN	NS	SVM	SRC	KSRC	DLKSRC	RLKSRC	CIKSRC
									10	61.27	58.08	58.56	58.56	10.85	2.35	2.28	2.35
20	29.29	21.59	27.76	27.76	1.26	0.39	0.47	0.55
									40	9.41	3.96	7.57	7.57	0.44	0.39	0.39	0.39
60	4.64	1.50	3.12	3.12	0.39	0.39	0.39	0.39
									80	2.75	0.82	1.61	1.61	0.39	0.39	0.39	0.39
100	1.81	0.52	0.99	0.99	0.39	0.39	0.39	0.39
									120	1.36	0.53	0.78	0.78	0.39	0.39	0.39	0.39
140	1.26	0.42	0.66	0.66	0.39	0.39	0.39	0.39
									160	0.82	0.40	0.53	0.53	0.39	0.47	0.39	0.39
180	0.91	0.42	0.57	0.57	0.39	0.39	0.39	0.39
									200	0.80	0.41	0.46	0.46	0.39	0.39	0.47	0.39

仿真2，数据分类

选择了16个UCI数据集分别做数据分类测试，数据集信息如表5所示。

表5UCI数据集的相关信息

数据集	维数	类别数	样本数
				Heart	13	2	270
Bupa	6	2	345
				Ecoli	7	8	336
Glass	9	6	214
				Lenses	4	3	24
Lung_cancer	56	3	32
				Sonar	60	2	208
Pima_indians_diabetes	8	2	768
				Air	64	3	359
Vowel	10	11	528
				Breast_cancer	9	2	683
Diabetes	8	2	768
				Dermatology	33	6	366
Haberman	3	2	306
				Movement_libra	90	15	360
Vehicle	18	4	846

将本发明与最近邻NN方法、最近子空间NS方法、支撑向量机SVM方法、基于稀疏表示的分类SRC方法和基于核稀疏表示的分类KSRC方法，分别单独运行十次，其分类错误率平均值及方差如表6所示，其中黑体表示该数据集上的最佳分类结果。

从表6可以看出，本发明能够有效的提高核稀疏表示分类器的分类性能，尤其是在其中9个数据集上本发明相比其他5种方法获得了最好的分类结果，而与其相比SVM方法只在4个数据集上获得了最佳分类结果，SRC方法只在3个数据集上获得了最佳分类结果。由于UCI数据库包含许多不同类型的数据源。

实验结果表明，本发明方法可以应用于除了人脸数据库以外的许多不同种类的数据分类问题上。

仿真3，图像分割

本发明选择了图3所示的三个人工纹理图像做图像分割测试，并将本发明与基于核稀疏表示的分类KSRC方法进行了对比，单独运行十次的平均分割正确率如表7所示，其中黑体表示该数据集上的最佳分类结果。在三个纹理图像上分割结果的平均值对比如图8所示。结果表明本发明的性能优于KSRC方法。

表6UCI数据集上识别错误率的均值及方差实验结果比较（单位：%）

表7纹理图像上的分类正确率实验结果比较（单位：%）

图像	KSRC	DLKSRC	RLKSRC	CIKSRC
					1	75.14±0.00	75.38±0.30	92.65±0.17	92.73±0.16
2	92.30±0.00	92.44±0.17	94.39±0.03	94.60±0.27
					3	77.83±0.20	77.92±0.15	77.83±0.20	78.07±0.23

综上，本发明通过调整字典与重构误差在特征层的权重，有效地增强了字典与重构误差的类判别能力，提高了基于稀疏表示的分类器的分类正确率。

Claims (4)

1.一种基于特征权重学习与核稀疏表示的图像分类方法，包括：

(1)训练步骤

1a)输入训练集X'＝{X′¹,X′²,...,X'^C}，其中X′^p表示训练集中的第p类样本的集合，用非线性核映射将训练集X'中的样本映射到核空间，并用主成分分析PCA算法将其降维到核子空间中，得到核子空间中的训练集X＝{X¹,X²,...,X^C}，其中X^p表示训练集中的第p类样本的集合p＝1,2，...,C，C表示训练集中的样本类别数；

1b)在核子空间中，利用训练集X构造结构化字典D＝(D¹,D²，...,D^C)，其中D^p,p＝1,2，...,C表示结构化字典中与训练子集X^p对应的子字典；

1c)求解训练子集X^p在字典D上的稀疏系数A，p＝1,2，...,C；

1d)基于训练子集X^q、字典D、训练子集的稀疏系数A，利用非支配排序遗传算法NSGA-2从如下优化公式中，求得第p类子字典D^p的权重β^p，p＝1,2，...,C，q＝1,2，...,C，

$\left\{\begin{array}{c}\underset{{\mathrm{\β}}^1,{\mathrm{\β}}^2,...,{\mathrm{\β}}^C}{\min }\underset{q=1}{\overset{C}{\mathrm{\Σ}}}\underset{q=p,p=1}{\overset{C}{\mathrm{\Σ}}}{\left|\right|X^q-{\mathrm{\β}}^p{D}^p{A}^p\left|\right|}_{\mathrm{2,1}}\\ \underset{{\mathrm{\β}}^1,{\mathrm{\β}}^2,...,{\mathrm{\β}}^C}{\max }\underset{q=1}{\overset{C}{\mathrm{\Σ}}}\underset{q\≠p,p=1}{\overset{C}{\mathrm{\Σ}}}{\left|\right|X^q-{\mathrm{\β}}^p{D}^p{A}^p\left|\right|}_{\mathrm{2,1}}\end{array}\right.,$

该式在字典的特征层加入权重影响因子β^p，利用Fisher判别准则在最小化类内重构误差的同时最大化类间重构误差构造函数，通过优化该式求得第p类子字典的权重β^p，p＝1,2,...,C，式中，||·||_2,1表示先按列计算矩阵2范数再计算行向量的1范数，A^p是稀疏系数A中对应第p个子字典的系数子集；

1e)基于训练子集X^q、字典D、训练子集的稀疏系数A，利用非支配排序遗传算法NSGA-2从如下优化公式中，求得第p类子字典D^p对应重构误差的权重ω^p，p＝1,2,...C，q＝1,2,...,C，

$\left\{\begin{array}{c}\underset{{\mathrm{\ω}}^1,{\mathrm{\ω}}^2,...,{\mathrm{\ω}}^C}{\min }\underset{p=1}{\overset{C}{\mathrm{\Σ}}}\underset{q=p,q=1}{\overset{C}{\mathrm{\Σ}}}{\left|\right|{\mathrm{\ω}}^p|X^q-D^p{A}^p|\left|\right|}_{\mathrm{2,1}}\\ \underset{{\mathrm{\ω}}^1,{\mathrm{\ω}}^2,...,{\mathrm{\ω}}^C}{\max }\underset{p=1}{\overset{C}{\mathrm{\Σ}}}\underset{q\≠p,q=1}{\overset{C}{\mathrm{\Σ}}}{\left|\right|{\mathrm{\ω}}^p|X^q-D^p{A}^p|\left|\right|}_{\mathrm{2,1}}\end{array}\right.,$

该式在重构误差的特征层加入权重影响因子ω^p，利用Fisher判别准则在最小化类内重构误差的同时最大化类间重构误差构造函数，通过优化该式求得第p类子字典对应的重构误差的权重ω^p，p＝1,2，...,C，式中，||·||_2，1表示先按列计算2范数再计算行向量的1范数，A^p是稀疏系数A中对应第p类子字典的系数子集，ω^p是对由第p类子字典对应的重构误差的权重；

(2)测试步骤

2a)用非线性核映射将测试样本y′映射到核空间中，并用主成分分析PCA算法将核空间中的测试样本y″映射到训练样本所在的核子空间中，得到核子空间中的测试样本y；

2b)求解测试样本y在字典D上的稀疏系数α，其中α＝(α¹,α²,...,α^C)，α^p是测试样本y在子字典D^p上的稀疏系数，p＝1,2，...,C；

2c)根据训练步骤1d)得到的子字典的权重β^p和训练步骤1e)得到的重构误差的权重ω^p，计算测试样本y在第p类子字典上的重构误差r_p(y)，p＝1,2，...,C，

r_p(y)＝||ω^p|y-β^pD^pα^p|||₂，

式中，||·||₂表示计算矩阵的2范数；

2d)比较各类子字典D^p对测试样本y的重构误差r_p(y)，从中选择最小值，将其对应子字典D^p的类p作为测试样本y的分类结果，p＝1,2，...,C。

2.根据权利要求1所述的系统，其特征在于，所述步骤1a)和步骤2a)中的非线性核映射，采用如下高斯核函数：

k(x，y)＝exp(-t||x-y||²)，

式中，||·||表示x和y的距离，exp(·)是指数函数，t＞0是高斯核函数的参数，x和y表示任意两个图像。

3.根据权利要求1所述的系统，其特征在于，步骤1c)所述的求解训练子集X^p在字典D上的稀疏系数A，采用如下无约束的最小二乘法模型，通过同时最小化样本的重构误差与非零系数的个数得到稀疏系数A，

$\underset{A}{\min }{\left|\right|X^p-\mathrm{DA}\left|\right|}_{\mathrm{2,1}}+\mathrm{\λ}{\left|\right|A\left|\right|}_1,$

式中，D是字典，A是训练子集X^p的稀疏系数，||·||_2，1表示先按列计算矩阵的2范数再计算向量的1范数，||·||₁表示计算矩阵的1范数，λ是最小二乘法模型参数，λ∈(0,1)。

4.根据权利要求1所述的系统，其特征在于，步骤2b)所述的求解测试样本y的稀疏系数α，采用如下无约束的最小二乘法模型，通过同时最小化样本的重构误差与非零系数的个数得到稀疏系数α，

$\underset{\mathrm{\α}}{\min }{\left|\right|y-\mathrm{D\α}\left|\right|}_2+\mathrm{\λ}{\left|\right|\mathrm{\α}\left|\right|}_1,$

式中，D是字典，α是测试样本y的稀疏系数，||·||₂表示计算矩阵的2范数，||·||₁表示计算向量的1范数，λ是最小二乘法模型参数，λ∈(0,1)。

Images