CN102496027B - 基于约束自适应传递的半监督图像分类方法 - Google Patents

Abstract

本发明公开了一种基于约束自适应传递的半监督图像分类方法，主要解决现有半监督图像分类方法的分类精度低，存在信息缺陷，运行时间不稳定的问题。其实现步骤是：(1)输入待分类的图像和对式约束集合；(2)构造最近邻集合；(3)构造相似度矩阵；(4)构造拉普拉斯矩阵；(5)构造对式约束权值矩阵；(6)解半正定规划；(7)聚类并输出结果。本发明具有分类精度较高，运行时间稳定的优点，有效的克服了现有半监督图像分类方法存在的核矩阵信息缺陷问题。

Description

基于约束自适应传递的半监督图像分类方法

技术领域

本发明属于图像处理领域，更进一步涉及机器学习领域的基于约束自适应传递的半监督图像分类方法。本发明是利用图像中已知的约束信息，通过核学习的方法将约束信息传递至整个图像集，提高图像分类的精度。可适用于商业、医学、军事等各大领域的图像分类，提高图像处理的精度和效率。

背景技术

数字图像是指以数字形式记录的图像信息。随着计算机科学技术和网络技术的发展，数字图像的数量正在以惊人的速度急剧增长，并且在人们日常生活中发挥着日益重要的作用。为了更好的处理和利用海量数字图像中包含的信息，需要对数字图像进行合理的分类。完全依靠人工对图像进行分类是不可能的，基于内容的数字图像分类技术应运而生。图像分类技术广泛应用于商业、医学、军事等各大领域，其中，对彩色图像进行分类可以应用于民用或者商业的网络搜索引擎，图像分类存储以及图像检索等，对遥感图像进行分类可以用于军事等重要领域。因其基础性和重要性，图像分类一直是图像处理领域一个热门研究方向。现有的图像分类方法根据先验知识的不同主要分为有监督分类方法，半监督分类和无监督方法，半监督图像分类方法是近几年提出的一种新的分类方法，半监督图像分类方法只需要少量的先验知识，因而在适应度上优于有监督分类方法，在分类精度上优于无监督分类方法。

武汉大学提出的专利申请“基于主动学习和半监督学习的多类图像分类方法”(申请号：201010184378.3，公开号：CN101853400A)公开了一种基于主动学习和半监督学习的多类图像分类方法。该方法首先利用人工分配少量标签，然后训练SVM分类器模型，再进行BvSB主动学习样本选择、CST半监督学习，更新分类器。该方法的不足之处是：需要人工进行标签分配，过程比较复杂，多次迭代训练SVM分类器模型，时间复杂度高。

Z.Li，J.Liu，和X.Tang在文章“Pairwise constraint propagation by semidefiniteprogramming for semi-supervised classification”(in：Proceedings of InternationalConference on Machine Learning，2008，pp.576-583)中提出的对式约束传递法(PCP)，该方法在构造半正定规划时将相连对式约束投影为1，将不相连对式约束投影为0，再通过解半正定规划将约束信息传递到整个核空间。该方法的不足之处是：分类的精度不高，容易产生信息缺陷问题，时间复杂度较大，且随着约束数量的增多时间复杂度增大。

E.Hu，S.Chen，D.Zhang，和X.Yin在文章“Semisupervised kemel matrix learning bykernel propagation”(IEEE Transactions on Neural Networks，vol.21，no.11，pp.1831-1841，2010)提出核传递法(KP)。该方法对对式约束传递法进行改进，提出先求取子核矩阵，再将子核矩阵传递到整个核矩阵。该方法的不足之处是：分类的精度和对式约束传递法相差不大，信息缺陷问题仍然存在，虽然时间复杂度比约束传递法低，但是仍然随着对式约束数量增大而增加。

发明内容

本发明的目的在于克服上述现有技术的不足，提出一种基于约束自适应传递的半监督图像分类方法，以提高分类的精度，克服信息缺陷问题，减少时间复杂度使分类所需的时间保持稳定。

实现本发明的技术思路是，通过构造半正定规划将待分类图像映射到核空间，在构造半正定规划中引入两个自适应逼近项，使得约束信息能够更加优化的传递到整个核空间，达到提高图像分类精度的目的。

为实现上述目的，本发明包括如下主要步骤：

(1)分别输入待分类的图像集合、相连对式约束集合、不相连对式约束集合、类别数。

(2)构造最近邻集合

2a)计算每个图像与其他图像间的欧式距离；

2b)寻找与每个图像距离最近的k个图像构成最近邻集合。

(3)构造相似度矩阵

3a)利用尺度参数公式计算每个图像的尺度参数；

3b)利用相似度公式计算相似度矩阵。

(4)构造拉普拉斯矩阵。

(5)构造对式约束权值矩阵

利用下面两式分别构造相连对式约束权值矩阵和不相连对式约束权值矩阵：

E_M＝∑_(i，j)∈M(e_i-e_j)(e_i-e_j)^T

E_C＝∑_(i，j)∈C(e_i-e_j)(e_i-e_j)^T

其中，E_M和E_C分别表示相连对式约束权值矩阵和不相连对式权值矩阵，M表示相连对式约束集，C表示不相连对式约束集，(i，j)∈M表示第i个图像与第j个图像属于相连对式约束集，(i，j)∈C表示第i个图像与第j个图像属于不相连对式约束集，e_i和e_j分别表示n×n的单位矩阵的第i列和第j列，n表示待分类图像数目，(.)^T表示求转置运算。

(6)利用解半正定规划工具SeDuMi，解如下半正定规划得到优化核矩阵：

$\underset{Z>0}{\min }\mathrm{Tr}\left(\mathrm{LZ}\right)+\mathrm{\αTr}\left(E_{M}Z\right)-\mathrm{\βTr}\left(E_{C}Z\right)$

s.t.z_ii＝1，(i＝1，2，...，n)

其中，min表示最小值，Z表示核矩阵，Tr(·)表示迹操作，L表示拉普拉斯矩阵，α和β为两个权值参数，其取值范围为[0.2，1.5]，E_M和E_C分别表示相连对式约束权值矩阵和不相连对式权值矩阵，s.t.表示约束，z_ii表示核矩阵的第i个对角元素，n表示待分类图像数目。

(7)利用K-means聚类工具，将优化核矩阵的各行聚为输入的类别数。

本发明与现有方法相比具有如下优点：

第一，本发明由于引入自适应逼近项，核矩阵得到更加充分的学习，克服了现有技术优化核矩阵不能充分体现对式约束的信息的不足，使得本发明提高了图像分类的精确度。

第二，本发明引入的自适应逼近项取代现有技术的硬约束，从而克服了现有技术偶尔出现的核矩阵信息缺陷问题，避免了极小分类精确度的出现。

第三，由于本发明中半正定约束项和核矩阵维数不随约束的增加而增加，因此其求解时间保持相对稳定，克服现有技术时间复杂度不稳定的问题。

附图说明

图1为本发明的流程图。

具体实施方式

下面结合附图1，对本发明实现的步骤作进一步的详细描述。

步骤1，分别输入待分类的图像集合、相连对式约束集合、不相连对式约束集合、类别数。

步骤2，构造最近邻集合

首先计算每个图像与其他图像间的欧式距离，欧式距离公式如下：

d_ij＝||x_i-x_j||₂

其中，d_ij表示第i个图像与第j个图像的欧式距离，x_i和x_j分别表示第i个图像和第j个图像的像素值，||.||₂表示二范数；

然后，寻找与每个图像距离最近的k个图像构成最近邻集合，k取值范围为7到10之间的整数。本发明实施例中待分类的图像数目不超过500，因此k取值为7，以取得最优最近邻集合。

步骤3，构造相似度矩阵

首先利用尺度参数公式计算每个图像的尺度参数，尺度参数公式如下：

${\mathrm{\σ}}_i=\frac{1}{k}{\mathrm{\Σ}}_{x_j\∈N_k\left(x_i\right)}{\left|\right|x_j-x_i\left|\right|}_2$

其中，σ_i表示第i个图像的尺度参数，k为图像的最近邻数目，其取值范围为7到10之间的整数，x_j表示第j个图像的像素值，N_k(x_i)为步骤(2)所得的第i个图像的k个最近邻图像的集合，||.||₂表示二范数，x_i表示第i个图像的像素值；

其次，利用相似度公式计算相似度矩阵，相似度公式如下：

其中，w_ij表示第i个图像和第j个图像的相似度，exp(.)表示指数函数，

表示二范数的平方，x_i表示第i个图像的像素值，x_j表示第j个图像的像素值，σ_i和σ_j分别表示第i和第j个图像的尺度参数，N_k(x_i)为步骤(2)所得的第i个图像的k个最近邻图像的集合。

步骤4，构造拉普拉斯矩阵

拉普拉斯矩阵根据如下公式计算得到：

L＝I-D^-1/2WD^-1/2

其中，L表示拉普拉斯矩阵，I表示单位矩阵，D表示度矩阵，其对角线元素

其他元素值为0，W_ij为步骤(3)所得相似度矩阵的第i行第j列元素，n为待分类图像数量。

步骤5，构造对式约束权值矩阵

利用下面两式分别构造相连对式约束权值矩阵和不相连对式约束权值矩阵：

E_M＝∑_(i，j)∈M(e_i-e_j)(e_i-e_j)^T

E_C＝∑_(i，j)∈C(e_i-e_j)(e_i-e_j)^T

其中，E_M和E_C分别表示相连对式约束权值矩阵和不相连对式权值矩阵，M表示相连对式约束集，C表示不相连对式约束集，(i，j)∈M表示第i个图像与第j个图像属于相连对式约束集，(i，j)∈C表示第i个图像与第j个图像属于不相连对式约束集，e_i和e_j分别表示n×n的单位矩阵的第i列和第j列，n表示待分类图像数目，(.)^T表示求转置运算。

步骤6，利用解半正定规划工具SeDuMi，解如下半正定规划得到优化核矩阵：

$\underset{Z>0}{\min }\mathrm{Tr}\left(\mathrm{LZ}\right)+\mathrm{\αTr}\left(E_{M}Z\right)-\mathrm{\βTr}\left(E_{C}Z\right)$

s.t.z_ii＝1，(i＝1，2，...，n)

其中，min表示最小值，Z表示核矩阵，Tr(·)表示迹操作，L表示拉普拉斯矩阵，α和β为两个权值参数，其取值范围为[0.2，1.5]，E_M和E_C分别表示相连对式约束权值矩阵和不相连对式权值矩阵，s.t.表示约束，z_ii表示核矩阵的第i个对角元素，n表示待分类图像数目。本发明实例中为得到最佳分类结果α和β分别取值0.6和0.4。

步骤7，利用K-means聚类工具，将优化核矩阵的各行聚为输入的类别数。

本发明的效果可以通过以下仿真实验做进一步的说明。

1.仿真条件

在CPU为Pentium(R)Dual-Core T43002.10GHZ、内存2G、WINDOWS 7系统上进行了仿真。

2.仿真内容

本发明所用的实验数据为图像分类方法中常用的验证数据，分别为：选自UCI数据集中的Iris和Wine数据(均为3类)，选自手写体数据集USPS和MNIST中的USPS0123和MNITST0123数据(均为4类)，以及选自人脸数据集CMU-PIE中第10-20组人脸和第22-23组人脸数据(均为2类)。所用的评估方法为归一化互信息(NMI)，NMI最小值为0最大值为1，归一化互信息越大表示分类的结果越好。实验中根据数据的类别数生成对式约束信息，对每组实验数据分别生成10组数量不断增加的对式约束信息，所有的方法在相同数据集上使用相同的约束信息。

本发明在公平的实验设置和实验环境下与现有的核传递KP和对式约束传递PCP方法进行仿真比较。具体实验结果如下表所示。

在Iris数据集上结果

在Wine数据集上结果

在USPS0123数据集上结果

在MNIST0123数据集上结果

在PIE10-20数据集上结果

在PIE22-23数据集上结果

从上表中明显可以看出，本发明方法在大部分数据集的各个约束中取得最大的归一化互信息，并且在所有数据集的平均结果中均得最大的归一化互信息，证明了本发明引入的自适应逼近项，使得核矩阵得到更加充分的学习，因此解半正定规划得到的优化核矩阵更能体现对式约束的信息，从而提高了图像分类的精确度。

在PIE10-20数据集上结果表和PIE22-23数据集上结果表中，可以看到核传递法和对式约束传递法在某些约束条件下，得到了很小的归一化互信息，而本发明技术均得到比较好的结果，证明了本发明克服了现有核传递法和对式约束传递法偶尔出现的核矩阵信息缺陷问题，避免了极小值的出现。

下表给出了本发明与现有技术核传递法和对式约束传递法在运行时间上的比较

从上表中可以看出，本发明方法运行时间趋于稳定，不随约束数量的增加而增大，从而克服了现有技术时间复杂度不稳定的问题。

Claims (5)

1.一种基于约束自适应传递的半监督图像分类方法，包括如下步骤：

(1)分别输入待分类的图像集合、相连对式约束集合、不相连对式约束集合、类别数；

(2)构造最近邻集合

2a)计算每个图像与其他图像间的欧式距离；

2b)寻找与每个图像距离最近的k个图像构成最近邻集合；

(3)构造相似度矩阵

3a)利用尺度参数公式计算每个图像的尺度参数；

3b)利用相似度公式计算相似度矩阵；

(4)构造拉普拉斯矩阵；

(5)构造对式约束权值矩阵

利用下面两式分别构造相连对式约束权值矩阵和不相连对式约束权值矩阵：

E_M＝∑_(i，j)∈M(e_i-e_j)(e_i-e_j)^T

E_C＝∑_(i，j)∈C(e_i-e_j)(e_i-e_j)^T

其中，E_M和E_C分别表示相连对式约束权值矩阵和不相连对式权值矩阵，M表示相连对式约束集，C表示不相连对式约束集，(i，j)∈M表示第i个图像与第j个图像属于相连对式约束集，(i，j)∈C表示第i个图像与第j个图像属于不相连对式约束集，e_i和e_j分别表示n×n的单位矩阵的第i列和第j列，n表示待分类图像数目，(.)^T表示求转置运算；

(6)利用解半正定规划工具SeDuMi，解如下半正定规划得到优化核矩阵：

$\underset{Z>0}{\min }\mathrm{Tr}\left(\mathrm{LZ}\right)+\mathrm{\αTr}\left(E_{M}Z\right)-\mathrm{\βTr}\left(E_{C}Z\right)$

s.t.z_ii＝1，(i＝1，2，...，n)

其中，min表示最小值，Z表示核矩阵，Tr(·)表示迹操作，L表示拉普拉斯矩阵，α和β为两个权值参数，其取值范围为[0.2，1.5]，E_M和E_C分别表示相连对式约束权值矩阵和不相连对式权值矩阵，s.t.表示约束，z_ii表示核矩阵的第i个对角元素，n表示待分类图像数目；

(7)利用K-means聚类工具，将优化核矩阵的各行聚为输入的类别数。

2.根据权利要求1所述的基于约束自适应传递的半监督图像分类方法，其特征在于：步骤2a)所述的欧式距离，根据如下公式来计算得到：

d_ij＝||x_i-x_j||₂

其中，d_ij表示第i个图像与第j个图像的欧式距离，x_i和x_j分别表示第i个图像和第j个图像的像素值，||.||₂表示二范数。

3.根据权利要求1所述的基于约束自适应传递的半监督图像分类方法，其特征在于：步骤3a)所述的尺度参数根据如下公式计算得到：

${\mathrm{\σ}}_i=\frac{1}{k}{\mathrm{\Σ}}_{x_j\∈N_k\left(x_i\right)}{\left|\right|x_j-x_i\left|\right|}_2$

其中，σ_i表示第i个图像的尺度参数，k为图像的最近邻数目，其取值范围为7到10之间的整数，x_j表示第j个图像的像素值，N_k(x_i)为步骤(2)所得的第i个图像的k个最近邻图像的集合，||.||₂表示二范数，x_i表示第i个图像的像素值。

4.根据权利要求1所述的基于约束自适应传递的半监督图像分类方法，其特征在于：步骤3b)所述的相似度矩阵，根据如下相似度公式计算得到：

其中，w_ij表示第i个图像和第j个图像的相似度，exp(.)表示指数函数，

表示二范数的平方，x_i表示第i个图像的像素值，x_j表示第j个图像的像素值，σ_i和σ_j分别表示第i和第j个图像的尺度参数，N_k(x_i)为步骤(2)所得的第i个图像的k个最近邻图像的集合。

5.根据权利要求1所述的基于约束自适应传递的半监督图像分类方法，其特征在于：步骤(4)所述的拉普拉斯矩阵，根据如下公式计算得到：

L＝I-D^-1/2WD^-1/2

其中，L表示拉普拉斯矩阵，I表示单位矩阵，D表示度矩阵，该矩阵只有对角线元素值非零，其他元素值均为零，对角线元素

W_ij为步骤(3)所得相似度矩阵的第i行第j列元素，n为待分类图像数量。

Images