CN101295360A - 一种基于带权图的半监督图像分类方法 - Google Patents

Abstract

本发明涉及半监督图像分类技术，属于计算机多媒体技术领域，该方法包括：在对数字图像进行分割的基础上，提取区域特征并计算各个区域面积占整幅图像面积的比例；使用线性规划构建带权图；使用标签传播的方法在带权图上传递已标注图像的类别信息；最后根据类别信息传递的最终结果，对未标注图像进行分类。本方法使用线性规划构建带权图，其中需要设定的参数为近邻图像的数目，当该参数在较大的范围内变化时，使用本方法得到的图像分类结果比较稳定，从而有效地克服了基于高斯函数构建带权图的方法中参数对分类结果影响较大的问题。

Description

一种基于带权图的半监督图像分类方法

技术领域

本发明属于计算机多媒体技术领域，特别涉及半监督图像分类技术。

背景技术

数字图像是指以数字形式记录的图像信息。随着计算机科学和网络技术的发展，数字图像的数量正在以惊人的速度急剧增长，并且在人们日常生活中发挥着日益重要的作用。为了更好地处理和利用海量数字图像中包含的信息，需要对数字图像进行合理的分类。完全依靠人工对图像进行分类的方法费时费力，而且分类结果会受到分类人员主观性的影响。为了提高图像分类的速度和精度，基于内容的图像分类技术应运而生。

基于内容的图像分类的基本框架是：给定若干已经确定了其所属类别的图像(称为已标注图像)和若干没有确定其所属类别的图像(称为未标注图像)，在使用计算机自动抽取图像底层视觉特征的基础上，设计合适的分类方法，判断未标注图像所属的类别。

对于图像特征的抽取，最直接的方法是针对整幅图像提取其全局特征。但是，图像的语义往往是由图像中的物体表现出来的，而基于图像中物体的信息一般不能在全局特征中得以体现。为了尽量获取基于物体的信息，需要先将整幅图像分割成若干个区域，并在此基础之上抽取区域的特征。理想情况下，图像分割得到的每一个区域对应一个具有实际意义的物体。尽管现有技术并不能够达到理想的分割效果，而一般只能将图像分为许多具有相似底层视觉特征的区域，但是，使用区域特征对图像内容进行描述更加符合人类的视觉感知，因此，基于区域的图像分类技术一般可以获得更高的正确率。

基于区域的图像分类技术可以分为监督学习和半监督学习两大类。二者的主要区别在于：在分类器设计的过程中，监督学习方法着眼于充分利用已标注图像中的信息，而半监督学习方法则同时挖掘已标注图像和未标注图像中的信息。由于对未标注图像中蕴含的信息进行了合理利用，所以，一般来说，半监督图像分类技术可以取得更好的分类结果。在实际中，图像标注的工作通常需要人工来完成，已标注图像的数量往往是十分有限的；而相对而言，未标注图像的数量要多得多。只使用很少的已标注图像进行训练时，监督学习得到的分类器的性能往往是不稳定的，且一般不具有很好的推广能力。因此，监督图像分类技术的应用受到了很大的限制，而半监督图像分类技术往往更具实用价值。

基于带权图的方法是半监督图像分类技术中的重要组成部分，该类方法的基本内容是：构建一张用来表征所有图像之间关系的带权图，其中每一个结点对应一幅图像，连接两个结点的边的权重表示两幅图像之间的相似性；已标注图像的类别信息可以在带权图上进行传递，传递的结果可以为未标注图像提供有效的分类信息。图1示出了一张带权图，图中以圆圈表示结点，10个结点分别对应10幅图像I_i(1≤i≤10)；图中以两圆圈之间带箭头的连线表示两个结点之间的边，w_ij(1≤i≤10，1≤j ≤10，i≠j)表示由图像I_i对应结点到图像I_j对应结点的边的权重。在所有的10幅图像中，I₁，I₂为已标注图像且属于不同的图像类，其余8幅图像为未标注图像。合理利用带权图的信息，可以将I₁，I₂的类别信息传递给其余图像，从而确定其所属的类别。

在所有基于带权图的半监督图像分类方法中，带权图的构建都是极其重要的。由于和所有图像存在一一对应的关系，带权图结点数目的设置是显而易见的，因此，构建带权图的关键问题在于如何有效确定边的权重。现有的绝大多数方法都基于高斯(Gaussian)函数构建带权图，已有的一种半监督图像分类方法的流程如图2所示，其基本步骤如下：

1)对所有图像进行分割；

2)对所有图像分割后得到的区域，进行底层视觉特征的抽取；

3)计算每幅图像中各个区域面积占整幅图像面积的比例；

4)基于高斯函数使用公式(1)计算带权图中边的权重，并对计算出的边的权重进行标准化处理：

$w_{\mathrm{ij}}=\exp [-d_{\mathrm{EMD}}^2(I_i,I_j)/2{\mathrm{\σ}}^2]---\left(1\right)$

其中I_i，I_j为任意两幅图像，w_ij为由图像I_i对应结点到图像I_j对应结点的边的权重，

为两幅图像之间的泥土搬运距离(Earth Mover’s Distance，简称EMD)，是两幅基于区域表征的图像之间一种有效的距离度量，σ为高斯函数中的参数；

5)使用标签传播的方法在带权图上传递已标注图像的类别信息；

6)根据类别信息传递的最终结果，对未标注图像进行分类。

基于高斯函数构建带权图的方法简单易行，但是，F.Wang等人的文章“Labelpropagation through linear neighborhoods，”(《基于线性近邻的标签传播》)中指出，参数σ对分类结果有较大的影响，而且，目前还没有可靠的方法能够自动确定参数σ的合理取值。在上述文章中，F.Wang等人提出了基于近邻线性重构的思想来构建带权图的方法。但是，该方法只适用于图像特征长度相等的情况。对于基于区域的图像分类而言，不同图像分割后得到的区域数目往往是不同的，故不同图像的特征长度也是不同的，因此，直接使用近邻线性重构的方法是不可行的。

作为运筹学的一个重要分支，线性规划在实际中得到了广泛的应用。一般来说，线性规划问题指的是求线性目标函数在线性约束条件下的最大值或最小值的问题。包含n个决策变量x_j(1≤j≤n)和m个线性约束的线性规划问题的标准形式为：

$\underset{x_j}{\min }\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{c}_j{x}_j---\left(2\right)$

其中x_j(1≤j≤n)需要满足如下约束条件：

x_j≥0，1≤j≤n；    (3)

$\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{a}_{\mathrm{ij}}{x}_j=b_i,1\≤i\≤m.---\left(4\right)$

其中a_ij，b_i(b_i≥0)，c_j(1≤i ≤m，1≤j≤n)均为常数，m、n为自然数。

发明内容

本发明的目的是为克服已有技术的不足之处，提出一种基于带权图的半监督图像分类方法。本方法使用线性规划构建带权图，其中需要设定的参数为近邻图像的数目。当参数在较大的范围内变化时，使用本方法得到的图像分类结果比较稳定。

本发明提出的基于带权图的半监督图像分类方法，包括以下步骤：

1)对所有图像进行分割；

2)对所有图像分割后得到的区域，进行底层视觉特征的抽取；

3)计算每幅图像中各个区域面积占整幅图像面积的比例；

4)使用线性规划构建带权图；

5)使用标签传播的方法在带权图上传递已标注图像的类别信息；

6)根据类别信息传递的最终结果，对未标注图像进行分类。

本发明的特点及效果：

本发明提出一种基于带权图的图像分类方法，本方法使用线性规划构建带权图，其中需要设定的参数为近邻图像的数目。实验结果表明，使用该方法构建的带权图，当参数在较大的范围内变化时，得到的图像分类结果比较稳定，从而有效地克服了基于高斯函数构建带权图的方法中参数对分类结果影响较大的问题。

附图说明

图1为表征所有图像之间关系的带权图示例。

图2为已有的使用基于高斯函数的带权图构建方法进行图像分类的流程框图。

图3为使用本发明提出的带权图构建方法进行图像分类的流程框图。

图4为本发明提出的带权图构建方法的流程框图。

图5为实施例中的图像分割结果示例。

图6为实施例中得到的表征所有图像之间关系的带权图。

图7为使用基于高斯函数的带权图构建方法在参数的不同取值下得到的分类正确率。

图8为使用本发明提出的带权图构建方法在参数的不同取值下得到的分类正确率。

具体实施方式

本发明提出的一种基于带权图的半监督图像分类方法，结合附图及实施例详细说明如下：

本发明方法的流程如图3所示，包括以下步骤：

1)对所有图像进行分割：设一共有N幅图像，对每一幅图像I_m(1≤m≤N)进行分割得到n_m个区域，n_m为自然数；

2)对所有图像分割后得到的区域，进行底层视觉特征的抽取；

3)计算每幅图像中各个区域面积占整幅图像面积的比例；

使用区域属性的集合对图像I_m描述为： $\{(r_{m1},v_{m1}),(r_{m2},v_{m2}),...,(r_{\mathrm{mk}},v_{\mathrm{mk}}),...,(r_{m,n_m},v_{m,n_m})\},$ 其中r_mk(1≤k≤n_m)表示图像I_m中第k个区域的特征，v_mk(1≤k≤n_m)表示图像I_m中第k个区域的面积占整幅图像面积的比例；

4)使用线性规划构建带权图；

5)使用标签传播的方法在带权图上传递已标注图像的类别信息；

6)根据类别信息传递的最终结果，对未标注图像进行分类。

上述步骤4)的具体流程如图4所示，包括以下步骤：

41)选取第一幅图像I_m即令m＝1；

42)根据图像的区域特征和区域面积比例，计算图像I_m与其它所有图像之间的泥土搬运距离，记作d_EMD(I_m，I₁)，d_EMD(I_m，I₂)，…，d_EMD(I_m，I_k(k≠m))，…，d_EMD(I_m，I_N)；

43)根据步骤42)中计算出的泥土搬运距离确定与图像I_m之间距离最小的K幅近邻图像，记作 $\mathrm{KNN}\left(I_m\right)=\{I_{M_1},I_{M_2},...,I_{M_k}...,I_{M_K}\},$ 其中M_k(1≤k≤K)表示近邻图像的标号；

44)使用线性规划计算由该图像对应结点到其近今图像对应结点的边的权重：

设由图像I_m对应结点到图像 $I_{M_k}(1\≤k\≤K)$ 对应结点的边的权重为

r_mi和

之间的距离为 $d_k(i,j)(1\≤i\≤n_m,1\≤j\≤n_{M_k}),$ 基于下述线性规划问题计算

的值：

$\underset{f_k(i,j)}{\min }\left[\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\underset{i=1}{\overset{n_m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n_{M_k}}{\mathrm{\Σ}}}{f}_k(i,j)d_k(i,j)\right]---\left(5\right)$

其中，待求解的决策变量为 $f_k(i,j)(1\≤i\≤n_m,1\≤j{\≤n}_{M_k},1\≤k\≤K)$ 和 $w_{m,M_k}(1\≤k\≤K),$ 它们需要满足如下约束条件：

$f_k(i,j)\≥\mathrm{0,1}\≤i\≤n_m,1\≤j\≤n_{M_k},1\≤k\≤K;---\left(6\right)$

$w_{m,M_k}\≥\mathrm{0,1}\≤k\≤K;---\left(7\right)$

$\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\underset{j=1}{\overset{n_{M_k}}{\mathrm{\Σ}}}{f}_k(i,j)=v_{\mathrm{mi}},1\≤i\≤n_m;---\left(8\right)$

$\underset{i=1}{\overset{n_m}{\mathrm{\Σ}}}{f}_k(i,j)=w_{m,M_k}\·v_{M_k,j},1\≤j\≤n_{M_k},1\≤k\≤K;---\left(9\right)$

$\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{w}_{m,M_k}=1.---\left(10\right)$

45)如果 $I_k\∉\mathrm{KNN}\left(I_m\right),$ 则令由图像I_m对应结点到图像I_k对应结点的边的权重为w_mk＝0，即由图像I_m对应结点到图像I_k对应结点的边不存在；

46)选取下一幅图像，即m的取值加1，如果m≤N，则转至步骤42)，直至所有图像都被选取。

本发明的一种实施例选用标准图像库Corel中的沙滩(beach)和森林(forest)两类图像进行分类，每个图像类共包括6幅图像，每类取其中1幅为已标注图像，其余的5幅作为未标注图像。

本实施例包括以下步骤：

1)选用Y.Deng等人在文章“Color image segmentation”(《彩色图像分割》)中提出的基于J值的图像分割(JSEG)方法对所有12幅图像进行分割；

其中一幅图像的分割结果如图5所示，该图像被分割为3个区域，分别对应沙滩、小孩和塑料桶；

2)对所有图像分割后得到的区域，抽取共91维的区域特征，包括64维的颜色直方图、9维的颜色矩、10维的粗糙度向量和8维的方向度向量；

3)计算每幅图像中各个区域面积占整幅图像面积的比例；

图5所示图像分割结果中，对应于沙滩、小孩和塑料桶三个区域的面积占整幅图像面积的比例分别为：0.8935、0.0891和0.0174。

4)使用线性规划构建带权图，得到的带权图如图6所示；

5)分别使用1和-1作为沙滩和森林两类标注图像的原始类别标签，未标注图像的原始类别标签设为0。使用D.Zhou等人在文章“Learning with local and global consistency”(《基于局部和全局一致性的学习》)中提出的方法在带权图上进行类别标签传播；

6)判定类别标签传播的最终结果为正的未标注图像属于沙滩类，判定类别标签传播的最终结果为负的未标注图像属于森林类。

本实施例中，上述步骤4)的具体流程如图4所示，包括以下步骤：

41)令m＝1；

42)根据图像的区域特征和区域面积比例，计算图像I_m与其它所有图像之间的泥土搬运距离，记作d_EMD(I_m，I₁)，d_EMD(I_m，I₂)，…，d_EMD(I_m，I_k(k≠m))，…，d_EMD(I_m，I₁₂)；

43)根据步骤42)中计算出的泥土搬运距离确定与图像I_m之间的距离最小3幅近邻图像，记作 $\mathrm{KNN}\left(I_m\right)=\{I_{M_1},I_{M_2},I_{M_3}\},$ 其中M_k(1≤k≤3)表示近邻图像的标号；

44)设由图像I_m对应结点到图像 $I_{M_k}(1\≤k\≤3)$ 对应结点的边的权重为

r_mi和

之间的距离为 $d_k(i,j)(1\≤i\≤n_m,1\≤j\≤n_{M_k}),$ 基于下述线性规划问题计算

的值：

$\underset{f_k(i,j)}{\min }\left[\underset{k=1}{\overset{3}{\mathrm{\Σ}}}\underset{i=1}{\overset{n_m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n_{M_k}}{\mathrm{\Σ}}}{f}_k(i,j)d_k(i,j)\right]---\left(11\right)$

其中，待求解的决策变量为 $f_k(i,j)(1\≤i\≤n_m,1\≤j{\≤n}_{M_k},1\≤k\≤3)$ 和 $w_{m,M_k}(1\≤k\≤3),$ 它们需要满足如下约束条件：

$f_k(i,j)\≥\mathrm{0,1}\≤i\≤n_m,1\≤j\≤n_{M_k},1\≤k\≤3;---\left(12\right)$

$w_{m,M_k}\≥\mathrm{0,1}\≤k\≤3;---\left(13\right)$

$\underset{k=1}{\overset{3}{\mathrm{\Σ}}}\underset{j=1}{\overset{n_{M_k}}{\mathrm{\Σ}}}{f}_k(i,j)=v_{\mathrm{mi}},1\≤i\≤n_m;---\left(14\right)$

$\underset{i=1}{\overset{n_m}{\mathrm{\Σ}}}{f}_k(i,j)=w_{m,M_k}\·v_{M_k,j},1\≤j\≤n_{M_k},1\≤k\≤3;---\left(15\right)$

$\underset{k=1}{\overset{3}{\mathrm{\Σ}}}{w}_{m,M_k}=1.---\left(16\right)$

45)如果 $I_k\∉\mathrm{KNN}\left(I_m\right),$ 则令由图像I_m对应结点到图像I_k对应结点的边的权重为w_mk＝0，即由图像I_m对应结点到图像I_k对应结点的边不存在；

46)m的取值加1，如果m≤N，则转至步骤42)。

本发明方法与已有方法的实验结果比较

选用标准图像库Corel中的沙滩(beach)和森林(forest)两类图像进行分类，每个图像类共包括100幅图像，取其中2幅为已标注图像，其余的98幅作为未标注图像。

使用基于高斯函数构建带权图的方法，在参数σ的不同取值下，得到的分类正确率如图7所示。图中横坐标表示高斯函数中参数σ的取值，纵坐标表示图像分类的正确率。当0.1≤σ≤0.2时，分类正确率高于90％；当0.2≤σ≤0.3时，分类正确率急剧下降，从高于90％降至50％；当0.3≤σ≤1时，分类正确率只有50％。可见，分类结果受σ的影响较大；只有当σ在一较小的范围内取值时，才可以获得较好的图像分类效果。

在近邻图像数目的不同取值下，使用本发明提出的带权图构建方法得到的分类正确率如图8所示。图中横坐标表示近邻图像数目K的取值，纵坐标表示图像分类的正确率。当3≤K≤16时，分类正确率一直保持在90％左右。可见，当参数在较大的范围内变化时，图像分类的结果比较稳定。

Claims (2)

1、一种基于带权图的半监督图像分类方法，其特征在于，包括如下步骤：

1)对所有图像进行分割；

2)对所有图像分割后得到的区域，进行底层视觉特征的抽取；

3)计算每幅图像中各个区域面积占整幅图像面积的比例；

4)使用线性规划构建带权图；

5)使用标签传播的方法在带权图上传递已标注图像的类别信息；

6)根据类别信息传递的最终结果，对未标注图像进行分类。

2、如权利要求1所述的方法，其特征在于，所述步骤4)中使用线性规划构建带权图具体包括以下步骤：

41)设一共有N幅图像，对每一幅图像I_m(1≤m≤N)进行分割得到n_m个区域，n_m为自然数；

令m＝1；

42)使用区域属性的集合对图像I_m描述为：

$\{(r_{m1},v_{m1}),(r_{m2},v_{m2}),...,(r_{\mathrm{mk}},v_{\mathrm{mk}}),...,(r_{m,n_m},v_{m,n_m})\},$ 其中r_mk(1≤k≤n_m)表示图像I_m中第k个区域的特征，v_mk(1≤k≤n_m)表示图像I_m中第k个区域的面积占整幅图像面积的比例；

根据图像的区域特征和区域面积比例，计算图像I_m与其它所有图像之间的泥土搬运距离，记作d_EMD(I_m，I₁)，d_EMD(I_m，I₂)，…，d_EmD(I_m，I_k(k≠m))，…，d_EmD(I_m，I_N)；

43)根据步骤42)中计算出的泥土搬运距离确定与图像I_m之间距离最小的K幅近邻图像，记作 $\mathrm{KNN}\left(I_m\right)=\{I_{M_1},I_{M_2},...,I_{M_k}...,I_{M_K}\},$ 其中M_k(1≤k≤K)表示近邻图像的标号；

44)设由图像I_m对应结点到图像 $I_{M_k}(1\≤k\≤K)$ 对应结点的边的权重为

r_mi与

之间的距离为 $d_k(i,j)(1\≤i\≤n_m,1\≤j\≤n_{M_k}),$ 基于下述线性规划问题计算

的值：

$\underset{f_k(i,j)}{\min }\left[\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\underset{i=1}{\overset{n_m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n_{M_k}}{\mathrm{\Σ}}}{f}_k(i,j)d_k(i,j)\right]---\left(1\right)$

其中，待求解的决策变量为 $f_k(i,j)(1\≤i\≤n_m,1\≤j{\≤n}_{M_k},1\≤k\≤K)$ 和 $w_{m,M_k}(1\≤k\≤K),$ 它们需要满足如下约束条件：

$f_k(i,j)\≥\mathrm{0,1}\≤i\≤n_m,1\≤j\≤n_{M_k},1\≤k\≤K;---\left(2\right)$

$w_{m,M_k}\≥\mathrm{0,1}\≤k\≤K;---\left(3\right)$

$\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\underset{j=1}{\overset{n_{M_k}}{\mathrm{\Σ}}}{f}_k(i,j)=v_{\mathrm{mi}},1\≤i\≤n_m;---\left(4\right)$

$\underset{i=1}{\overset{n_m}{\mathrm{\Σ}}}{f}_k(i,j)=w_{m,M_k}\·v_{M_k,j},1\≤j\≤n_{M_k},1\≤k\≤K;---\left(5\right)$

$\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{w}_{m,M_k}=1.---\left(6\right)$

45)如果 $I_k\∉\mathrm{KNN}\left(I_m\right),$ 则令由图像I_m对应结点到图像I_k对应结点的边的权重为w_mk＝0，即由图像I_m对应结点到图像I_k对应结点的边不存在；

46)m的取值加1，如果m≤N，则转至步骤42)。

Images