CN103336842A - 一种基于聚类和投票机制的主动学习初始样本选择方法 - Google Patents

Abstract

本发明公开了一种基于聚类和投票机制的主动学习初始样本选择方法，具体步骤为：步骤一：输入整个数据集；步骤二：对数据集进行聚类得到多个簇；步骤三：用高斯混合模型对每个簇进行建模；步骤四：对每个簇，划定多个代表性区域；步骤五：对样本进行投票；步骤六：步骤一～步骤五重复进行多次；步骤七：根据投票结果选取初始训练样本。本发明具有良好的稳定性，本发明提出的方法能更好地提高主动学习算法的性能，且是对这方面研究的一个很好的补充。

Description

一种基于聚类和投票机制的主动学习初始样本选择方法

技术领域

本发明涉及一种主动学习初始样本选择方法，尤其涉及一种基于聚类和投票机制的主动学习初始样本选择方法。

背景技术

在模式识别领域，分类问题是一个很重要的研究方向。分类存在于众多学科中，比如图像分类、音频分类、网页分类等等。良好的分类依赖于一个训练良好的分类器，而分类器的好坏取决于训练样本的数量和质量。通常来说，训练样本的数量越多，越具有代表性，则训练的分类器的分类性能越高。在现实生活中，依靠手工标注来获得大量的训练样本是不现实的，因为手工标注需要耗费人们大量的时间和精力。比如说，在音频分类领域，为了检测语音信号，需要对音频片段进行语音和非语音的分类。如果采用手工标注，就需要对音频流中的众多音频片段进行逐一标注。由于音频文档中有的音频类的持续时间往往只有几秒钟，所以一段1小时长的音频流有可能会产生成千上万个音频片段。对这么多的音频片段进行手工标注将会非常耗时。

为了解决手工标注中的耗时问题，我们希望在手工标注的时候不要盲目标注，而只标注那些最有用的样本。基于以上思想，主动学习技术应运而生。主动学习是一个迭代的过程，其核心思想是挑选最有用的样本参与分类器的训练，以尽可能地减少手工标注的工作量。主动学习技术主要有三个技术环节：（1）主动学习初始训练样本的选择。初始训练样本在经过专家手工标注后，用于训练一个初始分类器，以启动主动学习；（2）采样策略的设计。用于选择信息含量大的样本，这些信息含量大的样本将交由专家进行手工标注；（3）停止准则的定义，以确定何时停止主动学习的迭代过程。

目前，研究人员多集中于研究采样策略的设计，即第（2）个技术环节，而忽略了对主动学习初始样本的选取研究（即第（1）个技术环节）。实际上，由于良好的初始训练样本能为主动学习提供一个良好的开端，所以初始训练样本的选择对主动学习的收敛速度有重要影响。都柏林理工学院的一项研究指出，目前，在主动学习方面，多数研究人员都是采用随机采样的方法来生成初始训练样本集，或者有的研究人员不指明初始训练样本集的获取方法，而是假设已经有了一个初始训练样本集。采用随机采样的方法生成初始训练样本集的理论背景是随机采样选择的样本的样本分布会和整个训练数据集的样本分布比较相似。但是上述理论成立的前提条件是初始训练样本的数目应当足够多。当初始训练样本集相对较小时，上述理论不再成立。在有关主动学习初始样本集选择的相关文献中，多数研究人员都采用聚类的方法来生成初始训练样本集。可见，聚类确实是一种选择初始训练样本的有效方法。比如，Zhu等人提出采用K均值方法对整个训练数据集进行聚类，然后取每个簇中距离质心最近的样本组成初始训练样本集。其它文献也有和Zhu等人的方法非常类似的方法，只不过和Zhu等人的方法相比，采用了不同的聚类方法对整个训练数据集进行聚类。上述众多基于聚类的初始训练样本选择方法的缺点是，由于采用的是单一聚类，聚类算法有可能不稳定，这种不稳定最终会导致生成的初始训练样本集的性能不稳定。以K均值聚类算法为例，该聚类算法对初始条件非常敏感，不同的的初始条件会产生不同的聚类结果，导致K均值聚类很容易陷入局部最优。如果K均值聚类结果不理想，则选择的初始样本也不具有代表性。为了克服这一问题，本发明提出综合多次聚类的结果进行初始训练样本的选取。

发明内容

本发明的目的就是为了解决上述问题，提出一种基于聚类和投票机制的主动学习初始样本选择方法，它具有更好的提高主动学习算法的性能和具有良好稳定性的优点。

为了实现上述目的，本发明采用如下技术方案：

一种基于聚类和投票机制的主动学习初始样本选择方法，具体步骤为：

步骤一：输入整个数据集：对数据集中每个样本提取特征，用提取的特征表示样本，所有的样本组成整个数据集；

步骤二：对整个数据集进行聚类得到多个簇；

步骤三：利用高斯混合模型对每个簇分别建模；

步骤四：利用高斯混合模型中的高斯混合分量对每个簇分别划定多个代表性区域；

步骤五：对每个簇中的每个样本，如果其位于相应的代表性区域中，则为其投上一票，否则不为其投票；

步骤六：多次重复步骤一至步骤五；

步骤七：得票最多的样本被选做初始训练样本，生成初始训练样本集。

所述步骤三的具体步骤为：

（3-1）对某个簇用高斯混合模型建模时，设高斯混合模型中有k个高斯混合分量；

（3-2）该簇的似然函数表述为：

$p\left(x\right|\mathrm{\θ})=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{\mathrm{\π}}_{i}N\left(x\right|{\mathrm{\μ}}_i,{\mathrm{\Σ}}_i)---\left(1\right)$

其中， $\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{\mathrm{\π}}_i=1,{\mathrm{\π}}_i\≥0,\∀i,$ i为自然数；    (2)

$N\left(x\right|{\mathrm{\μ}}_i,{\mathrm{\Σ}}_i)=\frac{1}{{\left(2\mathrm{\π}\right)}^{d/2}{\left|{\mathrm{\Σ}}_i\right|}^{1/2}}\×\exp (-\frac{1}{2}{(x-{\mathrm{\μ}}_i)}^T{{\mathrm{\Σ}}_i}^{-1}(x-{\mathrm{\μ}}_i))---\left(3\right)$

d是样本提取的特征的维数，π_i、μ_i、Σ_i分别是第i个高斯混合分量的权值系数、均值向量和协方差矩阵，θ={u₁,Σ₁;……;u_k,Σ_k}表示似然函数的参数；T代表矩阵的转置；x是似然函数的自变量。

所述协方差矩阵Σ_i是采用对角矩阵的形式。

所述步骤四的具体步骤为：

（4-1）对高斯混合模型中的每个高斯混合分量划定一个代表性区域；

（4-2）若整个高斯混合模型中含有k个高斯混合分量，则具有k个代表性区域，将k个代表性区域简记为{R₁,R₂…,R_k}，第i个代表性区域R_i是通过下式得到的：

R_i＝[μ_i-diag(Σ_i),μ_i+diag(Σ_i)]    (4)

其中，diag(﹒)表示取矩阵的对角元素，i为自然数。

所述步骤五的具体步骤为：

（5-1）对某个簇中的某个样本x，将其代入公式（3）

$N\left(x\right|{\mathrm{\μ}}_i,{\mathrm{\Σ}}_i)=\frac{1}{{\left(2\mathrm{\π}\right)}^{d/2}{\left|{\mathrm{\Σ}}_i\right|}^{1/2}}\×\exp (-\frac{1}{2}{(x-{\mathrm{\μ}}_i)}^T{{\mathrm{\Σ}}_i}^{-1}(x-{\mathrm{\μ}}_i))---\left(3\right)$

得到其对应于第i个高斯混合分量的概率值；

（5-2）高斯混合模型中含有k个高斯混合分量，即i的取值为1,……,k，i为自然数，因此样本x会得到k个概率值，记概率值为{p₁,p₂,…,p_k}；

（5-3）令

其中I表示具有最大概率值的高斯混合分量；

（5-4）设第I个高斯混合分量的代表性区域为R_I，若样本x位于区域R_I内，则为其投上一票，以标识样本x是一个潜在代表性样本；如果样本x位于区域R_I之外，则不为其投票；用数学语言可以表述如下：

其中，t代表第t次聚类，V_t(x)表示在第t次聚类时，样本x是否得到一票；

（5-4）设聚类共进行了T次，V(x)表示在T次聚类后样本x所得到的总票数，则V(x)表述为：

$V\left(x\right)=\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{V}_t\left(x\right)---\left(7\right)$

（5-5）将T次聚类后得到的票数最多的样本，即具有最大V(x)值得样本，选作初始训练样本。

本发明的有益效果：

1.与目前的基于聚类的主动学习初始样本选择方法都是采用单一聚类相比，本发明提出综合多次聚类结果进行样本选择，因此本发明的方法具有良好的稳定性。

2.和其它基于聚类的主动学习初始样本选择方法相比，本发明提出的方法能更好地提高主动学习算法的性能。

3.目前对主动学习初始样本选择的研究还很少，可以借鉴的方法不多，本发明提出的方法是对这方面研究的一个很好的补充。

4.聚类已广泛应用于各个学科领域，其不稳定性普遍存在。综合多次聚类的结果是克服不稳定性的一种有效途径。综合多次聚类结果的关键技术是如何将多次聚类的结果进行结合，本发明提出的结合方法是一种很好的借鉴。该方法可以被拓展应用于各个学科领域，而不局限于主动学习的初始样本选取。

附图说明

图1本发明提出的基于聚类和投票机制的主动学习初始样本选择方法的流程图；

图2代表性区域Ri的横截面示意图；

图3在RS、SBC、CV三种算法所选择的初始训练样本集下，分类器在不同人工标注数量下的平均分类性能对比；

图4在RS、SBC、CV三种算法所选择的初始训练样本集下，分类器在不同人工标注数量下的分类性能标准差对比。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

为了解决基于单一聚类的选择方法所存在的不稳定性问题，本申请提出综合多次聚类结果进行样本选择。如何综合利用多次聚类的结果是问题的关键，本申请提出采用如下方法来综合利用多次聚类结果：每次聚类后，对每个簇，划定多个代表性区域。如果簇内的某个样本位于其对应的代表性区域内，则为此样本投上一票，以标识其是一个潜在的代表性样本。多次聚类后，得票数量最多的样本被选作初始训练样本，生成初始训练样本集。下面结合附图和实施例对本发明作进一步说明。

如图1所示，（1）输入整个数据集；对数据集中的每个样本提取特征，用提取的特征表示样本，所有的样子组成整个数据集；

（2）对数据集进行聚类得到多个簇；目前的聚类方法有很多。本申请提出的方法中可以在多次聚类中都采用同一种聚类算法，也可以在不同聚类中采用不同的聚类方法；

（3）用高斯混合模型对每个簇进行建模；

对某个簇用高斯混合模型（Gaussian Mixture Model,GMM）进行建模时，假设GMM中有k个高斯混合分量，则其似然函数可表述为：

$p\left(x\right|\mathrm{\θ})=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{\mathrm{\π}}_{i}N\left(x\right|{\mathrm{\μ}}_i,{\mathrm{\Σ}}_i)---\left(8\right)$

其中， $\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{\mathrm{\π}}_i=1,{\mathrm{\π}}_i\≥0,\∀i---\left(9\right)$

$N\left(x\right|{\mathrm{\μ}}_i,{\mathrm{\Σ}}_i)=\frac{1}{{\left(2\mathrm{\π}\right)}^{d/2}{\left|{\mathrm{\Σ}}_i\right|}^{1/2}}\×\exp (-\frac{1}{2}{(x-{\mathrm{\μ}}_i)}^T{{\mathrm{\Σ}}_i}^{-1}(x-{\mathrm{\μ}}_i))---\left(10\right)$

d是样本提取的特征的维数。π_i、μ_i、Σ_i分别是第i个高斯混合分量的权值系数、均值向量和协方差矩阵，θ={u₁,Σ₁;……;uk,Σk}表示似然函数的参数。T代表矩阵的转置操作。x是似然函数的自变量，所述协方差矩阵Σ_i是采用对角矩阵的形式；

（4）对每个簇，划定多个代表性区域

对高斯混合模型中的每个高斯混合分量划定一个代表性区域，整个GMM模型中由于含有k个高斯混合分量，因此共具有k个代表性区域；这里将这k个代表性区域简记为{R₁,R₂…,R_k}。第i个代表性区域R_i是通过下式得到的：

R_i＝[μ_i-diag(Σ_i),μ_i+diag(Σ_i)]    (11)

其中，diag(﹒)表示取矩阵的对角元素；如图2给出了代表性区域R_i的横截面示意图；

（5）投票机制及初始训练样本的选取

对于某个簇中的某个样本x，将其代入公式（3）后可以得到其对应于每个高斯混合分量的概率值。GMM中有k个高斯混合分量，因此样本共有k个概率值，这里简记这些概率值为{p₁,p₂,…,p_k}。

令

I表示具有最大概率值的高斯混合分量；在GMM的训练过程中，样本x对具有最大概率值的第I个高斯混合分量的贡献最大，这说明样本x很大程度上服从第I个高斯混合分量的分布；由于第I个高斯混合分量的代表性区域为R_I，因此，如果样本x位于区域R_I内，则为其投上一票，以标识样本x是一个潜在代表性样本。如果样本x位于区域RI之外，则不为其投票。用数学语言可以表述如下：

其中t代表第t次聚类。V_t(x)表示在第t次聚类时，样本x是否得到一票；假设聚类共进行了T次，V(x)表示在T次聚类后样本x所得到的总票数，则V(x)可以表述如下：

$V\left(x\right)=\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{V}_t\left(x\right)---\left(14\right)$

将T次聚类后得到的票数最多的样本，即具有最大V(x)值得样本，选作初始训练样本；由于在每次聚类后，我们都为潜在的代表性样本投上一票，因此，得到的票数最多的样本意味着其是代表性样本的可能性最大。

为了证实本申请提出的方法的有效性，我们将其和随机采样(Random Sampling,RS)以及基于聚类的采样方法(Sampling By Clustering,SBC)进行了对比；为了在结果图中便于表示本文的算法，这里将本文算法简记为CV(Clustering and Voting)。由于初始训练样本集通常比较小，因此这里选用支持向量机作为分类器，因为支持向量机是解决小样本问题的最有效分类器之一。这里我们用分类器对音频文档中的语音和非语音片段进行分类。在多次聚类中都采用K均值聚类方法。实验所用的数据集取自于手机录制的长约2.75小时的音频文档。音频文档中记录了一个学生的日常生活，其中包括语音、音乐、脚步声等等。为了对语音和非语音进行分类，我们将音频文档中的音频片段标记为语音或非语音。对音频文档进行加窗分帧时，帧长和帧移分别为30毫秒和10毫秒。对每个帧提取短时能量、过零率等常用的音频特征。分类是以时长为1秒的音频片段为单位的。对每个音频片段，对其所包含的所有音频帧的特征求均值和方差，并提取了高过零率、低能量率等长时特征。将整个数据集分成两部分：训练数据集和测试集。从训练数据集中，首先选取一定数量的样本以生成主动学习的初始训练样本集；训练数据集中剩下的样本组成了未标注样本集。本申请采用的主动学习算法是Simon Tong提出的最为经典的支持向量机主动学习算法。实验对分别用RS、SBC、CV算法选取的初始训练集用于主动学习时，分类器在不同手工标注数量下的分类性能进行了对比。每项实验都运行了5次，用5次实验结果的平均值作为最终的实验结果。为了综合评价分类性能，这里采用F1评价准则。

为了公平起见，用RS,SBC和CV算法所选择的初始训练样本集的大小应当一致。对于CV算法，其所选择的初始训练样本集的大小难以提前预知。而对于RS和SBC来说，其所选择的初始训练样本集的大小比较容易控制。因此，实验中首先运行CV算法，在得到CV算法所选择的初始训练样本集的大小之后，再运行RS和SBC，要求RS和SBC所选择的初始训练样本集的大小和CV算法的一致。附图3给出了在三种算法所选择的初始训练样本集下，分类器在不同人工标注数量下的平均分类性能对比，即实验结果给出的是5次独立实验的平均值。附图4给出了在三种算法所选择的初始训练样本集下，分类器在不同人工标注数量下的分类性能标准差对比，即图4中给出了5次独立实验结果相对于均值的平均偏差。

从图3可见，在用本申请提出的算法，即CV算法，选择初始训练样本时，主动学习的性能最好，因此本文提出的主动学习初始训练样本的选择方法是非常有效的。从图4可见，SBC算法具有较大的标准差，尤其是在前几轮迭代中，这说明SBC具有较大的不稳定性。当聚类结果比较理想时，SBC能很好地选择到比较有代表性的样本；但是当聚类结果不理想时，则SBC所选择的样本的代表性就会大大降低。本申请提出的算法的标准偏差相对较小，这说明算法具有很好的稳定性。本申请算法之所以比较稳定是因为它综合了多次聚类结果进行样本选择，只有那些在多次聚类中多次被视作具有代表性的样本才能被选作代表性样本。显然，这种方法选择的样本具有很强的代表性。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (4)

1.一种基于聚类和投票机制的主动学习初始样本选择方法，其特征是，具体步骤为：

步骤一：输入整个数据集：对数据集中每个样本提取特征，用提取的特征表示样本，所有的样本组成整个数据集；

步骤二：对整个数据集进行聚类得到多个簇；

步骤三：利用高斯混合模型对每个簇分别建模；

步骤四：利用高斯混合模型中的高斯混合分量对每个簇分别划定多个代表性区域；

步骤五：对每个簇中的每个样本，如果其位于相应的代表性区域中，则为其投上一票，否则不为其投票；

步骤六：多次重复步骤一至步骤五；

步骤七：得票最多的样本被选做初始训练样本，生成初始训练样本集。

2.如权利要求1所述一种基于聚类和投票机制的主动学习初始样本选择方法，其特征是，所述步骤三的具体步骤为：

（3-1）对某个簇用高斯混合模型建模时，设高斯混合模型中有k个高斯混合分量；

（3-2）该簇的似然函数表述为：

$p\left(x\right|\mathrm{\θ})=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{\mathrm{\π}}_{i}N\left(x\right|{\mathrm{\μ}}_i,{\mathrm{\Σ}}_i)---\left(15\right)$

其中， $\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{\mathrm{\π}}_i=1,{\mathrm{\π}}_i\≥0,\∀i,$ i为自然数；    (16)

$N\left(x\right|{\mathrm{\μ}}_i,{\mathrm{\Σ}}_i)=\frac{1}{{\left(2\mathrm{\π}\right)}^{d/2}{\left|{\mathrm{\Σ}}_i\right|}^{1/2}}\×\exp (-\frac{1}{2}{(x-{\mathrm{\μ}}_i)}^T{{\mathrm{\Σ}}_i}^{-1}(x-{\mathrm{\μ}}_i))---\left(7\right)$

d是样本提取的特征的维数，π_i、μ_i、Σ_i分别是第i个高斯混合分量的权值系数、均值向量和协方差矩阵，θ={u₁,Σ₁;……;u_k,Σ_k}表示似然函数的参数，T代表矩阵的转置，x是似然函数的自变量；

所述协方差矩阵Σ_i是采用对角矩阵的形式。

3.如权利要求1所述一种基于聚类和投票机制的主动学习初始样本选择方法，其特征是，所述步骤四的具体步骤为：

（4-1）对高斯混合模型中的每个高斯混合分量划定一个代表性区域；

（4-2）若整个高斯混合模型中含有k个高斯混合分量，则具有k个代表性区域，将k个代表性区域简记为{R₁,R₂…,R_k}，第i个代表性区域R_i是通过下式得到的：

R_i＝[μ_i-diag(Σ_i),μ_i+diag(Σ_i)]    (18)

其中，diag(﹒)表示取矩阵的对角元素，i为自然数。

4.如权利要求1所述一种基于聚类和投票机制的主动学习初始样本选择方法，其特征是，所述步骤五的具体步骤为：

（5-1）对某个簇中的某个样本x，将其代入公式（3）

$N\left(x\right|{\mathrm{\μ}}_i,{\mathrm{\Σ}}_i)=\frac{1}{{\left(2\mathrm{\π}\right)}^{d/2}{\left|{\mathrm{\Σ}}_i\right|}^{1/2}}\×\exp (-\frac{1}{2}{(x-{\mathrm{\μ}}_i)}^T{{\mathrm{\Σ}}_i}^{-1}(x-{\mathrm{\μ}}_i))---\left(3\right)$

得到其对应于第i个高斯混合分量的概率值；

（5-1）高斯混合模型中含有k个高斯混合分量，即i的取值为1,……,k，i为自然数，因此样本x会得到k个概率值，记概率值为{p₁,p₂,…,p_k}；

（5-2）令

其中I表示具有最大概率值的高斯混合分量；

（5-3）设第I个高斯混合分量的代表性区域为R_I，若样本x位于区域R_I内，则为其投上一票，以标识样本x是一个潜在代表性样本；如果样本x位于区域R_I之外，则不为其投票；用数学语言可以表述如下：

其中，t代表第t次聚类，V_t(x)表示在第t次聚类时，样本x是否得到一票；

（5-4）设聚类共进行了T次，V(x)表示在T次聚类后样本x所得到的总票数，则V(x)表述为：

$V\left(x\right)=\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{V}_t\left(x\right)---\left(21\right)$

（5-5）将T次聚类后得到的票数最多的样本，即具有最大V(x)值的样本，选作初始训练样本。

Images