CN107463528A

CN107463528A - 基于ks检验的高斯混合模型分裂与合并算法

Info

Publication number: CN107463528A
Application number: CN201710548892.2A
Authority: CN
Inventors: 陈亚瑞; 蒋硕然; 杨巨成; 赵希; 张传雷
Original assignee: Tianjin University of Science and Technology
Current assignee: Tianjin University of Science and Technology
Priority date: 2017-07-07
Filing date: 2017-07-07
Publication date: 2017-12-12

Abstract

本发明涉及一种基于KS检验的高斯混合模型分裂与合并算法，其主要技术特点是：通过将高斯混合模型子模型个数K随机赋值执行EM算法初始化高斯混合模型的参数，计算高斯混合模型的最小描述长度；分裂操作以熵比和KS检验作为子模型分裂的分裂判别准则，对满足分裂条件的子模型进行分裂并更新参数；合并操作以模型相似度和KS检验作为子模型对的合并判别准则，对满足合并条件的子模型对进行合并并更新参数；迭代分裂与合并操作，如果不再有子模型可分裂与合并，输出子模型个数与高斯混合模型参数。发明设计合理，能够在合并操作中能够阻止过度合并，消除了振荡现象，减少了迭代次数，并且估计的子模型个数接近实际值，提高了GMM参数的估计精度。

Description

基于KS检验的高斯混合模型分裂与合并算法

技术领域

本发明属于机器学习技术领域，是一种基于KS检验的高斯混合模型分裂与合并算法(KSGMM)。

背景技术

高斯混合模型(Gaussian Mixture Model，GMM)是有限个独立高斯模型的线性组合，每个样本点由其中的一个高斯模型产生。GMM广泛应用于模式识别、计算机视觉、机器学习和生物信息等领域，主要完成图像分割、聚类、概率密度函数构建等任务。EM算法(Expectation Maximization Algorithm)是求解GMM参数的一种重要方法，它是对带隐变量模型进行参数估计的常用方法。EM算法以似然函数为目标函数，通过迭代优化参数，每步迭代包含期望步(E步)和极大步(M步)，E步利用高斯模型参数计算隐变量的期望，M步根据隐变量的期望对高斯模型参数最大似然估计。但是，EM算法以似然函数为目标函数只考虑了数据拟合度，当子模型个数的初始设置过大时，算法估计的子模型个数大于实际值。

在GMM子模型个数选择的研究方面已有一些算法被提出，其中很重要的一类算法是以最短描述长度(Minimum Description Length，MDL)为目标函数的分裂与合并算法。MDL最早由香农提出，该准则通过平衡数据拟合度与模型复杂度建立可以精确描述对象的数学模型，通过最小化MDL避免选择过适应的模型。但该准则中模型复杂度的形式过于简单，不适用于子模型间样本数量不均衡的GMM。Takeuchi对MDL改进，使其更适应于此类不均衡的GMM，一类采用分裂和合并操作的GMM参数估计算法就以此版本的MDL为目标函数。YanLi提出以MDL作为目标函数的分裂与合并的EM算法(A Noval Split and Merge EMAlgorithm for Gaussian Mixture Model，SMEM)，其中以熵比作为子模型分裂与合并的判别准则，分裂与合并操作都要满足熵比增加且MDL减小。SMEM算法迭代执行分裂与合并操作，当无子模型分裂与合并时算法达到收敛，估计出GMM参数。SMEM算法通过分裂与合并操作提高了对子模型个数估计的精度，但熵比对稀疏或凹形子模型过于敏感，实际问题中这两类子模型是不应被分裂的。并且合并判别只能以遍历所有子模型对的方式确定，算法的计算量较大。针对合并搜索时计算量较大问题，Thiago提出以MDL为目标函数的进化分裂与合并EM算法(Evolutionary Split&Merge for Expectation Maximization，ESM-EM)，其中以KL散度作为子模型分裂的判别准则，以模型相似度作为子模型对合并的判别准则。待分裂子模型需满足KL散度最大且分裂后MDL减小，待合并子模型对需满足模型相似度最大且合并后MDL减小。算法的分裂与合并迭代过程与SMEM算法相似。合并操作以模型相似度为判别准则不需要遍历所有子模型对，相比于SMEM算法减少了计算量，但模型相似度判别的合并操作会破坏部分子模型的高斯分布形态。SMEM和ESM-EM算法中不适当的分裂或合并操作导致后续迭代需经过多次重复的分裂与合并，出现振荡现象，增大了迭代次数。

发明内容

本发明的目地在于克服现有技术的不足，提出一种基于KS检验的高斯混合模型分裂与合并算法，解决GMM样本中稀疏或凹形子模型的过度分裂以及不能符合高斯分布形态的过度合并问题。

本发明解决其技术问题是采取以下技术方案实现的：

一种基于KS检验的高斯混合模型分裂与合并算法，包括以下步骤：

步骤1、通过将高斯混合模型子模型个数K随机赋值执行EM算法初始化高斯混合模型的参数，计算高斯混合模型的最小描述长度；

步骤2、分裂操作以熵比和KS检验作为子模型分裂的分裂判别准则，对满足分裂条件的子模型进行分裂并更新参数；

步骤3、合并操作以模型相似度和KS检验作为子模型对的合并判别准则，对满足合并条件的子模型对进行合并并更新参数；

步骤4、迭代分裂与合并操作，如果不再有子模型可分裂与合并，输出子模型个数与高斯混合模型参数。

所述步骤2的具体实现方法为：计算GMM所有子模型的熵比，对熵比最小子模型k进行KS检验；如果k不满足KS检验，则将最小子模型k分裂为子模型k¹和k²，并执行EM算法更新k¹和k²的参数；若分裂后GMM的最小描述长度减小，则完成分裂，子模型个数K＝K-1，否则放弃分裂，讲k的熵比置为无穷大，继续寻找待分裂子模型。

在步骤2中，如果满足分裂条件的子模型为k，则分裂为k¹和k²的参数更新公式为：

其中，π_k、μ_k、Σ_k为分裂前子模型k的混合权重。将k分裂为k¹、k²，令它们的混合权重为和均值向量为协方差矩阵为

所述步骤3的具体实现方法为：计算两两子模型间相似度，将相似度最大子模型对{i,j}合并为i^new，执行EM算法更新i^new的参数，计算合并后GMM的最小描述长度；如果i^new满足KS检验且最小描述长度减小，则合并完成，子模型个数K＝K-1；否则放弃合并，将{i,j}的相似度置为无穷小，继续寻找待合并子模型对。

在步骤3中，如果满足合并条件的子模型对为{i,j}，则合并为i^new的参数更新公式为：

其中，待合并子模型对{i,j}的混合权重为π_i、π_j，均值为μ_i、μ_j，协方差均值为Σ_i、Σ_j。合并后子模型为i^new，均值和协方差矩阵为

本发明的优点和积极效果是：

本发明设计合理，其以MDL为目标函数，根据熵比和KS检验的分裂判别准则在分裂操作中能够保留GMM中的稀疏或凹形子模型，基于模型相似度和KS检验的合并判别准则在合并操作中能够阻止过度合并，消除了振荡现象，减少了迭代次数，并且估计的子模型个数接近实际值，提高了GMM参数的估计精度。

附图说明

图1为本发明所采用测试数据集的分布图；

图2为测试数据集的信息图；

图3为本发明与EM、SMEM和ESM-EM算法的聚类结果图；

图4为本发明与EM、SMEM和ESM-EM算法的判别准则图；

图5a至图5f分别为各种算法在训练数据集时，子模型个数在迭代过程中的变化图；

图6为各种算法最终的子模型个数选择对比图；

图7为各种算法在含有标签的数据集Aggregation和k2far上的测试精度对比图。

具体实施方式

以下结合附图对本发明实施例做进一步详述。

在本实施例中，首先对EM算法进行说明：

令X＝{x₁,x₂,......,x_N}为样本集，Z∈R^N×K为模型隐变量矩阵，Z_nk＝1代表第n个样本由第k个模型产生，γ∈R^N×K为权值矩阵，γ_nk表示第n个样本由第k个模型产生的概率p(Z_nk＝1)。

EM算法首先初始化子模型个数K、子模型均值μ＝{μ₁,μ₂,...,μ_K}、协方差矩阵Σ＝{Σ₁,Σ₂,...,Σ_K}及混合权重值π＝{π₁,π₂,...,π_K}。

E(Expectation)步，根据高斯模型参数μ,Σ,π，计算混合权重值；

其中N_k是由第k个模型产生的样本总数。

M(Maximum)步，根据E步得到的权值矩阵γ更新每个独立高斯模型的参数；

根据E、M步得到参数μ,Σ,γ，计算样本的似然函数值：

如果参数μ,Σ,π与P(X|μ,Σ,γ)收敛则停止迭代，否则返回E步。

GMM的MDL公式：

其中，D＝(d+d(d+1)/2)为d维高斯模型参数μ_k、Σ_k中元素个数。

KS检验公式如下：

其中，F_N(x_n)为由样本得到的经验高斯累积分布函数，F₀(x_n)是在理论高斯累积分布函数。

本发明的基于KS检验的高斯混合模型分裂与合并算法(KSGMM)，包括以下步骤：

步骤1、执行EM算法初始化高斯混合模型(GMM)的参数，计算高斯混合模型的最小描述长度。

在本步骤中，通过将高斯混合模型子模型个数K随机赋值执行EM算法，得到初始值K及GMM参数{μ,Σ,π}。

步骤2、分裂操作以熵比和KS检验作为子模型分裂的分裂判别准则，对满足分裂条件的子模型进行分裂并更新参数。

在本步骤中，计算GMM所有子模型的熵比，对熵比最小子模型k进行KS检验。如果k不满足KS检验，把k分裂为k¹和k²，并执行EM算法更新k¹和k²的参数，若分裂后GMM的最小描述长度减小则完成分裂，子模型个数K＝K-1。否则放弃分裂，把k的熵比置为无穷大。继续寻找待分裂子模型。

若满足分裂条件的子模型为k，分裂为k¹和k²的参数更新公式：

步骤3、合并操作以模型相似度和KS检验作为子模型对的合并判别准则，对满足合并条件的子模型对进行合并并更新参数。

在本步骤中，计算两两子模型间相似度，把相似度最大子模型对{i,j}合并为i^new，执行EM算法更新i^new的参数，计算合并后GMM的最小描述长度。如果i^new满足KS检验且最小描述长度减小，则合并完成，子模型个数K＝K-1。否则放弃合并，将{i,j}的相似度置为无穷小。继续寻找待合并子模型对。

若满足合并条件的子模型对为{i,j}，合并为i^new的参数更新公式：

步骤4、KSGMM算法迭代分裂与合并操作，如果不再有子模型可分裂与合并，结束算法；输出子模型个数与高斯混合模型参数。

为了验证本发明的效果，采用如图1、图2所示的测试数据集，分别采用本发明的算法与EM、SMEM和ESM-EM算法进行比较。分析结果如下：

根据图6给出的四种算法估计子模型个数可知，KSGMM在k2far、gaussian3、oldfaithful、sample1、simudata数据集上子模型个数的估计值与实际值一致，在Aggregation数据集上子模型个数的估计值为6，实际值为7。EM算法在simidata上的估计值和实际值相等，在Aggregation上的估计值小于实际值，在其它4个数据集上的估计值均大于实际值。ESM-EM、SMEM算法在所有数据集上的估计值都大于实际值。KSGMM算法给出最优子模型个数选择结果。

根据图3给出的四种算法的聚类结果可知，KSGMM算法把Aggregation中相互连接的两个子模型划分为1个子模型，在其它的数据集上均得到了正确的聚类结果。EM算法把Aggregation和simudata中紧密连接的子模型划分为1个子模型，把k2far、gaussian3、oldfaithful、simudata数据集中的稀疏样本划分为多个子模型。SMEM和ESM-EM算法把Aggregation中凹形和圆形区域内样本划分为2个子模型，把gaussian3、oldfaithful、sample1、simudata中稀疏样本划分为2个或多个子模型。

根据图5a至图5f给出的三种算法的迭代过程可以看出，KSGMM算法在Aggregation、k2far、gaussian3、sample1上的迭代次数都达到了最小，ESM-EM算法在Aggregation、gaussian3、sample1、simudata上存在振荡现象，SMEM算法在gaussian3上存在振荡现象。结合图3给出的算法聚类结果可知，容易出现振荡现象的数据集中含有稀疏或凹形子模型或分界模糊的子模型对。在SMEM算法迭代过程中，由于对稀疏或凹形子模型的分裂或对分界模糊子模型对的过度合并，会在下轮迭代中执行合并或分裂时消除上步的操作，导致振荡现象。

通过以上的分析，KSGMM算法的基于熵比和KS检验的分裂判别准则在分裂操作中能够保留GMM中的稀疏或凹形子模型，基于模型相似度和KS检验的合并判别准则在合并操作中能够阻止过度合并。消除了振荡现象，减少了迭代次数，并且估计的子模型个数接近实际值。

结合图2给出的数据集信息和图7给出的算法精度表进行分析可以看出：Aggregation数据集的子模型个数实际值是7，k2far数据集的子模型个数实际值为4。在Aggregation数据集上，KSGMM算法的子模型个数估计值与实际值相差1，训练精度达到了95％，测试精度为97.87％；ESM-EM算法的子模型个数估计值与实际值相差2，训练精度为70.17％，测试精度为77.66％；SMEM算法的子模型个数估计值与实际值相差2，训练精度为77.33％，测试精度为77.13％；EM算法的子模型个数估计值与实际值相差3，训练精度为66.54％，测试精度为66.89％。在k2far数据集上，KSGMM算法的子模型个数估计值与实际值一致，训练和测试精度都达到了100％；ESM-EM算法的子模型个数估计值与实际值相差1，训练精度是98.3％，测试精度是98.4％；SMEM算法的子模型个数估计值与实际值相差1，训练精度是97.57％，测试精度是98.1；EM算法估计值与实际值相差2，训练精度为90.67％，测试精度为96％。

通过以上算法的精度对比，子模型个数的选择对算法精度影响很大，算法选择的子模型个数越接近实际值，训练和测试的精度越高。KSGMM算法通过基于熵比和KS检验的分裂以及基于KS检验和模型相似度的合并估计的子模型个数最为接近实际值，提高了GMM参数的估计精度。

需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims

1.一种基于KS检验的高斯混合模型分裂与合并算法，其特征在于包括以下步骤：

2.根据权利要求1所述的基于KS检验的高斯混合模型分裂与合并算法，其特征在于：所述步骤2的具体实现方法为：计算GMM所有子模型的熵比，对熵比最小子模型k进行KS检验；如果k不满足KS检验，则将最小子模型k分裂为k¹和k²两个子模型，并执行EM算法更新k¹和k²的参数；若分裂后GMM的最小描述长度减小，则完成分裂，子模型个数K＝K-1，否则放弃分裂，讲k的熵比置为无穷大，继续寻找待分裂子模型。

3.根据权利要求2所述的基于KS检验的高斯混合模型分裂与合并算法，其特征在于：在步骤2中，如果满足分裂条件的子模型为k，则分裂为k¹和k²的参数更新公式为：

<mrow> <msub> <mo>&Sigma;</mo> <msup> <mi>k</mi> <mn>1</mn> </msup> </msub> <mo>=</mo> <mrow> <mo>(</mo> <msub> <mi>&pi;</mi> <msup> <mi>k</mi> <mn>2</mn> </msup> </msub> <mo>/</mo> <msub> <mi>&pi;</mi> <msup> <mi>k</mi> <mn>1</mn> </msup> </msub> <mo>)</mo> </mrow> <msub> <mo>&Sigma;</mo> <mi>k</mi> </msub> <mo>-</mo> <mn>0.25</mn> <msub> <mi>A</mi> <mi>k</mi> </msub> <msubsup> <mi>A</mi> <mi>k</mi> <mi>T</mi> </msubsup> </mrow>

<mrow> <msub> <mo>&Sigma;</mo> <msup> <mi>k</mi> <mn>2</mn> </msup> </msub> <mo>=</mo> <mrow> <mo>(</mo> <msub> <mi>&pi;</mi> <msup> <mi>k</mi> <mn>1</mn> </msup> </msub> <mo>/</mo> <msub> <mi>&pi;</mi> <msup> <mi>k</mi> <mn>2</mn> </msup> </msub> <mo>)</mo> </mrow> <msub> <mo>&Sigma;</mo> <mi>k</mi> </msub> <mo>-</mo> <mn>0.25</mn> <msub> <mi>A</mi> <mi>k</mi> </msub> <msubsup> <mi>A</mi> <mi>k</mi> <mi>T</mi> </msubsup> </mrow>

4.根据权利要求1所述的基于KS检验的高斯混合模型分裂与合并算法，其特征在于：所述步骤3的具体实现方法为：计算两两子模型间相似度，将相似度最大子模型对{i,j}合并为i^new，执行EM算法更新i^new的参数，计算合并后GMM的最小描述长度；如果i^new满足KS检验且最小描述长度减小，则合并完成，子模型个数K＝K-1；否则放弃合并，将{i,j}的相似度置为无穷小，继续寻找待合并子模型对。

5.根据权利要求4所述的基于KS检验的高斯混合模型分裂与合并算法，其特征在于：在步骤3中，如果满足合并条件的子模型对为{i,j}，则合并为i^new的参数更新公式为：

<mrow> <msub> <mi>&pi;</mi> <msup> <mi>i</mi> <mrow> <mi>n</mi> <mi>e</mi> <mi>w</mi> </mrow> </msup> </msub> <mo>=</mo> <msub> <mi>&pi;</mi> <mi>i</mi> </msub> <mo>+</mo> <msub> <mi>&pi;</mi> <mi>j</mi> </msub> </mrow> 1

<mrow> <msub> <mi>&Sigma;</mi> <msup> <mi>i</mi> <mrow> <mi>n</mi> <mi>e</mi> <mi>w</mi> </mrow> </msup> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <msub> <mi>&pi;</mi> <msup> <mi>i</mi> <mrow> <mi>n</mi> <mi>e</mi> <mi>w</mi> </mrow> </msup> </msub> </mfrac> <mo>{</mo> <msub> <mi>&pi;</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>&Sigma;</mi> <mi>i</mi> </msub> <mo>+</mo> <mo>(</mo> <mrow> <msub> <mi>&mu;</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>&mu;</mi> <msup> <mi>i</mi> <mrow> <mi>n</mi> <mi>e</mi> <mi>w</mi> </mrow> </msup> </msub> </mrow> <mo>)</mo> <mo>&times;</mo> <msup> <mrow> <mo>(</mo> <mrow> <msub> <mi>&mu;</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>&mu;</mi> <msup> <mi>i</mi> <mrow> <mi>n</mi> <mi>e</mi> <mi>w</mi> </mrow> </msup> </msub> </mrow> <mo>)</mo> </mrow> <mi>T</mi> </msup> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>&pi;</mi> <mi>j</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>&Sigma;</mi> <mi>j</mi> </msub> <mo>+</mo> <mo>(</mo> <mrow> <msub> <mi>&mu;</mi> <mi>j</mi> </msub> <mo>-</mo> <msub> <mi>&mu;</mi> <msup> <mi>i</mi> <mrow> <mi>n</mi> <mi>e</mi> <mi>w</mi> </mrow> </msup> </msub> </mrow> <mo>)</mo> <mo>&times;</mo> <msup> <mrow> <mo>(</mo> <mrow> <msub> <mi>&mu;</mi> <mi>j</mi> </msub> <mo>-</mo> <msub> <mi>&mu;</mi> <msup> <mi>i</mi> <mrow> <mi>n</mi> <mi>e</mi> <mi>w</mi> </mrow> </msup> </msub> </mrow> <mo>)</mo> </mrow> <mi>T</mi> </msup> <mo>)</mo> </mrow> <mo>}</mo> </mrow>