CN115455670A - 一种基于高斯混合模型的非高斯噪声模型建立方法 - Google Patents

Abstract

本发明提出了一种基于高斯混合模型的非高斯噪声模型建立方法，首先建立基于概率密度函数的高斯混合模型GMM，得到参数向量的迭代公式；再以最短描述长度MDL为目标函数，通过合并分裂方法SMEM确定混合分量数，估计出高斯混合模型GMM参数；最终根据高斯混合模型GMM和估计出高斯混合模型GMM参数，通过EM算法和KL三都，得到GMM模型参数，完成高斯混合模型；本发明以KL散度为子模型分裂的判别准则，以模型相似度为子模型合并的判别准则，对KL散度最大且分裂后MDL减小的子模型进行分裂，对模型相似度最大并且合并后MDL值减小的子模型对进行合并；以此来控制混合分量数的数量；合并操作以模型相似度为判别准则不需要遍历所有子模型，减少了计算量。

Description

一种基于高斯混合模型的非高斯噪声模型建立方法

技术领域

本发明属于噪声测量技术领域，具体地，涉及一种基于高斯混合模型的非高斯噪声模型建立方法。

背景技术

高斯白噪声模型是描述量测噪声的一个重要模型，由于其数学形式简单、适用范围广、通用性强，在机动目标跟踪领域得到了广泛应用。然而，在特殊物理条件下高斯白噪声模型不再适用，例如临近空间内高速飞行器与大气摩擦产生包裹等离子鞘，极大改变了探测噪声特性，此时应用高斯白噪声模型进行机动目标跟踪已经无法保证跟踪滤波的精度。因此需要开展非高斯噪声探测误差建模方法研究。

概率密度函数反映了连续型随机变量的概率分布，是描述探测误差的有力手段，同时在信号处理领域，高斯混合模型可以以任意精度逼近任意的概率密度函数。

发明内容

本发明使用概率密度函数描述传感器探测误差，即采用高斯混合模型匹配探测误差概率密度函数，提出了一种基于高斯混合模型的非高斯噪声模型建立方法。

本发明通过以下技术方案实现：

一种基于高斯混合模型的非高斯噪声模型建立方法：

所述方法具体包括以下步骤：

步骤一、建立基于概率密度函数的高斯混合模型GMM，得到参数向量的迭代公式；

步骤二、以最短描述长度MDL为目标函数，通过合并分裂方法SMEM确定混合分量数，估计出高斯混合模型GMM参数；

步骤三、根据步骤一建立的高斯混合模型GMM和步骤二估计出高斯混合模型GMM参数，通过EM算法和KL散度，得到GMM模型参数，完成高斯混合模型。

进一步地，在步骤一中，

从一个概率密度函数中独立抽样，得到数据点X＝{x¹,x²,…,x^N}；

所述概率密度函数为几个高斯函数的线性组合：

其中，加权系数α_j需要满足：

公式中G(xⁱ；μ_j,Σ_j)为高维高斯函数，其表达式为：

构建公式中的概率密度函数后，通过最大期望算法EM由观测的数据点求混合模型中的参数：Θ＝{Θ₁,Θ₂,…,Θ_j,…Θ_K}，其中，Θ_j＝{α_j,μ_j,Σ_j}。

进一步地，在步骤一中，

将步骤一中概率密度函数的完整数据集记为{X,Y}，标记数据Y＝{y¹,y²,…,yⁱ,…,y^N}，其中

是一个2值化向量且只有一个元素为1，其余都为0；

基于完整数据集{X,Y}建立辅助Q函数E-step，得到基于完整数据集{X,Y}的似然函数关于隐藏变量Y的条件期望，如下所示：

Q(Θ；Θ^t)＝E_Y[logp(X,Y；Θ∣X,Θ^t)] (1.4)

增加Q函数的值，将Q函数最大值所对应的参数作为下一组参数Θ^t+1的取值M-step，即

得到下一组参数

关于X和Θ^t的表达式，其中，每一个高斯成员的参数

为

其中

公式和公式即为关于参数向量的迭代公式，记为Θ^t+1＝f(Θ^t,X)。

进一步地，在步骤二中，

以最短描述长度MDL为目标函数，通过合并分裂方法SMEM，得到高斯混合模型中的混合分量数；

其中，样本的似然表示数据拟合度，模型的描述长度表示模型复杂度；

MDL的公式如下：

式中，X为样本集，θ为模型参数，D是模型参数的元素个数，K是模型个数，N是样本总量，α_k为第k个模型中样本比例；

结合式高斯混合模型GMM的概率分布，得到高斯混合模型GMM的MDL公式为：

式中D＝(d+d(d+1)/2)为d维高斯模型参数μ_k,Σ_k中元素的个数。

进一步地，在步骤二中，

所述合并分裂方法SMEM以最短描述长度MDL为目标函数，包括分裂操作与合并操作；

首先执行最大期望算法EM，初始化子模型个数和高斯混合模型GMM参数，并计算最短描述长度MDL值；

所述分裂操作以KL散度作为子模型分裂的判别准则，合并操作以模型相似度作为子模型对合并的判别准则，对分裂或合并后的子模型执行最大期望算法EM更新参数，迭代执行分裂与合并操作至没有子模型可分裂与合并为止，给出子模型个数和GMM参数。

进一步地，在步骤二中，

所述分裂操作以KL散度为子模型分裂的判别准则，对KL散度最大且分裂后MDL减小的子模型进行分裂；

离散随机变量X的取值为X＝{x₁,x₂,…,x_n}，而对应的概率为p_i＝p(X＝x_i)，则随机变量X的熵定义为：

有两个随机变量P、Q，且其概率分布分别为p(x)、q(x)，则p相对q的相对熵为：

因此，KL散度或相对熵可通过下式得出：

对每个模型进行KL散度判断，KL散度最大的模型对于其所处的局部数据估计结果最差，应该被分裂，定义分裂判据如下：

公式(1.14)表示了第k个高斯分布周围数据的概率密度p_k(x)和由当前估计的参数

形成的第k个高斯密度两个分布之间的距离；

其中，局部概率密度定义为：

第k个高斯分量分裂后的初始参数值设置为：

即，每个协方差矩阵初始化为体积相同的单位矩阵；

均值通过对后验概率最大的数据执行K-means算法确定，或者添加随机扰动向量进行均值向量初始化；

所述合并操作具体为：

定义如下的合并判据：

J_merge(i,j；Θ^*)＝P_i(Θ^*)^TP_j(Θ^*) (1.18)

其中，P_i(Θ^*)＝(P(i∣x₁；Θ^*),...,P(i∣x_N；Θ^*))^T∈R^N是由第i个高斯函数的后验概率组成的n维向量；

使J_merge最大的第i,j个高斯函数其相似度是最大的，应该被合并；

第i,j个高斯函数被合并为第i'新高斯函数的初始参数值设置为：

式中θ_i相当于高斯参数μ_k,Σ_k；

均值和协方差矩阵的初值是由合并前的原始值经过加权线性组合而成的；此外，由方程和给出参数的高斯函数是在所有可能的高斯函数中，将Kullback-Leibler散度最小化的高斯函数；

合并分裂方法SMEM迭代执行分裂与合并操作，当无子模型分裂与合并时算法达到收敛，估计出高斯混合模型GMM参数。

进一步地，在步骤三中，

步骤三一、给定初始参数Θ⁰；

步骤三二、运行EM算法至收敛；

步骤三三、计算当前结果MDL，计算各子模型的KL散度，对KL散度最大的模型按式、进行分裂，运行EM算法至收敛，对分裂后的参数计算MDL，若MDL减小，则认为分裂有效；

步骤三四、计算各模型间的模型相似度，对相似度最大的两个模型按式、进行合并，对分裂后的参数计算MDL，若MDL减小，则认为分裂有效；

步骤三五、重复Step3和4直到无分裂和合并操作，输出GMM模型参数，得到最终高斯混合模型GMM。

一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。

一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时实现上述任一项所述方法的步骤。

本发明有益效果

本发明采用的SMEM采用MDL为目标函数，以KL散度为子模型分裂的判别准则，以模型相似度为子模型合并的判别准则，对KL散度最大且分裂后MDL减小的子模型进行分裂，对模型相似度最大并且合并后MDL值减小的子模型对进行合并。以此来控制混合分量数的数量。合并操作以模型相似度为判别准则不需要遍历所有子模型，减少了计算量。

附图说明

图1为本发明基于高斯混合的非线性噪声模型建立方法；

图2为EM算法的步骤；

图3为SMEM算法的步骤；

图4为本发明的原始数据；

图5为本发明分量数2的初始化参数；

图6为本发明运行EM算法至收敛，计算MDL的仿真效果图；

图7为选取KL散度最大的分量进行分裂的仿真效果图；

图8为运行EM算法至收敛，比较MDL的仿真效果图；

图9为选取相似度最大的分量进行合并的仿真效果图；

图10为运行EM算法至收敛，比较MDL的仿真效果图；

图11为迭代至无分裂合并操作，输出结果的仿真效果图。

具体实施方式

下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

结合图1至图11。

一种基于高斯混合模型的非高斯噪声模型建立方法：

所述方法具体包括以下步骤：

步骤一、建立基于概率密度函数的高斯混合模型GMM，得到参数向量的迭代公式；

步骤二、以最短描述长度MDL为目标函数，通过合并分裂方法SMEM确定混合分量数，估计出高斯混合模型GMM参数；

步骤三、根据步骤一建立的高斯混合模型GMM和步骤二估计出高斯混合模型GMM参数，通过EM算法和KL散度，得到GMM模型参数，完成高斯混合模型。

在步骤一中，

从同一个概率密度函数中独立抽样，得到数据点X＝{x¹,x²,…,x^N}；

所述概率密度函数为几个高斯函数的线性组合：

其中，加权系数α_j需要满足：

公式中G(xⁱ；μ_j,Σ_j)为高维高斯函数，其表达式为：

构建公式中的概率密度函数后，通过最大期望算法EM由观测的数据点求混合模型中的参数：Θ＝{Θ₁,Θ₂,…,Θ_j,…Θ_K}，其中，Θ_j＝{α_j,μ_j,Σ_j}。

在步骤一中，

EM算法的基本出发点是假设数据集是完整的。EM以似然函数为目标函数，通过迭代优化参数，每步迭代包含期望步(E步)和极大步(M步)。E步利用高斯模型参数计算隐变量的期望，M步根据隐变量的期望对高斯模型参数极大似然估计。

将步骤一中概率密度函数的完整数据集记为{X,Y}，即假设存在所谓的标记数据Y＝{y¹,y²,…,yⁱ,…,y^N}，其中

是一个2值化向量且只有一个元素为1，其余都为0；

基于假设得到的完整数据集{X,Y}建立辅助Q函数E-step，得到基于完整数据集{X,Y}的似然函数关于隐藏变量Y的条件期望，如下所示：

Q(Θ；Θ^t)＝E_Y[logp(X,Y；Θ∣X,Θ^t)] (1.4)

增加Q函数的值，所采取的做法是将Q函数最大值所对应的参数作为下一组参数Θ^t+1的取值M-step，即

解这个等式后即可得到下一组参数

关于X和Θ^t的表达式，其中，每一个高斯成员的参数

为

其中

公式和公式即为关于参数向量的迭代公式，记为Θ^t+1＝f(Θ^t,X)。

在步骤二中，

以最短描述长度MDL(minimum description length，MDL)为目标函数，通过合并分裂方法SMEM动态自适应，得到高斯混合模型中的混合分量数；MDL准则用数据拟合度与模型复杂度描述数学对象。

其中，样本的似然表示数据拟合度，模型的描述长度表示模型复杂度；

MDL的公式如下：

式中，X为样本集，θ为模型参数，D是模型参数的元素个数，K是模型个数，N是样本总量，α_k为第k个模型中样本比例；

结合式高斯混合模型GMM的概率分布，得到高斯混合模型GMM的MDL公式为：

式中D＝(d+d(d+1)/2)为d维高斯模型参数μ_k,Σ_k中元素的个数。

在步骤二中，

所述合并分裂方法SMEM以最短描述长度MDL为目标函数，包括分裂操作与合并操作；

首先执行最大期望算法EM，初始化子模型个数和高斯混合模型GMM参数，并计算最短描述长度MDL值；

所述分裂操作以KL散度作为子模型分裂的判别准则，合并操作以模型相似度作为子模型对合并的判别准则，对分裂或合并后的子模型执行最大期望算法EM更新参数，迭代执行分裂与合并操作至没有子模型可分裂与合并为止，给出子模型个数和GMM参数。

在步骤二中，

所述分裂操作以KL散度为子模型分裂的判别准则，对KL散度最大且分裂后MDL减小的子模型进行分裂；

若一个离散随机变量X的可能取值为X＝{x₁,x₂,…,x_n}，而对应的概率为p_i＝p(X＝x_i)，则随机变量X的熵定义为：

若有两个随机变量P、Q，且其概率分布分别为p(x)、q(x)，则p相对q的相对熵为：

因此，KL散度或相对熵可通过下式得出：

KL散度作为是一种量化两种概率分布之间差异的方式，可以作为分裂模型操作的依据，即对每个模型进行KL散度判断，KL散度最大的模型对于其所处的局部数据估计结果最差，应该被分裂，定义分裂判据如下：

公式(1.14)表示了第k个高斯分布周围数据的概率密度p_k(x)和由当前估计的参数

形成的第k个高斯密度两个分布之间的距离；

其中，局部概率密度定义为：

这是一个修正的经验分布加权后验概率，以便重点关注围绕第k个高斯分布的周围集中的数据。

为了重新估计这些分裂后新高斯函数的参数，我们必须初始化它们对应的参数。第k个高斯分量分裂后的初始参数值设置为：

即，每个协方差矩阵初始化为体积相同的单位矩阵；

均值通过对后验概率最大的数据执行K-means算法确定，或者添加随机扰动向量进行均值向量初始化；

所述合并操作具体为：

合并操作的思想是，当有许多数据点，其中每一个点对任意两个高斯函数的后验概率几乎相等时，可以认为这两个高斯函数可以合并。定义如下的合并判据：

J_merge(i,j；Θ^*)＝P_i(Θ^*)^TP_j(Θ^*) (1.18)

其中，P_i(Θ^*)＝(P(i∣x₁；Θ^*),…,P(i∣x_N；Θ^*))^T∈R^N是由第i个高斯函数的后验概率组成的n维向量；

使J_merge最大的第i,j个高斯函数其相似度是最大的，应该被合并；

为了重新估计合并后这些新高斯函数的参数，我们必须初始化它们对应的参数。第i,j个高斯函数被合并为第i'新高斯函数的初始参数值设置为：

式中θ_i相当于高斯参数μ_k,Σ_k；

均值和协方差矩阵的初值是由合并前的原始值经过加权线性组合而成的；此外，由方程和给出参数的高斯函数是在所有可能的高斯函数中，将Kullback-Leibler散度最小化的高斯函数；

合并分裂方法SMEM迭代执行分裂与合并操作，当无子模型分裂与合并时算法达到收敛，估计出高斯混合模型GMM参数。

EM算法的一般步骤为：

Step 1，给定初始参数Θ⁰。

Step2，由公式求

Step3，再基于上面的结果，由公式求Θ_j(j＝1,…,K)。

重复Step2和3直到收敛。收敛条件为，

其中δ设为任意小的一个常数。

在步骤三中，

步骤三一、给定初始参数Θ⁰；

步骤三二、运行EM算法至收敛；

步骤三三、计算当前结果MDL，计算各子模型的KL散度，对KL散度最大的模型按式、进行分裂，运行EM算法至收敛，对分裂后的参数计算MDL，若MDL减小，则认为分裂有效；

步骤三四、计算各模型间的模型相似度，对相似度最大的两个模型按式、进行合并，对分裂后的参数计算MDL，若MDL减小，则认为分裂有效；

步骤三五、重复Step3和4直到无分裂和合并操作，输出GMM模型参数，得到最终高斯混合模型GMM。

为使匹配得到的概率密度函数形式简洁，本发明采取分量密度函数均为高斯形式。

SMEM算法运行示意如下：

以2维仿真数据集为例，图4中有三个高斯函数散点簇。他们都处于噪声的环境里。

STEP1初始化混合分量数及高斯参数，进行EM算法至收敛，并计算其MDL为L。

STEP2：计算各分量KL散度，选取KL散度最大的分量进行分裂操作，运行EM算法至收敛，计算MDL为L₁，如果L₁＜L，则保留分裂结果，并令L＝L₁，否则不进行分裂。

STEP3：计算各分量间相似度，选取相似度最大的两个分量进行合并操作，运行EM算法至收敛，计算MDL为L₂，如果L₂＜L，则保留合并结果，并令L＝L₂，否则不进行合并。

STEP4：重复STEP2和3，至没有分裂和合并操作，算法结束，输出确定的混合分量数及其高斯参数。

一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。

一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时实现上述任一项所述方法的步骤。

以上对本发明所提出的一种基于高斯混合模型的非高斯噪声模型建立方法，进行了详细介绍，对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种基于高斯混合模型的非高斯噪声模型建立方法，其特征在于：

所述方法具体包括以下步骤：

步骤一、建立基于概率密度函数的高斯混合模型GMM，得到参数向量的迭代公式；

步骤二、以最短描述长度MDL为目标函数，通过合并分裂方法SMEM确定混合分量数，估计出高斯混合模型GMM参数；

步骤三、根据步骤一建立的高斯混合模型GMM和步骤二估计出高斯混合模型GMM参数，通过EM算法和KL散度，得到GMM模型参数，完成高斯混合模型。

2.根据权利要求1所述方法，其特征在于：在步骤一中，

从一个概率密度函数中独立抽样，得到数据点X＝{x¹,x²,…,x^N}；

所述概率密度函数为几个高斯函数的线性组合：

其中，加权系数α_j需要满足：

公式中G(xⁱ；μ_j,Σ_j)为高维高斯函数，其表达式为：

构建公式中的概率密度函数后，通过最大期望算法EM由观测的数据点求混合模型中的参数：Θ＝{Θ₁,Θ₂,…,Θ_j,…Θ_K}，其中，Θ_j＝{α_j,μ_j,Σ_j}。

3.根据权利要求2所述方法，其特征在于：在步骤一中，

将步骤一中概率密度函数的完整数据集记为{X,Y}，标记数据Y＝{y¹,y²,…,yⁱ,…,y^N}，其中

是一个2值化向量且只有一个元素为1，其余都为0；

基于完整数据集{X,Y}建立辅助Q函数E-step，得到基于完整数据集{X,Y}的似然函数关于隐藏变量Y的条件期望，如下所示：

Q(Θ；Θ^t)＝E_Y[logp(X,Y；Θ∣X,Θ^t)] (1.4)

增加Q函数的值，将Q函数最大值所对应的参数作为下一组参数Θ^t+1的取值M-step，即

得到下一组参数

关于X和Θ^t的表达式，其中，每一个高斯成员的参数

为

其中

公式和公式即为关于参数向量的迭代公式，记为Θ^t+1＝f(Θ^t,X)。

4.根据权利要求3所述方法，其特征在于：在步骤二中，

以最短描述长度MDL为目标函数，通过合并分裂方法SMEM，得到高斯混合模型中的混合分量数；

其中，样本的似然表示数据拟合度，模型的描述长度表示模型复杂度；

MDL的公式如下：

式中，X为样本集，θ为模型参数，D是模型参数的元素个数，K是模型个数，N是样本总量，α_k为第k个模型中样本比例；

结合式高斯混合模型GMM的概率分布，得到高斯混合模型GMM的MDL公式为：

式中D＝(d+d(d+1)/2)为d维高斯模型参数μ_k,Σ_k中元素的个数。

5.根据权利要求4所述方法，其特征在于：在步骤二中，

所述合并分裂方法SMEM以最短描述长度MDL为目标函数，包括分裂操作与合并操作；

首先执行最大期望算法EM，初始化子模型个数和高斯混合模型GMM参数，并计算最短描述长度MDL值；

所述分裂操作以KL散度作为子模型分裂的判别准则，合并操作以模型相似度作为子模型对合并的判别准则，对分裂或合并后的子模型执行最大期望算法EM更新参数，迭代执行分裂与合并操作至没有子模型可分裂与合并为止，给出子模型个数和GMM参数。

6.根据权利要求5所述方法，其特征在于：在步骤二中，

所述分裂操作以KL散度为子模型分裂的判别准则，对KL散度最大且分裂后MDL减小的子模型进行分裂；

离散随机变量X的取值为X＝{x₁,x₂,…,x_n}，而对应的概率为p_i＝p(X＝x_i)，则随机变量X的熵定义为：

有两个随机变量P、Q，且其概率分布分别为p(x)、q(x)，则p相对q的相对熵为：

因此，KL散度或相对熵可通过下式得出：

对每个模型进行KL散度判断，KL散度最大的模型对于其所处的局部数据估计结果最差，应该被分裂，定义分裂判据如下：

公式(1.14)表示了第k个高斯分布周围数据的概率密度p_k(x)和由当前估计的参数

形成的第k个高斯密度两个分布之间的距离；

其中，局部概率密度定义为：

第k个高斯分量分裂后的初始参数值设置为：

即，每个协方差矩阵初始化为体积相同的单位矩阵；

均值通过对后验概率最大的数据执行K-means算法确定，或者添加随机扰动向量进行均值向量初始化；

所述合并操作具体为：

定义如下的合并判据：

J_merge(i,j；Θ^*)＝P_i(Θ^*)^TP_j(Θ^*) (1.18)

其中，P_i(Θ^*)＝(P(i∣x₁；Θ^*),...,P(i∣x_N；Θ^*))^T∈R^N是由第i个高斯函数的后验概率组成的n维向量；

使J_merge最大的第i,j个高斯函数其相似度是最大的，应该被合并；

第i,j个高斯函数被合并为第i'新高斯函数的初始参数值设置为：

式中θ_i相当于高斯参数μ_k,Σ_k；

均值和协方差矩阵的初值是由合并前的原始值经过加权线性组合而成的；此外，由方程和给出参数的高斯函数是在所有可能的高斯函数中，将Kullback-Leibler散度最小化的高斯函数；

合并分裂方法SMEM迭代执行分裂与合并操作，当无子模型分裂与合并时算法达到收敛，估计出高斯混合模型GMM参数。

7.根据权利要求6所述方法，其特征在于：在步骤三中，

步骤三一、给定初始参数Θ⁰；

步骤三二、运行EM算法至收敛；

步骤三三、计算当前结果MDL，计算各子模型的KL散度，对KL散度最大的模型按式、进行分裂，运行EM算法至收敛，对分裂后的参数计算MDL，若MDL减小，则认为分裂有效；

步骤三四、计算各模型间的模型相似度，对相似度最大的两个模型按式、进行合并，对分裂后的参数计算MDL，若MDL减小，则认为分裂有效；

步骤三五、重复Step3和4直到无分裂和合并操作，输出GMM模型参数，得到最终高斯混合模型GMM。

8.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

9.一种计算机可读存储介质，用于存储计算机指令，其特征在于，所述计算机指令被处理器执行时实现权利要求1至7中任一项所述方法的步骤。

Images