CN104702378A - 混合高斯分布的参数估计方法和装置 - Google Patents

Abstract

本发明实施例提供一种混合高斯分布的参数估计方法和装置，包括：在采用混合高斯建模时，根据聚类算法估计出混合高斯概率密度函数的各初始分量参数和初始混合系数，然后将各初始分量参数和初始混合系数作为期望最大化EM算法或贪婪EM算法的初始值，采用EM算法或贪婪EM算法进行迭代运算得到混合高斯概率密度函数的各最终分量参数和最终混合系数。上述方法，通过聚类算法给出了混合高斯概率密度函数参数的粗估计，而EM算法在此参数基础上提高参数估计的精度，聚类算法和EM算法的结合，保证了似然函数能够收敛到全局最值点，而且使得似然函数收敛的时间加快，减少实现复杂度。

Description

混合高斯分布的参数估计方法和装置

技术领域

本发明实施例涉及数据通讯技术，尤其涉及一种混合高斯分布的参数估计方法和装置。

背景技术

多输入多输出（Multiple Input Multiple Output，简称MIMO）系统，在不增加带宽的情况下能够成倍的提高通信系统的容量和频谱利用率，MIMO结合正交频分复用（Orthogonal Frequency Division Multiplexing，简称OFDM）技术构成了MIMO OFDM系统，也是长期演进（Long Term Evolution，简称LTE）系统中的两大关键技术。MIMO技术中的一种重要技术是空分复用的检测技术，常用的检测算法有基于最小均方误差（Minimum Mean SquareError，简称MMSE）和译码反馈的Turbo检测算法以及基于QR分解和M算法（QR decomposition based M-algorithm，简称QRD-M）的检测算法。Turbo-MMSE算法由于反馈信息计算不准确以及QRD-M由于选择节点数有限均会导致计算的对数似然比（Log Likelihood Ratio，简称LLR）偏离真实值。如何解决LLR偏离真实值的问题是提高算法性能的一种途径。常用的解决方案是假设LLR的分布，然后根据检测器实际计算的LLR估计分布参数，进而对计算的LLR进行修正。这种解决方法的好坏直接取决于LLR分布的模型。最常用的分布假设是高斯的，高斯模型只有均值和方差两个参数，易于计算；由于实际的LLR分布是不对称的或者不仅有一个峰值，因子高斯模型不能很好的描述真实的LLR分布。近几年出现了一种常用的模型，即混合高斯模型。该模型比较适合模拟不对称的LLR分布，但是该模型参数较多，不易估计。如何解决混合高斯对LLR建模的参数估计问题是对LLR修正提高检测器性能的重要问题。

现有技术中，通常采用期望最大化（Expectation Maximization，简称EM）算法或贪婪期望最大化（Greedy Expectation Maximization，简称GEM）算法对混合高斯的参数进行估计。但是，现有技术中EM算法估计参数的准确度和初始值有关，而初始值是认为设定的，如果初始值选择的不合适会导致算法不收敛或者收敛到局部最大值，而且不同的初始参数导致不同的收敛速度，实现复杂度不具有统一性。

发明内容

本发明实施例提供一种混合高斯分布的参数估计方法和装置，能够提高混合高斯参数估计准确性。

本发明第一方面提供一种混合高斯分布的参数估计方法，包括：

接收发射端发送的接收信号，获取所述接收信号对应的发射信号的每个比特的初始对数似然比LLR；

根据所述接收信号对应的发射信号的每个比特的初始对数似然比LLR确定所述发射信号的修正LLR；

对所述修正LLR进行混合高斯建模，根据聚类算法估计出混合高斯概率密度函数的各初始分量参数和初始混合系数；

将所述各初始分量参数和初始混合系数作为期望最大化EM算法或贪婪EM算法的初始值，采用EM算法或贪婪EM算法进行迭代运算得到所述混合高斯概率密度函数的各最终分量参数和最终混合系数；

根据所述混合高斯概率密度函数的各最终分量参数和最终混合系数计算所述混合高斯概率密度函数，并根据所述混合高斯概率密度函数确定所述修正LLR的最大值。

在本发明第一方面的第一种可能的实现方式中，如果所述混合高斯概率密度函数为其中，K表示高斯分量个数；α_k表示第k个分量的混合系数；μ_k表示第k个分量的均值；表示第k个分量的方差；

所述将所述各初始分量参数和初始混合系数作为期望最大化EM算法或贪婪EM算法的初始值，采用EM算法或贪婪EM算法进行迭代运算得到所述混合高斯概率密度函数的各最终分量参数和最终混合系数；包括：

根据所述各初始分量参数和初始混合系数，计算隶属度权值w_i,k：

${\mathrm{\ω}}_{\mathrm{ik}}=E\left[z_{\mathrm{ik}}\right|x,{\mathrm{\Θ}}^{\left(k\right)}]=\frac{{\mathrm{\α}}_k^{\left(k\right)}p\left(x_i\right|S=k,{\mathrm{\Θ}}^{\left(k\right)})}{\underset{j=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\α}}_j^{\left(k\right)}p\left(x_i\right|S=j,{\mathrm{\Θ}}^{\left(k\right)})},$

其中，1≤j≤K，a_j ^(k)表示第j个分量的混合系数，表示均值μ_k、方差有关的一个未知参数的集合；

根据所述隶属度权值w_i,k通过以下公式计算新的参数：

$N_k=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ω}}_{\mathrm{ik}},$

$\left\{\begin{array}{c}{\mathrm{\α}}_k^{\mathrm{new}}=\frac{N_k}{N},1\≤k\≤K\\ {\mathrm{\μ}}_k^{\mathrm{new}}=\frac{1}{N_k}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ω}}_{\mathrm{ik}}{x}_i,1\≤k\≤K\\ {\left({\mathrm{\σ}}^2\right)}_k^{\mathrm{new}}=\frac{1}{N_k}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ω}}_{\mathrm{ik}}{(x_i-{\mathrm{\μ}}_k^{\mathrm{new}})}^2,1\≤k\≤K\end{array}\right.,$

其中，w_i,k表示隶属度权值，1≤i≤N，N表示数据的长度；

判断所述EM算法或贪婪EM算法是否满足退出条件；

如果不满足退出条件，则根据所述新的参数计算新的隶属度，进行下一次迭代运算；

如果满足退出条件，则将所述新的参数作为所述混合高斯概率密度函数的各最终分量参数和最终混合系数。

在本发明第一方面的第二种可能的实现方式中，所述判断所述EM算法是否满足退出条件，包括：

判断迭代次数是否大于预设的最大迭代次数，若是，则满足退出条件，若否，则不满足退出条件；

或者，判断本次迭代结果得到的所述修正LLR的值与上次迭代结果得到的所述修正LLR的值之间的差值是否大于预设的最小差值，若是，则不满足退出条件，若否，则满足退出条件。

在本发明第一方面的第三种可能的实现方式中，所述聚类算法为模糊C均值聚类算法。

本发明第二方面提供一种混合高斯分布的参数估计装置，包括：

获取模块，用于接收发射端发送的接收信号，获取所述接收信号对应的发射信号的每个比特的初始对数似然比LLR；

修正模块，用于根据所述接收信号对应的发射信号的每个比特的初始对数似然比LLR确定所述发射信号的修正LLR；

估计模块，用于对所述修正LLR进行混合高斯建模，根据聚类算法估计出混合高斯概率密度函数的各初始分量参数和初始混合系数；

所述估计模块还用于：将所述各初始分量参数和初始混合系数作为期望最大化EM算法或贪婪EM算法的初始值，采用EM算法或贪婪EM算法进行迭代运算得到所述混合高斯概率密度函数的各最终分量参数和最终混合系数；

最大对数似然比确定模块，用于根据所述混合高斯概率密度函数的各最终分量参数和最终混合系数计算所述混合高斯概率密度函数，并根据所述混合高斯概率密度函数确定所述修正LLR的最大值。

在本发明第二方面的第一种可能的实现方式中，如果所述混合高斯概率密度函数为其中，K表示高斯分量个数；α_k表示第k个分量的混合系数；μ_k表示第k个分量的均值；表示第k个分量的方差；

所述估计模块具体用于：

根据所述各初始分量参数和初始混合系数，计算隶属度权值w_i，k：

${\mathrm{\ω}}_{\mathrm{ik}}=E\left[z_{\mathrm{ik}}\right|x,{\mathrm{\Θ}}^{\left(k\right)}]=\frac{{\mathrm{\α}}_k^{\left(k\right)}p\left(x_i\right|S=k,{\mathrm{\Θ}}^{\left(k\right)})}{\underset{j=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\α}}_j^{\left(k\right)}p\left(x_i\right|S=j,{\mathrm{\Θ}}^{\left(k\right)})},$

其中，1≤j≤K，a_j ^(k)表示第j个分量的混合系数，表示均值μ_k、方差有关的一个未知参数的集合；

根据所述隶属度权值通过以下公式计算新的参数：

$N_k=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ω}}_{\mathrm{ik}},$

$\left\{\begin{array}{c}{\mathrm{\α}}_k^{\mathrm{new}}=\frac{N_k}{N},1\≤k\≤K\\ {\mathrm{\μ}}_k^{\mathrm{new}}=\frac{1}{N_k}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ω}}_{\mathrm{ik}}{x}_i,1\≤k\≤K\\ {\left({\mathrm{\σ}}^2\right)}_k^{\mathrm{new}}=\frac{1}{N_k}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ω}}_{\mathrm{ik}}{(x_i-{\mathrm{\μ}}_k^{\mathrm{new}})}^2,1\≤k\≤K\end{array}\right.,$

其中，w_i,k表示隶属度权值，1≤i≤N，N表示数据的长度；

判断所述EM算法或贪婪EM算法是否满足退出条件；

如果不满足退出条件，则根据所述新的参数计算新的隶属度，进行下一次迭代运算；

如果满足退出条件，则将所述新的参数作为所述混合高斯概率密度函数的各最终分量参数和最终混合系数。

在本发明第二方面的第二种可能的实现方式中，所述估计模块具体用于：

判断迭代次数是否大于预设的最大迭代次数，若是，则满足退出条件，若否，则不满足退出条件；

或者，判断本次迭代结果得到的所述修正LLR的值与上次迭代结果得到的所述修正LLR的值之间的差值是否大于预设的最小差值，若是，则不满足退出条件，若否，则满足退出条件。

在本发明第二方面的第三种可能的实现方式中，所述聚类算法为模糊C均值聚类算法。

本发明实施例混合高斯分布的参数估计方法和装置，在采用混合高斯建模时，根据聚类算法估计出混合高斯概率密度函数的各初始分量参数和初始混合系数，然后将各初始分量参数和初始混合系数作为期望最大化EM算法或贪婪EM算法的初始值，采用EM算法或贪婪EM算法进行迭代运算得到混合高斯概率密度函数的各最终分量参数和最终混合系数。通过聚类算法给出了混合高斯概率密度函数参数的粗估计，而EM算法在此参数基础上提高参数估计的精度，聚类算法和EM算法的结合，保证了似然函数能够收敛到全局最值点，而且使得似然函数收敛的时间加快，减少实现复杂度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为MIMO-OFDM系统中数据传输模型示意图；

图2为本发明混合高斯分布的参数估计方法实施例一的流程图；

图3为本发明混合高斯分布的参数估计方法实施例二的流程图；

图4为本发明混合高斯分布的参数估计装置实施例一的结构示意图；

图5为本发明混合高斯分布的参数估计装置实施例二的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

首先，先简单介绍一下本发明的一个常见的应用场景，即应用在LTE系统中MIMO检测的LLR后处理，它同样适用于用混合高斯建模的其它应用领域，本发明并不以此为限。假设MIMO-OFDM系统由M个发射天线、N个接收天线构成，如图1所示，图1为MIMO-OFDM系统中数据传输模型示意图。在发射端，待发送比特经过编码、交织、调制、映射通过天线端口发射；在接收端，接收信号经过检测、LLR计算、LLR修正、解交织、译码等处理过程完成发射信号译码。以下各实施例中，主要讨论接收端信号的估计和检测过程。

图2为本发明混合高斯分布的参数估计方法实施例一的流程图，本实施例提供的方法可以由混合高斯分布参数估计装置执行，该装置可以集成在接收机中或者其他应用混合高斯建模的设备上，如图2所示，本实施例提供的方法包括以下步骤：

步骤101、接收发射端发送的接收信号，获取接收信号对应的发射信号的每个比特的初始对数似然比LLR。

接收信号模型可以表示为：Y=HX+N，其中，Y∈N×1是接收信号向量；H∈N×R是实际信道和预编码矩阵的乘积，其中，R表示信道矩阵的秩；X∈R×1是接收信号对应的发射信号；N∈N×1是接收噪声。由接收信号获得发射信号估计的方法很多，包括线性算法和非线性算法，常用的线性算法如迫零（Zero Forcing，简称ZF）算法、最小均方误差（Minimum Mean SquareError，简称MMSE）算法、最大比合并（Maximum Ratio Combining，简称MRC）算法等，常用的非线性算法如Turbo-MMSE算法、贝尔实验室垂直分层空时码（Vertical Bell Labs Layered Space-Time，简称V-BLAST）、串行干扰消除（Successive Interference Cancellation，简称SIC）算法、基于QR分解的M算法（QR decomposition based M-algorithm，简称QRD-M）、球译码（Sphere-Decoding，简称SD）算法、马尔科夫链蒙特卡洛（Markov chainMonte Carlo，简称MCMC）算法等或相关的迭代算法。接收机根据接收信号、信道信息以及噪声功率获得发射信号的每个比特的LLR，用公式（1）表示为：

$L^E\left(b_k\right|y)=\ln \left(\frac{p(b_k=1|Y,H,{\mathrm{\σ}}^2)}{p(b_k=0|Y,H,{\mathrm{\σ}}^2)}\right)---\left(1\right)$

其中，σ²表示噪声功率，Y表示接收信号向量，H表示信道矩阵。大部分检测算法如MMSE、迫零算法、最大比合并算法、QR分解算法（QRdecomposition based，简称QRM）等算法，LLR的计算过程由两步构成：（1）根据接收信号、信道等相关信息计算出发射信号的每个符号的估计值；（2）根据估计符号计算发射信号每个比特的对数似然比。也有少数检测器不需要计算发射符号的估计值而直接获得每个比特的对数似然比，如MCMC算法。

步骤102、根据接收信号对应的发射信号的每个比特的初始对数似然比LLR确定发射信号的修正LLR。

对于Turbo-MMSE、QRD-M、SD等算法，由于算法本身的缺陷导致接收机计算的LLR偏离真实值，如何对计算的LLR修正是提高算法性能的途径之一。LLR修正的基本思路是利用采样数据对LLR进行建模，然后再利用贝叶斯原理进行LLR后处理。假设接收机计算的初始LLR概率密度函数用L^E(b_k|y)表示，假设修正后的LLR用L^C(b_k|y)表示，公式表示为：

$L^C\left(b_k\right|y)=\ln \left(\frac{p(b_k=1|Z,L^E\left(b_k\right|y))}{p(b_k=0|Z,L^E\left(b_k\right|y))}\right)---\left(2\right)$

其中，Z代表接收信号的信噪比SNR、信道矩阵的奇异值等信息，L^E(b_k|y)表示初始LLR概率密度函数。利用贝叶斯原理，上述修正LLR可以表示为：

$L^C\left(b_k\right|y)=\ln \left(\frac{p\left(L^E\left(b_k\right|y)\right|Z,b_k=1)}{p\left(L^E\left(b_k\right|y)\right|Z,b_k=0)}\right)---\left(3\right)$

由上面公式可以看出：LLR修正的关键是如何确定条件概率密度函数。考虑到LLR是实数，因此后续均以实、单变量高斯分布为例进行讨论。

步骤103、对修正LLR进行混合高斯建模，根据聚类算法估计出混合高斯概率密度函数的各初始分量参数和初始混合系数。

如果将修正LLR建模为混合高斯分布，则混合高斯概率密度函数表示为：

$p\left(x\right)=\stackrel{K}{\underset{k=1}{\mathrm{\Σ}}}\frac{{\mathrm{\α}}_k}{\sqrt{{2\mathrm{\π\σ}}_k^2}}\exp (-\frac{{(x-{\mathrm{\μ}}_k)}^2}{{2\mathrm{\σ}}_k^2})---\left(4\right)$

其中，K表示高斯分量个数；α_k表示第k个分量的混合系数；μ_k表示第k个分量的均值；σ_k表示第k个分量的方差。如何获得分布参数以及参数估计的准确性、鲁棒性是重要问题。

现有技术中，通常采用期望最大（EM）算法或贪婪EM（GEM）算法对混合高斯的各参数进行估计，但由于EM算法估计参数的准确度和初始值有关，如果初始值选择的不合适，会导致估计出的混合高斯概率密度函数不准确。而本实施例中，采用聚类算法估计出混合高斯概率密度函数的各初始分量参数和初始混合系数，将各初始分量参数和初始混合系数作为期望最大化EM算法的初始值，进一步通过EM算法得到混合高斯概率密度函数的各最终分量参数和最终混合系数，混合高斯概率密度函数的各初始分量具体为第k个分量的均值μ_k，和第K个分量的方差σ_k。

其中，聚类算法可以为现有的任意一种聚类算法，例如mean聚类算法、分层聚类、两步聚类、基于密度的聚类算法、基于网络的聚类、模型算法、模糊算法等，本实施例并不对此进行限制。具体选择何种聚类算法需要折中算法性能和复杂度约束。

步骤104、将各初始分量参数和初始混合系数作为期望最大化EM算法的初始值，采用EM算法或贪婪EM算法进行迭代运算得到混合高斯概率密度函数的各最终分量参数和最终混合系数。

在采用期望最大（EM）算法或贪婪EM（GEM）算法对参数进行估计时，如果接收信号用x={x₁,x₂,L,x_N}表示，则其对数似然函数可以表示为：

$\log L\left(\mathrm{\Θ}\right|x)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\log \left(\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\α}}_{j}p\left(x_i\right|{\mathrm{\θ}}_j)\right)---\left(5\right)$

其中，α_j表示第j个高斯分量的混合系数，θ_j表示第j个分量的参数集合，M表示高斯分量数，N表示数据长度，α_jp(x_i|θ_j)表示第i个分量属于第j个分布的概率，公式5中似然函数对未知参数的求导一般不具有闭式解，只能寻求其它数值优化算法。EM算法估计未知参数可以归结为如下两个步骤：

步骤1：期望步骤：给定初始参数，计算E[z_ik|x,Θ^(k)],1≤i≤N,1≤k≤K，又称为隶属度权值，即

${\mathrm{\ω}}_{\mathrm{ik}}=E\left[z_{\mathrm{ik}}\right|x,{\mathrm{\Θ}}^{\left(k\right)}]=\frac{{\mathrm{\α}}_k^{\left(k\right)}p\left(x_i\right|S=k,{\mathrm{\Θ}}^{\left(k\right)})}{\underset{j=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\α}}_j^{\left(k\right)}p\left(x_i\right|S=j,{\mathrm{\Θ}}^{\left(k\right)})}---\left(6\right)$

其中，Θ^(k)表示与均值μ_k和方差σ_k有关的一个未知参数的集合，表示第i采样数据属于第k个分量的混合系数，表示第i采样数据属于第j个分量的混合系数，p(x_i|S=j,Θ^(k))表示第i个采样数据属于第j个分量的概率密度。

步骤2：最大化步骤：使用计算的隶属度权值计算新的参数。

$N_k=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ω}}_{\mathrm{ik}}---\left(7\right)$

$\left\{\begin{array}{c}{\mathrm{\α}}_k^{\mathrm{new}}=\frac{N_k}{N},1\≤k\≤K\\ {\mathrm{\μ}}_k^{\mathrm{new}}=\frac{1}{N_k}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ω}}_{\mathrm{ik}}{x}_i,1\≤k\≤K\\ {\left({\mathrm{\σ}}^2\right)}_k^{\mathrm{new}}=\frac{1}{N_k}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ω}}_{\mathrm{ik}}{(x_i-{\mathrm{\μ}}_k^{\mathrm{new}})}^2,1\≤k\≤K\end{array}\right.---\left(8\right)$

现有技术中，在采用EM算法进行迭代计算混合高斯概率密度函数的各参数时，初次迭代的初始参数可以任意的设置，而本实施例中，将根据聚类算法估计出混合高斯概率密度函数的各初始分量参数和初始混合系数作为EM算法的初始输入参数。

在EM迭代算法中，可以从步骤1开始迭代，也可以从步骤2开始迭代，当从步骤1开始迭代时，首先根据聚类算法估计出混合高斯概率密度函数的各初始分量参数和初始混合系数，将各初始分量参数和初始混合系数作为初始迭代的输入参数，根据第k个分量的混合系数α_k，第k个分量的均值μ_k，第k个分量的方差计算一次隶属度权值，然后根据计算出的隶属度权值计算步骤2的计算，得到新的第k个分量的混合系数α_k，第k个分量的均值μ_k，第k个分量的方差然后，返回步骤1再次进行迭代，本实施例中，每进行完一次迭代后，还需要判断EM算法是否满足退出条件，如果不满足退出条件，则根据新的参数计算新的隶属度，进行下一次迭代运算；如果满足退出条件，则将新的参数作为混合高斯概率密度函数的各最终分量参数和最终混合系数。

在进行EM或贪婪EM算法的迭代时，也可以从步骤2开始迭代，这时候需要通过聚类算法首先计算出隶属度权值。

具体地，在判断EM算法是否满足退出条件，可通过以下两种方式：

第一种：判断迭代次数是否大于预设的最大迭代次数，若是，则满足退出条件，若否，则不满足退出条件。

这种方式中，通过预先设置一个最大迭代次数，当每次迭代完之后，给迭代次数进行加一运算，判断迭代次数是否大于预设的最大迭代次数，如果迭代次数小于预设的最大迭代次数，则不满足退出条件，继续进行下一次的迭代，直至迭代次数达到最大迭代次数，结束本次EM算法的迭代运算，将得到的最终参数作为混合高斯概率密度函数的各最终分量参数和最终混合系数。

第二种，判断本次迭代结果得到的修正LLR的值与上次迭代结果得到的修正LLR的值之间的差值是否大于预设的最小差值，若是，则不满足退出条件，若否，则满足退出条件。

第二种方式中，在每次迭代完后，根据本次得到的第k个分量的混合系数α_k，第k个分量的均值μ_k，第k个分量的方差计算对应的混合高斯概率密度函数，在每次迭代时，都需要计算3K个参数，才能得到混合高斯概率密度函数，然后，根据混合高斯概率密度函数确定修正LLR，比较本次得带的修正LLR和上次得到的修正LLR之间的差值，是否大于预设的最小差值，若是，即本次得到的修正LLR和上次得到的修正LLR之间的差值大于预设的最小差值，说明修正LLR还不收敛，则不满足退出条件；若否，即本次得到的修正LLR和上次得到的修正LLR之间的差值小于预设的最小差值，说明修正LLR已经接近收敛，LLR值变换不大，则满足退出条件，结束EM迭代运算。

本实施例中，在步骤103中利用聚类算法估计出混合高斯概率密度函数的各初始分量参数以及初始混合系数，然后，在步骤104中，将各初始分量参数以及初始混合系数作为EM算法或贪婪EM算法的初始值，采用EM算法或贪婪EM算法进行迭代运算得到混合高斯概率密度函数的各最终分量参数和最终混合系数，通过聚类算法给出了混合高斯概率密度函数参数的粗估计，而EM算法或贪婪EM算法在此参数基础上提高参数估计的精度。将参数估计分为粗估计和精估计两个步骤，从而提高参数估计的精度和效率。一般的EM算法如果初始值不合适会导致似然函数动荡，或者收敛到局部最值点，二本实施例将聚类算法和EM算法结合，保证似然函数能够收敛的全局最值点，因此参数估计更准确。由于聚类算法给出的参数的初始值，因此似然函数收敛的时间加快，减少实现复杂度。

步骤105、根据混合高斯概率密度函数的各最终分量参数和最终混合系数计算混合高斯概率密度函数，并根据混合高斯概率密度函数确定修正LLR的最大值。

在计算出混合高斯概率密度函数的各最终分量参数和最终混合系数后，将各最终分量参数和最终混合系数代入公式4中得到混合高斯概率密度函数，然后将混合高斯概率密度函数代入公式5中进行计算，得到修正LLR，这里得到的LLR即为修正LLR的最大值。

本实施例提供的方法，在采用混合高斯建模时，根据聚类算法估计出混合高斯概率密度函数的各初始分量参数和初始混合系数，然后将各初始分量参数和初始混合系数作为期望最大化EM算法或贪婪EM算法的初始值，采用EM算法或贪婪EM算法进行迭代运算得到混合高斯概率密度函数的各最终分量参数和最终混合系数。通过聚类算法给出了混合高斯概率密度函数参数的粗估计，而EM算法在此参数基础上提高参数估计的精度，聚类算法和EM算法的结合，保证了似然函数能够收敛到全局最值点，而且使得似然函数收敛的时间加快，减少实现复杂度。

图3为本发明混合高斯分布的参数估计方法实施例二的流程图，本实施例在实施例一的基础上，以聚类算法为模糊C均值聚类（FCM）算法为例，对混合高斯分布参数的估计方法进行详细说明，如图3所示，本实施例提供的方法包括以下步骤：

步骤201、定义模糊C均值聚类的目标函数。

模糊C均值聚类算法FCM采用模糊换分，属于模糊聚类算法的一种，模糊聚类算法是一种基于函数最优方法的聚类算法，在基于概率算法的聚类方法中将使用概率密度函数，为此要假定合适的模型，模糊聚类算法的向量可以同时属于多个聚类，从而摆脱上述问题。在模糊聚类算法中，定义了向量与聚类之间的近邻函数，并且聚类中向量的隶属度由隶属函数集合提供。对模糊方法而言，在不同聚类中的向量隶属函数值是相互关联的。

FCM中每个给定数据点使用取值在0，1之间的隶属度来确定其属于各个组的程度。假设FCM的隶属矩阵U∈R_C×N，对于隶属矩阵U的每一行u_i=[u_i,1 u_i,2 … u_i,N],1≤i≤C，表示每个数据向量x_k,1≤k≤N属于第i类的隶属度。定义聚类中心C=[c₁ … c_C]，c_i∈R_P,1≤i≤C，通常隶属度u_i,k选择与x_k和c_i的距离成反比。假设获得的修正LLR的数据为{x₁,x₂,L,x_N}，结合聚类的EM算法估计参数处理过程如下：首先定义FCM的目标函数：

$J(U,C)=\underset{i=1}{\overset{C}{\mathrm{\Σ}}}{J}_{i,m}=\underset{i=1}{\overset{C}{\mathrm{\Σ}}}\left(\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{u}_{i,k}^m{\left|\right|x_k-c_i\left|\right|}^2\right)---\left(9\right)$

其中，u_i,k取值在0和1之间，c_i为模糊组I的聚类中心，m∈[1,∞)表示一个加权指数。由于FCM存在约束条件（membership，列约束），构造新的目标函数使公式9到达最小的必要条件，新的目标函数如下：

$\stackrel{\‾}{J}(U,C,{\mathrm{\λ}}_1,\·\·\·,{\mathrm{\λ}}_N)=\underset{i=1}{\overset{C}{\mathrm{\Σ}}}\left(\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{u}_{i,k}^m{\left|\right|x_k-c_i\left|\right|}^2\right)+\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\λ}}_k(\underset{i=1}{\overset{C}{\mathrm{\Σ}}}{u}_{i,k}-1)---\left(10\right)$

其中，λ_k,k=1,L,N表示拉格朗日因子。由此可以确定目标函数取最小值的条件为：

$\left\{\begin{array}{c}{u}_{i,k}=\frac{1}{\underset{j=1}{\overset{C}{\mathrm{\Σ}}}{\left(\frac{{\left|\right|x_k-c_i\left|\right|}^2}{{\left|\right|x_k-c_j\left|\right|}^2}\right)}^{\frac{1}{m-1}}},1\≤i\≤C,1\≤k\≤N\\ c_i=\frac{\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{\left(u_{i,k}\right)}^m{x}_k}{\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{\left(u_{i,k}\right)}^m},1\≤i\≤C\end{array}\right.---\left(11\right)$

步骤202、获取每个聚类中心和每个数据属于每一类的隶属度。

根据步骤201中的目标函数获取每个聚类中心和每个数据属于每种类型的隶属度。

步骤203、将隶属度作为EM算法的输入初始参数，计算出混合高斯分布的新参数。

步骤204、判断EM算法是否满足退出条件。

本步骤中，判断EM算法是否满足退出条件具体为：判断迭代次数是否大于预设的最大迭代次数，或者，判断本次迭代结果得到的修正LLR的值与上次迭代结果得到的修正LLR的值之间的差值是否大于预设的最小差值。若是，即满足退出条件，则执行步骤205，若否，即不满足退出条件，则执行步骤206。

步骤205、结束EM算法。

如果满足退出条件，则结束EM算法，将本次迭代得到的新参数作为混合高斯概率密度函数的最终分量参数和最终混合系数。

步骤206、根据新参数计算新的隶属度，返回执行步骤203。

若EM算法不满足退出条件，则执行本步骤，根据新参数计算新的隶属度，然后返回执行步骤203，即根据将新的隶属度作为EM的参数，重新计算新的参数，如此循环，知道满足退出条件，则结束EM算法。

本实施例提供的方法，通过模糊C均值聚类算法得到混合高斯概率密度函数参数的粗估计，而EM算法在此参数基础上提高参数估计的精度，聚类算法和EM算法的结合，保证了似然函数能够收敛到全局最值点，而且使得似然函数收敛的时间加快，减少实现复杂度。

图4为本发明混合高斯分布的参数估计装置实施例一的结构示意图，本实施例提供的混合高斯分布的参数估计装置可以集成在接收器中，如图4所示，本实施例提供的混合高斯分布的参数估计装置包括：获取模块31、修正模块32、估计模块33、最大对数似然比确定模块34。

获取模块31，用于接收发射端发送的接收信号，根据接收信号获取接收信号对应的发射信号的每个比特的初始对数似然比LLR；

修正模块32，用于根据接收信号对应的发射信号的每个比特的初始对数似然比LLR确定发射信号的修正LLR；

估计模块33，用于对修正LLR进行混合高斯建模，根据聚类算法估计出混合高斯概率密度函数的各初始分量参数和初始混合系数；

估计模块33还用于：将各初始分量参数和初始混合系数作为期望最大化EM算法或贪婪EM算法的初始值，采用EM算法或贪婪EM算法进行迭代运算得到混合高斯概率密度函数的各最终分量参数和最终混合系数；

最大对数似然比确定模块34，用于根据混合高斯概率密度函数的各最终分量参数和最终混合系数计算混合高斯概率密度函数，并根据混合高斯概率密度函数确定修正LLR的最大值。

在本实施例一种可能的实现方式中，如果混合高斯概率密度函数为其中，K表示高斯分量个数；α_k表示第k个分量的混合系数；μ_k表示第k个分量的均值；σ_k表示第k个分量的方差；

估计模块33具体用于：首先，根据隶属度权值通过以下公式计算新的参数：

$N_k=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ω}}_{\mathrm{ik}},$

$\left\{\begin{array}{c}{\mathrm{\α}}_k^{\mathrm{new}}=\frac{N_k}{N},1\≤k\≤K\\ {\mathrm{\μ}}_k^{\mathrm{new}}=\frac{1}{N_k}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ω}}_{\mathrm{ik}}{x}_i,1\≤k\≤K\\ {\left({\mathrm{\σ}}^2\right)}_k^{\mathrm{new}}=\frac{1}{N_k}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ω}}_{\mathrm{ik}}{(x_i-{\mathrm{\μ}}_k^{\mathrm{new}})}^2,1\≤k\≤K\end{array}\right.,$

其中，w_i,k表示隶属度权值，1≤i≤N，N表示数据的长度；

然后，判断EM算法或贪婪EM算法是否满足退出条件；如果不满足退出条件，则根据新的参数计算新的隶属度，进行下一次迭代运算，如果满足退出条件，则将新的参数作为混合高斯概率密度函数的各最终分量参数和最终混合系数。其中，判断EM算法是否满足退出条件，具体为：判断迭代次数是否大于预设的最大迭代次数，若是，则满足退出条件，若否，则不满足退出条件；或者，判断本次迭代结果得到的修正LLR的值与上次迭代结果得到的修正LLR的值之间的差值是否大于预设的最小差值，若是，则不满足退出条件，若否，则满足退出条件。

本实施例中，根据聚类算法估计出混合高斯概率密度函数的各初始分量参数和初始混合系数，这里采用的聚类算法可以为模糊C均值聚类算法，当然还可以为现有技术中任意一种聚类算法，本发明并不对此进行限制。

本实施例提供的混合高斯分布的参数估计装置，可用于执行方法实施例一和实施例二提供的技术方案，具体实现方式和技术效果类似，这里不再赘述。

图5为本发明混合高斯分布的参数估计装置实施例二的结构示意图，本实施例提供的混合高斯分布的参数估计装置400可以集成在接收器中，如图5所示，本实施例提供的混合高斯分布的参数估计装置包括：处理器41、存储器42、接收器43，其中，存储器42、接收器43可通过总线与处理器41连接，其中，存储器42存储执行指令，当混合高斯分布的参数估计装置400运行时，处理器41与存储器42之间通信，处理器41执行执行指令使得混合高斯分布的参数估计装置400执行本发明提供的混合高斯分布的参数估计的方法。

其中，接收器43用于接收发射端发送的接收信号；

处理器41用于：获取接收信号对应的发射信号的每个比特的初始对数似然比LLR；

根据接收信号对应的发射信号的每个比特的初始对数似然比LLR确定发射信号的修正LLR；

对修正LLR进行混合高斯建模，根据聚类算法估计出混合高斯概率密度函数的各初始分量参数和初始混合系数；

将各初始分量参数和初始混合系数作为期望最大化EM算法或贪婪EM算法的初始值，采用EM算法或贪婪EM算法进行迭代运算得到混合高斯概率密度函数的各最终分量参数和最终混合系数；

根据混合高斯概率密度函数的各最终分量参数和最终混合系数计算混合高斯概率密度函数，并根据混合高斯概率密度函数确定修正LLR的最大值。

如果混合高斯概率密度函数为其中，K表示高斯分量个数；α_k表示第k个分量的混合系数；μ_k表示第k个分量的均值；σ_k表示第k个分量的方差；则处理器41具体用于：

根据各初始分量参数和初始混合系数，计算隶属度权值w_i，k：

${\mathrm{\ω}}_{\mathrm{ik}}=E\left[z_{\mathrm{ik}}\right|x,{\mathrm{\Θ}}^{\left(k\right)}]=\frac{{\mathrm{\α}}_k^{\left(k\right)}p\left(x_i\right|S=k,{\mathrm{\Θ}}^{\left(k\right)})}{\underset{j=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\α}}_j^{\left(k\right)}p\left(x_i\right|S=j,{\mathrm{\Θ}}^{\left(k\right)})},$

其中，1≤j≤K，a_j ^(k)表示第j个分量的混合系数，表示与均值μ_k和方差σ_k有关的一个未知参数的集合；

然后，根据隶属度权值通过以下公式计算新的参数：

$N_k=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ω}}_{\mathrm{ik}},$

$\left\{\begin{array}{c}{\mathrm{\α}}_k^{\mathrm{new}}=\frac{N_k}{N},1\≤k\≤K\\ {\mathrm{\μ}}_k^{\mathrm{new}}=\frac{1}{N_k}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ω}}_{\mathrm{ik}}{x}_i,1\≤k\≤K\\ {\left({\mathrm{\σ}}^2\right)}_k^{\mathrm{new}}=\frac{1}{N_k}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ω}}_{\mathrm{ik}}{(x_i-{\mathrm{\μ}}_k^{\mathrm{new}})}^2,1\≤k\≤K\end{array}\right.,$

其中，w_i,k表示隶属度权值，1≤i≤N，N表示数据的长度；

最后，判断EM算法或贪婪EM算法是否满足退出条件；如果不满足退出条件，则根据新的参数计算新的隶属度，进行下一次迭代运算；如果满足退出条件，则将新的参数作为混合高斯概率密度函数的各最终分量参数和最终混合系数。其中，判断EM算法是否满足退出条件，包括：判断迭代次数是否大于预设的最大迭代次数，若是，则满足退出条件，若否，则不满足退出条件；或者，判断本次迭代结果得到的修正LLR的值与上次迭代结果得到的修正LLR的值之间的差值是否大于预设的最小差值，若是，则不满足退出条件，若否，则满足退出条件。

本实施例中，根据聚类算法估计出混合高斯概率密度函数的各初始分量参数和初始混合系数，这里采用的聚类算法可以为模糊C均值聚类算法，当然还可以为现有技术中任意一种聚类算法，本发明并不对此进行限制。

本实施例提供的混合高斯分布的参数估计装置，可用于执行方法实施例一和实施例二提供的技术方案，具体实现方式和技术效果类似，这里不再赘述。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种混合高斯分布的参数估计方法，其特征在于，包括：

接收发射端发送的接收信号，获取所述接收信号对应的发射信号的每个比特的初始对数似然比LLR；

根据所述接收信号对应的发射信号的每个比特的初始对数似然比LLR确定所述发射信号的修正LLR；

对所述修正LLR进行混合高斯建模，根据聚类算法估计出混合高斯概率密度函数的各初始分量参数和初始混合系数；

将所述各初始分量参数和初始混合系数作为期望最大化EM算法或贪婪EM算法的初始值，采用EM算法或贪婪EM算法进行迭代运算得到所述混合高斯概率密度函数的各最终分量参数和最终混合系数；

根据所述混合高斯概率密度函数的各最终分量参数和最终混合系数计算所述混合高斯概率密度函数，并根据所述混合高斯概率密度函数确定所述修正LLR的最大值。

2.根据权利要求1所述的方法，其特征在于，如果所述混合高斯概率密度函数为其中，K表示高斯分量个数；α_k表示第k个分量的混合系数；μ_k表示第k个分量的均值；表示第k个分量的方差；

所述将所述各初始分量参数和初始混合系数作为期望最大化EM算法或贪婪EM算法的初始值，采用EM算法或贪婪EM算法进行迭代运算得到所述混合高斯概率密度函数的各最终分量参数和最终混合系数；包括：

根据所述各初始分量参数和初始混合系数，计算隶属度权值w_i,k：

${\mathrm{\ω}}_{\mathrm{ik}}=E\left[z_{\mathrm{ik}}\right|x,{\mathrm{\Θ}}^{\left(k\right)}]=\frac{{\mathrm{\α}}_k^{\left(k\right)}p\left(x_i\right|S=k,{\mathrm{\Θ}}^{\left(k\right)})}{\underset{j=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\α}}_j^{\left(k\right)}p\left(x_i\right|S=j,{\mathrm{\Θ}}^{\left(k\right)})},$

其中，1≤j≤K，a_j ^(k)表示第j个分量的混合系数，表示均值μ_k、方差有关的一个未知参数的集合；

根据所述隶属度权值w_i,k通过以下公式计算新的参数：

$N_k=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ω}}_{\mathrm{ik}},$

$\left\{\begin{array}{c}{\mathrm{\α}}_k^{\mathrm{new}}=\frac{N_k}{N},1\≤k\≤K\\ {\mathrm{\μ}}_k^{\mathrm{new}}=\frac{1}{N_k}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ω}}_{\mathrm{ik}}{x}_i,1\≤k\≤K\\ {\left({\mathrm{\σ}}^2\right)}_k^{\mathrm{new}}=\frac{1}{N_k}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ω}}_{\mathrm{ik}}{(x_i-{\mathrm{\μ}}_k^{\mathrm{new}})}^2,1\≤k\≤K\end{array}\right.,$

其中，w_i,k表示隶属度权值，1≤i≤N，N表示数据的长度；

判断所述EM算法或贪婪EM算法是否满足退出条件；

如果不满足退出条件，则根据所述新的参数计算新的隶属度权值，进行下一次迭代运算；

如果满足退出条件，则将所述新的参数作为所述混合高斯概率密度函数的各最终分量参数和最终混合系数。

3.根据权利要求2所述的方法，其特征在于，所述判断所述EM算法是否满足退出条件，包括：

判断迭代次数是否大于预设的最大迭代次数，若是，则满足退出条件，若否，则不满足退出条件；

或者，判断本次迭代结果得到的所述修正LLR的值与上次迭代结果得到的所述修正LLR的值之间的差值是否大于预设的最小差值，若是，则不满足退出条件，若否，则满足退出条件。

4.根据权利要求1所述的方法，其特征在于，所述聚类算法为模糊C均值聚类算法。

5.一种混合高斯分布的参数估计装置，其特征在于，包括：

获取模块，用于接收发射端发送的接收信号，获取所述接收信号对应的发射信号的每个比特的初始对数似然比LLR；

修正模块，用于根据所述接收信号对应的发射信号的每个比特的初始对数似然比LLR确定所述发射信号的修正LLR；

估计模块，用于对所述修正LLR进行混合高斯建模，根据聚类算法估计出混合高斯概率密度函数的各初始分量参数和初始混合系数；

所述估计模块还用于：将所述各初始分量参数和初始混合系数作为期望最大化EM算法或贪婪EM算法的初始值，采用EM算法或贪婪EM算法进行迭代运算得到所述混合高斯概率密度函数的各最终分量参数和最终混合系数；

最大对数似然比确定模块，用于根据所述混合高斯概率密度函数的各最终分量参数和最终混合系数计算所述混合高斯概率密度函数，并根据所述混合高斯概率密度函数确定所述修正LLR的最大值。

6.根据权利要求5所述的装置，其特征在于，如果所述混合高斯概率密度函数为其中，K表示高斯分量个数；α_k表示第k个分量的混合系数；μ_k表示第k个分量的均值；表示第k个分量的方差；

所述估计模块具体用于：

根据所述各初始分量参数和初始混合系数，计算隶属度权值w_i，k：

${\mathrm{\ω}}_{\mathrm{ik}}=E\left[z_{\mathrm{ik}}\right|x,{\mathrm{\Θ}}^{\left(k\right)}]=\frac{{\mathrm{\α}}_k^{\left(k\right)}p\left(x_i\right|S=k,{\mathrm{\Θ}}^{\left(k\right)})}{\underset{j=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\α}}_j^{\left(k\right)}p\left(x_i\right|S=j,{\mathrm{\Θ}}^{\left(k\right)})},$

其中，1≤j≤K，a_j ^(k)表示第j个分量的混合系数，表示均值μ_k、方差有关的一个未知参数的集合；

根据所述隶属度权值通过以下公式计算新的参数：

$N_k=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ω}}_{\mathrm{ik}},$

$\left\{\begin{array}{c}{\mathrm{\α}}_k^{\mathrm{new}}=\frac{N_k}{N},1\≤k\≤K\\ {\mathrm{\μ}}_k^{\mathrm{new}}=\frac{1}{N_k}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ω}}_{\mathrm{ik}}{x}_i,1\≤k\≤K\\ {\left({\mathrm{\σ}}^2\right)}_k^{\mathrm{new}}=\frac{1}{N_k}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ω}}_{\mathrm{ik}}{(x_i-{\mathrm{\μ}}_k^{\mathrm{new}})}^2,1\≤k\≤K\end{array}\right.,$

其中，w_i,k表示隶属度权值，1≤i≤N，N表示数据的长度；

判断所述EM算法或贪婪EM算法是否满足退出条件；

如果不满足退出条件，则根据所述新的参数计算新的隶属度权值，进行下一次迭代运算；

如果满足退出条件，则将所述新的参数作为所述混合高斯概率密度函数的各最终分量参数和最终混合系数。

7.根据权利要求6所述的装置，其特征在于，所述估计模块具体用于：

判断迭代次数是否大于预设的最大迭代次数，若是，则满足退出条件，若否，则不满足退出条件；

或者，判断本次迭代结果得到的所述修正LLR的值与上次迭代结果得到的所述修正LLR的值之间的差值是否大于预设的最小差值，若是，则不满足退出条件，若否，则满足退出条件。

8.根据权利要求5所述的装置，其特征在于，所述聚类算法为模糊C均值聚类算法。