CN111539444A - 一种修正式模式识别及统计建模的高斯混合模型方法 - Google Patents

Abstract

本发明公开了一种修正式模式识别及统计建模的高斯混合模型方法，涉及模式识别及统计建模技术领域，首先，采集目标特征数据并基于特征数据集的第一个数据点创建第一个特征高斯成分，其次，依据特征数据点先后顺序计算数据点与当前各特征高斯成分间的马氏距离平方，以马氏距离为准则对现有特征高斯成分进行创建或迭代更新；最后，基于自适应阈值曲线结合马氏距离阈值去除虚假特征高斯成分以获得目标函数；本发明所述的一种修正式模式识别及统计建模的高斯混合模型方法，提出一种基于创新型自适应阈值算法以删除虚假特征高斯成分，进而对增量高斯混合模型再次修正，实现对目标特征的模式识别及统计建模。

Description

一种修正式模式识别及统计建模的高斯混合模型方法

技术领域

本发明涉及模式识别及统计建模技术领域，特别涉及一种修正式模式识别及统计建模的高斯混合模型方法。

背景技术

增量高斯混合模型(Incremental Gaussian Mixture Model,简称IGMM)是一种广泛应用于数据挖掘、统计分析和机器学习等领域的非监督式方法，其方法是使用一种近似于期望最大(Expectation Maximization，简称EM)的方法进行训练，其变量分布可分解为若干个高斯分布的统计模型。IGMM的增量特征体现在其高斯成分可跟随新引入的特征数据点而不断获得更新，这意味着IGMM 能够挖掘出与特征数据点相匹配的数据模型。因此，IGMM已经成功地应用在时间序列预测、强化学习、移动机器人控制与映射以及数据流中的离群点检测等领域。

然而，IGMM在协方差矩阵求逆和行列式计算时存在立方阶时间复杂度的问题，这使得该算法不利于高维分析，进而限制了其应用范围。鉴于此，现有技术中的研究者提出一种快速增量高斯混合模型算法，该算法的优点体现在：缩减了时间复杂程度——进而提高了计算机的运算速度；有利于高维计算——因此扩展其应用范畴。但是，该方法在去除虚假高斯成分时不符合统计规律，且在协方差矩阵迭代计算和快速算法方面较为繁琐。

针对此种现象，本申请提供了一种修正式模式识别及统计建模的高斯混合模型方法，提出一种基于创新型自适应阈值算法以删除虚假高斯成分，进而对增量高斯混合模型再次修正，节省了大量的运算成本，提高计算机的运算速度。

发明内容

本发明的目的在于提供一种修正式模式识别及统计建模的高斯混合模型方法，提出一种基于创新型自适应阈值算法以删除虚假高斯成分，进而对增量高斯混合模型再次修正，便于区别分类不同的心音。

本发明提供了一种修正式模式识别及统计建模的高斯混合模型方法，包括以下步骤：

步骤一：采集目标特征数据，通过对目标特征数据处理后建立特征数据集，基于特征数据集的第一个特征数据点创建第一个特征高斯成分；

步骤二：以特征数据点出现的先后顺序，逐个计算其与现有特征高斯成分间的马氏距离平方，以马氏距离为准则对现有特征高斯成分进行创建或迭代更新，其具体准则为：若其马氏距离平方大于马氏距离阈值，则根据该特征数据点创建新的特征高斯成分；若其马氏距离平方小于马氏距离阈值，则保持原有成分数量不变，并依据此特征数据点对原有特征高斯成分参数进行更新。当所有特征数据点输入完成后，即可得到初步的高斯混合模型，确定最初所得目标函数，实现对提取目标特征的模式识别及统计建模；

步骤三：基于马氏距离去除原有的特征高斯成分,基于自适应阈值曲线结合马氏距离阈值去除虚假特征高斯成分以获得最终目标函数，实现对目标特征的高精度分类。

进一步地，采集到的目标特征数据，通过处理后建立D维的特征数据集 X＝{X₁,X₂,……X_N}，基于特征数据流的第一个特征数据点X₁创建第一个特征高斯成分，具体参数如式(1)所示：

其中μ₁、W₁、H₁、Σ₁、δ分别表示该特征高斯成分的数学期望、权重、累加概率、协方差矩阵和尺度系数，其中默认δ＝1；

进一步地，所述步骤二包括以下步骤：

S21：以单向数据流的方式逐个计算特征数据点x_i(i＝2,3…N)与第k个特征高斯成分(k＝1,2…M)之间的马氏距离平方，如式(2)所示：

马氏距离平方服从自由度为D的卡方分布，据此马氏距离阈值可表示为

根据相关资料和反复实验分析取1-α＝0.995。

S22：如果特征数据点x_i与现有特征高斯成分之间马氏距离平方均大于阈值，则认为特征数据点x_i不属于任一特征高斯成分，此时根据特征数据点x_i创建一个新的特征高斯成分，如式(3)所示：现有特征高斯成分的个数更新为 M＝M+1：

其中

表示现有特征高斯成分累加概率总和。

S23：如果特征数据点x_i与特征高斯成分k之间马氏距离平方小于阈值，则认为特征数据点x_i属于第k个特征高斯成分，此时对特征高斯成分k原有的参数进行迭代更新以及根据矩阵的行列式引理|(A+uv^T)|＝|A|(1+v^TA^-1u)、 Sherman-Morrison公式

和式(9)对协方差矩阵的行列式及其逆矩阵进行更新：

H_k＝H_k+g(μ_k,∑_k|x_i) (6)

其中g(μ_k,∑k|x_i)为贝叶斯公式，g(x_i|μ_k,∑k)为高斯概率密度函数。

进一步地，所述步骤三包括以下步骤：

S31：依据权重按降序对特征高斯成分重组排序，然后根据自适应阈值曲线方程：

将权重小于阈值曲线的特征高斯成分去除，对于自适应阈值曲线的设定，是由反复实验统计特征高斯成分中权重较小的成分，经数学拟合得出；

S32：根据马氏距离阈值去除交叉的特征高斯成分。逐个计算特征高斯成分k与其余特征高斯成分k′(k′＝1,2…,M且k′≠k)中心点之间的马氏距离平方：

对于式(14)中的马氏距离平方，依旧使用

作为马氏距离阈值，寻找特征高斯成分k′，使得其满足

小于阈值

计算k′满足

小于阈值

的成分个数n,若n≥2,则删除成分k，若n＝1,则删除成分k与k′之中权重较小的成分，若n＝0，则保留特征高斯成分k。将最终保留的特征高斯成分依据权重按降序重组排序，更新M为现有特征高斯成分的个数，最终得到目标函数：

实现对所提取目标特征的模式识别及统计建模。

与现有技术相比，本发明具有如下显著优点：

本发明提供了一种修正式模式识别及统计建模的高斯混合模型方法，针对快速增量高斯混合模型算法中协方差矩阵的复杂递推关系提出了一种更为有效的快速递推方法，并提出一种基于创新型自适应阈值算法以删除虚假高斯成分，进而对增量高斯混合模型再次修正，节省了大量的运算成本，提高计算机的运算速度。

附图说明

图1为本发明实施例提供的一种修正式模式识别及统计建模的高斯混合模型方法的流程框图；

图2为本发明实施例提供的创建高斯成分后按照权重大小进行排序的示意图；

图3为本发明实施例提供的创建高斯成分效果图；

图4为本发明实施例提供的通过自适应阈值曲线删除虚假高斯成分后的效果图；

图5为本发明实施例提供的依据马氏距离阈值去除虚假高斯成分后的效果图。

具体实施方式

下面结合本发明中的附图，对本发明实施例的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

为了便于理解和说明，有学者提出了一种快速增量高斯混合模型算法，使用矩阵的行列式引理和Sherman-Morrison公式对协方差矩阵的行列式及其逆矩阵进行迭代更新，以减少时间复杂程度，进而提高了计算机的运行速度。但是，该方法在去除虚假高斯成分时不符合统计规律，且在协方差矩阵迭代计算和快速算法方面较为繁琐，鉴于此，本文针对快速增量高斯混合模型算法中协方差矩阵的复杂递推关系提出了一种更为有效的快速递推算法，提高了运算速度，降低了复杂程度，并提出一种基于创新型自适应阈值算法以删除虚假高斯成分，进而对增量高斯混合模型再次修正。

马氏距离(Mahalanobis distance)是由印度统计学家马哈拉诺比斯(P.C.Mahalanobis)提出的，表示点与一个分布之间的距离。它是一种有效的计算两个未知样本集的相似度的方法。与欧氏距离不同的是，它考虑到各种特性之间的联系(例如：一条关于身高的信息会带来一条关于体重的信息，因为两者是有关联的)，并且是尺度无关的(scale-invariant)，即独立于测量尺度。对于一个均值为μ，协方差矩阵为Σ的多变量向量，其马氏距离为sqrt((x-μ)'Σ^(-1)(x- μ))。

马氏距离也可以定义为两个服从同一分布并且其协方差矩阵为Σ的随机变量之间的差异程度。

如果协方差矩阵为单位矩阵，那么马氏距离就简化为欧氏距离，如果协方差矩阵为对角阵，则其也可称为正规化的欧氏距离。

参照图1-5，本发明提供了一种修正式模式识别及统计建模的高斯混合模型方法，包括以下步骤：

步骤一：采集目标特征数据，通过对目标特征数据处理后建立特征数据集，基于特征数据集的第一个特征数据点创建第一个特征高斯成分；

步骤二：以特征数据点出现的先后顺序，逐个计算其与现有特征高斯成分间的马氏距离平方，以马氏距离为准则对现有特征高斯成分进行创建或迭代更新，其具体准则为：若其马氏距离平方大于马氏距离阈值，则根据该特征数据点创建新的特征高斯成分；若其马氏距离平方小于马氏距离阈值，则保持原有成分数量不变，并依据此特征数据点对原有特征高斯成分参数进行更新。当所有特征数据点输入完成后，即可得到初步的高斯混合模型，确定最初所得目标函数，实现对提取目标特征的模式识别及统计建模；

步骤三：基于马氏距离去除原有的特征高斯成分,基于自适应阈值曲线结合马氏距离阈值去除虚假特征高斯成分以获得最终目标函数，实现对目标特征的高精度分类。

进一步地，采集到的目标特征数据，通过处理后建立D维的特征数据集 X＝{X₁,X₂,……X_N}，基于特征数据流的第一个特征数据点X₁创建第一个特征高斯成分，具体参数如式(1)所示：

其中μ₁、W₁、H₁、Σ₁、δ分别表示该特征高斯成分的数学期望、权重、累加概率、协方差矩阵和尺度系数，其中默认δ＝1，按统计学经验和相关资料确定；

所述步骤二包括以下步骤：

S21：以单向数据流的方式逐个计算特征数据点x_i(i＝2,3…N)与第k个高斯成分(k＝1,2…M)之间的马氏距离平方，如式(2)所示：

马氏距离平方服从自由度为D的卡方分布，据此马氏距离阈值可表示为

根据相关资料和反复实验分析取1-α＝0.995。

S22：如果特征数据点x_i与现有特征高斯成分之间马氏距离平方均大于阈值，则认为特征数据点x_i不属于任一特征高斯成分，此时根据特征数据点x_i创建一个新的特征高斯成分，如式(3)所示：现有特征高斯成分的个数更新为 M＝M+1：

其中

表示现有特征高斯成分累加概率总和。

S23：如果特征数据点x_i与特征高斯成分k之间马氏距离平方小于阈值，则认为特征数据点x_i属于第k个特征高斯成分，此时对特征高斯成分k原有的参数进行迭代更新以及根据矩阵的行列式引理|(A+uv^T)|＝|A|(1+v^TA^-1u)、 Sherman-Morrison公式

和式(9)对协方差矩阵的行列式及其逆矩阵进行更新：

H_k＝H_k+g(μ_k,∑_k|x_i) (6)

其中g(μ_k,∑k|x_i)为贝叶斯公式，g(x_i|μ_k,∑k)为高斯概率密度函数。

进一步地，所述步骤三包括以下步骤：

S31：依据权重按降序对特征高斯成分重组排序，然后根据自适应阈值曲线方程：

将权重小于阈值曲线的特征高斯成分去除，对于自适应阈值曲线的设定，是由反复实验统计特征高斯成分中权重较小的成分，经数学拟合得出；

S32：根据马氏距离阈值去除交叉的特征高斯成分。逐个计算特征高斯成分k与其余特征高斯成分k′(k′＝1,2…,M且k′≠k)中心点之间的马氏距离平方：

对于式(14)中的马氏距离平方，依旧使用

作为马氏距离阈值，寻找高斯成分k′，使得其满足

小于阈值

计算k′满足

小于阈值

的成分个数n,若n≥2,则删除成分k，若n＝1,则删除成分k与k′之中权重较小的成分，若n＝0，则保留高斯成分k。将最终保留的高斯成分依据权重按降序重组排序，更新M为现有高斯成分的个数，最终得到目标函数：

实现对所提取目标特征的模式识别及统计建模。

本申请提供的一种修正式模式识别及统计建模的高斯混合模型方法的优点主要分为三点：1、增量学习方式仅采用当前特征数据点实现对以往目标函数的修正迭代出新的目标函数，进而节省了大量运算成本。2、能够以自适应方式匹配目标函数中成分的数量。3、利用Sherman-Morrison公式校正逆矩阵算法极大提高了运算速度。

鉴于此，采用在线学习的方式，本申请提供的一种修正式模式识别及统计建模的高斯混合模型方法还具备如下实施方式：

一、对目标用户的群体进行分类，通过对特定运营目的和商业目的所挑选出的指标变量进行分析，把目标群体划分成几个具有明显特征区别的细分群体，从而可以在运营活动中为这些细分群体采取精细化，个性化的运营和服务，最终提升运营的效率和商业效果(如把付费用户按照几个特定维度，如利润贡献，用户年龄，续费次数等分类分析后得到不同特征的群体)。

二、计算不同产品的价值组合，企业可以按照不同的商业目的，并依照特定的指标标量来为众多的产品种类进行分析，把企业的产品体系进一步细分成具有不同价值，不同目的的多维度的产品组合，并且在此基础分别制定和相应的开发计划，运营计划和服务规划(如哪些产品畅销毛利率又高，哪些产品滞销且毛利又低)。

三、探测，发现离群点和异常值，所述离群点指相对于整体数据对象而言的少数数据对象，这些对象的行为特征与整体的数据行为特征很不一致(如某电商平台上，比较昂贵，频繁的交易，就有可能隐含欺诈的风险，需要风控部门提前关注，监控)。

四、图像分割，图像分割广泛应用于医学、交通、军事等领域。图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。它是由图像处理到图像分析的关键步骤。算法先将图像空间中的像素用对应的特征空间点表示，根据它们在特征空间的聚集对特征空间进行分割，然后将它们映射回原图像空间，得到分割结果。

综上所述，本申请还在中药材识别、搜索引擎查询分类以进行流量推荐、非人恶意流量识别、商业、生物、保险行业和电子商务领域得到充分的应用，借助本申请提供的一种修正式模式识别及统计建模的高斯混合模型方法，能够使得增量高斯混合模型计算更为准确。

以上公开的仅为本发明的几个具体实施例，但是，本发明实施例并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (4)

1.一种修正式模式识别及统计建模的高斯混合模型方法，其特征在于，包括以下步骤：

步骤一：采集目标特征数据，通过对目标特征数据处理后建立特征数据集，基于特征数据集的第一个特征数据点创建第一个特征高斯成分；

步骤二：以特征数据点出现的先后顺序，逐个计算其与现有特征高斯成分间的马氏距离平方，以马氏距离为准则对现有特征高斯成分进行创建或迭代更新，其具体准则为：若其马氏距离平方大于马氏距离阈值，则根据该特征数据点创建新的特征高斯成分；若其马氏距离平方小于马氏距离阈值，则保持原有成分数量不变，并依据此特征数据点对原有特征高斯成分参数进行更新。当所有特征数据点输入完成后，即可得到初步的高斯混合模型，确定最初所得目标函数，实现对提取目标特征的模式识别及统计建模；

步骤三：基于马氏距离去除原有的特征高斯成分,基于自适应阈值曲线结合马氏距离阈值去除虚假特征高斯成分以获得最终目标函数，实现对目标特征的高精度分类。

2.如权利要求1所述的一种修正式模式识别及统计建模的高斯混合模型方法，其特征在于，采集到的目标特征数据，通过处理后建立D维的特征数据集X＝{X₁,X₂,……X_N}，基于特征数据流的第一个特征数据点X₁创建第一个特征高斯成分，具体参数如式(1)所示：

其中μ₁、W₁、H₁、Σ₁、δ分别表示该特征高斯成分的数学期望、权重、累加概率、协方差矩阵和尺度系数，其中默认δ＝1。

3.如权利要求1所述的一种修正式模式识别及统计建模的高斯混合模型方法，其特征在于，所述步骤二包括以下步骤：

S21：以单向数据流的方式逐个计算特征数据点x_i(i＝2,3…N)与第k个特征高斯成分(k＝1,2…M)之间的马氏距离平方，如式(2)所示：

马氏距离平方服从自由度为D的卡方分布，据此马氏距离阈值可表示为

根据相关资料和反复实验分析取1-α＝0.995。

S22：如果特征数据点x_i与现有特征高斯成分之间马氏距离平方均大于阈值，则认为特征数据点x_i不属于任一特征高斯成分，此时根据特征数据点x_i创建一个新的特征高斯成分，如式(3)所示：现有特征高斯成分的个数更新为M＝M+1：

其中

表示现有特征高斯成分累加概率总和。

S23：如果特征数据点x_i与特征高斯成分k之间马氏距离平方小于阈值，则认为特征数据点x_i属于第k个特征高斯成分，此时对特征高斯成分k原有的参数进行迭代更新以及根据矩阵的行列式引理|(A+uv^T)|＝|A|(1+v^TA^-1u)、Sherman-Morrison公式

和式(9)对协方差矩阵的行列式及其逆矩阵进行更新：

H_k＝H_k+g(μ_k,∑_k|x_i) (6)

其中g(μ_k,∑k|x_i)为贝叶斯公式，g(x_i|μ_k,∑k)为高斯概率密度函数。

4.如权利要求1所述的一种修正式模式识别及统计建模的高斯混合模型方法，其特征在于，所述步骤三包括以下步骤：

S31：依据权重按降序对特征高斯成分重组排序，然后根据自适应阈值曲线方程：

将权重小于阈值曲线的特征高斯成分去除，对于自适应阈值曲线的设定，是由反复实验统计特征高斯成分中权重较小的成分，经数学拟合得出；

S32：根据马氏距离阈值去除交叉的特征高斯成分。逐个计算特征高斯成分k与其余特征高斯成分k′(k′＝1,2…,M且k′≠k)中心点之间的马氏距离平方：

对于式(14)中的马氏距离平方，依旧使用

作为马氏距离阈值，寻找特征高斯成分k′，使得其满足

小于阈值

计算k′满足

小于阈值

的成分个数n,若n≥2,则删除成分k，若n＝1,则删除成分k与k′之中权重较小的成分，若n＝0，则保留特征高斯成分k。将最终保留的特征高斯成分依据权重按降序重组排序，更新M为现有特征高斯成分的个数，最终得到目标函数：

实现对所提取目标特征的模式识别及统计建模。

Images