CN109656202B - 基于局部和结构一致性流形gmm的多模态过程监测方法 - Google Patents

Abstract

本发明公开了基于局部和结构一致性流形GMM的多模态过程监测方法，利用GMM将多模数据划分成多个局部数据块，分析局部数据块的局部切空间，计算局部切空间之间的主角，研究局部数据块之间的相似关系，构建局部和结构一致性流形图谱，根据不同模态对应子流形的结构关系获取过程模态变化情况，设计一致性流形平滑的监测统计量，实施故障检测。与一般的流形GMM监测方法相比，本发明根据不同高斯成分对应的数据块，获取局部切空间的相似度，并融合局部和结构一致性信息，构建流形学习的图谱，分析多个子流形之间的关系，避免了交叉重叠数据块的错误划分，准确描述多模态过程数据在低维嵌入空间的几何结构，实施精确的故障检测，达到更好的监测效果。

Description

基于局部和结构一致性流形GMM的多模态过程监测方法

技术领域

本发明属于工业过程监控领域，尤其涉及一种基于局部和结构一致性流形GMM的多模态过程监测方法。

背景技术

现代工业的过程监测对保障生产安全、提高产量等具有举足轻重的作用。随着分布式控制系统的发展，生产规模和操作复杂度急剧增加，过程采集了大量的高维数据。而且，由于生产的产品等级、产量会随市场需求及季节效应不断调整，产品成分、过程设定值、进料比例等工艺参数也会出现波动，现代的工业过程会在多个不同的操作模态之间进行切换。这些生产过程中的随机变化使得过程数据呈现非线性、多模态等特点。尽管基于数据驱动的多元统计过程控制(Multivariate Statistical Process Control,MSPC)方法在过程监测中取得了成功的应用，但是多模非线性数据的均值和协方差均发生了重大的变化，传统的MSPC方法忽视了不同过程变量之间存在的非线性和多模关系，可能导致监测结果的退化。而且，在实际生产过程中，产量和产品质量通常难以直接在线测量，需要在生产完成后进行测量。因此，构建产品变量和质量变量之间的关系模型对于质量相关的多模过程监测尤其重要。高斯混合模型(Gaussian Mixture Model,GMM)被用于多模态过程监测，利用一系列高斯成分估计多模态过程中复杂的数据分布，并构建基于马氏距离和似然概率的统计指标实施过程监测。

然而，GMM假设多模态过程的每个单模态处于明显不同的空间区域，确保所构建的监测模型精确。然而，实际的多模态过程数据会出现彼此交叉重叠，在低维的子流形分布时，这些子流形可能远离，也可能交叉重叠。GMM对这类过程数据难以精准分割，容易在交叉区域造成故障的误报或漏报，因此，在建模时应该融合模态变迁之间的数据信息，每个子流形的近邻样本可能分布在相同的高斯成分中，构建流形GMM监测模型。

局部保持投影(Locality Preserving Projection,LPP)利用近邻之间的欧氏距离作为流形图谱的邻接矩阵，以图谱嵌入的方式挖掘数据中的结构信息。但是，根据欧氏距离构建的图谱很容易将不同子流形或交叉重叠流形中的彼此靠近的样本误认为近邻，这将构建不精确的监测模型。因此，需要融合多模数据中的几何结构信息，建立准确的流形学习图谱。根据局部切空间是非线性流形的局部几何结构的逼近，相同子流形的样本有相似的局部切空间，而来自不同子流形的样本之间具有不同的切空间，这是结构一致性属性。同时，约束样本的局部近邻关系，相同模态下远离的样本在低维空间彼此远离，确保局部和结构一致性流形。

鉴于局部切空间的优势，融合局部和结构一致性流形，提出基于局部和结构一致性流形GMM的多模态过程监测方法，保持高斯成分的子流形样本之间的局部和结构一致性，强化GMM模型学习性能，提升模型的故障检测能力。

发明内容

本发明所要解决的技术问题是克服现有技术的不足而提供一种基于局部和结构一致性流形GMM的多模态过程监测方法，针对高维多模态过程的低维流形结构复杂性，利用高斯混合模型将多模态过程数据划分成多个数据块，每个数据块对应一个高斯成分，根据不同的高斯成分构建不同的局部切空间，利用两个局部切空间的主角，分析局部切空间的相似度，构建局部和结构一致性的图谱，形成多模态过程的局部和结构一致性流形平滑子空间，在子空间内设计监测统计量，实施故障检测。

本发明为解决上述技术问题采用以下技术方案：

基于局部和结构一致性流形GMM的多模态过程监测方法，具体包括以下步骤：

步骤A、根据高维多模态过程数据，构建GMM模型，确定GMM模型参数，获取多模态过程的高斯成分；；

步骤B、根据GMM模型确定的高斯成分，构建局部和结构一致性流形的图谱；针对高维多模态过程，将流形结构的局部信息和整体结构信息融合，构建多模态过程的局部和结构一致性流形的图谱；

步骤C、根据局部和结构一致性信息，构建低维流形平滑保持的嵌入空间；

步骤D、设计监测统计量PT，对多模态过程样本实施故障检测。

作为本发明基于局部和结构一致性流形GMM的多模态过程监测方法的进一步优选方案，所述步骤A具体如下：

给定来自高维多模态过程的m维样本x∈R^m，总样本数为N，高斯成分总数为K，GMM的联合似然函数表示为：

式中，参数Θ＝{ω₁,...,ω_K,θ₁,...,θ_K}，

p(x_j|θ_i)是是第i个高斯成分的密度概率，θ_i＝{μ_i,Σ_i}是高斯成分i的参数，μ_i是均值向量，Σ_i是协方差矩阵，利用期望值最大方法估计GMM的参数，在每次迭代中更新参数：

式中，p(c_k|x_j)表示样本x_j属于第k个高斯成分的后验概率。

作为本发明基于局部和结构一致性流形GMM的多模态过程监测方法的进一步优选方案，所述步骤B的子过程如下：

步骤3.1，分析两个不同流形上样本之间的近似关系，求解两个对应局部切空间的主角：

根据不同高斯成分的协方差矩阵，求解出对应的特征向量，并张成局部切空间；假设第k个高斯成分的协方差矩阵Σ_k，利用奇异值分解方法，获取前d个最大特征值对应的特征向量u₁,…,u_d，构成特征向量矩阵U_k，并张成局部切空间Γ_k；第b个高斯成分的协方差矩阵Σ_b，利用奇异值分解方法，获取前d个最大特征值对应的特征向量v₁,…,v_d，构成特征向量矩阵V_b，并张成局部切空间Γ_b；两个局部切空间Γ_k和Γ_b内第l对特征向量之间的主角γ_l定义为：

式中，

步骤3.2，根据成对向量的主角，求解两个局部切空间的结构相似度S：

如果S值较大，说明两个局部切空间具有相似的结构；如果S值较小，说明两个局部切空间具有较大的方向性差异；

步骤3.3，利用结构相似度信息，融合样本之间的局部信息，构建流形学习图谱：

高维多模态过程数据分割成不同的高斯成分，分布于不同的低维子流形上，同时期望融合局部和结构一致性信息，保持不同子流形之间的平滑度，为了保持样本的局部近邻信息，构建流形学习图谱，将流形学习图谱的边权矩阵G定义为局部切空间的几何结构相似度，表示为：

式中，γ_l是两个近邻样本所在的高斯成分形成的局部切空间主角。

作为本发明基于局部和结构一致性流形GMM的多模态过程监测方法的进一步优选方案，所述步骤C具体如下：

将局部和结构一致性信息融入流形学习的目标函数，若边权值较大，则目标函数对彼此远离的样本点进行重惩，通通过最小化目标函数，确保近邻的样本在低维的投影空间也靠近，局部和结构一致性保持的高斯流形平滑的目标函数表示为：

式中，a为低维的投影向量，目标函数进一步简化为：

式中，L＝D-G是图谱G的拉普拉氏矩阵，D是具有元素为D_ii＝∑_jG_ij的对角矩阵，X是样本集，通过求解泛化特征值问题，获得优化的特征向量a:

XLX^Ta＝λXDX^Ta (11)

则选择的最优特征向量a构成投影矩阵A，形成低维流形的嵌入空间。

作为本发明基于局部和结构一致性流形GMM的多模态过程监测方法的进一步优选方案，所述步骤D具体如下：

使用T²统计量度量投影空间上各个高斯成分的变化程度：

T_k ²＝x^TA^TΣ_k ^-1Ax (12)

结合测试样本到每个高斯成分的后验概率p(c_k|A^Tx)，定义监测统计量PT：

给定显著性水平α，监测统计量PT的阈值DT满足χ²分布，当PT>DT，则判定过程系统有故障发生。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

本发明利用高斯成分的局部切空间作为子流形的几何结构方向，根据局部切空间之间的主角分析不同高斯流形之间的相似度，融合局部和结构一致性信息构建流形学习图谱；传统的流形学习方法利用同一流形的邻域样本之间的欧氏距离作为邻接图谱，而不同子流形的近邻样本彼此靠近可能造成构建的监测模型不精确；因此，本发明方法适合高维多模态过程的故障检测。

附图说明

图1是本发明方法的实施流程图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明进行详细描述。

如图1所示，本发明涉及了基于局部和结构一致性流形GMM的多模态过程监测方法，该方法的具体实施步骤如下所示：

(1)根据高维多模态过程数据，构建GMM模型，确定模型参数，获取多模态过程的高斯成分。

给定来自高维多模态过程的m维样本x∈R^m，总样本数为N，高斯成分总数为K，GMM的联合似然函数表示为：

式中，参数Θ＝{ω₁,...,ω_K,θ₁,...,θ_K}，

p(x_j|θ_i)是是第i个高斯成分的密度概率，θ_i＝{μ_i,Σ_i}是高斯成分i的参数，μ_i是均值向量，Σ_i是协方差矩阵。利用期望值最大(Expectation-Maximization,EM)方法估计GMM的参数。在每次迭代中更新参数：

式中，p(c_k|x_j)表示样本x_j属于第k个高斯成分的后验概率。

(2)根据GMM确定的高斯成分，构建局部和结构一致性流形的图谱。针对高维多模态过程，利用相同模态的样本之间具有相似的局部切空间，而不同模态的样本之间具有不同的切空间原则，将流形结构的局部信息和整体结构信息融合，构建多模态过程的局部和结构一致性流形的图谱。求解局部和结构一致性流形的图谱的子步骤如下所示：

(2.1)分析两个不同流形上样本之间的近似关系，求解两个对应局部切空间的主角：

根据不同高斯成分的协方差矩阵，求解出对应的特征向量，并张成局部切空间；假设第k个高斯成分的协方差矩阵Σ_k，利用奇异值分解方法，获取前d个最大特征值对应的特征向量u₁,…,u_d，构成特征向量矩阵U_k，并张成局部切空间Γ_k；第b个高斯成分的协方差矩阵Σ_b，利用奇异值分解方法，获取前d个最大特征值对应的特征向量v₁,…,v_d，构成特征向量矩阵V_b，并张成局部切空间Γ_b；两个局部切空间Γ_k和Γ_b内第l对特征向量之间的主角γ_l定义为：

式中，

(2.2)根据成对向量的主角，求解两个局部切空间的结构相似度S：

如果S值较大，说明两个局部切空间具有相似的结构；如果S值较小，说明两个局部切空间具有较大的方向性差异。

来自两个不同子流形的样本，利用它们的近邻矩阵获得相应的局部切空间，如果它们的近邻矩阵高度重叠，则它们获得了相似的局部切空间，会导致构建的模型不精确。本发明利用GMM划分多模态过程，将整个数据集划分成多个不同的高斯成分，每个高斯成分对应一个局部数据块，由于高斯成分协方差矩阵的主要特征向量张成了局部切空间，来自相同高斯成分的样本具有相似的局部切空间；整个数据集划分成分离的多个高斯成分，再计算不同高斯成分构建的局部切空间之间的结构相似度，对多模态过程准确建模；避免利用样本的近邻矩阵，获得不准确的局部切空间相似度。

(2.3)利用结构相似度信息，融合样本之间的局部信息，构建低维流形图谱：

高维多模态过程数据分割成不同的高斯成分，分布于不同的低维子流形上，同时期望融合局部和结构一致性信息，保持不同子流形之间的平滑度。因此，为了保持样本的局部近邻信息，构建流形学习图谱，本发明将流形学习图谱的边权矩阵G定义为局部切空间的几何结构相似度，表示为：

式中，γ_l是两个近邻样本所在的高斯成分形成的局部切空间主角。

(3)根据局部和结构一致性信息，构建低维流形平滑保持的投影空间：

将局部和结构一致性信息融入流形学习的目标函数，如果边权值较大，则目标函数对彼此远离的样本点进行重惩，通过最小化目标函数，确保近邻的样本在低维的投影空间也靠近，局部和结构一致性保持的高斯流形平滑的目标函数表示为：

式中，a为低维的投影向量，目标函数进一步简化为：

式中，L＝D-G是图谱G的拉普拉氏矩阵，D是具有元素为D_ii＝∑_jG_ij的对角矩阵，X是样本集。通过求解泛化特征值问题，获得优化的特征向量a:

XLX^Ta＝λXDX^Ta (11)

则选择的最优特征向量a构成投影矩阵A，形成低维流形的嵌入空间；

(4)设计监测统计量PT，对多模态过程样本实施故障检测：

使用T²统计量度量投影空间上各个高斯成分的变化程度：

T_k ²＝x^TA^TΣ_k ^-1Ax (12)

结合测试样本到每个高斯成分的后验概率p(c_k|A^Tx)，定义监测统计量PT：

给定显著性水平α，监测统计量PT的阈值DT满足χ²分布，当PT>DT，则判定过程系统有故障发生。

利用高斯成分的局部切空间作为子流形的几何结构方向，根据局部切空间之间的主角分析不同高斯流形之间的相似度，融合局部和结构一致性信息构建流形学习图谱；传统的流形学习方法利用同一流形的邻域样本之间的欧氏距离作为邻接图谱，而不同子流形的近邻样本彼此靠近可能造成构建的监测模型不精确。因此，本发明方法适合高维多模态过程的故障检测。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围内。

Claims (3)

1.基于局部和结构一致性流形GMM的多模态过程监测方法，其特征在于，具体包括以下步骤：

步骤A、根据高维多模态过程数据，构建GMM模型，确定GMM模型参数，获取多模态过程的高斯成分；

上述步骤A具体如下：

给定来自高维多模态过程的m维样本x∈R^m，总样本数为N，高斯成分总数为K，GMM的联合似然函数表示为：

式中，参数Θ＝{ω₁,...,ω_K,θ₁,...,θ_K}，

p(x_j|θ_i)是第i个高斯成分的密度概率，θ_i＝{μ_i,Σ_i}是高斯成分i的参数，μ_i是均值向量，Σ_i是协方差矩阵，利用期望值最大方法估计GMM的参数，在每次迭代中更新参数：

式中，p(c_k|x_j)表示样本x_j属于第k个高斯成分的后验概率，1≤k≤K、1≤i≤K、1≤j≤N、以及ω_k表示第k个高斯成分的权重系数；

步骤B、根据GMM模型确定的高斯成分，构建局部和结构一致性流形的图谱；针对高维多模态过程，将流形结构的局部信息和整体结构信息融合，构建多模态过程的局部和结构一致性流形的图谱；

步骤C、根据局部和结构一致性信息，构建低维流形平滑保持的嵌入空间；

步骤D、设计监测统计量PT，对多模态过程样本实施故障检测。

2.根据权利要求1所述的基于局部和结构一致性流形GMM的多模态过程监测方法，其特征在于，所述步骤B的子过程如下：

步骤3.1，分析两个不同流形上样本之间的近似关系，求解两个对应局部切空间的主角：

根据不同高斯成分的协方差矩阵，求解出对应的特征向量，并张成局部切空间；假设第k个高斯成分的协方差矩阵Σ_k，利用奇异值分解方法，获取前d个最大特征值对应的特征向量u₁,…,u_d，构成特征向量矩阵U_k，并张成局部切空间Γ_k；第b个高斯成分的协方差矩阵Σ_b，利用奇异值分解方法，获取前d个最大特征值对应的特征向量v₁,…,v_d，构成特征向量矩阵V_b，并张成局部切空间Γ_b；两个局部切空间Γ_k和Γ_b内第l对特征向量之间的主角γ_l定义为：

式中，

步骤3.2，根据成对向量的主角，求解两个局部切空间的结构相似度S：

如果S值较大，说明两个局部切空间具有相似的结构；如果S值较小，说明两个局部切空间具有较大的方向性差异；

步骤3.3，利用结构相似度信息，融合样本之间的局部信息，构建流形学习图谱：

高维多模态过程数据分割成不同的高斯成分，分布于不同的低维子流形上，同时期望融合局部和结构一致性信息，保持不同子流形之间的平滑度，为了保持样本的局部近邻信息，构建流形学习图谱，将流形学习图谱的边权矩阵G定义为局部切空间的几何结构相似度，表示为：

式中，γ_l是两个近邻样本所在的高斯成分形成的局部切空间主角。

3.根据权利要求1所述的基于局部和结构一致性流形GMM的多模态过程监测方法，其特征在于，所述步骤D具体如下：

使用T²统计量度量投影空间上各个高斯成分的变化程度：

结合测试样本到每个高斯成分的后验概率p(c_k|A^Tx)，定义监测统计量PT：

给定显著性水平α，监测统计量PT的阈值DT满足χ²分布，当PT>DT，则判定过程系统有故障发生。

Images