CN110377942B - 一种基于有限高斯混合模型的多模型时空建模方法 - Google Patents

Abstract

本发明公开了一种基于有限高斯混合模型的多模型时空建模方法，应用于非线性分布参数系统，基于有限高斯混合模型，将由非线性分布参数系统得到的非线性空间划分为多个局部操作子空间，将原始复杂的非线性时空动态方程归结为几个简单的非线性时空动态方程，从而进行局部建模；在集成所有局部时空模型时采用主成分回归方法计算每个局部时空模型的权重，避免了多重共线性的存在，通过多模型建模重构了一个大工作区域的全局时空模型。本发明方法对大尺度、强非线性和时变系统具有更好的性能。

Description

一种基于有限高斯混合模型的多模型时空建模方法

技术领域

本发明涉及非线性分布参数系统的建模领域，尤其涉及一种基于有限高斯混合模型的多模型时空建模方法。

背景技术

许多工业过程，如热加工、流体流动、化学工程等，不仅与时间有关，而且与空间有关，这些系统是典型的非线性分布参数系统(DPSs)，通常使用偏微分方程组(PDEs)和其相应的初始条件、边界条件来描述。由于非线性分布参数系统的输入、输出，甚至系统的参数在时间和空间方向上都会发生变化，因此它们是时空耦合的，并用具有无穷维的特性，这些都使得系统的建模、控制和优化变得非常困难。

目前，已有大量关于DPSs建模的研究成果，但是现有的建模方法一般要求系统具有规则的空间域和齐次边界条件，或者只能在很小的工作域内表现良好。由于复杂非线性分布参数系统的建模具有强非线性、时变动态以及具有多个工作点的大工作范围的特点，现有的单一时空模型和单一的全局模型不适合该处理过程，使得模型的复杂度高，影响建模的精度和效率。

发明内容

本发明为解决现有非线性分布参数系统的建模方法无法适应系统强非线性、时变动态以及具有多个工作点的大工作范围的挑战，存在模型的复杂度高，影响建模的精度和效率等问题，提供了一种基于有限高斯混合模型的多模型时空建模方法。

为实现以上发明目的，而采用的技术手段是：

一种基于有限高斯混合模型的多模型时空建模方法，应用于非线性分布参数系统，包括以下步骤：

S1.基于有限高斯混合模型，将由非线性分布参数系统得到的非线性空间划分为多个局部操作子空间；

S2.对于获得的每个局部操作子空间，通过K-L分解法对其时空输出数据进行时空分离得到空间基函数，并获取非线性自回归模型；

S3.通过超限学习机的方法对获取得到的非线性自回归模型进行评估得到低维时间动态模型；

S4.基于空间基函数以及低维时间动态模型进行时空综合，得到每个局部操作子空间对应的局部时空模型；

S5.采用加权和形式集成所有局部时空模型，从而重构一个全局时空模型。

上述方案中，基于有限高斯混合模型，将由非线性分布参数系统得到的非线性空间划分为多个局部操作子空间，将原始复杂的非线性时空动态方程归结为几个简单的非线性时空动态方程，从而进行局部建模；在每个局部操作子空间中通过K-L分解法进行时空建模再通过超限学习机的方法对模型进行评估得到低维时间动态模型，然后进行时空综合，得到每个局部操作子空间对应的局部时空模型，对各个局部时空模型从而重构一个大工作区域的全局时空模型。

优选的，所述步骤S1包括：

S11.获取时空训练数据：从非线性分布参数系统中收集数据作为数据集，其中u(t)∈R是所述非线性分布参数系统的输入信号；y(x,t)∈R是测量的时空数据，即第i个传感器的空间位置点在第j个时刻的温度；x是在空间域Ω中变化的空间变量，t是时间变量，L是时间长度，N是传感器的数目；选取N个空间位置点的L个时刻的温度作为时空训练数据建立模型；其中时空训练数据为Y＝{y₁,y₂,...,y_L}；

S12.在FGMM有限高斯混合模型，定义y∈R^N表示在多模态过程中收集的N维数据，则概率密度函数描述为：

其中K表示FGMM有限高斯混合模型中包含的高斯分量数，ω_k是第k分量C_k的对应权重，θ_k＝{μ_k,∑_k}是第k分量C_k的模型参数，μ_k是模型期望，∑_k是模型协方差，θ＝{θ₁,...,θ_K}＝{μ₁,∑₁,...,μ_K,∑_K}表示全局高斯模型参数；

与C_k相应的多元高斯密度函数描述为：

有限高斯混合模型的累积密度函数满足：

由于对于每个局部高斯分量

为真，则得到：

其中0≤ω_k≤1表示先验概率；

从而得出来自多个模型的操作数据的总体平均值为：

S13.对构建FGMM有限高斯混合模型的未知参数进行估计：

由步骤S12得知，总体均值是每个高斯分量均值的凸组合，但混合协方差与各分量协方差之间没有明显显着关系，因此需要进行以下步骤确定未知参数；

构建FGMM有限高斯混合模型需确定的未知参数包括：

Θ＝{{ω₁,μ₁,∑₁},...,{ω_K,μ_K,∑_K}}

其中Θ包含先验概率ω_k(1≤k≤K)和高斯模式参数θ，μ_k和∑_k分别是N×1向量和N×N矩阵，即待确定的标量参数总数为

在收集到的时空训练数据Y＝{y₁,y₂,...,y_L}中，对数似然函数描述为：

得到所述未知参数的估计问题描述为：

最大期望算法作为一种更易于管理的数值方法，在实际应用中被广泛应用于极大似然分布参数的学习，该方法首先通过重复期望步长和最大步长迭代计算后验概率，然后计算相应的分布参数，直到满足对数似然函数的收敛准则；虽然最大期望算法可以很好地计算高斯模型参数，但该方法存在一个主要缺陷，即首先要指定高斯分量的个数，在参数估计过程中不能自动调整，因此结合F-J算法可以从任意数量的高斯分量开始工作，然后通过去除不重要权重来自动调整高斯分量，具体如下：

根据最小信息长度准则，得到所述未知参数的估计问题的目标函数：

其中

为标量参数的数目，表示具有非零权重的有效分量数K_nz；

通过最大期望算法增强M阶的权值更新来最小化所述目标函数：

从而完成多个局部操作子空间的划分。

在本优选方案中，由于FGMM是多个高斯分布函数的线性组合，可以适用于任何类型的分布，它通常用于解决同一过程中由不同运行模式驱动的快照问题。因此，FGMM比高斯函数或概率PCA更能捕捉到非线性动态特征。因此利用FGMM有限高斯混合模型将原复杂非线性空间划分为多个局部操作子空间，随着操作空间的分离，原始复杂的非线性时空动态方程可以归结为几个简单的非线性时空动态方程，便于进行局部建模和实验。

优选的，所述步骤S2包括：

S21.对于获得的每个局部操作子空间，定义第k个局部操作子空间输出的时空数据是

第k个局部操作子空间的输入数据是

其中L_k表示时间长度，k＝1,2,...,K；

S22.通过K-L分解法，对每个局部操作子空间输出的时空数据进行时空分离，计算得到空间基函数；

S23.根据空间基函数和每个局部操作子空间在各个时刻的输出数据点，获得时间系数；结合每个局部操作子空间的输入数据和时间系数得到每个局部操作子空间的非线性自回归模型。

优选的，步骤S22所述的空间基函数为：

所述空间基函数是满足下列方程的单位正交函数：

其中

表示

和

的内积。

优选的，所述步骤S23具体包括：

通过K-L分解法，对每个局部操作子空间输出的时空数据进行时空分离后得到：

其中

为时间系数，时间系数的计算为：

使用向量形式定义时间系数为：

建立第k个局部操作子空间的时间系数

和第k个局部操作子空间的输入数据

之间未知的非线性动态关系，所述非线性动态关系用非线性自回归模型描述为：

a^k(t)＝f(a^k(t-1),u^k(t-1))+ε(t)

其中，

优选的，所述步骤S3具体为根据每个局部操作子空间的输入数据和时间系数，利用超限学习机的方法对非线性自回归模型进行评估得到对应的低维时间动态模型。

有很多传统的集总建模方法，是从输入输出数据集

建立未知函数f(·)，如神经网络、SVM和Volterra模型等，在本优选方案中，本质上属于单隐层前馈神经网络的超限学习机，将被用于逼近未知非线性函数，它具有学习速度快、逼近能力强等优点。

优选的，所述步骤S3的具体步骤包括：

定义

则用于估计非线性自回归模型的超限学习机描述为：

其中

是连接第τ个隐藏节点和输出节点的输出权向量，

是连接第τ个隐藏节点和输入节点的输入权向量，

是第τ个隐藏节点的阈值，h是隐藏节点的数目，G(·)为应用的激活函数和Sigmoid函数；

超限学习机的预测输出

计算为：

超限学习机的预测输出

计算的矩阵形式为：

其中，

即得到低维时间动态模型的预测输出。

优选的，步骤S4中所述的局部时空模型为：

为第k个局部操作子空间对应的局部时空模型。

优选的，所述步骤S5具体为：

采用加权和形式集成所有局部时空模型，描述为：

其中w_i,k,(i＝1,...,N,k＝1,...,K)表示第k个局部时空模型

在传感器i上的权重，对于其中的权参数，采用最小二乘法进行求解：

其中下标i表示传感器i处的对应变量；W_i＝[w_i,1,w_i,2,...,w_i,K]^T表示权重向量，

Ψ_i＝[Y_i ^1T,Y_i ^2T,...,Y_i ^KT]表示局部时空模型的输出矩阵，

表示第k个局部时空模型的输出向量，Y_i＝[y(x_i,t₁),y(x_i,t₂),...,y(x_i,t_L)]^T表示测量的时空输出矢量；

定义

在主成分回归分析下，参数矩阵

分解为：

其中，c_k＝μ_kσ_k,d_k＝v_k,k＝1,2,...,K分别表示第k个支点单元的主分量和载荷分量，c_k＝μ_kσ_k,d_k＝v_k,k＝1,2,...,K均为单位正交向量；

所述分解式为：

其中，C＝[c₁,c₂,...,c_q],D＝[d₁,d₂,...,d_q]；

对于采用加权和形式集成所有局部时空模型的描述，采用矩阵形式的描述为：

定义

则

的最小二乘解推导为：

由于D是正交矩阵，D^T＝D^-1，权重

的计算为：

重构的全局时空模型描述为：

其中W^k＝diag(w_1,k,w_2,k,...,w_N,k)表示第k个局部时空模型的权矩阵，

优选的，所述方法还包括：

S6.分析重构得到的全局时空模型的泛化界，从而分析其泛化性能：

Rademacher复杂度可以用来评价估计模型的泛化性能，并根据模型训练误差对预测误差进行约束，这种方法既可用于离散值函数，也可用于实值函数，本优选方案中对Rademacher复杂度进行了研究，分析了所提出的全局时空模型建模方法的泛化性能；

S61.将重构得到的全局时空模型以矩阵形式描述为：

S62.引入引理：定义

并且l≤B，

对于任何δ∈(0,1)，在m个测试样本下，至少有概率1-δ，对于

满足：

其中

是使用l时

的预测误差；

是使用l时

的经验误差；R_m(T)是T的Rademacher复杂度；

S63.根据步骤S62的引理以及步骤S61全局时空模型的矩阵形式，将全局时空模型的泛化界使用以下定理描述为：

定理：

和

参数矩阵||W^k||≤P^k和||β^k||≤Q^k，

其中，E[ζ]表示ζ的期望，在m个测试样本下，对于

存在概率至少为1-δ的情况下，满足：

S64.根据Rademacher复杂度的定义，经验Rademacher复杂度

的形式描述为：

将步骤S61全局时空模型的矩阵形式代入经验Rademacher复杂度

的形式，

描述为：

由于W^k和β^k是有界的，则：

Rademacher复杂度R_m(T)描述为：

根据步骤S62的引理以及Rademacher复杂度R_m(T)，对于任何δ∈(0,1)，在m个测试样品上，至少有1-δ的概率，则对于

满足：

其中

和

为常数，通过上式即完成对重构得到的全局时空模型的泛化界进行分析。

与现有技术相比，本发明技术方案的有益效果是：

本发明方法基于有限高斯混合模型，将由非线性分布参数系统得到的非线性空间划分为多个局部操作子空间，将原始复杂的非线性时空动态方程归结为几个简单的非线性时空动态方程，从而进行局部建模，降低了非线性的复杂性，使得模型具有很强的跟踪和处理复杂非线性动态的能力；

由于每个局部时空模型都代表同一个非线性分布参数系统，所以它们往往具有相似的非线性动态特征，本发明在集成所有局部时空模型时采用主成分回归方法计算每个局部时空模型的权重，避免了多重共线性的存在；

本发明解决现有了非线性分布参数系统的建模方法无法适应系统强非线性、时变动态以及具有多个工作点的大工作范围的挑战，存在模型的复杂度高，影响建模的精度和效率等问题，提高了模型的性能。

附图说明

图1为本发明方法的流程图；

图2为实施例2中传感器的布置示意图；

图3为实施例2中加热器h2的输入信号图；

图4为实施例2利用FGMM有限高斯混合模型进行操作空间分离获得的第一个局部操作子空间的三阶BFs图；

图5为实施例2利用FGMM有限高斯混合模型进行操作空间分离获得的第二个局部操作子空间的三阶BFs图；

图6为实施例2利用FGMM有限高斯混合模型进行操作空间分离获得的第三个局部操作子空间的三阶BFs图；

图7为实施例2中第700个测试输入信号样本的通过重构的全局时空模型的预测输出示意图；

图8为实施例2中第700个测试输入信号样本的绝对相对误差示意图；

图9为实施例2中未经训练位置的传感器s7的实际输出和重构的全局时空模型输出的对比示意图；

图10为实施例2中未经训练位置的传感器s7的实际输出和重构的全局时空模型输出的对比示意图；

图11为实施例2中本发明方法、KL-ELM方法、基于概率PCA的多模型方法三种建模方法使用SNAE误差指标的误差示意图；

图12为实施例2中本发明方法、KL-ELM方法、基于概率PCA的多模型方法三种建模方法使用TNAE误差指标的误差示意图；

图13为实施例2中本发明方法、KL-ELM方法、基于概率PCA的多模型方法三种建模方法使用RMSE误差指标的误差示意图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

一种基于有限高斯混合模型的多模型时空建模方法，应用于非线性分布参数系统，如图1所示，包括以下步骤：

S1.基于有限高斯混合模型，将由非线性分布参数系统得到的非线性空间划分为多个局部操作子空间，具体步骤包括：

S11.获取时空训练数据：从非线性分布参数系统中收集数据作为数据集，其中u(t)∈R是所述非线性分布参数系统的输入信号；y(x,t)∈R是测量的时空数据，即第i个传感器的空间位置点在第j个时刻的温度；x是在空间域Ω中变化的空间变量，t是时间变量，L是时间长度，N是传感器的数目；选取N个空间位置点的L个时刻的温度作为时空训练数据建立模型；其中时空训练数据为Y＝{y₁,y₂,...,y_L}；

S12.在FGMM有限高斯混合模型，定义y∈R^N表示在多模态过程中收集的N维数据，则概率密度函数描述为：

其中K表示FGMM有限高斯混合模型中包含的高斯分量数，ω_k是第k分量C_k的对应权重，θ_k＝{μ_k,∑_k}是第k分量C_k的模型参数，μ_k是模型期望，∑_k是模型协方差，θ＝{θ₁,...,θ_K}＝{μ₁,∑₁,...,μ_K,∑_K}表示全局高斯模型参数；

与C_k相应的多元高斯密度函数描述为：

有限高斯混合模型的累积密度函数满足：

由于对于每个局部高斯分量

为真，则得到：

其中0≤ω_k≤1表示先验概率；

从而得出来自多个模型的操作数据的总体平均值为：

S13.对构建FGMM有限高斯混合模型的未知参数进行估计：

构建FGMM有限高斯混合模型需确定的未知参数包括：

Θ＝{{ω₁,μ₁,∑₁},...,{ω_K,μ_K,∑_K}}

其中Θ包含先验概率ω_k(1≤k≤K)和高斯模式参数θ，μ_k和∑_k分别是N×1向量和N×N矩阵，即待确定的标量参数总数为

在收集到的时空训练数据Y＝{y₁,y₂,...,y_L}中，对数似然函数描述为：

得到所述未知参数的估计问题描述为：

根据最小信息长度准则，得到所述未知参数的估计问题的目标函数：

其中

为标量参数的数目，表示具有非零权重的有效分量数K_nz；

通过最大期望算法增强M阶的权值更新来最小化所述目标函数：

从而完成多个局部操作子空间的划分。

S2.对于获得的每个局部操作子空间，通过K-L分解法对其时空输出数据进行时空分离得到空间基函数，并获取非线性自回归模型，具体步骤包括：

S21.对于获得的每个局部操作子空间，定义第k个局部操作子空间输出的时空数据是

第k个局部操作子空间的输入数据是

其中L_k表示时间长度，k＝1,2,...,K；

S22.通过K-L分解法，对每个局部操作子空间输出的时空数据进行时空分离，计算得到空间基函数；

所述空间基函数是满足下列方程的单位正交函数：

其中

表示

和

的内积。

S23.根据空间基函数和每个局部操作子空间在各个时刻的输出数据点，获得时间系数；结合每个局部操作子空间的输入数据和时间系数得到每个局部操作子空间的非线性自回归模型，具体步骤为：

通过K-L分解法，对每个局部操作子空间输出的时空数据进行时空分离后得到：

其中

为时间系数，时间系数的计算为：

使用向量形式定义时间系数为：

建立第k个局部操作子空间的时间系数

和第k个局部操作子空间的输入数据

之间未知的非线性动态关系，所述非线性动态关系用非线性自回归模型描述为：

a^k(t)＝f(a^k(t-1),u^k(t-1))+ε(t)

其中，

S3.通过超限学习机的方法对获取得到的非线性自回归模型进行评估得到低维时间动态模型，即根据每个局部操作子空间的输入数据和时间系数，利用超限学习机的方法对非线性自回归模型进行评估得到对应的低维时间动态模型；

具体步骤包括：

定义

则用于估计非线性自回归模型的超限学习机描述为：

其中

是连接第τ个隐藏节点和输出节点的输出权向量，

是连接第τ个隐藏节点和输入节点的输入权向量，

是第τ个隐藏节点的阈值，h是隐藏节点的数目，G(·)为应用的激活函数和Sigmoid函数；

超限学习机的预测输出

计算为：

超限学习机的预测输出

计算的矩阵形式为：

其中，

即得到低维时间动态模型的预测输出。

S4.基于空间基函数以及低维时间动态模型进行时空综合，得到每个局部操作子空间对应的局部时空模型；

局部时空模型为：

为第k个局部操作子空间对应的局部时空模型。

S5.采用加权和形式集成所有局部时空模型，从而重构一个全局时空模型，具体步骤包括：

采用加权和形式集成所有局部时空模型，描述为：

其中w_i,k,(i＝1,...,N,k＝1,...,K)表示第k个局部时空模型

在传感器i上的权重，对于其中的权参数，采用最小二乘法进行求解：

其中下标i表示传感器i处的对应变量；W_i＝[w_i,1,w_i,2,...,w_i,K]^T表示权重向量，Ψ_i＝[Y_i ^1T,Y_i ^2T,...,Y_i ^KT]表示局部时空模型的输出矩阵，

表示第k个局部时空模型的输出向量，Y_i＝[y(x_i,t₁),y(x_i,t₂),...,y(x_i,t_L)]^T表示测量的时空输出矢量；

定义

在主成分回归分析下，参数矩阵

分解为：

其中，c_k＝μ_kσ_k,d_k＝v_k,k＝1,2,...,K分别表示第k个支点单元的主分量和载荷分量，c_k＝μ_kσ_k,d_k＝v_k,k＝1,2,...,K均为单位正交向量；

所述分解式为：

其中，C＝[c₁,c₂,...,c_q],D＝[d₁,d₂,...,d_q]；

对于采用加权和形式集成所有局部时空模型的描述，采用矩阵形式的描述为：

定义

则

的最小二乘解推导为：

由于D是正交矩阵，D^T＝D^-1，权重

的计算为：

重构的全局时空模型描述为：

其中W^k＝diag(w_1,k,w_2,k,...,w_N,k)表示第k个局部时空模型的权矩阵，

S6.分析重构得到的全局时空模型的泛化界，从而分析其泛化性能：

S61.将重构得到的全局时空模型以矩阵形式描述为：

S62.引入引理：定义

并且l≤B，

对于任何δ∈(0,1)，在m个测试样本下，至少有概率1-δ，对于

满足：

其中

是使用l时

的预测误差；

是使用l时

的经验误差；R_m(T)是T的Rademacher复杂度；

S63.根据步骤S62的引理以及步骤S61全局时空模型的矩阵形式，将全局时空模型的泛化界使用以下定理描述为：

定理：

和

参数矩阵||W^k||≤P^k和||β^k||≤Q^k，

其中，E[ζ]表示ζ的期望，在m个测试样本下，对于

存在概率至少为1-δ的情况下，满足：

S64.根据Rademacher复杂度的定义，经验Rademacher复杂度

的形式描述为：

将步骤S61全局时空模型的矩阵形式代入经验Rademacher复杂度

的形式，

描述为：

由于W^k和β^k是有界的，则：

Rademacher复杂度R_m(T)描述为：

根据步骤S62的引理以及Rademacher复杂度R_m(T)，对于任何δ∈(0,1)，在m个测试样品上，至少有1-δ的概率，则对于

满足：

其中

和

为常数，通过上式即完成对重构得到的全局时空模型的泛化界进行分析。

实施例2

本实施例2基于实施例1的建模方法，应用于半导体后端封装工艺中的固化热工艺，对二维固化热过程的进行模拟验证。

首先搭建固化炉的实验模型：固化炉用于在特定的温度下对连接在引脚框上的芯片进行固化，在引脚框上设有四个长方形加热器(h1-h4)提供热源，如图2所示，同时将16个传感器均匀地安装在引脚框上，以采集固化过程中的温度分布随时间变化的时空数据。

为了便于比较，设置了以下误差指标：

1)时空误差：

2)绝对相对误差：

3)空间归一化绝对误差：

4)时间归一化绝对误差：

5)均方误差根：

在实验中，采用随机输入信号控制四个加热器(h1-h4)，以保证空时动态的充分激励。其中加热器h2的输入信号u₂(t)如图3所示，总共从14个传感器(s1-s6，s8-s9，s11-s16)收集了2800组时空分布数据，采样间隔为Δt＝10s。其中，前2100个样本被用来作为时空训练数据建立模型，而最后700个样本被用来验证模型的有效性。此外，传感器s7和s10被用来评估未经训练位置的模型性能。

首先利用FGMM有限高斯混合模型进行操作空间分离，得到三个聚类，每个聚类表示一个局部操作子空间。三个聚类的样本长度分别为585、817和698。利用得到的三个聚类，将原非线性分布参数系统的建模问题转化为三个局部时空模型的估计问题。因此，采用本实施例2步骤S2～S4的建模方法，建立了每个局部操作子空间对应的局部时空模型；即首先应用K-L方法对三个聚类的局部空间基函数进行了学习，并选取了三阶空间基函数如图4～6所示。可以观察到，这三类空间基函数的第一个BF是相似的，因为它们代表着相同的系统。这三个聚类的主要区别体现在它们的第二和第三个BFs，这是因为它们的局部时空动态变化很小。当局部空间基函数学习好以后，将局部时空数据往局部空间基函数上投影便可以计算得到时间系数数据。然后通过超限学习机方法进行估计确定相应的低维时间动态模型，基于空间基函数以及低维时间动态模型进行时空综合，得到每个局部操作子空间对应的局部时空模型；最后，利用每个局部时空模型的加权和，便可以重构出本发明提出的多模型，上述使用的方法步骤已在实施例1中具体说明。为了检验重构的全局时空模型的预测能力，利用700个测试输入信号对该全局时空模型进行激励。第700个测试样本的模型预测输出，和相应的绝对相对误差(ARE)分别如图7和图8所示，由此得知，该全局时空模型在空间和时域上都具有良好的模型性能，最大值ARE在2％以内。此外，图9、10分别展示了来自未经训练位置的传感器s7和s10的实际输出和模型输出对比。从图7-10可以看出，该全局时空模型具有较好的模型性能。此外，该方法对于未训练的位置，具有满意的逼近误差，也取得了很好的效果。

本实施例2还与现有的建模方法进行了比较，分别为KL-ELM方法和基于概率PCA的多模型方法。这两种方法是在相同的实验样本基础上进行研究的。为了比较模型的效果，计算了误差指标SNAE，TNAE和RMSE，图11和图12分别展示了误差指数SNAE和TNAE，图13展示了误差指数RMSE，此时的BFs的阶次从1到5不等，由此可知，本发明的建模方法的性能优于其他两种现有的方法。

附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种基于有限高斯混合模型的多模型时空建模方法，应用于非线性分布参数系统，其特征在于，包括以下步骤：

S1.基于有限高斯混合模型，将由非线性分布参数系统得到的非线性空间划分为多个局部操作子空间；

S2.对于获得的每个局部操作子空间，通过K-L分解法对其时空输出数据进行时空分离得到空间基函数，并获取非线性自回归模型；

S3.通过超限学习机的方法对获取得到的非线性自回归模型进行评估得到低维时间动态模型；

S4.基于空间基函数以及低维时间动态模型进行时空综合，得到每个局部操作子空间对应的局部时空模型；

S5.采用加权和形式集成所有局部时空模型，从而重构一个全局时空模型。

2.根据权利要求1所述的基于有限高斯混合模型的多模型时空建模方法，其特征在于，所述步骤S1包括：

S11.获取时空训练数据：从非线性分布参数系统中收集数据作为数据集，其中u(t)∈R是所述非线性分布参数系统的输入信号；y(x,t)∈R是测量的时空数据，即第i个传感器的空间位置点在第j个时刻的温度；x是在空间域Ω中变化的空间变量，t是时间变量，L是时间长度，N是传感器的数目；选取N个空间位置点的L个时刻的温度作为时空训练数据建立模型；其中时空训练数据为Y＝{y₁,y₂,...,y_L}；

S12.在FGMM有限高斯混合模型，定义y∈R^N表示在多模态过程中收集的N维数据，则概率密度函数描述为：

其中K表示FGMM有限高斯混合模型中包含的高斯分量数，ω_k是第k分量C_k的对应权重，θ_k＝{μ_k,∑_k}是第k分量C_k的模型参数，μ_k是模型期望，∑_k是模型协方差，θ＝{θ₁,...,θ_K}＝{μ₁,∑₁,...,μ_K,∑_K}表示全局高斯模型参数；

与C_k相应的多元高斯密度函数描述为：

有限高斯混合模型的累积密度函数满足：

由于对于每个局部高斯分量∫_RNg(y|θ_k)dx＝1为真，则得到：

其中0≤ω_k≤1表示先验概率；

从而得出来自多个模型的操作数据的总体平均值为：

S13.对构建FGMM有限高斯混合模型的未知参数进行估计：

构建FGMM有限高斯混合模型需确定的未知参数包括：

Θ＝{{ω₁,μ₁,∑₁},...,{ω_K,μ_K,∑_K}}

其中Θ包含先验概率ω_k和高斯模型参数θ，1≤k≤K，μ_k和∑_k分别是N×1向量和N×N矩阵，即待确定的标量参数总数为

在收集到的时空训练数据Y＝{y₁,y₂,...,y_L}中，对数似然函数描述为：

得到所述未知参数的估计问题描述为：

根据最小信息长度准则，得到所述未知参数的估计问题的目标函数：

其中

为标量参数的数目，表示具有非零权重的有效分量数K_nz；

通过最大期望算法增强M阶的权值更新来最小化所述目标函数：

从而完成多个局部操作子空间的划分。

3.根据权利要求1所述的基于有限高斯混合模型的多模型时空建模方法，其特征在于，所述步骤S2包括：

S21.对于获得的每个局部操作子空间，定义第k个局部操作子空间输出的时空数据是

第k个局部操作子空间的输入数据是

其中L_k表示时间长度，k＝1,2,...,K；

S22.通过K-L分解法，对每个局部操作子空间输出的时空数据进行时空分离，计算得到空间基函数；

S23.根据空间基函数和每个局部操作子空间在各个时刻的输出数据点，获得时间系数；结合每个局部操作子空间的输入数据和时间系数得到每个局部操作子空间的非线性自回归模型。

4.根据权利要求1所述的基于有限高斯混合模型的多模型时空建模方法，其特征在于，步骤S22所述的空间基函数为：

所述空间基函数是满足下列方程的单位正交函数：

其中

表示

和

的内积。

5.根据权利要求1所述的基于有限高斯混合模型的多模型时空建模方法，其特征在于，所述步骤S23具体包括：

通过K-L分解法，对每个局部操作子空间输出的时空数据进行时空分离后得到：

其中

为时间系数，时间系数的计算为：

使用向量形式定义时间系数为：

建立第k个局部操作子空间的时间系数

和第k个局部操作子空间的输入数据

之间未知的非线性动态关系，所述非线性动态关系用非线性自回归模型描述为：

a^k(t)＝f(a^k(t-1),u^k(t-1))+ε(t)

其中，

6.根据权利要求1所述的基于有限高斯混合模型的多模型时空建模方法，其特征在于，所述步骤S3具体为根据每个局部操作子空间的输入数据和时间系数，利用超限学习机的方法对非线性自回归模型进行评估得到对应的低维时间动态模型。

7.根据权利要求1所述的基于有限高斯混合模型的多模型时空建模方法，其特征在于，所述步骤S3的具体步骤包括：

定义

则用于估计非线性自回归模型的超限学习机描述为：

其中

是连接第τ个隐藏节点和输出节点的输出权向量，

是连接第τ个隐藏节点和输入节点的输入权向量，

是第τ个隐藏节点的阈值，h是隐藏节点的数目，G(·)为应用的激活函数和Sigmoid函数；

超限学习机的预测输出

计算为：

超限学习机的预测输出

计算的矩阵形式为：

其中，

即得到低维时间动态模型的预测输出。

8.根据权利要求1所述的基于有限高斯混合模型的多模型时空建模方法，其特征在于，步骤S4中所述的局部时空模型为：

为第k个局部操作子空间对应的局部时空模型。

9.根据权利要求1所述的基于有限高斯混合模型的多模型时空建模方法，其特征在于，所述步骤S5具体为：

采用加权和形式集成所有局部时空模型，描述为：

其中w_i,k表示第k个局部时空模型

在传感器i上的权重，i＝1,...,N,k＝1,...,K，对于其中的权参数，采用最小二乘法进行求解：

其中下标i表示传感器i处的对应变量；W_i＝[w_i,1,w_i,2,...,w_i,K]^T表示权重向量，

表示局部时空模型的输出矩阵，

表示第k个局部时空模型的输出向量，Y_i＝[y(x_i,t₁),y(x_i,t₂),...,y(x_i,t_L)]^T表示测量的时空输出矢量；

定义

在主成分回归分析下，参数矩阵

分解为：

其中，c_k＝μ_kσ_k,d_k＝v_k,k＝1,2,...,K分别表示第k个支点单元的主分量和载荷分量，c_k＝μ_kσ_k,d_k＝v_k,k＝1,2,...,K均为单位正交向量；

分解式为：

其中，C＝[c₁,c₂,...,c_q],D＝[d₁,d₂,...,d_q]；

对于采用加权和形式集成所有局部时空模型的描述，采用矩阵形式的描述为：

定义

则

的最小二乘解推导为：

由于D是正交矩阵，D^T＝D^-1，权重

的计算为：

重构的全局时空模型描述为：

其中

表示第k个局部时空模型的权矩阵，

10.根据权利要求1所述的基于有限高斯混合模型的多模型时空建模方法，其特征在于，所述方法还包括：

S6.分析重构得到的全局时空模型的泛化界，从而分析其泛化性能：

S61.将重构得到的全局时空模型以矩阵形式描述为：

S62.引入引理：定义

并且l≤B，

对于任何δ∈(0,1)，在m个测试样本下，至少有概率1-δ，对于

满足：

其中

是使用l时

的预测误差；

是使用l时

的经验误差；R_m(T)是T的Rademacher复杂度；

S63.根据步骤S62的引理以及步骤S61全局时空模型的矩阵形式，将全局时空模型的泛化界使用以下定理描述为：

定理：

和

参数矩阵||W^k||≤P^k和||β^k||≤Q^k，

其中，E[ζ]表示ζ的期望，在m个测试样本下，对于

存在概率至少为1-δ的情况下，满足：

S64.根据Rademacher复杂度的定义，经验Rademacher复杂度

的形式描述为：

将步骤S61全局时空模型的矩阵形式代入经验Rademacher复杂度

的形式，

描述为：

由于W^k和β^k是有界的，则：

Rademacher复杂度R_m(T)描述为：

根据步骤S62的引理以及Rademacher复杂度R_m(T)，对于任何δ∈(0,1)，在m个测试样品上，至少有1-δ的概率，则对于

满足：

其中

和

为常数，即完成对重构得到的全局时空模型的泛化界进行分析。

Images