CN104504288A - 基于多向支持向量聚类的非线性多阶段间歇过程软测量方法 - Google Patents

Abstract

本发明提供了一种基于多向支持向量聚类的非线性多阶段间歇过程软测量方法，包括步骤：S1、该方法首先将三维的过程测量数据按批次方向展开，再按照变量方向重新排列成二维矩阵；S2、在高维的非线性特征空间，建立多向支持向量聚类模型，用于识别和分离不同的操作阶段，将过程与质量变量划分到对应不同阶段的多个子聚类中；S3、建立多个局部核偏最小二乘回归模型，刻画出过程操作的动态特性；S4、引入的距离比率指标，将新批次的测试样本划分到各自的子聚类，选择适当的局部核偏最小二乘回归模型进行质量预测。本发明不仅能有效地提取间歇过程的多阶段特性，而且可以鲁棒地预测宽范围内变化的批次过程，具有很好的预测精度和可靠性。

Description

基于多向支持向量聚类的非线性多阶段间歇过程软测量方法

技术领域

本发明属于生化过程软测量领域，尤其涉及一种基于多向支持向量聚类的非线性多阶段间歇过程软测量方法。

背景技术

间歇过程已经广泛应用于精细化工、材料、生物技术、聚合物反应等领域。产品关键变量的测量对工厂的先进过程控制和优化、过程效率及产品质量的提高具有十分重要的作用。由于工艺和条件的限制，关键变量常难以进行精确和实时的测量，使间歇操作过程面临巨大的挑战。相比于硬件仪器测量或离线实验分析，目前软测量技术引起了广泛关注。基于软测量的预测模型具有强大的推理能力，对产品关键变量提供了可靠的实时预测。软测量技术主要通过对容易测量的过程变量进行建模，以便预测出难以测量的关键变量。常用的软测量方法有主元回归(PCR)、偏最小二乘回归(PLS)、人工神经网络(ANN)等。

这些用于间歇过程中关键变量预测的软测量技术，通常基于间歇过程处于同一操作阶段和同一模态假说的单一回归模型。在实际应用中，间歇过程随反应进程或操作条件的变化呈现多阶段特性，不同阶段的数据会动态变化，导致质量变量预测的准确性和可靠性由于过程阶段的迁移而发生退化。有研究者设计出了一些模型更新策略或多模态方法用于操作阶段的迁移，然而，在无操作条件先验知识的情况下，这些方法依然不能很好地识别出间歇过程不同的操作条件。而且，间歇过程具有较强的非线性，甚至存在于每个操作阶段内部，传统的线性模型无法适用于这些间歇过程。

发明内容

本发明的目的在于针对现有方法存在的不足，提供一种基于多向支持向量聚类的非线性多阶段间歇过程软测量方法。

本发明的目的是通过以下技术方案来实现的：一种基于多向支持向量聚类的非线性多阶段间歇过程软测量方法，包括以下步骤：

S1、数据预处理：选择非线性间歇过程多阶段运行的输入数据和输出数据其中I是批次数，J_X是输入变量数，J_Y是输出变量数，L是采样点数；将三维矩阵按照批次方向展开成二维矩阵将矩阵的每个列向量均值中心化得到矩阵将按照变量方向重新排列形成矩阵对应的输出数据展开成

S2、建立支持向量聚类模型：利用高斯核函数将原始空间的度量数据映射到高维的特征空间，建立支持向量聚类模型，获得包含不同数据类别的多个球面，这些球面描述了间歇过程的潜在操作阶段。

S3、建立核偏最小二乘回归模型：建立偏最小二乘回归模型，得到相应的得分和装载矩阵，将该线性回归投影到核特征空间，获得核偏最小二乘回归模型。

S4、建立多个局部预测模型：引入距离比率指标，将测试批次的样本划分到各自的子聚类中，根据相应的局部偏最小二乘回归模型，完成对测试样本的预测。

本发明的有益效果是：本发明首先将三维的过程测量数据按批次方向展开，再按照变量方向重新排列成二维矩阵；其次在高维的非线性特征空间，建立多向支持向量聚类模型，用于识别和分离不同的操作阶段，将过程与质量变量划分到对应不同阶段的多个子聚类中；再次建立多个局部核偏最小二乘回归模型，刻画出过程操作的动态特性；最后引入的距离比率指标，将新批次的测试样本划分到各自的子聚类，选择适当的局部核偏最小二乘回归模型进行质量预测。与传统的单一模型相比，本发明不仅能有效地提取间歇过程的多阶段特性，而且可以鲁棒地预测宽范围内变化的批次过程，具有很好的预测精度和可靠性。

附图说明

图1是青霉素发酵过程示意图；

图2是本发明方法的算法流程图；

图3是传统单一偏最小二乘回归方法及本发明方法对培养基质浓度的预测误差对比图。

具体实施方式

下面结合附图和实施案例对本发明作进一步的说明。本发明首先将三维的过程测量数据按批次方向展开，再按照变量方向重新排列成二维矩阵；其次在高维的非线性特征空间，建立多向支持向量聚类模型，用于识别和分离不同的操作阶段，将过程与质量变量划分到对应不同阶段的多个子聚类中；再次建立多个局部核偏最小二乘回归模型，刻画出过程操作的动态特性；最后引入的距离比率指标，将新批次的测试样本划分到各自的子聚类，选择适当的局部核偏最小二乘回归模型进行质量预测。与传统的单一模型相比，本发明不仅能有效地提取间歇过程的多阶段特性，而且可以鲁棒地预测宽范围内变化的批次过程，具有较好的预测精度和可靠性。

本发明解决技术问题所采取的技术方案是：

参考图2，一种基于多向支持向量聚类的非线性多阶段间歇过程软测量方法，包括以下步骤：

S1、数据预处理：选择非线性间歇过程多阶段运行的输入数据和输出数据其中I是批次数，J_X与J_Y分别是输入、输出变量数，L是采样点数；将三维矩阵按照批次方向展开成二维矩阵将矩阵的每个列向量均值中心化得到矩阵将按照变量方向重新排列形成矩阵对应的输出数据展开成

S2、建立支持向量聚类模型：利用高斯核函数将原始空间的度量数据映射到高维的特征空间，建立支持向量聚类模型，获得包含不同数据类别的多个球面，这些球面描述了间歇过程的潜在操作阶段；

S3、建立核偏最小二乘回归模型：建立偏最小二乘回归模型，得到相应的得分和装载矩阵，将该线性回归投影到核特征空间，获得核偏最小二乘回归模型；

S4、建立多个局部预测模型：引入距离比率指标，将测试批次的样本划分到各自的子聚类中，根据相应的局部偏最小二乘回归模型，完成对测试样本的预测。

步骤S2中，“建立支持向量聚类模型”的具体步骤如下：

S21：假设间歇过程具有C个不同的阶段:{P₁,P₂,…,P_C}，每个阶段表示为P_k(k＝1,2,…,C)，对于展开数据矩阵X的列向量x_j，通过非线性映射函数Φ映射到高维的特征空间形成{Φ(x_j)}，对于任意的阶段P_k，相应的球面表达为：

${\left|\right|\mathrm{\Φ}\left(x_j\right)-{\mathrm{\η}}_k\left|\right|}^2\≤r_k^2+{\mathrm{\τ}}_j$

式中，||·||为L2范式，η_k为第k个聚类的球心，r_k为球半径，引入松弛变量τ_j≥0用于放宽球面的边界，利用拉格朗日函数求解该优化问题：

$L=r_k^2-{\mathrm{\Σ}}_{j=1}^{\mathrm{IL}}{\mathrm{\α}}_j(r_k^2+{\mathrm{\τ}}_j-{\left|\right|\mathrm{\Φ}\left(x_j\right)-{\mathrm{\η}}_k\left|\right|}^2)-{\mathrm{\Σ}}_{j=1}^{\mathrm{IL}}{\mathrm{\β}}_j{\mathrm{\τ}}_j+U{\mathrm{\Σ}}_{j=1}^{\mathrm{IL}}{\mathrm{\τ}}_j$

式中，α_i>0,β_i>0为拉格朗日乘子，U为正则化参数；

S22：最小化拉格朗日函数，获得聚类的最优解：

${\mathrm{\η}}_k={\mathrm{\Σ}}_{j=1}^{\mathrm{IL}}{\mathrm{\α}}_j\mathrm{\Φ}\left(x_j\right)$

$r_k^2=K(x_{\mathrm{SV}},x_{\mathrm{SV}})-2{\mathrm{\Σ}}_{j=1}^{\mathrm{IL}}{\mathrm{\α}}_{j}K(x_{\mathrm{SV}},x_j)+{\mathrm{\Σ}}_{i=1}^{\mathrm{IL}}{\mathrm{\Σ}}_{j=1}^{\mathrm{IL}}{\mathrm{\α}}_i{\mathrm{\α}}_{j}K(x_i,x_j)$

其中，x_SV是球面的边界点，对应的拉格朗日乘子满足0≤α_j≤U,K(x_i,x_j)是高斯核函数，表示为：

$K_{\mathrm{ij}}=K(x_i,x_j)=<\mathrm{\&Phi;}\left(x_i\right),\mathrm{\&Phi;}\left(x_j\right)>=e^{-{\left|\right|x_i-x_j\left|\right|}^2/2{\mathrm{\&sigma;}}^2}$

式中，σ为核宽；

S23：对于预处理后的测试样本，到第k个聚类球心的距离表示为：

$r^2\left(x_t\right|P_k)=K(x_{\mathrm{SV}},x_t)-2{\mathrm{\&Sigma;}}_{j=1}^{\mathrm{IL}}{\mathrm{\&alpha;}}_{j}K(x_t,x_j)+{\mathrm{\&Sigma;}}_{i=1}^{\mathrm{IL}}{\mathrm{\&Sigma;}}_{j=1}^{\mathrm{IL}}{\mathrm{\&alpha;}}_i{\mathrm{\&alpha;}}_{j}K(x_i,x_j).$

步骤S3中，“建立核偏最小二乘回归模型”的具体步骤如下：

S31：根据输入输出数据，建立偏最小二乘回归模型：

X＝T_XP_X ^T+E_X,

Y＝T_YP_Y ^T+E_Y

其中，T_X、T_Y为得分矩阵，P_X、P_Y为装载矩阵，E_X、E_Y为残差矩阵，建立输入输出直接的回归模型，表示为：

Y＝XΓ+Γ₀

Γ＝W(P_X ^TW)^-1P_Y ^TY

式中，Γ为回归系数矩阵，Γ₀为偏矩阵，W为输入权重矩阵；

S32：中心化核矩阵，通过映射函数，将数据投影到高维空间，建立非线性偏最小二乘回归模型：

$\stackrel{\&OverBar;}{K}=K-1_{\mathrm{IL}}K-{K1}_{\mathrm{IL}}+1_{\mathrm{IL}}{K1}_{\mathrm{IL}}$

式中，1_IL为IL×IL的矩阵，每个元素为1/IL，在特征空间的测试数据X_t的预测估计为：

${\tilde{Y}}_t={\stackrel{\&OverBar;}{K}}_{t}W{\left({P_X}^T{\stackrel{\&OverBar;}{K}}_{t}W\right)}^{-1}{P_Y}^{T}Y.$

步骤S4中，“建立多个局部预测模型”的具体步骤如下：

S41：根据多向支持向量聚类模型，识别出不同的操作阶段{P₁,P₂,…,P_C}，将训练集中的输入输出数据划分到C个聚类中：

$X={\left[\begin{array}{ccc}{X}^{{\left(1\right)}^T}& X^{{\left(2\right)}^T}& ...X^{{\left(C\right)}^T}\end{array}\right]}^T,$

$Y={\left[\begin{array}{ccc}{Y}^{{\left(1\right)}^T}& Y^{{\left(2\right)}^T}& ...Y^{{\left(C\right)}^T}\end{array}\right]}^T;$

S42：建立C个局部偏最小二乘回归模型{偏最小二乘回归模型1，偏最小二乘回归模型2,…,偏最小二乘回归模型C}；

S43：对于一个测试批次的第m个样本，根据距离比率指标，将该样本划分到所对应的子聚类中：

$k^{*}|x_m=\arg \mathrm{}\underset{k=\mathrm{1,2},...,C}{\min }\frac{r^2\left(x_m\right|P_k)}{r_k^2};$

S44：选择第k^*个局部偏最小二乘回归模型，完成质量变量的预测：

${\tilde{Y}}_m={{\stackrel{\&OverBar;}{K}}_t}^{\left(k^{*}\right)}{W}^{\left(k^{*}\right)}{\left({P_X}^{\left(k^{*}\right)T}{{\stackrel{\&OverBar;}{K}}_t}^{\left(k^{*}\right)}{W}^{\left(k^{*}\right)}\right)}^{-1}{P_Y}^{\left(k^{*}\right)T}{Y}^{\left(k^{*}\right)}.$

以下结合青霉素发酵的化工过程实施例来说明本发明的有效性。利用Pensim仿真平台模拟3个阶段的青霉素发酵过程：菌体生长阶段、青霉素合成阶段及菌体自溶阶段，获得模型数据。青霉素发酵过程示意图如图1所示。为了构建过程软测量模型，一共选取8个过程变量：培养基质浓度、溶氧浓度、二氧化碳浓度、pH值、通风率、培养基进料温度、生物量浓度、反应器液位，输出变量为青霉素浓度。设定发酵时间为400h，每隔0.5h进行采样，收集30个批次块用于软测量建模，另外10个测试批次块用于评估模型的有效性。

接下来结合该具体过程对本发明的实施步骤进行详细地阐述：

1.将采集到的数据集进行预处理，首先按照批次方向展开成二维矩阵，再均值中心化，对获得的矩阵按照变量方向重新排列。

2.利用训练样本离线训练支持向量聚类模型(SVC)，获得多个球面，估计出球面的半径和球心。

3.建立核偏最小二乘回归模型(KPLS)，计算模型的回归系数。

4.根据距离比率指标，识别出测试样本所属的子聚类，选择相对应的局部偏最小二乘回归模型进行质量预测。

图3为基于传统的单一偏最小二乘回归方法与本发明的测量方法的预测误差对比图。从仿真结果可看出，单一模型预测误差在不同的操作条件下严重偏离实际值。这是由于过程与质量变量在不同的操作条件下潜在的关系发生较大变化，传统的单一模型产生较差的预测精度及可靠性。本发明的基于支持向量聚类模型的非线性多阶段间歇过程软测量方法相比于传统的单一回归方法，对培养基质浓度的预测性能有了较大改善，预测值与实际值基本匹配，说明本发明的预测方法很好地抓取了不同操作阶段变化的关系，同时较好地刻画了输入与输出变量之间的非线性动态关系。该实施例验证了本发明对非线性多阶段的间歇过程的质量预测取得令人满意的效果。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (4)

1.一种基于多向支持向量聚类的非线性多阶段间歇过程软测量方法，其特征在于，包括以下步骤：

S1、数据预处理：选择非线性间歇过程多阶段运行的输入数据和输出数据其中I是批次数，J_X是输入变量数，J_Y是输出变量数，L是采样点数；将三维矩阵按照批次方向展开成二维矩阵将矩阵的每个列向量均值中心化得到矩阵将按照变量方向重新排列形成矩阵对应的输出数据展开成

S2、建立支持向量聚类模型：利用高斯核函数将原始空间的度量数据映射到高维的特征空间，建立支持向量聚类模型，获得包含不同数据类别的多个球面，这些球面描述了间歇过程的潜在操作阶段；

S3、建立核偏最小二乘回归模型：建立偏最小二乘回归模型，得到相应的得分和装载矩阵，将该线性回归投影到核特征空间，获得核偏最小二乘回归模型；

S4、建立多个局部预测模型：引入距离比率指标，将测试批次的样本划分到各自的子聚类中，根据相应的局部偏最小二乘回归模型，完成对测试样本的预测。

2.根据权利要求1所述基于多向支持向量聚类的非线性多阶段间歇过程软测量方法，其特征在于，所述步骤S2具体为：

S21：假设间歇过程具有C个不同的阶段：{P₁,P₂,…,P_C}，每个阶段表示为P_k(k＝1,2,…,C)，对于展开数据矩阵X的列向量x_j，通过非线性映射函数Φ映射到高维的特征空间形成{Φ(x_j)}，对于任意的阶段P_k，相应的球面表达为：

${\left|\right|\mathrm{\&Phi;}\left(x_j\right)-{\mathrm{\&eta;}}_k\left|\right|}^2\&le;r_k^2+{\mathrm{\&tau;}}_j$

式中，||·||为L2范式，η_k为第k个聚类的球心，r_k为球半径，引入松弛变量τ_j≥0用于放宽球面的边界，利用拉格朗日函数求解该优化问题：

$L=r_k^2-{\mathrm{\&Sigma;}}_{j=1}^{\mathrm{IL}}{\mathrm{\&alpha;}}_j(r_k^2+{\mathrm{\&tau;}}_j-{\left|\right|\mathrm{\&Phi;}\left(x_j\right)-{\mathrm{\&eta;}}_k\left|\right|}^2)-{\mathrm{\&Sigma;}}_{j=1}^{\mathrm{IL}}{\mathrm{\&beta;}}_j{\mathrm{\&tau;}}_j+U{\mathrm{\&Sigma;}}_{j=1}^{\mathrm{IL}}{\mathrm{\&tau;}}_j$

式中，α_i>0，β_i>0为拉格朗日乘子，U为正则化参数；

S22：最小化拉格朗日函数，获得聚类的最优解：

${\mathrm{\&eta;}}_k={\mathrm{\&Sigma;}}_{j=1}^{\mathrm{IL}}{\mathrm{\&alpha;}}_j\mathrm{\&Phi;}\left(x_j\right)$

$r_k^2=K(x_{\mathrm{SV}},x_{\mathrm{SV}})-2{\mathrm{\&Sigma;}}_{j=1}^{\mathrm{IL}}{\mathrm{\&alpha;}}_{j}K(x_{\mathrm{SV}},x_j)+{\mathrm{\&Sigma;}}_{i=1}^{\mathrm{IL}}{\mathrm{\&Sigma;}}_{j=1}^{\mathrm{IL}}{\mathrm{\&alpha;}}_i{\mathrm{\&alpha;}}_{j}K(x_i,x_j)$

式中，x_SV是球面的边界点，对应的拉格朗日乘子满足0≤α_j≤U，K(x_i,x_j)是高斯核函数，表示为：

$K_{\mathrm{ij}}=K(x_i,x_j)=<\mathrm{\&Phi;}\left(x_i\right),\mathrm{\&Phi;}\left(x_j\right)>=e^{-{\left|\right|x_i-x_j\left|\right|}^2/{2\mathrm{\&sigma;}}^2}$

式中，σ为核宽；

S23：对于预处理后的测试样本，到第k个聚类球心的距离表示为：

$r^2\left(x_t\right|P_k)=K(x_{\mathrm{SV}},x_t)-2{\mathrm{\&Sigma;}}_{j=1}^{\mathrm{IL}}{\mathrm{\&alpha;}}_{J}K(x_t,x_j)+{\mathrm{\&Sigma;}}_{i=1}^{\mathrm{IL}}{\mathrm{\&Sigma;}}_{j=1}^{\mathrm{IL}}{\mathrm{\&alpha;}}_i{\mathrm{\&alpha;}}_{j}K(x_i,x_j).$

3.根据权利要求1所述基于多向支持向量聚类的非线性多阶段间歇过程软测量方法，其特征在于，所述步骤S3具体为：

S31：根据输入输出数据，建立偏最小二乘回归模型：

X＝T_XP_X ^T+E_X

Y＝T_YP_Y ^T+E_Y

式中，T_X、T_Y为得分矩阵，P_X、P_Y为装载矩阵，E_X、E_Y为残差矩阵，建立输入输出直接的回归模型，表示为：

Y＝XΓ+Γ₀

Γ＝W(P_X ^TW)^-1P_Y ^TY

式中，Γ为回归系数矩阵，Γ₀为偏矩阵，W为输入权重矩阵；

S32：中心化核矩阵，通过映射函数，将数据投影到高维空间，建立非线性偏最小二乘回归模型：

$\stackrel{\&OverBar;}{K}=K-1_{\mathrm{IL}}K-K{1}_{\mathrm{IL}}+1_{\mathrm{IL}}K{1}_{\mathrm{IL}}$

式中，1_IL为IL×IL的矩阵，每个元素为1/IL，在特征空间的测试数据X_t的预测估计为：

${\tilde{Y}}_t-{\stackrel{\&OverBar;}{K}}_{t}W{\left({P_X}^T{\stackrel{\&OverBar;}{K}}_{t}W\right)}^{-1}{P_Y}^{T}Y.$

4.根据权利要求1所述基于多向支持向量聚类的非线性多阶段间歇过程软测量方法，其特征在于，所述步骤S4具体为：

S41：根据多向支持向量聚类模型，识别出不同的操作阶段{P₁,P₂,…,P_C}，将训练集中的输入输出数据划分到C个聚类中：

$X={[X^{{\left(1\right)}^T}{X}^{{\left(2\right)}^T}...X^{{\left(C\right)}^T}]}^T$

$Y={[Y^{{\left(1\right)}^T}{Y}^{{\left(2\right)}^T}...Y^{{\left(C\right)}^T}]}^T;$

S42：建立C个局部偏最小二乘回归模型{偏最小二乘回归模型1，偏最小二乘回归模型2,…，偏最小二乘回归模型C}；

S43：对于一个测试批次的第m个样本，根据距离比率指标，将该样本划分到所对应的子聚类中：

$k^{*}|x_m=\begin{array}{cc}\arg & \underset{k=\mathrm{1,2},...,C}{\min }\frac{r^2\left(x_m\right|P_k)}{r_k^2}\end{array};$

S44：选择第k^*个局部偏最小二乘回归模型，完成质量变量的预测：

${\tilde{Y}}_m={{\stackrel{\&OverBar;}{K}}_t}^{\left(t^{*}\right)}{W}^{\left(k^{*}\right)}{\left({P_X}^{\left(k^{*}\right)T}{{\stackrel{\&OverBar;}{K}}_t}^{\left(k^{*}\right)}{W}^{\left(k^{*}\right)}\right)}^{-1}{P_Y}^{\left(k^{*}\right)T}{Y}^{\left(k^{*}\right)}.$