CN103903065A - 基于核学习技术的青霉素生产过程产品质量预测方法 - Google Patents

Abstract

本发明公开了一种基于核学习技术的青霉素生产过程产品质量在线预测方法。青霉素生产过程具有典型的非线性特性，因此过程变量和青霉素产品浓度具有非线性的相关性。本发明采用基于关联向量机的核学习方法，建立青霉素过程变量与产品浓度之间的非线性关系。在每一批青霉素生产过程中，通过容易测量的变量对难以测量的产品浓度进行在线预测，从而实现青霉素生产过程产品质量的闭环控制。

Description

基于核学习技术的青霉素生产过程产品质量预测方法

技术领域

本发明属于间歇生产过程产品质量预测和控制领域，特别涉及一种基于核学习技术的青霉素生产过程产品质量预测方法。

背景技术

青霉素生产过程是一种重要的生化过程，该过程作为二次微生物代谢过程，利用特定的生产菌在一定条件下生长繁殖，当生产菌的浓度达到一定程度之后，青霉素作为代谢产物开始生产。为了保证最终青霉素的质量，生产菌的浓度必须保持在一定水平之上，因此需要不断地补充糖、氮等营养物质。总的来说，青霉素过程可以分为两个操作阶段，分别为菌种培养阶段(开始补料阶段)和补料阶段。由于青霉素生产过程本身对产品质量的要求极高，如何有效地防止过程产生劣质或者不合格的产品是迫切需要解决的问题。因此，产品浓度的在线预测极其重要，因为这是实现青霉素过程产品质量闭环控制的关键。

传统的青霉素过程产品质量预测一般采用线性的回归模型，由于青霉素过程变量和产品的浓度之间一般是非线性关系，因此采用非线性的回归方法更合适。基于核学习的建模方法是近年来热门的非线性建模方法，该方法不仅能有效建立非线性回归模型，而且对模型的结构要求不高，具有非常广泛的适用性。

发明内容

本发明的目的在于针对青霉素生产过程产品浓度指标值预测的难点，提供一种基于核学习技术的产品质量预测方法。

本发明的目的是通过以下技术方案来实现的：一种基于核学习技术的青霉素生产过程产品质量预测方法，包括以下步骤：

（1）利用集散控制系统收集青霉素生产过程数据组成建模用的三维训练样本集：X∈R^I×J×K，其中，R为实数集，表示X服从I×J×K的三维数据分布，I为该工况下的批次数目，J为变量个数，K为每个批次的采样数据点数。分别将这些数据存入历史数据库。

（2）将三维数据矩阵沿着批次方向展开为I×JK二维数据矩阵，对其进行预处理和归一化，即使得各个过程变量的均值为零，方差为1，得到新的数据矩阵集为 $\stackrel{\‾}{X}\∈R^{I\×\mathrm{JK}}.$

（3）基于矩阵集再重新沿着时间点方向对每一个数据矩阵进行排列，得到最终的数据样本集为

（4）通过离线实验室分析获取数据库中用于建模的样本所对应的青霉素产品浓度指标，记为y∈R^KI，并对其进行归一化处理，得到归一化之后的青霉素浓度指标数据矩阵

（5）针对归一化之后的过程变量和青霉素产品浓度数据，建立关联向量回归模型，将该模型参数存入数据库中备用。

（6）收集新的青霉素生产过程批次数据，并对其进行预处理和归一化。

（7）将归一化之后的新数据直接输入到关联向量回归模型中，在线预测该批次青霉素产品的浓度值。

本发明的有益效果：本发明通过对青霉素生产过程变量和产品浓度指标值之间的非线性关系进行建模，利用该过程中容易测量的变量对难以测量的产品浓度值进行在线预测，从而实现青霉素生产过程产品质量的闭环控制。

附图说明

图1是青霉素生产过程的示意图；

图2是本发明方法对青霉素生产过程新批次的产品浓度预测结果；

图3是传统的线性回归方法对青霉素生产过程新批次的产品浓度预测结果。

具体实施方式

本发明一种基于核学习技术的青霉素生产过程产品质量预测方法，包括以下步骤：

第一步：利用集散控制系统收集青霉素生产过程数据组成建模用的三维训练样本集：X∈R^I×J×K，其中，I为该工况下的批次数目，J为变量个数，K为每个批次的采样数据点数，R为实数集，表示X服从I×J×K的三维数据分布。分别将这些数据存入历史数据库。

第二步：将三维数据矩阵沿着批次方向展开为I×JK二维数据矩阵，对其进行预处理和归一化，即使得各个过程变量的均值为零，方差为1，得到新的数据矩阵集为 $\stackrel{\‾}{X}\∈R^{I\×\mathrm{JK}}.$

第三步：重新沿着时间点方向对每一个数据矩阵进行排列，最终的数据样本集为 $\stackrel{=}{X}\∈R^{\mathrm{KL}\×J}.$

第四步：通过离线实验室分析获取数据库中用于建模的样本所对应的青霉素产品浓度指标，记为y∈R^KI，并对其进行归一化处理，得到归一化之后的青霉素浓度指标数据矩阵

第五步：针对归一化之后的过程变量和青霉素产品浓度数据，建立关联向量回归模型，将该模型参数存入数据库中备用。

在历史数据库中对采集到的过程数据进行预处理，剔除野值点和明显的粗糙误差数据，为了使得过程数据的尺度不会影响到产品质量预测的结果，对不同变量的数据分别进行归一化处理，即各个变量的均值为零，方差为1。这样，不同过程变量的数据就处在相同的尺度之下，既而不会影响到后续的建模效果。

基于过程的高斯噪声假设，可以得到过程输出变量(即青霉素产品浓度)的条件概率分布为p(y|x)=N(f(x,w),σ²)，进而得到完备数据的概率分布如下：

$p\left(y\right|w,{\mathrm{\σ}}^2)=\frac{1}{{\left(2\mathrm{\π}{\mathrm{\σ}}^2\right)}^{n/2}}\exp \{-\frac{1}{{2\mathrm{\σ}}^2}||y-\mathrm{\ψ}\left(x\right)w|\left|\right\}$

其中p(·)为概率密度函数，p(y|w,σ²)表示后验概率，σ²为x数据分布的方差，||·||表示向量2-范数，y=(y₁,y₂,…,y_KI)为输出数据向量，ψ(x)=[ψ₁(x),ψ₂(x),…,ψ_KI(x)]为输入数据核函数向量。为了得到最优的参数w和σ²，可以采用极大似然概率估计方法。首先，参数w先验概率定义如下：

$p\left(w\right|\mathrm{\α})=\underset{i=0}{\overset{\mathrm{KI}}{\mathrm{\Π}}}N\left(w_i\right|0,{\mathrm{\α}}_i^{-1})=\frac{1}{{\left(2\mathrm{\π}\right)}^{(\mathrm{KI}+1)/2}}\underset{i=0}{\overset{n}{\mathrm{\Π}}}{\mathrm{\α}}_i^{1/2}\exp (-\frac{{\mathrm{\α}}_i{w}_i^2}{2})$

$\left(\mathrm{\α}\right)=\underset{i=0}{\overset{\mathrm{KI}}{\mathrm{\Π}}}\mathrm{Gamma}\left({\mathrm{\α}}_i\right|a,b)$

p(β)=Gamma(β|c，d)

其中β=σ^-2，α为参数向量，Gamma(α|a,b)为gamma分布函数，即：

Gamma(β|c,d)=Γ(a)-¹b^aα^a-1e^-bα

$\mathrm{\Γ}\left(\mathrm{\α}\right)={\∫}_0^{\∞}{t}^{\mathrm{\α}}{e}^{-t}\mathrm{dt}$

然后，可以进一步得到参数的后验概率如下：

$p\left(w\right|y,\mathrm{\α},{\mathrm{\σ}}^2)\begin{array}{c}=\frac{p\left(y\right|w,{\mathrm{\σ}}^2)p\left(w\right|\mathrm{\α})}{p\left(y\right|\mathrm{\α},{\mathrm{\σ}}^2)}\\ =\frac{1}{{\left(2\mathrm{\π}\right)}^{(\mathrm{KI}+1)/2}}{\left|\mathrm{\Σ}\right|}^{-1/2}\exp \{-\frac{1}{2}{(w-\mathrm{\μ})}^T{\mathrm{\Σ}}^{-1}(w-\mathrm{\μ})\}\end{array}$

这也是一个高斯分布，其中均值和方差为：

μ=σ^-2Σψ^T(x)y

Σ=(σ^-2ψ^T(x)ψ(x)+A)^-1

其中，A=diag(α₀,α₁,L,α_n)为对角矩阵。通过对参数进行再一步优化，可以得到最优参数w_op，表示为：

$w_{\mathrm{op}}={\mathrm{\σ}}_{\mathrm{op}}^2{\mathrm{\Σ}}_{\mathrm{op}}{\mathrm{\ψ}}^T\left(x\right)y$

其中，op为优化optimal的缩写，即表示最优的w，

表示最优的方差，Σ_op表示最优的协方差。

第六步：收集新的青霉素生产过程批次数据，并对其进行预处理和归一化；

对于过程中新收集到的数据样本，除了对其进行预处理之外，还有采用建模时的模型参数对该数据点进行归一化，即减去建模均值和除以建模标准差。

第七步：将归一化之后的新数据直接输入到关联向量回归模型中，在线预测该批次青霉素产品的浓度值。

对于归一化之后的新数据

利用关联向量回归模型得到输出变量

的概率估计为：

$p\left({\hat{y}}_{\mathrm{dwnew}}\right|x_{\mathrm{new}},y,{\mathrm{\α}}_{\mathrm{op}},{\mathrm{\σ}}_{\mathrm{op}}^2)=\∫p\left({\hat{p}}_{\mathrm{new}}\right|x_{\mathrm{new}},w,{\mathrm{\σ}}_{\mathrm{op}}^2)p\left(w\right|x_{\mathrm{new}},y,{\mathrm{\α}}_{\mathrm{op}},{\mathrm{\σ}}_{\mathrm{op}}^2)$

其中，p(·)为概率密度函数，y为历史的输出变量，α_op为最优的参数向量，Σ_op表示最优的协方差。

上述概率函数亦为高斯分布，均值和方差如下所示：

${\mathrm{\μ}}_{y,\mathrm{new}}={\mathrm{\μ}}_{\mathrm{op}}^T\mathrm{\ψ}\left(x_{\mathrm{new}}\right)$

${\mathrm{\σ}}_{y,\mathrm{new}}^2={\mathrm{\σ}}_{\mathrm{op}}^2+{\mathrm{\ψ}}^T\left(x_{\mathrm{new}}\right){\mathrm{\Σ}}_{\mathrm{op}}\mathrm{\ψ}\left(x_{\mathrm{new}}\right)$

其中，ψ(x_new)=[1,K(x_new,x₁),K(x_new,x₂),…,K(x_new,x_KI)]^T为新数据对应的核函数矩阵。

以下结合一个具体的青霉素生产过程例子来说明本发明的有效性。该过程的流程示意图如图1所示，过程的主要测量变量如表1所示。一共采集了9批次过程数据进行建模，每一批数据均包含400个建模样本，这样，我们可以利用的建模样本一共为3600个。接下来结合该具体过程对本发明的实施步骤进行详细地阐述：

1.采集过程正常工况数据，数据预处理，归一化和重新排列

对收集到的9个批次有效过程建模数据样本进行预处理，剔除过程的野值点和粗糙误差点。将数据矩阵按照批次方向展开成二维数据矩阵并对其进行归一化，得到然后，重新沿着采样时刻方向对二维数据矩阵进行排列，得到新的数据矩阵为

2.基于关联向量回归模型的非线性建模

将选取的9个过程主要变量组成的数据矩阵作为模型的输入，青霉素浓度数据组成的矩阵作为模型的输出，建立关联向量回归非线性软测量模型。

3.获取青霉素生产过程的当前数据信息，并对其进行预处理和归一化

为了测试新方法的有效性，我们对青霉素生产过程的一个新批次数据进行测试，并利用建模时的归一化参数对其进行处理。

4.青霉素产品浓度的在线预测

对新批次数据进行在线质量预测，获得相应的产品浓度预测值。图1和图2分别给出了本发明方法和传统线性回归方法对该批次400个样本的在线预测结果，其中直线代表该批次产品浓度的离线分析值。由图中可以看出，本发明方法在青霉素产品浓度的预测能力上有很大的优势，相比之下，传统的线性PLS方法对青霉素产品浓度的预测效果要差的多。

表1：监测变量说明

序号	变量	序号	变量
				1	通风速率(l/h)	6	二氧化碳浓度(mmol/l)
2	搅拌功率(W)	7	pH值
				3	补料温度(K)	8	反应温度(K)
4	溶解氧浓度(g/l)	9	冷却水流量(l/h)
				5	发酵体积(l)

上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (3)

1.一种基于核学习技术的青霉素生产过程产品质量预测方法，其特征在于，包括以下步骤：

（1）利用集散控制系统收集青霉素生产过程数据组成建模用的三维训练样本集：X∈R^I×J×K，其中，R为实数集，表示X服从I×J×K的三维数据分布，I为该工况下的批次数目，J为变量个数，K为每个批次的采样数据点数；分别将这些数据存入历史数据库；

（2）将步骤1中的三维数据矩阵X沿着批次方向展开为I×JK二维数据矩阵，对其进行预处理和归一化，即使得各个过程变量的均值为零，方差为1，得到新的数据矩阵集为

（3）基于矩阵集

再重新沿着时间点方向对每一个数据矩阵进行排列，得到最终的数据样本集为

（4）通过离线实验室分析获取数据库中用于建模的样本所对应的青霉素产品浓度指标，记为y∈R^KI，并对其进行归一化处理，得到归一化之后的青霉素浓度指标数据矩阵

（5）针对归一化之后的过程变量和青霉素产品浓度数据，建立关联向量回归模型，将该模型参数存入数据库中备用；

（6）收集新的青霉素生产过程批次数据，并对其进行预处理和归一化；

（7）将归一化之后的新数据直接输入到关联向量回归模型中，在线预测该批次青霉素产品的浓度值。

2.根据权利要求1所述基于核学习技术的青霉素生产过程产品质量预测方法，其特征在于，所述步骤5具体为：将归一化之后的过程变量矩阵

作为模型的输入，归一化之后的青霉素浓度指标数据矩阵

作为模型的输出，建立如下的关联向量回归非线性模型：

y=f(x,w)+e

其中，f(·)为非线性函数，e为独立同分布的高斯噪声，即e～N(0,σ²)，x为批次中的样本，w为权重向量；结合核函数的概念，上述关联向量回归模型可以表示为核函数的形式，如下所示：

$f(x,w)=\underset{i=1}{\overset{\mathrm{KI}}{\mathrm{\Σ}}}{w}_{i}K(x,x_i)+w_0=\underset{i=0}{\overset{\mathrm{KI}}{\mathrm{\Σ}}}{w}_i\mathrm{\ψ}\left(x\right)$

其中，x为选定的批次中的单个样本，x_i为其他的单个样本。w=[w₀,w₁,w₂,…,w_KI]为核函数矩阵ψ(x)=[1,K(x,x₁),K(x,x₂),…,K(x,x_KI)]^T的权重向量；K(g)为核函数，代表高维空间的内积；I为该工况下的批次数目，J为变量个数，K为每个批次的采样数据点数，为了得到最优的参数向量w=[w₀,w₁,w₂,…,w_KI]，需要对如下的参数后验概率进行最优化：

$p\left(w\right|y,\mathrm{\α},{\mathrm{\σ}}^2)\begin{array}{c}=\frac{p\left(y\right|w,{\mathrm{\σ}}^2)p\left(w\right|\mathrm{\α})}{p\left(y\right|\mathrm{\α},{\mathrm{\σ}}^2)}\\ =\frac{1}{{\left(2\mathrm{\π}\right)}^{(\mathrm{KI}+1)/2}}{\left|\mathrm{\Σ}\right|}^{-1/2}\exp \{-\frac{1}{2}{(w-\mathrm{\μ})}^T{\mathrm{\Σ}}^{-1}(w-\mathrm{\μ})\}\end{array}$

其中，p(·)为概率密度函数，p(w|α)表示后验概率，代表在a存在的情况下w发生的概率；y为模型的输出变量，α为参数向量，Σ为协方差，μ为均值，σ²为方差，T为矩阵的转置。

3.根据权利要求1所述基于核学习技术的青霉素生产过程产品质量预测方法，其特征在于，所述步骤7具体为：对于一个新的批次数据x_new，将其归一化之后得到直接输入到关联向量回归模型中，在线计算该实时数据对应的模型输出值，即青霉素生产过程当前批次的浓度预测值计算如下：

${\stackrel{\‾}{y}}_{\mathrm{new}}=w^T\mathrm{\ψ}\left({\stackrel{\‾}{x}}_{\mathrm{new}}\right)$

其中， $\mathrm{\ψ}\left({\stackrel{\‾}{x}}_{\mathrm{new}}\right)={[1,K({\stackrel{\‾}{x}}_{\mathrm{new}},x_1)K({\stackrel{\‾}{x}}_{\mathrm{new}},x_2),\·\·\·,K({\stackrel{\‾}{x}}_{\mathrm{new}},x_n)]}^T$ 为该实时数据对应的核函数矩阵；x_n表示第n个批次样本，w=[w₀,w₁,w₂,…,w_KI]为核函数矩阵ψ(x)=[1,K(x,x₁),K(x,x₂),…,K(x,x_KI)]^T的权重向量，T为矩阵的转置。

Images