CN103617316A - 一种基于多核支持向量机的发酵过程动态预测方法 - Google Patents

Abstract

一种基于多核支持向量机的发酵过程动态预测方法，既属于生物发酵领域，又属于信息科学领域，具体涉及在发酵过程中应用改进的支持向量机建立发酵过程模型预测生物状态参数的方法。具体步骤包括：从历史批次数据库中搜索与当前时间窗内数据最相似的数据，组成相似训练样本集，利用建立的相似训练样本集，运用支持向量机算法，建立当前批次当前时刻的局部训练模型。同时，构造多核函数来处理不同阶段的样本建立局部模型。本发明实现了发酵过程生物状态参数的及时准确的测量，省去了对发酵过程分阶段然后进行建模的麻烦，具有样本需求量小，预测准确且时间短的优点，对实现发酵过程的控制和优化控制有重要意义。

Description

一种基于多核支持向量机的发酵过程动态预测方法

技术领域

本发明既属于生物发酵领域，又属于信息科学领域，具体涉及在发酵过程中应用改进的支持向量机建立发酵过程模型预测生物化学参数的方法。

背景技术

发酵工程，是指采用现代工程技术手段，利用微生物的某些特定功能，为人类生产有用的产品，或直接把微生物应用于工业生产过程的一种新技术，是生物技术的重要组成部分，是生物技术产业化的重要环节。现代发酵技术日益成为全球经济的重要组成部分。国家发改委、工信部发布的《食品工业″十二五″发展规划》预期，到2015年，发酵工业总产值达4600亿元以上，年均增长率达15%以上。生物技术、药物在《医药工业“十二五”发展规划》中也被确定为发展的重点领域。而据有关资料统计，在有些发达国家中，发酵工业的产值已经占国民生产总值的5％。在医药产品中，发酵产品占有特别重要的地位，其产值占医药工业总产值的20％，通过发酵生产的抗生素就达200多个品种。可见，发酵工业在与人们生活密切相关的医药、食品、化工、冶金、资源、能源、健康、环境等领域中，都有着难以估量的社会和经济效益。

随着发酵行业工业化进程的迅速推进与发展，对发酵过程进行控制和动态优化的要求也越来越迫切，而控制与优化的基础则是要首先解决发酵过程有关参数的在线检测问题。而发酵过程是一个复杂过程，具有时变、非线性、不确定、多变量耦合等特性，人类尚未完全弄清楚它的机理。一般的发酵过程需要测量的状态参数可分为物理参数、化学参数和生物参数。目前，物理参数一般可以通过传感器在线获得，而绝大部分化学参数和生物参数的测量则成了难以解决的问题。

针对生物化学参数的测量问题，沿袭传统的检测技术发展思路，主要是通过研制新型的在线分析仪表，以硬件形式实现过程参数的在线测量。但是在线分析仪表不仅价格昂贵，而且维护保养复杂，并且现有的在线生物传感器的测量精度难以保证，生物参数值主要通过离线分析得到，这往往存在较大的滞后，无法及时反馈控制信息。所以对于生物参数的控制，目前基本上都是凭借人类的实践经验进行手动控制，但是由于大多数的微生物发酵过程都比较复杂，单纯地依靠人们的实践经验会带来生产效率低和生产成本高的问题，无法达到提高生产率的需求。由此可见，针对发酵过程，首先要解决的问题就是建立一个发酵过程模型，通过所建立的模型可以估计一些不能在线测量的生物化学参数，如菌体浓度、产物浓度和基质浓度。然后既可以通过所建立的发酵模型对生物化学参数进行实时控制，也可以实现发酵过程的优化控制。优化控制是指基于数学模型通过优化算法寻优得到适合大批量生产的最优发酵工艺，并对生产过程进行控制，能够促进发酵过程的研发工作和产业化生产，最终可以提高产物的产量。然而由于发酵过程各批次数据间的差异性和不确定性，现在发酵过程中大多建模方式是离线和预先建模，不可避免地存在生产条件一旦改变，原有模型可能无法适应新环境的情况。而且在对发酵产物的稳定性与一致性要求越来越高的今天，基于模型的控制方法大量运用，而影响控制效果的一个重要方面就是模型的精确程度，所以研究建立精确的发酵过程的动态模型预测生物化学参数对实现发酵过程的控制和优化控制有重要意义。

发明内容

本发明针对上述现有技术中存在的问题，提出了一种基于多核支持向量机建立发酵过程动态模型的方法来实现生物化学参数的准确预测。而发酵过程模型的动态性通过建立发酵过程动态样本集的方法来实现，克服了发酵过程各批次之间差异巨大造成的生产条件一旦改变，原有模型无法适应新环境的问题；同时，通过构造多核函数来适应发酵过程多阶段特点，省去了对发酵过程分阶段建模的麻烦。

本发明采用了如下的技术方案和实现步骤：

步骤（1）：定义发酵过程样本点表示形式：

将发酵过程中在线可测量的参数和在线不可测量的待预测的参数组合成发酵过程的样本，具体的样本点表示形式如下：

T＝(x₁,x₂,...,x_n;y)  ①

其中，x₁,x₂,...,x_n表示发酵过程中在线可测量的n个参数，y表示发酵过程中在线不可测量的待预测的参数；

步骤（2）：构造历史批次数据库：离线测试，得到同一发酵过程相同工艺下的R+1批次数据，选择其中的任一批次数据作为当前批次数据，其余的R批次数据作为历史批次数据，其中第r批次k时刻历史数据表示如下：

$T_r^{*}\left(k\right)=(x_{r1}^{*}\left(k\right),x_{r2}^{*}\left(k\right),...,x_{\mathrm{rn}}^{*}\left(k\right);y_r(k+1))=(X_r^{*}\left(k\right);y_r(k+1))$ ②

其中，r＝1,2,…,R，R为历史批次总数；k＝1,2,…,N，N为每一批次的样本点总数；

对历史数据进行归一化处理，归一化公式如下所示：

$\stackrel{\‾}{X}=\frac{1}{N\×R}\underset{r=1}{\overset{R}{\mathrm{\Σ}}}\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{X}_r^{*}\left(k\right)$ ③

$\mathrm{\σ}=\sqrt{\frac{1}{N\×R-1}\underset{r=1}{\overset{R}{\mathrm{\Σ}}}\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{(X_r^{*}\left(k\right)-\stackrel{\‾}{X})}^2}$ ④

$X_r\left(k\right)=\frac{X_r^{*}\left(k\right)-\stackrel{\‾}{X}}{\mathrm{\σ}}$ ⑤

其中，r＝1,2,…,R，R为历史批次总数；k＝1,2,…,N，N为每一批次的样本点总数；由于模型为预估模型，所以当前时刻输入变量需要与下一时刻输出变量组合；将第r个历史批次中的k时刻输入向量

与k+1时刻输出变量y_r(k+1)组成一个样本点

表示第r历史批次k时刻的原始样本值,X_r(k)表示第r历史批次k时刻原始样本值归一化后的样本值；

步骤（3）：建立当前批次当前采样时刻发酵过程相似训练样本集，具体步骤为：

步骤（3.1）:根据上面的归一化公式对当前批次数据进行归一化。

步骤（3.2）：构建当前批次当前采样时刻的时间窗查询序列（这里的查询序列不包含输出变量y），其中当前批次k时刻时间窗长为l的查询序列构建方法如下：

当1≤k≤l时，查询序列为：

X_s＝{X(1),X(2),…X(l)}；

当(l+1)≤k≤N时，查询序列为：

X_s＝{X(k-l+1),X(k-l+2),…X(k)}；

步骤（3.3）：建立当前批次当前采样时刻对应的相似训练样本集，其中构建当前批次k时刻对应的相似训练样本集的方法为，以动态时间归整DTW为相似性指标，对于R个历史批次数据，从每个历史批次数据中找出与一个与当前批次k时刻的查询序列时间窗长l相同、DTW值最小的数据区间，组成样本点个数为l×R的相似训练样本集A(k)＝{M₁(k),M₂(k),…,M_R(k)}(找到的数据区间不包括y，这里是把输出变量y包括进去的样本集)，其中M_i(k)表示第i个历史批次数据中与当前批次k时刻的查询序列时间窗长l相同、DTW值最小的数据区间；

步骤（4）：构造当前批次当前采样时刻对应的多核函数：在计算机上使用MATLAB软件中的支持向量机SVM工具箱，对核函数类型进行修改，构造出适用于发酵过程多阶段特点的多核函数，其形式如下：

K(x,x′)＝a₁K_RBF(x,x′)+a₂K_Poly(x,x′)  ⑥

其中K_RBF(x,x′)代表RBF核函数,且核参数σ∈[1,10]；K_Poly(x,x′)代表Poly核函数，且核参数d∈[1,6]，d为整数；a_i，i=1，2代表核函数的权重系数，且满足条件a_i≥0，a₁+a₂＝1；权重系数a_i及核参数初始值随机确定，并根据预测均方根误差进行调整；

其中：x可以代表当前时刻的样本点，x′可以代表从历史批次中选取的某个相似训练样本点。

步骤（5）：支持向量机训练，完成当前批次当前时刻预测模型的建立，具体为：利用步骤（3）中建立的当前批次k采样时刻对应的相似训练样本集和步骤（4）中所构造的多核函数，使用MATLAB中的支持向量机（SVM）工具箱进行训练，从而完成当前批次当前时刻模型的建立；

步骤（6）：利用步骤（5）建立的当前批次当前时刻的预测模型，完成当前批次下一时刻输出变量y(k+1)的预测，具体为：将当前批次k时刻输入向量X(k)输入到建立的支持向量机模型中，完成当前批次k+1时刻输出变量y(k+1)的预测；

步骤（7）：返回步骤（3），滚动建立下一时刻的预测模型，不断输出生物化学参数预测值，直到遍历当前批次所有采样时刻。

随着采样时刻k不断发生改变，滚动建立系统预测模型从而不断输出生物化学参数预测值，为实现发酵过程控制和优化控制提供数值参考。

有益效果

与其他现有技术相比，本发明实现了发酵过程生物状态参数的及时准确的测量，克服了传统离线测量时间滞后带来的控制不及时的问题；在支持向量机中引入多核函数来适应发酵过程多阶段特点，省去了对发酵过程分阶段然后进行建模的麻烦，具有样本需求量小，预测准确且时间短的优点，对实现发酵过程的控制和优化控制有重要意义。

附图说明

图1本发明预测方法框图；

图2本发明方法流程图；

其中k为当前采样时刻，l为时间窗长，N为当前批次采样点个数。

图3为基于单核SVM的大肠杆菌发酵过程静态模型的实验结果，

其中采用的核函数是核参数σ=5的RBF核函数；

图4为基于单核SVM的大肠杆菌发酵过程动态模型的实验结果，

其中采用的核函数是核参数σ=5的RBF核函数；

图5为基于单核SVM的大肠杆菌发酵过程动态模型的实验结果，

其中采用的核函数是核参数d=2的Poly核函数；

图6基于本发明的大肠杆菌发酵过程动态模型的实验结果，

其中，采用如式⑥所示的多核函数应用到SVM建模中，其中RBF核函数的核参数σ=5，Poly的核函数的核参数d=2，且加权系数分别为0.7和0.3。

具体实施方式

结合本发明的内容提供如下实施例：

基因重组大肠杆菌制备白介素-2的发酵过程是一个典型的多阶段过程，主要包括无补料菌种培养阶段、菌种的补料快速生长阶段、诱导产物合成阶段。整个发酵周期大约持续19～20个小时，发酵过程的采样间隔为0.5h，初始接种量为700ml。

本实验中所用实验数据是在北京亦庄经济开发区某生物制药公司实验所得。采用补料分批发酵的方式，得到了5批基因重组大肠杆菌外源蛋白表达制备白介素-2的实际发酵过程数据。

该发酵过程产物白介素-2的动态预测方法在计算机上用MATLAB程序实现的具体实施步骤如下：

步骤（1）：定义大肠杆菌发酵过程样本点表示形式：

将发酵过程中在线可测量的参数和在线不可测量的待预测的参数组合成发酵过程的样本，具体的样本点表示形式如下：

T＝(x₁,x₂,...,x₈;y)  ⑦

其中，x₁,x₂,...,x₈表示大肠杆菌发酵过程中在线可测量的8个参数，分别是溶解氧浓度、pH值、温度、补葡萄糖速率、补氨水速率、补基质速率、搅拌转速、通气流量，y表示大肠杆菌发酵产物白介素-2的浓度。

步骤（2）：构造历史批次数据库：从得到的5批次数据中选择其中的任一批次数据作为当前批次数据，其余的4批次数据作为历史批次数据，其中第r批次k时刻历史数据表示如下：

$T_r^{*}\left(k\right)=(x_{r1}^{*}\left(k\right),x_{r2}^{*}\left(k\right),...,x_{r8}^{*}\left(k\right);y_r(k+1))=(X_r^{*}\left(k\right);y_r(k+1))$ ⑧

其中，其中，r＝1,2,…,R，R为历史批次总数且这里R=4；k＝1,2,…,N，N为每一批次的样本点总数且这里N=34；

步骤（3）：建立大肠杆菌发酵过程相似训练样本集，具体步骤为：

步骤（3.1）:根据归一化公式③④⑤对当前批次数据进行归一化。

步骤（3.2）：构建当前批次当前采样时刻的时间窗查询序列（不包含y），具体的，当前批次k时刻时间窗长为l=3的查询序列构建方法如下：

当1≤k≤3时，查询序列为X_s＝{X(1),X(2),X(3)}；

当4≤k≤34时，查询序列为X_s＝{X(k-2),X(k-1),X(k)}；

步骤（3.3）：建立当前批次当前采样时刻对应的相似训练样本集，具体的，构建当前批次k时刻对应的相似训练样本集的方法为：以动态时间归整DTW为相似性指标，对于4个历史批次数据，从每个历史批次数据中找出一个与当前批次k时刻的查询序列时间窗长相同、DTW值最小的数据区间，组成样本点个数为12的相似训练样本集（A(k)＝{M₁(k),M₂(k),…,M₄(k)}，其中M_i(k)表示第i个历史批次数据中与当前批次k时刻的查询序列时间窗长l相同、DTW值最小的数据区间，由于相似性搜索是根据输入向量的相似程度进行搜索的，所以找到的数据区间不包括白介素-2浓度y，这里我们把y包括进去；

步骤（4）：构造多核函数：在计算机上使用MATLAB软件中的支持向量机（SVM）工具箱，对核函数类型进行修改，构造出如表1中所示的多核SVM动态模型函数，即本发明所用函数。

为比较多核SVM动态模型与单核SVM静态模型、单核SVM动态模型，分别建立如表1所示的SVM模型。由表1可以看出，对于选取相同的核函数和核函数参数的SVM模型，SVM动态模型的预测时间和预测精度明显都比SVM静态模型的有所提高。而对于SVM动态模型，多核函数SVM动态模型比单核函数SVM动态模型预测时间和预测精度也有所提高。

步骤（5）：支持向量机训练，具体为：利用步骤（3）中建立的当前批次k采样时刻对应的相似训练样本集和步骤（4）中所构造的多核函数，使用MATLAB中的SVM工具箱进行训练，从而完成当前批次当前时刻模型的建立；

步骤（6）：将当前批次k时刻输入向量X(k)输入到建立的支持向量机模型中，完成当前批次k+1时刻输出变量白介素-2浓度的预测。

步骤（7）若k≤N,则返回步骤（3），循环建立系统模型从而不断输出白介素-2浓度的预测值；否则，结束循环。

按照以上步骤在计算机上用MATLAB程序实现，则所建立的模型预测均方根误差（RMSE）和预测时间如表1所示：

表1

Claims (1)

1.一种基于多核支持向量机的发酵过程动态预测方法，其特征在于包含以下步骤：

步骤（1）：定义发酵过程样本点表示形式：

将发酵过程中在线可测量的参数和在线不可测量的待预测的参数组合成发酵过程的样本，具体的样本点表示形式如下：

T＝(x₁,x₂,...,x_n;y)  ①

其中，x₁,x₂,...,x_n表示发酵过程中在线可测量的n个参数，y表示发酵过程中在线不可测量的待预测的参数；

步骤（2）：构造历史批次数据库：离线测试，得到同一发酵过程相同工艺下的R+1批次数据，选择其中的任一批次数据作为当前批次数据，其余的R批次数据作为历史批次数据，其中第r批次k时刻历史数据表示如下：

$T_r^{*}\left(k\right)=(x_{r1}^{*}\left(k\right),x_{r2}^{*}\left(k\right),...,x_{\mathrm{rn}}^{*}\left(k\right);y_r(k+1))=(X_r^{*}\left(k\right);y_r(k+1))$ ②

其中，r＝1,2,…,R，R为历史批次总数；k＝1,2,…,N，N为每一批次的样本点总数；

对历史数据进行归一化处理，归一化公式如下所示：

$\stackrel{\‾}{X}=\frac{1}{N\×R}\underset{r=1}{\overset{R}{\mathrm{\Σ}}}\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{X}_r^{*}\left(k\right)$ ③

$\mathrm{\σ}=\sqrt{\frac{1}{N\×R-1}\underset{r=1}{\overset{R}{\mathrm{\Σ}}}\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{(X_r^{*}\left(k\right)-\stackrel{\‾}{X})}^2}$ ④

$X_r\left(k\right)=\frac{X_r^{*}\left(k\right)-\stackrel{\‾}{X}}{\mathrm{\σ}}$ ⑤

其中，r＝1,2,…,R，R为历史批次总数；k＝1,2,…,N，N为每一批次的样本点总数；

表示第r历史批次k时刻的原始样本值,X_r(k)表示第r历史批次k时刻原始样本值归一化后的样本值；

步骤（3）：建立当前批次当前采样时刻发酵过程相似训练样本集，具体步骤为：

步骤（3.1）：根据上面的归一化公式对当前批次数据进行归一化。

步骤（3.2）：构建当前批次当前采样时刻的时间窗查询序列，具体的，当前批次k时刻时间窗长为l的查询序列构建方法如下：

当1≤k≤l时，查询序列为：

X_s＝{X(1),X(2),…Ｘ(l)}；

当(l+1)≤k≤N时，查询序列为：

X_s＝{X(k-l+1),X(k-l+2),…X(k)}；

步骤（3.3）：建立当前批次当前采样时刻对应的相似训练样本集，具体的，构建当前批次k时刻对应的相似训练样本集的方法为，以动态时间归整DTW为相似性指标，对于R个历史批次数据，从每个历史批次数据中找出一个与当前批次k时刻的查询序列时间窗长l相同、DTW值最小的数据区间，组成样本点个数为l×R的相似训练样本集A(k)＝{M₁(k),M₂(k),…,M_R(k)}，其中M_i(k)表示第i个历史批次数据中与当前批次k时刻的查询序列时间窗长l相同、DTW值最小的数据区间；

步骤（4）：构造当前批次当前采样时刻对应的多核函数：在计算机上使用MATLAB软件中的支持向量机（SVM）工具箱，对核函数类型进行修改，构造出适用于发酵过程多阶段特点的多核函数，其形式如下：

K(x,x′)＝a₁K_RBF(x,x′)+a₂K_Poly(x,x′)  ⑥

其中K_RBF(x,x′)代表RBF核函数,且核参数σ∈[1,10]；K_Poly(x,x′)代表Poly核函数，且核参数d∈[1,6]、d为整数；a_i，i=1，2代表核函数的权重系数，且满足条件a_i≥0，a₁+a₂＝1；权重系数a_i及核参数初始值随机确定，并根据预测均方根误差进行调整；

步骤（5）：支持向量机训练，完成当前批次当前时刻预测模型的建立，具体为：利用步骤（3）中建立的当前批次k采样时刻对应的相似训练样本集和步骤（4）中所构造的多核函数，使用MATLAB中的支持向量机（SVM）工具箱进行训练，从而完成当前批次当前时刻模型的建立；

步骤（6）：利用步骤（5）建立的当前批次当前时刻的预测模型，完成当前批次下一时刻输出变量y(k+1)的预测，具体为：将当前批次k时刻输入向量X(k)输入到建立的支持向量机模型中，完成当前批次k+1时刻输出变量y(k+1)的预测；

步骤（7）：返回步骤（3），滚动建立下一时刻的预测模型，不断输出生物化学参数预测值，直到遍历当前批次所有采样时刻。

Images