CN105259761A - 一种基于特征模型的连续灭菌反复学习自适应控制器 - Google Patents

Abstract

一种基于特征模型的连续灭菌反复学习自适应控制器，包括特征模型辨识模块、全系数控制律模块、反复学习前馈模块、总控制量计算模块；特征模型辨识模块获取当前蒸汽喷射器的出口培养基温度、蒸汽阀门开度得到辨识参数，全系数控制律模块接收辨识参数、培养基温度与参考温度的误差得到反馈控制量；反复学习前馈模块构建更新前馈查找表；总控制量计算模块根据反馈控制量、前馈控制量得到当前蒸汽阀门开度。本发明系统通过反复学习不断优化前馈查找表，消除了物料入口温度和物料流量等可测快变量的扰动，降低了连续灭菌过程中物料入口温度、流量等的可测量的影响，同时具有鲁棒性强、实现简单的优点。

Description

一种基于特征模型的连续灭菌反复学习自适应控制器

技术领域

本发明涉及生物制药生产过程中连续灭菌自动控制系统的控制器，属于生物控制技术领域，特别是一种基于特征模型的连续灭菌反复学习自适应控制器。

背景技术

生物制药生产过程连续灭菌自动控制系统是用于生物发酵工程的连续灭菌(简称连消，下同)设备，可以自动实现培养基的加热升温、保温和冷却降温，在短时间内达到杀死无用杂菌的目的。目前，自动连续灭菌工艺已经成为生物发酵企业急需采用的新技术之一，也是灭菌技术的主要发展趋势。连消过程主要采用蒸汽喷射器对培养基(简称物料，下同)进行加热来实现灭菌的目的，以蒸汽喷射器出口温度的控制精度作为主要技术指标，其具体控制过程存在如下难点：蒸汽喷射器的加热过程是一个较为复杂的物理过程，主要受到蒸汽压力、温度、流量和物料入口温度、流量的影响，难以用明确的数学模型进行描述；根据工艺要求连消过程又分为若干个阶段，在不同阶段系统工况差异较大，导致在各个阶段被控对象呈现出完全不同的状态并具有不同的控制指标和控制要求；系统受到各种外部扰动，且对扰动较为敏感，如蒸汽压力的随机变化和温度的波动，管路中的物料温度存在二次换热变化较大，物料罐的频繁切换导致物料流量变化较大，这些扰动都会对出口温度产生较大的影响；在工作过程中物料的特性不断变化，如不同阶段流过的物料不同，不同工艺加工的物料也不同，导致物料的比热、密度都不断变化，且蒸汽存在过热状态，此时蒸汽的比热也是变化的，而这些量都难以测量。综上所述，蒸汽喷射器的温度控制是一个受到外部各种扰动、并具有时变非线性特点的控制系统，其精确的温度控制是一个具有极大挑战性的问题。

目前工业控制中常用的PID控制器或者基于模糊逻辑的控制器普遍存在难以根据生产状况自适应调节的特点，在控制参数或模糊逻辑一旦确定后不能根据当前的扰动状态自动调节，导致喷射器出口培养基温度在各种快变扰动下难以实现高精度的温度保持等问题。

发明内容

本发明解决的技术问题是：克服现有技术的不足，提供了一种利用在线历史数据构建前馈查找表形成前馈补偿环节，并进行不断优化来克服外部可测扰动，利用基于特征模型的全系数自适应控制作为反馈环节以达到对不同应用环境具有较强自适应性的自动控制系统。

本发明的技术解决方案是：一种基于特征模型的连续灭菌反复学习自适应控制器，包括特征模型辨识模块、全系数控制律模块、反复学习前馈模块、总控制量计算模块，其中

特征模型辨识模块，获取当前蒸汽喷射器出口的培养基温度T_k+1、蒸汽阀门开度u_k，进而得到辨识参数并送至全系数控制律模块，其中，k表示第k个控制周期；所述的辨识参数为

${\widehat{\mathrm{\θ}}}_k={\left[\begin{array}{ccc}{\hat{f}}_{1,k}& {\hat{f}}_{2,k}& {\hat{g}}_k\end{array}\right]}^T$

$\left\{\begin{array}{c}{\widehat{\mathrm{\θ}}}_{n,k}={\widehat{\mathrm{\θ}}}_{k-1}+\frac{{\mathrm{\α\φ}}_{k-1}(y_{k+1}-{{\mathrm{S\φ}}_{k-1}}^T{\widehat{\mathrm{\θ}}}_{k-1})}{1+{{\mathrm{\φ}}_{k-1}}^T{\mathrm{\φ}}_{k-1}}\\ {\widehat{\mathrm{\θ}}}_k=\mathrm{\π}\[{\widehat{\mathrm{\θ}}}_{n,k}\]\end{array}\right.$

其中， ${\widehat{\mathrm{\&theta;}}}_0={\left[\begin{array}{ccc}2& -1& {\mathrm{ch}}^2\end{array}\right]}^T,$ h为采样周期，0<c<1，φ_k-1＝[y_ky_k-1u_k]^T，0<α<2，y₀＝0，y_k为第k周期蒸汽喷射器出口的培养基温度T_k；

全系数控制律模块，接收培养基温度误差e_k，进而得到反馈控制量u_f,k+1，并送至总控制量计算模块；所述的培养基温度误差e_k为当前培养基温度T_k+1与第k周期温度参考输入y_r,k差值的绝对值；所述的反馈控制量u_f,k+1为

u_f,k+1＝u_g,k+1+u_i,k+1+u_d,k+1+u_0,k+1

其中， $u_{g,k+1}=-\frac{1}{{\hat{g}}_k+{\mathrm{\&lambda;}}_1}\left(l_1{\hat{f}}_{1,k}\right(y_{k+1}-y_{r,k+1})+l_2{\hat{f}}_{2,k}(y_k-y_{r,k}\left)\right),$ u_i,k+1＝u_k+k_ie_k+1， $u_{d,k+1}=c_d\sqrt{\underset{n=1}{\overset{l}{\&Sigma;}}\left|e_{(k-n)}\right|}(e_{k+1}-e_k),u_{0,k+1}=-\frac{1}{{\hat{g}}_k+{\mathrm{\&lambda;}}_2}(y_{r,k+1}-{\hat{f}}_{1,k}{y}_{r,k}-{\hat{f}}_{2,k}{y}_{r,k-1}),$ y_r,k为第k周期的温度参考输入，l₁+l₂＝1，λ₁+λ₂＝1， $k_i=\left\{\begin{array}{cc}{k}_1& e_k(e_k-e_{k-1})\&le;\mathrm{\&Delta;}\\ k_2& e_k(e_k-e_{k-1})>\mathrm{\&Delta;}\end{array}\right.,$ k₂>k₁>0，Δ＝1，e_k＝y_k-y_r,k，0<c_d<1，l为正整数且0<l<k，u₀＝0；

反复学习前馈模块，接收培养基温度误差e_k并判断，如果|e_k|<0.5且前馈查找表不存在当前物料流量、物料温度对应的学习数据，则将当前物料流量、物料温度、蒸汽阀门开度u_k作为1组学习数据添加到前馈查找表，否则不进行操作；所述的前馈查找表包括多组学习数据；监测连续灭菌自动控制系统的物料流量、物料温度，并根据当前物料流量、物料温度从前馈查找表中查找对应的前馈控制量u_b,k+1，并送至总控制量计算模块；其中，1组学习数据包括物料流量，物料温度，蒸汽阀门开度；

总控制量计算模块，接收反馈控制量u_f,k+1、前馈控制量u_b,k+1进而得到第k+1周期蒸汽阀门开度u_k+1＝u_f,k+1+u_b,k+1。

所述的λ₁＝0.2，λ₂＝0.8，c_d＝0.0001，k₂＝0.1,k₁＝0.04，l₁＝0.382，l₂＝0.618。

本发明与现有技术相比的优点在于：

(1)本发明通过从在线数据提取扰动信息作为实际前馈控制器的输入，并从事先构建的前馈查找表中获得可靠的前馈控制量，弥补了现有控制器技术没有精确模型的不足，通过反复学习不断优化前馈查找表，消除了物料入口温度和物料流量等可测快变量的扰动，降低了连续灭菌过程中物料入口温度、流量等的可测量的影响；

(2)本发明通过把连续灭菌过程中变化较慢的比热、密度等物理参数反映到辨识参数中，降低了蒸汽、物料等变化较慢参数对控制器的影响，克服了现有技术容易受慢变参数影响的缺陷；

(3)本发明基于特征模型建立自适应控制器，具有鲁棒性强、实现简单的优点，同时本发明控制器计算量小，可调参数少，适于工程应用；

(4)本发明控制器基于连续灭菌过程中实际在线运行数据，并通过反复学习前馈模块的反复控制实现了“经验积累”进而丰富了前馈查找表，使得较好的控制结果可以更新到前馈表中，对不同的应用环境的自动控制系统具有较强的自适应性。

附图说明

图1为本发明一种基于特征模型的连续灭菌反复学习自适应控制器原理流程图。

具体实施方式

本发明提出一种应用于生物制药生产过程连续灭菌自动控制系统的反复学习自适应控制器，其主要控制对象是蒸汽喷射器的出口温度，通过控制蒸汽和培养基(或物料)的流量，综合连消过程的各种信息以实现蒸汽喷射器出口温度的精确控制。

本发明通过合理规划使得在整个连消过程中既保证最大生产效率(即物料流量尽可能大)，又能使得蒸汽喷射器出口温度实现精确控制，具体是以蒸汽阀门开度作为控制输入，以蒸汽喷射器出口温度作为被控制量。整个系统采用“前馈+反馈”的混合控制方式，利用基于特征模型的自适应控制方法以实现对过程慢变参数的自适应和鲁棒控制，利用一种通过在线反复学习构建的查找表作为前馈控制器实现对快变可测扰动的补偿，可应用于以蒸汽喷射器对各种培养基进行加热灭菌的生物制药连续灭菌自动控制系统

基于特征模型的全系数自适应控制方法是吴宏鑫院士提出的，经过20多年的研究，在理论和应用上均取得了重要进展，形成了一套实用性很强的自适应控制理论和方法。该方法具有辨识参数少，鲁棒性和自适应性强，易于工程应用的特点。迄今为止已成功应用于10大类400多个系统。基于特征模型的全系数自适应控制的基本思想是，首先根据被控对象的机理或动力学特征，结合环境特征和控制性能要求建立反映系统主要输入输出关系和控制目标的较为简单的特征模型，一般为二阶时变差分方程形式，并以此为辨识模型进行在线辨识，与全系数自适应控制律构成一套完整的控制系统。

本系统基于上述思想设计反馈控制器，并利用反复学习的方式设计前馈控制器，进而得到系统总的控制器。下面将结合附图对本发明作进一步的详细说明，如图1所示本发明系统包括如下几个部分：

(1)基于特征模型的全系数控制律模块

基于特征建模思想，提取可测的主要变量作为状态变量，把其他不可测的量或慢变的物理参数压缩为待辨识模型参数f_1,k,f_2,k,g_k，构建一个时变的二阶差分方程作为特征模型。对本连消系统来说，以蒸汽喷射器出口物料温度(T)作为被控变量，以蒸汽阀门开度作为控制变量构建如下特征模型来描述喷射器的基本加热过程。

y_k+2＝f_1,ky_k+1+f_2,ky_k+g_ku_k+1(1)

其中，y表示蒸汽喷射器出口物料温度，u表示蒸汽阀门开度，f_1,k,f_2,k,g_k表示时变的特征参量，k表示第k个控制周期。

利用(1)作为特征模型辨识模块中的辨识模型进行实时辨识，从特征模型辨识模块得到的辨识参数作为控制器的参数采用全系数控制律进行控制，具体的全系数控制律包含如下四个部分：

黄金分割控制律: $u_{g,k+1}=-\frac{1}{{\hat{g}}_k+{\mathrm{\&lambda;}}_1}\left(l_1{\hat{f}}_{1,k}\right(y_{k+1}-y_{r,k+1})+l_2{\hat{f}}_{2,k}(y_k-y_{r,k}\left)\right)$

其中，l₁＝0.382，l₂＝0.618，λ₁为调节参量，y_k为式(1)的状态变量，y_r,k为第k个控制周期的温度参考输入，为从特征模型辨识模块得到的辨识参数。

逻辑积分控制律：u_i,k+1＝u_k+k_ie_k+1

$k_i=\left\{\begin{array}{cc}{k}_1& e_k(e_k-e_{k-1})\&le;\mathrm{\&Delta;}\\ k_2& e_k(e_k-e_{k-1})>\mathrm{\&Delta;}\end{array}\right.$

其中，k₂>k₁>0，Δ为一小正数，e_k＝y_k-y_r,k，u_k表示第k个控制周期的蒸汽阀门开度。

逻辑微分控制律： $u_{d,k+1}=c_d\sqrt{\underset{n=1}{\overset{1}{\&Sigma;}}\left|e_{k-n}\right|}(e_{k+1}-e_k)$

其中，c_d为可调参数，e_k＝y_k-y_r,k，l为正整数且0<l<k，。

维持跟踪控制律： $u_{0,k+1}=-\frac{1}{{\hat{g}}_k+{\mathrm{\&lambda;}}_2}(y_{r,k+1}-{\hat{f}}_{1,k}{y}_{r,k}-{\hat{f}}_{2,k}{y}_{r,k-1})$

其中，λ₂为调节参数，其他同黄金分割控制律。

总的控制输入为：u_f,k+1＝u_g,k+1+u_i,k+1+u_d,k+1+u_0,k+1。

(2)特征模型辨识模块

特征模型全系数自适应控制方法采用式(1)作为辨识模型，利用投影梯度法进行在线辨识，得到的辨识参数作为全系数控制律的参数进行控制。其中投影梯度法自适应律可写为

$\left\{\begin{array}{c}{\widehat{\mathrm{\&theta;}}}_{n,k}={\widehat{\mathrm{\&theta;}}}_{k-1}+\frac{{\mathrm{\&alpha;\&phi;}}_{k-1}(y_{k+1}-{{\mathrm{\&phi;}}_{k-1}}^T{\widehat{\mathrm{\&theta;}}}_{k-1})}{1+{{\mathrm{\&phi;}}_{k-1}}^T{\mathrm{\&phi;}}_{k-1}}\\ {\widehat{\mathrm{\&theta;}}}_k=\mathrm{\&pi;}\&lsqb;{\widehat{\mathrm{\&theta;}}}_{n,k}\&rsqb;\end{array}\right.$

其中， ${\widehat{\mathrm{\&theta;}}}_k={\left[\begin{array}{ccc}{\hat{f}}_{1,k}& {\hat{f}}_{2,k}& {\hat{g}}_k\end{array}\right]}^T,$ 辨识参数初始值可取 ${\widehat{\mathrm{\&theta;}}}_0={\left[\begin{array}{ccc}2& -1& {\mathrm{ch}}^2\end{array}\right]}^T,$ h为采样周期，0<c<1，φ_k-1＝[y_ky_k-1u_k]^T，表示投影算子，α为自适应律增益(0<α<2)，系统输出初始值y₀＝0。该模块的输出作为基于特征模型的全系数控制律模块的输入共同构成基于特征模型的全系数自适应控制律，并且在本发明中作为反馈控制器。

以上反馈控制器可调参数λ₁、λ₂、c_d等一般根据不同的被控对象和温度参考指令选取不同的数值，没有确定的范围。下面给出本控制器在一个具体生产线上实施时的取值作为后续应用的一些参考。在该生产线上，培养基的参考指令控制温度为123度，培养基为糊状物质，因此，设定可调参数分别为λ₁＝0.2，λ₂＝0.8，c_d＝0.0001，Δ＝1，k₂＝0.1,k₁＝0.04。

(3)反复学习前馈模块

本发明采用一种基于反复学习的方法来构建前馈控制器实现对可测扰动的在线补偿。具体包括如下几个环节：

a)前馈查找表的构成

前馈查找表由如下表项构成：

物料流量

物料温度

控制量

其中，物料流量和物料温度作为输入，控制量作为输出。基本工作原理如下：

当外部可测扰动和系统输出稳定时系统处于一种平衡状态，通过提取外部可测扰动不同组合状态下对应系统控制输入获得一组数据：(外部可测扰动，控制量)，此组数据可以看作在此工作状态下得到的平衡点。依照此种方法，对于本连消系统主要考虑两种影响因素：物料流量和物料温度，与其所对应的控制输入共同描述了系统不同组合下的平衡点，把它们组织成表格的形式形成一个前馈查找表，用于描述系统在不同外部扰动下的平衡态，因此，该表格为一个二维表格。在实际控制时根据当前的外部扰动状态(物料流量，物料温度)，通过对前馈查找表进行插值获得要达到平衡点的输出量作为前馈控制器的输出。

b)前馈查找表的构建

由于系统是一个反复进行的生产过程，可以采用反复学习的方法从零开始构建前馈查找表。不断监测连续灭菌自动控制系统的物料流量、物料温度和喷射器出口物料温度，并计算喷射器出口物料温度与参考温度的误差e_k，判断如果|e_k|<0.5且前馈查找表不存在对应当前物料流量和物料温度的查找表项，则将当前的物料流量，物料温度，蒸汽阀门开度u_k添加到前馈查找表，否则不进行操作。采用这种方式，每次控制获得的可靠的信息(喷射器出口温度偏差在一个小的范围内所对应的数据对(物料流量，物料温度，控制量))都可以加入前馈表中作为下一次控制的基础，类似于人类所形成的“经验”。通过不断反复，前馈表上的信息更加丰富，类似于人类的经验越来越丰富。

(4)总控制量计算模块

总的控制量u即是反馈控制律u_f与前馈查找表输出量u_b的和，即

u＝u_b+ku_f

其中，k∈[0，1]为比例参数。

下面结合工作流程对本发明控制系统进行详细说明，本发明系统的工作流程包括：

首先，特征模型辨识模块获取当前蒸汽喷射器的出口培养基温度T_k+1、蒸汽阀门开度u_k，进而得到辨识参数并送至全系数控制律模块；

然后，全系数控制律模块接收培养基温度与参考温度的误差e_k，进而得到反馈控制量u_f,k+1，并送至总控制量计算模块；反复学习前馈模块一方面不断监测连续灭菌自动控制系统的物料流量、物料温度，并根据当前物料流量、物料温度从前馈查找表中查找对应的前馈控制量u_b,k+1，并送至总控制量计算模块；另一方面对查找表进行更新维护，接收培养基温度误差e_k，并判断如果|e_k|<0.5且前馈查找表不存在对应当前物料流量和物料温度的查找表项，则将当前的物料流量，物料温度，蒸汽阀门开度u_k添加到前馈查找表，否则不进行操作；

最后，总控制量计算模块接收反馈控制量u_f,k+1、前馈控制量u_b,k+1进而得到当前蒸汽阀门开度u_k+1。

本发明说明书中未作详细描述的内容属本领域技术人员的公知技术。

Claims (2)

1.一种基于特征模型的连续灭菌反复学习自适应控制器，其特征在于包括特征模型辨识模块、全系数控制律模块、反复学习前馈模块、总控制量计算模块，其中

特征模型辨识模块，获取当前蒸汽喷射器出口的培养基温度T_k+1、蒸汽阀门开度u_k，进而得到辨识参数并送至全系数控制律模块，其中，k表示第k个控制周期；所述的辨识参数为

${\widehat{\mathrm{\&theta;}}}_k={\left[\begin{array}{ccc}{\hat{f}}_{1,k}& {\hat{f}}_{2,k}& {\hat{g}}_k\end{array}\right]}^T$

$\left\{\begin{array}{c}{\widehat{\mathrm{\&theta;}}}_{n,k}={\widehat{\mathrm{\&theta;}}}_{k-1}+\frac{{\mathrm{\&alpha;\&phi;}}_{k-1}(y_{k+1}-{{\mathrm{\&phi;}}_{k-1}}^T{\widehat{\mathrm{\&theta;}}}_{k-1})}{1+{{\mathrm{\&phi;}}_{k-1}}^T{\mathrm{\&phi;}}_{k-1}}\\ {\widehat{\mathrm{\&theta;}}}_k=\mathrm{\&pi;}\&lsqb;{\widehat{\mathrm{\&theta;}}}_{n,k}\&rsqb;\end{array}\right.$

其中， ${\widehat{\mathrm{\&theta;}}}_0={\left[\begin{array}{ccc}2& 1& {\mathrm{ch}}^2\end{array}\right]}^T,$ h为采样周期，0<c<1，φ_k-1＝[y_ky_k-1u_k]^T，0<α<2，y₀＝0，y_k为第k周期蒸汽喷射器出口的培养基温度T_k；

全系数控制律模块，接收培养基温度误差e_k，进而得到反馈控制量u_f,k+1，并送至总控制量计算模块；所述的培养基温度误差e_k为当前培养基温度T_k与第k周期温度参考输入y_r,k差值的绝对值；所述的反馈控制量u_f,k+1为

u_f,k+1＝u_g,k+1+u_i,k+1+u_d,k+1+u_0,k+1

其中， $u_{g,k+1}=-\frac{1}{{\hat{g}}_k+{\mathrm{\&lambda;}}_1}\left(l_1{\hat{f}}_{1,k}\right(y_{k+1}-y_{r,k+1})+l_2{\hat{f}}_{2,k}(y_k-y_{r,k}\left)\right),$ u_i,k+1＝u_k+k_ie_k+1， $u_{d,k+1}=c_d\sqrt{\underset{n=1}{\overset{l}{\&Sigma;}}\left|e_{(k-n)}\right|}(e_{k+1}-e_k),u_{0,k+1}=-\frac{1}{{\hat{g}}_k+{\mathrm{\&lambda;}}_2}(y_{r,k+1}-{\hat{f}}_{1,k}{y}_{r,k}-{\hat{f}}_{2,k}{y}_{r,k-1}),$ y_r,k为第k周期的温度参考输入，l₁+l₂＝1，λ₁+λ₂＝1， $k_i=\left\{\begin{array}{cc}{k}_1& e_k(e_k-e_{k-1})\&le;\mathrm{\&Delta;}\\ k_2& e_k(e_k-e_{k-1})>\mathrm{\&Delta;},\end{array}\right.$ k₂>k₁>0，Δ＝1，e_k＝y_k-y_r,k，0<c_d<1，l为正整数且0<l<k，u₀＝0；

反复学习前馈模块，接收培养基温度误差e_k并判断，如果|e_k|<0.5且前馈查找表不存在当前物料流量、物料温度对应的学习数据，则将当前物料流量、物料温度、蒸汽阀门开度u_k作为1组学习数据添加到前馈查找表，否则不进行操作；所述的前馈查找表包括多组学习数据；监测连续灭菌自动控制系统的物料流量、物料温度，并根据当前物料流量、物料温度从前馈查找表中查找对应的前馈控制量u_b,k+1，并送至总控制量计算模块；其中，1组学习数据包括物料流量，物料温度，蒸汽阀门开度；

总控制量计算模块，接收反馈控制量u_f,k+1、前馈控制量u_b,k+1进而得到第k+1周期蒸汽阀门开度u_k+1＝u_f,k+1+u_b,k+1。

2.根据权利要求1所述的一种基于特征模型的连续灭菌反复学习自适应控制器，其特征在于：所述的λ₁＝0.2，λ₂＝0.8，c_d＝0.0001，k₂＝0.1,k₁＝0.04，l₁＝0.382，l₂＝0.618。