CN110046377B - 一种基于异构相似度的选择性集成即时学习软测量建模方法 - Google Patents

Abstract

本发明涉及一种基于异构相似度的选择性集成即时学习软测量方法，属于过程工业软测量建模和应用领域。本发明以局部加权偏最小二乘(LWPLS)算法为基学习器，通过定义多个相似度函数建立相似度函数库，然后基于进化多目标优化算法选择相似度函数，根据选出的相似度函数构建满足准确性和多样性指标的基模型，最后采用Stacking集成学习策略实现即时学习基模型的融合。本发明通过进化多目标优化算法从相似度库中选择合适的相似度以适应复杂的工业过程，通过集成策略有效地提升了预测精度。

Description

一种基于异构相似度的选择性集成即时学习软测量建模方法

技术领域

本发明涉及一种过程工业软测量建模和应用领域，特别涉及一种基于异构相似度的选择性集成即时学习软测量建模方法。

背景技术

在现代工业过程中，实现被控参数的在线检测是过程控制及优化的必要条件，也是确保产品质量和生产过程安全运行的关键措施。然而，在复杂的工业现场环境中，相比于温度、压力、流量等易测得的数据信息来说，这些能直接或是间接反映质量信息的关键变量通常获取比较困难。以液体产品浓度为例，获取产品浓度信息可以通过在线分析仪获得，也可以通过采样后离线实验室分析获得，这两种方法各有优劣。通过在线分析仪获得实时浓度参数，但往往这些在线检测仪器价格都非常昂贵，后期维护困难。而通过采样离线实验室分析获得浓度信息，往往耗时大，有严重的滞后，不能及时的反应当前的产品质量状况。软测量技术正是为了解决这些难测参数的实时估计和控制发展起来的。软测量技术核心思想为：根据某种优化准则，选择一组与难测主导变量密切相关的辅助变量，构造某种数学关系，利用计算机等硬件平台实现主导变量的实时估计。

查阅已有的专利和文献，可以发现软测量方法的实施主要有两大类：全局建模和局部建模。但是，全局建模训练效率低，而且不能有效表征过程变量信息，这将导致模型预测性能严重受限。相比于全局建模，局部建模技术能有效处理这类问题，通过表征局部特征来实现难测参数的预估。即时学习作为一种典型的局部学习方法，受到广泛关注，即时学习有三个主要特征：接到查询请求时开始建模；根据相似度准则，计算查询样本与历史样本之间的相似度，再通过挑选样本或是加权的方式建立局部模型；完成预测输出后抛弃模型。可以看出，即时学习模型的预测性能严重依赖相似度函数的定义，不同的相似度定义揭示了训练数据不同的潜在特征。但遗憾的是，到目前为止并没有统一的相似度度量方法。

为此，科研文献中许多相似度函数被定义并加以改进得到应用，形成了丰硕的成果，如使用平均距离、欧氏距离、马氏距离和角度相似度等相似度函数，并结合优化策略优化相似度参数。但是仍有不足之处，这些建模方法均使用单一的相似度函数，针对的是仅是特定的或相近的工业过程特征，一旦过程特征改变可能导致模型预测效果不佳，严重将导致模型失效。为了得到一般意义上更适用于对不同工业过程对象进行预测和分析的软测量方法，构建相似度函数库以适应不同工业过程特征是有必要的，并且，如何选择相似度函数以适应当前工业过程也面临着挑战。因此，迫切需要一种基于异构相似度函数的选择性集成软测量建模方法。

发明内容

本发明所要解决的主要技术问题是：本发明提供一种基于异构相似度的选择性集成软测量建模方法(EMO-ELWPLS)，以解决在实际应用中，单一的相似度准则很难确定选择哪些变量适用于当前数据集来建立软测量模型的问题。

本发明解决上述技术问题所采用的技术方案为：包括以下步骤：

(1)利用集散控制系统收集工业过程中的辅助变量作为软测量建模的输入变量X，通过离线实验分析获取与输入变量X对应的变量作为输出变量Y，并形成样本集[X，Y]，

其中N为样本数，M为输入变量维度，L为输出变量维度；

(2)将样本集[X，Y]分别划分为训练集和验证集，并且对样本集[X，Y]标准化处理得到均值为0，方差为1的新的样本集

(3)分别定义多个不同的相似度函数，构建多样性的相似度函数库Γ＝[d₁，d₂，…d_n，…d_K]；

(4)根据步骤(3)中K个相似度函数对应的相似度准则从训练集中挑选出K个不同的建模样本集，每个建模样本集中的样本数为N_l个；

(5)通过LWPLS算法对步骤(4)中得到的K个不同的建模样本集进行建模得到K个基模型，并得到各个基模型的输出

(6)利用进化多目标优化算法从K个相似度函数中选择M_s个相似度函数，M_s＜K，并对应得到M_s个基模型；

(7)采用Stacking集成策略，对选择出的M_s个基模型进行融合得测量模型。

本发明的有益效果是：

本发明采用构建相似度函数库，结合进化多目标优化方法选择具有多样性和准确性的相似度，解决了单一相似度建模存在的局限性。优化选取的相似度以LWPLS为基学习器建立局部模型，通过Stacking集成策略实现最终预测输出。本发明能有效提升即时学习建模预测性能。

附图说明

图1为本发明基于异构相似度函数的选择性集成软测量建模方法原理图；

图2为青霉素发酵过程中EMO-ELWPLS方法获得的Pareto前沿；

图3为青霉素发酵过程中EMO-ELWPLS方法优化选择的相似度函数结果图；

图4为基于EMO-ELWPLS方法的青霉素浓度预测趋势曲线。

具体实施方式

为使本发明的技术方案和优势更加清楚，下面结合附图和具体实施方式对本发明进行详细说明：

实施例1：如图1所示：一种基于异构相似度的选择性集成软测量建模方法，具体实施步骤如下：

(1)利用集散控制系统收集工业过程中的辅助变量作为软测量建模的输入变量X，通过离线实验分析获取与输入变量X对应的变量作为输出变量Y，并形成样本集[X，Y]，

其中N为样本数，M为输入变量维度，L为输出变量维度；

(2)将样本集[X，Y]分别划分为训练集和验证集，其中训练集和验证集分别用于模型训练和模型参数优化，并且对样本集[X，Y]标准化处理得到均值为0，方差为1的新的样本集

(3)分别定义多个不同的相似度函数，构建多样性的相似度函数库Γ＝[d₁，d₂，...d_n，...d_K]；相似度函数总共有13个，即K＝13，分别为：

欧式距离(Euclidean distance)：

平均距离(Average distance)：

加权欧式距离(Weighted Euclideandistance)：

Cosine角度(Cosine measure distance)：

分歧系数(Coefficient ofdivergence)：

马氏距离(Mahalanobis distance)：

堪培拉公制(Canberra metric)：

Chord：

群落系数(Czekanowski Coefficient)：

群丛指数(IndexofAssociation)：

曼哈顿距离(Manhattandistance)：

平均特征差异(Meancharacter difference)：

Pearson系数(Pearson coefficient)：

(4)根据步骤(3)中K个相似度函数对应的相似度准则从训练集中挑选出K个不同的建模样本集，每个建模样本集中的样本数为N_l个；

所述步骤(4)中任一相似度函数d_n对应的相似度指标s_n定义如下：

其中，σ_d是

的标准差，K＝13，ψ是局部化参数，ψ∈(0.01-10)，不同相似度函数对应的ψ值不同，根据测试数据选择最优的ψ参数。上述相似度函数定义中，如欧式距离d₁，两样本间距离越大，则相似度越小，呈负相关。但是，Cosine角度d₄和Pearson系数d₁₃呈正相关，角度和系数越大，样本之间越相似。再根据相似度指标s_n从训练集中挑选相似度排在前N_l个的样本形成建模样本集。

(5)通过LWPLS算法对步骤(4)中得到的K个不同的建模样本集进行建模得到K个基模型，并得到各个基模型的输出

(6)利用进化多目标优化算法从K个相似度函数中选择M_s个相似度函数，M_s＜K，并对应得到M_s个基模型；

S1、种群初始化：种群个数N_pop，代数N_gen，优化选择相似度个数M_s；

S2、决策变量：决策变量即相似度函数，相似度函数可用一组二进制变量表示，第n个相似度函数d_n可表示为：

式中，d_n＝1表示选中该相似度函数，d_n＝0表示没有选中该相似度函数；

S3、目标函数：

max[f_acc(z)，f_div(z)]

式中，z为决策变量即相似度函数，f_acc和f_div分别表示准确性和多样性目标函数，采用均方根误差RMSE和相关性系数r作为评价基模型的准确性和多样性的指标，分别定义为：

式中，N_val代表验证集的样本数，y_val，i和

分别表示验证集中样本的实际输出和预测输出；r_ij表示基模型i和基模型j间的相关性系数，E_i、E_j分别表示基模型i和基模型j获得的验证误差序列，Cov(，·，)和Var(·)分别为协方差和方差算子；

则M_s个基模型的准确性的评价指标RMSE_avg，val和多样性的评价指标r_avg，val分别定义如下：

由于RMSE_avg，val越小，基模型的准确性越高；r_avg，val越小，基模型的差异性越大。因此，max[f_acc(z)，f_div(z)]的最大化优化问题转化为最小化优化问题，可描述为：min[RMSE_avg，val，r_avg，val]，RMSE_m，val表示第m个基模型的均方根误差。

(7)采用Stacking集成策略，对选择出的M_s个基模型进行融合得测量模型。利用步骤(6)中得到的M_s个基模型对验证集进行预测，将预测输出数据和验证集的样本实际输出分别作为元学习器f_ens的输入和输出，元学习器f_ens的训练采用线性或非线性建模技术，如PLS、ANN、GPR、GPR等，本发明使用PLS来训练模型。

实施例2：以下结合一个具体的青霉素发酵的例子来说明基于异构相似度集成即时学习软测量方法的有效性。青霉素发酵过程常用于软测量算法验证、是一个标准的工业过程仿真平台。其生产过程是一个典型的多时段、非线性间歇过程，在培养过程中，使用两个级联控制器分别控制酸/碱和冷/热水流量来维持PH和温度。同时，将无菌基质和空气连续送入生物反应器，为细胞生长和产物形成提供营养，并保持微生物所需的氧气消耗。在反应过程中，青霉素浓度是一个十分重要的关键指标，为了控制产品质量和生产效率，通过构建软测量模型对青霉素浓度进行在线预测。

如表1所示给出了针对关键质量变量青霉素浓度选择的14个辅助变量。

表1输入变量表

输入变量	变量描述	输入变量	变量描述
				x<sub>1</sub>	培养时间(h)	x<sub>8</sub>	二氧化碳浓度(g/L)
x<sub>2</sub>	通气速率(L/h)	x<sub>9</sub>	pH值
				x<sub>3</sub>	搅拌功率(W)	x<sub>10</sub>	发酵罐温度(K)
x<sub>4</sub>	基质进料速率(L/h)	x<sub>11</sub>	产生热(千卡)
				x<sub>5</sub>	基质进料温度(K)	x<sub>12</sub>	酸流量(L/h)
x<sub>6</sub>	溶解氧浓度(g/L)	x<sub>13</sub>	基本流量(L/h)
				x<sub>7</sub>	培养体积(L)	x<sub>14</sub>	冷却水流量(L/h)

针对该过程，通过采样间隔2小时，发酵持续时间400小时，一共收集9批发酵过程数据，其中5批作为训练集，2批作为验证集，2批作为测试集。在这里，用于局部建模的样本数N_l＝50，相似度函数库中定义的13种相似度对应ψ参数分别为：

{ψ₁，ψ₂，...，ψ₁₃}＝{0.5，0.5，0.1，2，0.5，0.05，1，2，5，1，0.1，0.1，0.5}，NSGA-II优化算法中种群个数N_pop＝100，代数N_gen＝100，优化选择相似度个数M_s＝8。

表2为使用不同相似度函数建模预测误差比较，表中1至13表示的是基于单一相似度的LWPLS软测量建模方法，与14本发明所提出的基于异构相似度的选择性集成软测量建模方法相比较，使用均方根误差RMSE和决定系数R²作为模型性能评价指标：

其中，N_test为测试样本数目，

y_i和

分别为输出的估计值、实际值及实际值的均值。RMSE越小，R²越大表示模型预测性能越好。

表2可以看出，根据不同的相似度使用相同的建模技术，其预测结果之间存在差异，说明一种基于异构相似度的选择性集成软测量建模方法明显优于使用单一的相似度函数建立的软测量模型。

表2使用不同相似度函数建模预测误差比较

从图2和图3可以看到基于NSGA-II算法优化出来的Pareto前沿和选择的相似度函数结果。Pareto前沿表明准确性和多样性间呈此消彼长之势，相似度之间存在多样性，并且从相似度选择结果来看，并不是多有的相似度都适应当前过程状态。图4为青霉素浓度预测趋势曲线，可以清楚看出预测值与实际值之间高度吻合。由此可见，在即时学习建模中构建相似度函数库的必要性和通过优化算法从相似度函数库中选择合适的相似度函数以适应当前过程状态的优越性。相比于传统的即时学习软测量建模方法，本发明能有效提升即时学习软测量建模方法的预测性能。

以上所述，仅是本发明具体的一个实施方式，但本发明的保护范围并不仅限于此，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出同等替换或改变，都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种基于异构相似度的选择性集成软测量建模方法，其特征在于，包括以下步骤：

(1)利用集散控制系统收集工业过程中的辅助变量作为软测量建模的输入变量X，通过离线实验分析获取与输入变量X对应的变量作为输出变量Y，并形成样本集[X，Y]，

其中N为样本数，M为输入变量维度，L为输出变量维度；

(2)将样本集[X，Y]分别划分为训练集和验证集，并且对样本集[X，Y]标准化处理得到均值为0，方差为1的新的样本集

(3)分别定义多个不同的相似度函数，构建多样性的相似度函数库Γ＝[d₁，d₂，...d_n，...d_K]；

(4)根据步骤(3)中K个相似度函数对应的相似度准则从训练集中挑选出K个不同的建模样本集，每个建模样本集中的样本数为N_l个；

(5)通过LWPLS算法对步骤(4)中得到的K个不同的建模样本集进行建模得到K个基模型，并得到各个基模型的输出

(6)利用进化多目标优化算法从K个相似度函数中选择M_s个相似度函数，M_s＜K，并对应得到M_s个基模型；

所述步骤(6)的具体过程为：

S1、种群初始化：种群个数N_pop，代数N_gen，优化选择相似度个数M_s；

S2、决策变量：决策变量即相似度函数，相似度函数用一组二进制变量表示，第n个相似度函数d_n表示为：

式中，d_n＝1表示选中该相似度函数，d_n＝0表示没有选中该相似度函数；

S3、目标函数：

max[f_acc(z)，f_div(z)]

式中，z为决策变量即相似度函数，f_acc和f_div分别表示准确性和多样性目标函数，采用均方根误差RMSE和相关性系数r作为评价基模型的准确性和多样性的指标，分别定义为：

式中，N_val代表验证集的样本数，y_val，i和

分别表示验证集中样本的实际输出和预测输出；r_ij表示基模型i和基模型j间的相关性系数，E_i、E_j分别表示基模型i和基模型j获得的验证误差序列，Cov(，·，)和Var(·)分别为协方差和方差算子；

则M_s个基模型的准确性评价指标RMSE_avg，val和多样性评价指标r_avg，val分别定义如下：

max[f_acc(z)，f_div(z)]的最大化优化问题转化为最小化优化问题，描述为min[RMSE_avg，val，r_avg，val]，RMSE_m，val表示第m个基模型的均方根误差；

(7)采用Stacking集成策略，对选择出的M_s个基模型进行融合得测量模型。

2.根据权利要求1所述的基于异构相似度的选择性集成软测量建模方法，其特征在于，所述步骤(3)中的相似度函数总共有13个，即K＝13，其中d₁为欧式距离，d₂为平均距离，d₃为加权欧式距离，d₄为Cosine角度，d₅为分歧系数，d₆为马氏距离，d₇为堪培拉公制，d₈为Chord，d₉为群落系数，d₁₀为群丛指数，d₁₁为曼哈顿距离，d₁₂为平均特征差异，d₁₃为Pearson系数。

3.根据权利要求1所述的基于异构相似度的选择性集成软测量建模方法，其特征在于，所述步骤(4)中任一相似度函数d_n对应的相似度指标s_n定义如下：

其中，σ_d是

的标准差，K＝13，ψ是局部化参数，ψ∈(0.01-10)；

根据相似度指标s_n从训练集中挑选相似度排在前N_l个的样本形成建模样本集。

4.根据权利要求1所述的基于异构相似度的选择性集成软测量建模方法，其特征在于，步骤(7)的具体过程如下：利用步骤(6)中得到的M_s个基模型对验证集进行预测，将预测输出数据和验证集的样本实际输出分别作为元学习器f_ens的输入和输出，元学习器f_ens的训练采用线性或非线性建模技术。

Images