CN114186771A - 一种混合正则化随机配置网络工业过程运行指标估计方法 - Google Patents

Abstract

本发明公开了一种混合正则化随机配置网络工业过程运行指标估计方法，包括获取工业过程运行指标历史数据和影响其变化的相关过程变量数据，对混合正则化随机配置网络估计模型的初始参数进行设置，通过建立强约束的监督机制，得到最优隐层节点及对应的最优隐层参数，获得当前模型的隐层输出矩阵，并采用交替方向乘子法确定模型最优输出权值，进而得到当前模型的网络残差，构建混合正则化随机配置网络估计模型，实现目标工业过程的运行指标数据的估计。本发明采用高约束的监督机制并以构造法建立参数最优的运行指标估计模型，利用混合正则化技术自动删除对模型贡献低的隐层节点，从而保证了模型具有紧致的结构和良好的泛化性能。

Description

一种混合正则化随机配置网络工业过程运行指标估计方法

技术领域

本发明属于工业过程运行指标的软测量技术领域，尤其涉及一种混合正则化随机配置网络工业过程运行指标估计方法。

背景技术

为了节约生产成本，提高工业过程中运行指标测量结果的可靠性，采用软测量技术替代常规的传感器。目前，随着数据挖掘、计算机和数据库技术的发展，机器学习算法已广泛用于建立工业工程运行指标的软测量模型。另外，基于机器学习的软测量模型本质上是一种利用输入输出数据建立的回归拟合模型，然而传统的回归模型在拟合精度方面表现不佳。近年，一种名为随机配置网络的单隐层前馈神经网络被提出，且大量的分类和回归实验表明它在结构紧致、逼近精度和学习速度上较传统的拟合模型有明显提高。然而，由于所采用的随机算法具有随机性，在网络构建过程中容易产生低值、冗余隐层节点，从而使模型的紧致性降低，且存在病态解的风险，导致模型不稳定或者不可行，影响模型估计质量。

发明内容

本发明所要解决的技术问题是已有的工业过程运行指标估计方法存在的拟合问题，提供了一种基于混合正则化随机配置网络的工业过程运行指标估计方法.

为实现上述目的，本发明提供以下的技术方案：

一种混合正则化随机配置网络工业过程运行指标估计方法，基于由输入层、隐含层、输出层组成的混合正则化随机配置网络，执行以下步骤，构建混合正则化随机配置网络估计模型，实现目标工业过程的运行指标数据的估计：

步骤1：获取影响目标工业过程运行指标数据变化的相关过程变量历史数据作为混合正则化随机配置网络估计模型的输入样本，以及相关过程变量历史数据对应的运行指标历史数据作为混合正则化随机配置网络估计模型的输出样本；

步骤2：设置混合正则化随机配置网络估计模型的各初始参数；

步骤3：针对混合正则化随机配置网络估计模型的隐含层建立强约束的监督机制，基于强约束的监督机制，迭代添加混合正则化随机配置网络估计模型的隐含层的各隐层节点，迭代添加的各隐层节点执行步骤3.1至步骤3.3，构建混合正则化随机配置网络估计模型；

步骤3.1：添加当前的隐层节点时通过强约束的监督机制得到该隐层节点对应的最优隐层节点，进而得到该最优隐层节点对应的满足监督机制的最优隐层参数数值；

步骤3.2：基于该最优隐层节点对应的满足监督机制的最优隐层参数数值，得到当前混合正则化随机配置网络估计模型的隐层输出，进而通过交替方向乘子法确定当前混合正则化随机配置网络估计模型的最优输出权值，从而得到当前混合正则化随机配置网络估计模型的网络残差；

步骤3.3：基于当前混合正则化随机配置网络估计模型的网络残差，若当前混合正则化随机配置网络估计模型网络残差不在预设容忍误差范围内，重复步骤3继续添加下一个隐层节点，直至所构建的混合正则化随机配置网络估计模型所包含的隐层节点数达到预先设定的最大隐层节点数，从而得到构建混合正则化随机配置网络估计模型；若当前混合正则化随机配置网络估计模型网络残差在预设容忍误差范围内，则得到构建混合正则化随机配置网络估计模型，实现目标工业过程的运行指标数据的估计。

作为本发明的一种优选技术方案，所述步骤1中，获取目标工业过程的N组影响工业过程运行指标数据变化的相关过程变量历史数据和对应的运行指标历史数据{X,Y}，第i组相关过程变量历史数据x_i含有D个相关过程变量，其所对应的第i组运行指标历史数据y_i含有M个运行指标，其中i＝1,...,N，那么输入样本为X＝{x₁,x₂,...,x_i,...,x_N}，其第i个输入样本x_i是D维的，可表示为{x_i1,x_i2,...x_id...x_iD}，x_id为第i个输入样本第d个相关过程变量数据；输出样本为Y＝{y₁,y₂,...,y_i,...,y_N}，其第i个输出样本y_i是M维的，可表示为{y_i1,y_i2,...y_im...y_iM}，y_im为第i个输出样本第m个运行指标数据。

作为本发明的一种优选技术方案，所述步骤2中设置混合正则化随机配置网络估计模型的初始参数，其参数包括：激活函数g(x)，学习参数r，正则化系数Z₁和Z₂，最大隐层节点预设数L_max，可容忍误差ε，隐层参数数值随机选取范围Υ：＝{λ_min:Δλ:λ_max}，λ_min为预先设定的最小参数选择范围所对应的最小参数值，Δλ为变化步长，λ_max为预先设定的最大参数选择范围所对应的最大参数值，T_max为每个参数范围内隐层参数配置次数，混合正则化随机配置网络估计模型初始残差e₀＝Y,Y＝[y₁,y₂,...,y_N]^T。

作为本发明的一种优选技术方案，所述步骤3中针对混合正则化随机配置网络估计模型的隐含层建立的强约束的监督机制的公式为：

其中，M为所要估计的运行指标的个数，即估计模型输出变量的个数；ξ_L,q为第L个隐层节点构建过程中第q个输出所对应的监督值，e_L-1,q为具有L-1个隐层节点的混合正则化随机配置网络估计模型第q个输出所对应的网络残差，e_L-1＝[e_L-1,1,e_L-1,2,...,e_L-1,M]，g_L为第L个隐层节点的激活函数，Z₁和Z₂为正则化系数，r_L,j和u_L,j为添加第L个隐层节点的过程所对应的两个非负序列。

作为本发明的一种优选技术方案，所述步骤3.1中执行的过程如下：

步骤3.1.1：当添加混合正则化随机配置网络隐含层的第L个隐层节点时，给定该迭代添加该隐层节点的过程所对应的两个非负序列

和

其中，λ_min为预先设定的最小参数选择范围所对应的最小参数值，Δλ为变化步长，λ_max为预先设定的最大参数选择范围所对应的最大参数值，r_L,1＝r，L为第L个隐层节点，j表示第j轮搜索；当j＝1时，并在对称区间[-λ_min,λ_min]内随机产生T_max组隐层参数的数值，即T_max组输入权值w_L和偏置b_L的数值；

步骤3.1.2：第L个隐层节点当前所配置的隐层输出为

将矩阵H_L中的每一列依次代入ξ_L,q中，若该列所对应的监督值满足min{ξ_L,1,ξ_L,2,...,ξ_L,q,...,ξ_L,m}≥0，则该列对应的节点选为添加当前隐层节点时的候选隐层节点；

步骤3.1.3：将筛选得到的添加当前隐层节点时的一组候选隐层节点代入第L个隐层节点的监督值

进而计算得到该组候选隐层节点的各监督值：

K≤T_max，其中K为添加当前隐层节点时的候选隐层节点的总个数，

为第k个候选隐层节点所对应的监督值，k≤K；

步骤3.1.4：基于步骤3.1.3得到该组候选隐层节点的各监督值

其中最大的一个监督值

对应的候选隐层节点作为添加当前隐层节点时对应的最优隐层节点，进而将该最优隐层节点所对应的隐层参数数值作为满足监督机制的最优隐层参数数值，即最优输入权值

和最优偏置

步骤3.1.5：若经过第j轮搜索没有找到满足监督机制的最优隐层参数数值，

则需要再返回步骤3.1.1，进行下一轮搜索，采用如下公式更新第L个隐层参数的非负序列，并进一步对监督机制进行修正：

r_L,j+1＝r_L,j+τ_L,j

并在对称区间[-(λ_min+jΔλ),(λ_min+jΔλ)]中随机选取T_max组隐层参数的数值，其中τ_L,j由区间(0,1-r_L,j)内随机产生；

若已经搜索到第

轮，则在对称区间[-λ_max，λ_max]内随机产生T_max组隐层参数的数值；

如果经过以上轮数仍找不到满足监督机制的最优隐层参数数值，则需进一步加大搜索范围，返回步骤2，加大λ_max的数值，重新设置混合正则化随机配置网络估计模型的初始参数中的λ_max。

作为本发明的一种优选技术方案，所述步骤3.2执行的过程如下：

步骤3.2.1：将经过监督机制搜索到的最优隐层参数数值代入激活函数g(x),得到当前混合正则化随机配置网络估计模型的隐层输出矩阵：

步骤3.2.2：采用交替方向乘子法确定当前混合正则化随机配置网络估计模型的最优输出权值，当前混合正则化随机配置网络估计模型的代价函数为：

其中，β为当前混合正则化随机配置网络估计模型的输出权值，其迭代求解过程如下：

首先建立当前混合正则化随机配置网络估计模型的代价函数所对应的增广拉格朗日函数L_ρ(v,β,u)为：

其中，

ρ为惩罚系数，

为对偶变量；

采用交替方向乘子法求解如下三个子问题，从而得到当前混合正则化随机配置网络估计模型的代价函数的最优解：

其中，c＝1,...,Q为迭代次数，

为尺度对偶变量；

将三个子问题中前两个子式分别对各自的待优化变量进行偏导操作，进而求得最优值：

其中，S为软阈值算子，I为单位矩阵：

当交替方向乘子法收敛时，所得到的最优值β，即当前混合正则化随机配置网络估计模型的最优输出权值β^*；

步骤3.2.3：基于当前混合正则化随机配置网络估计模型的最优输出权值β^*，得到当前混合正则化随机配置网络估计模型的网络残差e_L为：

其中，e_L＝[e_L,1,e_L,2,...,e_L,M]为具有L个隐层节点的混合正则化随机配置网络估计模型所对应的网络残差；e_L-1＝[e_L-1,1,e_L-1,2,...,e_L-1,M]为具有L-1个隐层节点的混合正则化随机配置网络估计模型所对应的网络残差。

本发明的有益效果是：本发明公开了一种混合正则化随机配置网络工业过程运行指标估计方法，包括获取工业过程运行指标历史数据和影响其变化的相关过程变量数据，对混合正则化随机配置网络估计模型的初始参数进行设置，通过建立强约束的监督机制，得到最优隐层节点及对应的最优隐层参数，获得当前模型的隐层输出矩阵，并采用交替方向乘子法确定模型最优输出权值，进而得到当前模型的网络残差，构建混合正则化随机配置网络估计模型，实现目标工业过程的运行指标数据的估计。本方法在增量构建模型的过程中，采用强约束的监督机制来得到高质量的隐层节点，同时对那些对模型贡献度低的隐层节点自动剔除，以缩减模型规模，由此，最终得到一个结构紧致，且具有良好泛化性能的工业过程运行指标估计模型。

附图说明

图1为混合正则化随机配置网络模型示意图；

图2为通风机切换过程井下供给风量的估计散点图。

具体实施方式

下面结合附图对本发明进行进一步说明。

本实施列为具体通风机切换过程运行指标即井下供给风量的估计来详细说明本发明的具体实施方式。

本发明采用图1所示的网络结构的估计模型，其结构由输入层、隐含层和输出层组成，其中D＝7,M＝1。所使用估计模型的构建方法包括以下步骤：

步骤1：获取影响目标工业过程运行指标数据变化的相关过程变量历史数据作为混合正则化随机配置网络估计模型的输入样本，以及相关过程变量历史数据对应的运行指标历史数据作为混合正则化随机配置网络估计模型的输出样本；

在通风机切换过程历史数据库中获得通风机切换过程现场测得的1500组历史数据，第i组相关过程变量历史数据x_i含有7个相关过程变量，其所对应的第i组运行指标历史数据y_i含有1个运行指标，其中每组数据包含影响井下供给风量变化的地下矿井风阻x₁，2台通风机压头x₂、x₃，4个风门风阻x₄、x₅、x₆、x₇共七个相关过程变量，并令x_i＝{x_i1,x_i2,...,x_i7}为真实输入数据归一化后的输入数据，和相应的井下供给风量数据t_i为。那么输入样本为X＝{x₁,x₂,...,x_i,...,x₁₅₀₀}，其第i个输入样本可表示为{x_i1,x_i2,...,x_i7}，x_id为第i个输入样本第d个相关过程变量数据，d∈D；输出样本为Y＝{y₁,y₂,...,y_i,...,y₁₅₀₀}，其第i个输出样本{y_i1}，y_i1为第i个输出样本的运行指标数据。选取其中的1400组数据作为训练集，剩下的100组数据作为测试集。那么训练数据为N＝1400，训练输入样本为X＝{x₁,x₂,...,x_i,...,x₁₄₀₀}，

训练输出样本为Y＝{y₁,y₂,...,y_i,...,y₁₄₀₀}。

步骤2：设置混合正则化随机配置网络估计模型的各初始参数；其参数包括：激活函数

为隐层节点的激活函数，学习参数r＝0.9，正则化系数Z₁＝0.025和Z₂＝2^-20，最大隐层节点预设数L_max＝70，可容忍误差ε＝0.01，隐层参数数值随机选取范围Υ：＝{1:0.1:5}，每个参数范围内隐层参数配置次数T_max＝200，混合正则化随机配置网络估计模型初始残差e₀＝Y,Y＝[y₁,y₂,...,y_N]^T。

步骤3：针对混合正则化随机配置网络估计模型的隐含层建立强约束的监督机制，基于强约束的监督机制，迭代添加混合正则化随机配置网络估计模型的隐含层的各隐层节点，迭代添加的各隐层节点执行步骤3.1至步骤3.3，构建混合正则化随机配置网络估计模型；

对混合正则化随机配置网络估计模型的隐含层建立的强约束的监督机制的公式为：

其中，g_L为第L个隐层节点的激活函数，Z₁和Z₂为正则化系数，r_L,j和u_L,j为添加第L个隐层节点的过程所对应的两个非负序列。

步骤3.1：添加当前的隐层节点时通过强约束的监督机制得到该隐层节点对应的最优隐层节点，进而得到该最优隐层节点对应的满足监督机制的最优隐层参数数值；

步骤3.1.1：当添加混合正则化随机配置网络隐含层的第L个隐层节点时，给定该迭代添加该隐层节点的过程所对应的两个非负序列

和

其中，λ_min为预先设定的最小参数选择范围所对应的最小参数值，Δλ为变化步长，λ_max为预先设定的最大参数选择范围所对应的最大参数值，r_L,1＝r，L为第L个隐层节点，j表示第j轮搜索；当j＝1时，并在对称区间[-λ_min,λ_min]内随机产生T_max组隐层参数的数值，即T_max组输入权值w_L和偏置b_L的数值；

给定首轮搜索的两个非负序列r_L,1＝r和u_L,1＝(1-r_L，1)/(L+1)；

在对称区间[-1,1]内经随机配置得到200组隐层参数(输入权值w_L和偏置b_L)，并将其全部代入到激活函数g(x)中；

步骤3.1.2：第L个隐层节点当前所配置的隐层输出为

将矩阵H_L中的每一列依次代入ξ_L,q中，若该列所对应的监督值满足min{ξ_L}≥0，则该列对应的节点选为添加当前隐层节点时的候选隐层节点；

步骤3.1.3：将筛选得到的添加当前隐层节点时的一组候选隐层节点代入第L个隐层节点的监督值

进而计算得到该组候选隐层节点的各监督值：

K≤200，其中K为添加当前隐层节点时的候选隐层节点的总个数，

为第k个候选隐层节点所对应的监督值，k≤K；

步骤3.1.4：基于步骤3.1.3得到该组候选隐层节点的各监督值

其中最大的一个监督值

对应的候选隐层节点作为添加当前隐层节点时对应的最优隐层节点，进而将该最优隐层节点所对应的隐层参数数值作为满足监督机制的最优隐层参数数值，即最优输入权值

和最优偏置

此时第L个隐层节点的最佳输出为：

其中T表示转置操作；

步骤3.1.5：若经过第j轮搜索没有找到满足监督机制的最优隐层参数数值，j＝1,...,20，则需要再返回步骤3.1.1，进行下一轮搜索，采用如下公式自动更新第L个隐层参数的非负序列，并进一步对监督机制进行修正：

r_L,j+1＝r_L,j+τ_L,j

并在对称区间[-(λ_min+j0.1),(λ_min+j0.1)]中随机选取T_max组隐层参数的数值，其中τ_L,j由区间(0,1-r_L,j)内随机产生；

若已经搜索到第

轮，则在对称区间[-λ_max，λ_max]内随机产生T_max组隐层参数的数值；

如果经过以上轮数仍找不到满足监督机制的最优隐层参数数值，则需进一步加大搜索范围，返回步骤2，加大λ_max的数值，重新设置混合正则化随机配置网络估计模型的初始参数中的λ_max。

步骤3.2：基于该最优隐层节点对应的满足监督机制的最优隐层参数数值，得到当前混合正则化随机配置网络估计模型的隐层输出，进而通过交替方向乘子法确定当前混合正则化随机配置网络估计模型的最优输出权值，从而得到当前混合正则化随机配置网络估计模型的网络残差；

步骤3.2.1：将经过监督机制搜索到的最优隐层参数数值代入激活函数g(x),得到当前混合正则化随机配置网络估计模型的隐层输出矩阵：

步骤3.2.2：采用交替方向乘子法确定当前混合正则化随机配置网络估计模型的最优输出权值，当前混合正则化随机配置网络估计模型的代价函数为：

其中，β为当前混合正则化随机配置网络估计模型的输出权值，其迭代求解过程如下：

首先建立当前混合正则化随机配置网络估计模型的代价函数所对应的增广拉格朗日函数L_ρ(v,β,u)为：

其中，

ρ为惩罚系数，

为对偶变量；

采用交替方向乘子法求解如下三个子问题，从而得到当前混合正则化随机配置网络估计模型的代价函数的最优解：

其中，c＝1,...,Q为迭代次数，

为尺度对偶变量；

将三个子问题中前两个子式分别对各自的待优化变量进行偏导操作，进而求得最优值：

其中，S为软阈值算子，I为单位矩阵：

当交替方向乘子法收敛时，所得到的最优值β，即当前混合正则化随机配置网络估计模型的最优输出权值β^*；

步骤3.2.3：基于当前混合正则化随机配置网络估计模型的最优输出权值β^*，得到当前混合正则化随机配置网络估计模型的网络残差e_L为：

其中，e_L为具有L个隐层节点的混合正则化随机配置网络估计模型所对应的网络残差；e_L-1为具有L-1个隐层节点的混合正则化随机配置网络估计模型所对应的网络残差。

步骤3.3：基于当前混合正则化随机配置网络估计模型的网络残差，若当前混合正则化随机配置网络估计模型网络残差不在预设容忍误差范围内，重复步骤3继续添加下一个隐层节点，直至所构建的混合正则化随机配置网络估计模型所包含的隐层节点数达到预先设定的最大隐层节点数，从而得到构建混合正则化随机配置网络估计模型；若当前混合正则化随机配置网络估计模型网络残差在预设容忍误差范围内，则得到构建混合正则化随机配置网络估计模型，实现目标工业过程的运行指标数据的估计。

基于测试集，对已训练好的基于混合正则化随机配置网络的井下供给风量估计模型进行性能测试，即使用所建估计模型来估计测试数据的井下供给风量。

为了说明本发明的性能优势，给出了所建模型最终包含的隐层节点数和估计精度，分别为L＝41和ε＝0.02，可以看出，该模型方法将模型包含的隐层节点数(L＝70)缩减为L＝41，且得到的模型精度满足工业现场的精度要求。为了显示的说明本发明所建估计模型的估计精度，给出了通风机切换过程井下供给风量估计的测试结果散点图，如图2所示。从图2可以看出，100组井下供给风量的估计值与实际的井下供给风量值基本吻合，误差小，估计精度高。通过本发明建立的估计模型实现了对通风机切换过程井下供给风量的精确估计，具有建模精度高，结构紧致的优点，且能够自动剔除对模型贡献小的冗余节点，降低了模型复杂性，同时有效避免了病态解的问题，预测精度高、易于实现、应用价值高。

上述技术方案设计的一种混合正则化随机配置网络工业过程运行指标估计方法，包括获取工业过程运行指标历史数据和影响其变化的相关过程变量数据，对混合正则化随机配置网络估计模型的初始参数进行设置，通过建立强约束的监督机制，得到最优隐层节点及对应的最优隐层参数，获得当前模型的隐层输出矩阵，并采用交替方向乘子法确定模型最优输出权值，进而得到当前模型的网络残差，构建混合正则化随机配置网络估计模型，实现目标工业过程的运行指标数据的估计。本方法在增量构建模型的过程中，采用强约束的监督机制并以构造法建立参数最优的运行指标估计模型，利用混合正则化技术自动删除对模型贡献低的隐层节点，从而保证了模型具有紧致的结构和良好的泛化性能。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (6)

1.一种混合正则化随机配置网络工业过程运行指标估计方法，其特征在于：基于由输入层、隐含层、输出层组成的混合正则化随机配置网络，执行以下步骤，构建混合正则化随机配置网络估计模型，实现目标工业过程的运行指标数据的估计：

步骤1：获取影响目标工业过程运行指标数据变化的相关过程变量历史数据作为混合正则化随机配置网络估计模型的输入样本，以及相关过程变量历史数据对应的运行指标历史数据作为混合正则化随机配置网络估计模型的输出样本；

步骤2：设置混合正则化随机配置网络估计模型的各初始参数；

步骤3：针对混合正则化随机配置网络估计模型的隐含层建立强约束的监督机制，基于强约束的监督机制，迭代添加混合正则化随机配置网络估计模型的隐含层的各隐层节点，迭代添加的各隐层节点执行步骤3.1至步骤3.3，构建混合正则化随机配置网络估计模型；

步骤3.1：添加当前的隐层节点时通过强约束的监督机制得到该隐层节点对应的最优隐层节点，进而得到该最优隐层节点对应的满足监督机制的最优隐层参数数值；

步骤3.2：基于该最优隐层节点对应的满足监督机制的最优隐层参数数值，得到当前混合正则化随机配置网络估计模型的隐层输出，进而通过交替方向乘子法确定当前混合正则化随机配置网络估计模型的最优输出权值，从而得到当前混合正则化随机配置网络估计模型的网络残差；

步骤3.3：基于当前混合正则化随机配置网络估计模型的网络残差，若当前混合正则化随机配置网络估计模型网络残差不在预设容忍误差范围内，重复步骤3继续添加下一个隐层节点，直至所构建的混合正则化随机配置网络估计模型所包含的隐层节点数达到预先设定的最大隐层节点数，从而得到构建混合正则化随机配置网络估计模型；若当前混合正则化随机配置网络估计模型网络残差在预设容忍误差范围内，则得到构建混合正则化随机配置网络估计模型，实现目标工业过程的运行指标数据的估计。

2.根据权利要求1所述的一种混合正则化随机配置网络工业过程运行指标估计方法，其特征在于：所述步骤1中，获取目标工业过程的N组影响工业过程运行指标数据变化的相关过程变量历史数据和对应的运行指标历史数据{X,Y}，第i组相关过程变量历史数据x_i含有D个相关过程变量，其所对应的第i组运行指标历史数据y_i含有M个运行指标，其中i＝1,...,N，那么输入样本为X＝{x₁,x₂,...,x_i,...,x_N}，其第i个输入样本x_i是D维的，可表示为{x_i1,x_i2,...x_id...x_iD}，x_id为第i个输入样本第d个相关过程变量数据；输出样本为Y＝{y₁,y₂,...,y_i,...,y_N}，其第i个输出样本y_i是M维的，可表示为{y_i1,y_i2,...y_im...y_iM}，y_im为第i个输出样本第m个运行指标数据。

3.根据权利要求1所述的一种混合正则化随机配置网络工业过程运行指标估计方法，其特征在于：所述步骤2中设置混合正则化随机配置网络估计模型的初始参数，其参数包括：激活函数g(x)，学习参数r，正则化系数Z₁和Z₂，最大隐层节点预设数L_max，可容忍误差ε，隐层参数数值随机选取范围Υ：＝{λ_min:Δλ:λ_max}，λ_min为预先设定的最小参数选择范围所对应的最小参数值，Δλ为变化步长，λ_max为预先设定的最大参数选择范围所对应的最大参数值，T_max为每个参数范围内隐层参数配置次数，混合正则化随机配置网络估计模型初始残差e₀＝Y,Y＝[y₁,y₂,...,y_N]^T。

4.根据权利要求3所述的一种混合正则化随机配置网络工业过程运行指标估计方法，其特征在于：所述步骤3中针对混合正则化随机配置网络估计模型的隐含层建立的强约束的监督机制的公式为：

其中，M为所要估计的运行指标的个数，即估计模型输出变量的个数；ξ_L,q为第L个隐层节点构建过程中第q个输出所对应的监督值，e_L-1,q为具有L-1个隐层节点的混合正则化随机配置网络估计模型第q个输出所对应的网络残差，e_L-1＝[e_L-1,1,e_L-1,2,...,e_L-1,M]，g_L为第L个隐层节点的激活函数，Z₁和Z₂为正则化系数，r_L,j和u_L,j为添加第L个隐层节点的过程所对应的两个非负序列。

5.根据权利要求2或4所述的一种混合正则化随机配置网络工业过程运行指标估计方法，其特征在于：所述步骤3.1中执行的过程如下：

步骤3.1.1：当添加混合正则化随机配置网络隐含层的第L个隐层节点时，给定该迭代添加该隐层节点的过程所对应的两个非负序列

和

其中，λ_min为预先设定的最小参数选择范围所对应的最小参数值，Δλ为变化步长，λ_max为预先设定的最大参数选择范围所对应的最大参数值，r_L,1＝r，L为第L个隐层节点，j表示第j轮搜索；当j＝1时，并在对称区间[-λ_min,λ_min]内随机产生T_max组隐层参数的数值，即T_max组输入权值w_L和偏置b_L的数值；

步骤3.1.2：第L个隐层节点当前所配置的隐层输出为

将矩阵H_L中的每一列依次代入ξ_L,q中，若该列所对应的监督值满足min{ξ_L,1,ξ_L,2,...,ξ_L,q,...,ξ_L,m}≥0，则该列对应的节点选为添加当前隐层节点时的候选隐层节点；

步骤3.1.3：将筛选得到的添加当前隐层节点时的一组候选隐层节点代入第L个隐层节点的监督值

进而计算得到该组候选隐层节点的各监督值：

K≤T_max，其中K为添加当前隐层节点时的候选隐层节点的总个数，

为第k个候选隐层节点所对应的监督值，k≤K；

步骤3.1.4：基于步骤3.1.3得到该组候选隐层节点的各监督值

其中最大的一个监督值

对应的候选隐层节点作为添加当前隐层节点时对应的最优隐层节点，进而将该最优隐层节点所对应的隐层参数数值作为满足监督机制的最优隐层参数数值，即最优输入权值

和最优偏置

步骤3.1.5：若经过第j轮搜索没有找到满足监督机制的最优隐层参数数值，

则需要再返回步骤3.1.1，进行下一轮搜索，采用如下公式更新第L个隐层参数的非负序列，并进一步对监督机制进行修正：

r_L,j+1＝r_L,j+τ_L,j

并在对称区间[-(λ_min+jΔλ),(λ_min+jΔλ)]中随机选取T_max组隐层参数的数值，其中τ_L,j由区间(0,1-r_L,j)内随机产生；

若已经搜索到第

轮，则在对称区间[-λ_max，λ_max]内随机产生T_max组隐层参数的数值；

如果经过以上轮数仍找不到满足监督机制的最优隐层参数数值，则需进一步加大搜索范围，返回步骤2，加大λ_max的数值，重新设置混合正则化随机配置网络估计模型的初始参数中的λ_max。

6.根据权利要求5所述的一种混合正则化随机配置网络工业过程运行指标估计方法，其特征在于：所述步骤3.2执行的过程如下：

步骤3.2.1：将经过监督机制搜索到的最优隐层参数数值代入激活函数g(x),得到当前混合正则化随机配置网络估计模型的隐层输出矩阵：

步骤3.2.2：采用交替方向乘子法确定当前混合正则化随机配置网络估计模型的最优输出权值，当前混合正则化随机配置网络估计模型的代价函数为：

其中，β为当前混合正则化随机配置网络估计模型的输出权值，其迭代求解过程如下：

首先建立当前混合正则化随机配置网络估计模型的代价函数所对应的增广拉格朗日函数L_ρ(v,β,u)为：

其中，

ρ为惩罚系数，

为对偶变量；

采用交替方向乘子法求解如下三个子问题，从而得到当前混合正则化随机配置网络估计模型的代价函数的最优解：

其中，c＝1,...,Q为迭代次数，

为尺度对偶变量；

将三个子问题中前两个子式分别对各自的待优化变量进行偏导操作，进而求得最优值：

其中，S为软阈值算子，I为单位矩阵；

当交替方向乘子法收敛时，所得到的最优值β，即当前混合正则化随机配置网络估计模型的最优输出权值β^*；

步骤3.2.3：基于当前混合正则化随机配置网络估计模型的最优输出权值β^*，得到当前混合正则化随机配置网络估计模型的网络残差e_L为：

其中，e_L＝[e_L,1,e_L,2,...,e_L,M]为具有L个隐层节点的混合正则化随机配置网络估计模型所对应的网络残差；e_L-1＝[e_L-1,1,e_L-1,2,...,e_L-1,M]为具有L-1个隐层节点的混合正则化随机配置网络估计模型所对应的网络残差。

Images