CN110807510A - 面向工业大数据的并行学习软测量建模方法 - Google Patents

Abstract

本发明公开了一种面向工业大数据的并行学习软测量建模方法，包括：S20，将样本数据划分为M块训练集，采用点增量算法与块增量算法相结合的随机配置网络并行学习策略，针对M块训练集同步建立并求取满足监督机制的候选隐层节点池；S30，在候选隐层节点池中基于残差最速下降原则选取最佳候选节点作为隐层增长节点添加到当前网络；S40，若当前网络的模型参数达到停止标准，则根据对应的模型参数确定软测量模型；S50，若当前网络的模型参数未达到停止标准，则根据当前隐层节点数更新下一次迭代中样本数据的分块数M，返回执行步骤S20，直至当前网络的模型参数达到停止标准，根据达到停止标准时的模型参数确定软测量模型。

Description

面向工业大数据的并行学习软测量建模方法

技术领域

本发明涉及工业过程测量技术领域，尤其涉及一种面向工业大数据的并行学习软测量建模方法。

背景技术

随着智能制造技术的发展，工业过程所关心的参数逐渐扩展到反映产品质量的运行指标。然而，这些运行指标的在线检测仪造价昂贵，且往往有较大的滞后而使得调节不够及时，导致产品质量难以得到保证。软测量建模方法通过建立工业过程变量之间的数学模型，是一种以易测的辅助变量预测主导变量的技术方法。近年来，神经网络算法被逐渐应用在工业过程软测量领域。然而，传统的前馈神经网络存在收敛性较差、易于陷入局部最优(如反向传播算法)、对数据特性敏感导致性能差异较大(如径向基函数)和过多的人为干预(如随机向量函数链接网络)等问题，且样本数据规模较大时，不可避免地增加了计算开销、影响了建模效率，难以工业应用。可见在面向工业大数据的软测量过程中，所构建的测量模型存在局限性。

发明内容

针对以上问题，本发明提出一种面向工业大数据的并行学习软测量建模方法。

为实现本发明的目的，提供一种面向工业大数据的并行学习软测量建模方法，包括如下步骤：

S20，将样本数据划分为M块训练集，采用点增量算法与块增量算法相结合的随机配置网络并行学习策略，针对所述M块训练集同步建立并求取满足监督机制的候选隐层节点池，其中所述监督机制包括点增量监督机制和块增量监督机制，所述候选隐层节点池包括候选隐层单节点池和候选隐层块节点池；

S30，在候选隐层节点池中基于残差最速下降原则选取最佳候选节点作为隐层增长节点添加到当前网络；

S40，若当前网络的模型参数达到停止标准，则根据对应的模型参数确定软测量模型；

S50，若当前网络的模型参数未达到停止标准，则根据当前隐层节点数更新下一次迭代中样本数据的分块数M，返回执行步骤S20，直至当前网络的模型参数达到停止标准，根据达到停止标准时的模型参数确定所述软测量模型。

在其中一个实施例中，在所述将样本数据划分为M块训练集，采用点增量算法与块增量算法相结合的随机配置网络并行学习策略，针对所述M块训练集同步建立并求取满足监督机制的候选隐层节点池之前，还包括：

设置隐层参数随机生成次数、学习参数、随机参数的分配区间集合、最大迭代次数、给定期望容差、样本数据的初始块数和并行学习策略中块增量算法的宽度。

作为一个实施例，所述根据所述当前隐层节点数更新下一次迭代中样本数据的分块数M包括：

将所述当前隐层节点数代入分块函数计算下一次迭代中样本数据的分块数M；所述分块函数包括：

若

则

式中，L表示当前隐层节点数，

表示第k次迭代时分块数递增区间长度，

和

分别表示相应递增区间的上下界，则

M₀表示初始样本数据的分块基数。

在其中一个实施例中，所述并行学习策略中采用点增量算法针对M块训练集同步建立并求取满足点增量监督机制的候选隐层单节点池包括：

根据所述随机参数的分配区间集合确定点增量分配区间，在所述点增量分配区间内进行T_max次随机生成点增量隐层参数；T_max表示隐层参数随机生成次数；

依据点增量监督机制，针对全体训练集分别对各次点增量隐层参数进行筛选，获得满足点增量监督机制的多个点增量隐层参数，根据各个点增量隐层参数构建候选隐层单节点池；

在所述候选隐层单节点池中确定最佳候选隐层单节点。

作为一个实施例，所述点增量监督机制包括：

式中，q＝1,2,…,m，m表示各训练集输出的维数，p＝1,2,…,M，M表示训练集的块数，r表示学习参数，μ_L＝1-r/L+1，L表示当前隐层节点数，e_L-1,q表示当前隐层节点数为L-1时各训练集第q个输出对应的残差，符号<·,·>表示向量的内积，g_p,L表示当前隐层节点数为L时第p个数据块的隐层输出，ξ_L,q表示当前隐层节点数为L时各训练集第q个输出对应的监督机制；

在所述候选隐层单节点池中确定最佳候选隐层单节点包括：

根据点增量监督机制计算全体训练集对应的点增量辅助参数ξ_L；所述点增量辅助参数的计算公式为：

在所述候选隐层单节点池中，将所述点增量辅助参数ξ_L取得最大值时全体训练集对应的隐层节点确定为最佳候选隐层单节点。

在其中一个实施例中，所述并行学习策略中采用块增量算法针对M块训练集同步建立并求取满足块增量监督机制的候选隐层块节点池包括：

根据所述随机参数的分配区间集合确定块增量分配区间，在所述块增量分配区间内进行T_max次随机生成块增量隐层参数；T_max表示隐层参数随机生成次数；

依据块增量监督机制，针对全体训练集分别对各次块增量隐层参数进行筛选，获得满足块增量监督机制的多个块增量隐层参数，根据各块增量隐层参数构建候选隐层块节点池；

在所述候选隐层块节点池中确定最佳候选隐层块节点。

作为一个实施例，所述块增量监督机制包括：

式中，q＝1,2,…,m，m表示各训练集输出的维数，

表示在第k次迭代时第p个数据块对应的隐层输出块，g_p,L表示当前隐层节点数为L时第p个数据块的隐层输出，p＝1,2,…,M，M表示训练集的块数，

表示在第k次迭代时各训练集第q个输出对应的输出权值的中值，上标表示广义逆运算，上标“T”表示转置运算，r表示学习参数，μ_L＝1-r/L+1，L表示当前隐层节点数，

表示当前隐层节点数为L-△_k时各训练集第q个输出对应的残差，符号<·,·>表示向量的内积，

表示在第k次迭代时各训练集第q个输出对应的监督机制；

在所述候选隐层块节点池中确定最佳候选隐层块节点包括：

根据块增量监督机制计算全体训练集对应的块增量辅助参数所述块增量辅助参数的计算公式为：

在所述候选隐层块节点池中，将所述块增量辅助参数

取得最大值时全体训练集对应的隐层节点确定为最佳候选隐层块节点。

在其中一个实施例中，在针对M块训练集同步建立并求取满足监督机制的候选隐层节点池之后，还包括：

若并行学习策略中点增量算法或块增量算法针对所述M块训练集未求取到满足监督机制的候选隐层节点池，则将其学习参数由r更新为r+τ，τ∈(0,1-r)，同时还可以调整随机参数的分配区间边界值λ，λ∈Υ，Υ为随机参数的分配区间集合；

依据更新后的学习参数和分配区间执行所述未求取到满足监督机制的候选隐层节点池对应的点增量算法或块增量算法，针对所述M块训练集同步建立并求取满足监督机制的候选隐层节点池的过程。

在其中一个实施例中，所述在候选隐层节点池中基于残差最速下降原则选取最佳候选节点作为隐层增长节点添加到当前网络包括：

通过求解全局最优解得到所述最佳候选隐层单节点和最佳候选隐层块节点的输出权值，所述输出权值包括：

首先，根据所述最佳候选隐层单节点和最佳候选隐层块节点同步构建基于当前网络隐层输出矩阵的点增量隐层输出矩阵和块增量隐层输出矩阵，所述当前网络隐层输出矩阵包括：

式中，M表示训练集的块数，H_p,L表示当前隐层节点数为L时第p块训练集的隐层输出矩阵，T_p表示第p块训练集的输出数据；

所述点增量隐层输出矩阵包括：

所述块增量隐层输出矩阵包括：

然后，通过求解全局最优解得到所述最佳候选隐层单节点和最佳候选隐层块节点对应的点增量输出权值和块增量输出权值，所述点增量输出权值包括：

所述块增量输出权值包括：

计算所述最佳候选隐层单节点和最佳候选隐层块节点对应的点增量残差模值和块增量残差模值，所述点增量残差模值包括：

||e_L+1||＝||T-H_L+1β_L+1||

式中，e_L+1表示当前隐层节点数为L+1时的残差，||·||表示二范数形式的模值；

所述块增量残差模值包括：

式中，e_L+1表示当前隐层节点数为L+Δ_k时的残差；

最后，根据残差最速下降原则将残差模值小的候选隐层节点确定为隐层增长节点添加到当前网络。

在一个实施例中，上述面向工业大数据的并行学习软测量建模方法，还包括：

采用所述软测量模型对目标对象进行软测量；所述目标对象与软测量模型的样本数据为同类型数据。

上述面向工业大数据的软测量建模方法，通过将样本数据划分为M块训练集，采用点增量算法与块增量算法相结合的随机配置网络并行学习策略，针对所述M块训练集同步建立并求取满足监督机制的候选隐层节点池，在候选隐层节点池中基于残差最速下降原则选取最佳候选节点作为隐层增长节点添加到当前网络，若当前网络的模型参数达到停止标准，则根据对应的模型参数确定软测量模型，若当前网络的模型参数未达到停止标准，则根据当前隐层节点数更新下一次迭代中样本数据的分块数M，返回执行步骤S20，直至当前网络的模型参数达到停止标准，根据达到停止标准时的模型参数确定所述软测量模型，以使所获得的软测量模型可以直接用于目标对象的软测量，有利于保障目标对象软测量的顺利性，还可以提高建模速度、自主性和降低计算开销，能够较好地满足工业过程软测量的需求。

附图说明

图1是一个实施例的面向工业大数据的并行学习软测量建模方法流程图；

图2是一个实施例的实际工业重介质选煤灰分软测量模型的残差收敛性曲线图；

图3是一个实施例的实际工业重介质选煤灰分软测量模型的测试结果图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

参考图1所示，图1为一个实施例的面向工业大数据的并行学习软测量建模方法流程图，包括如下步骤：

S20，将样本数据划分为M块训练集，采用点增量算法与块增量算法相结合的随机配置网络并行学习策略，针对所述M块训练集同步建立并求取满足监督机制的候选隐层节点池，其中所述监督机制包括点增量监督机制和块增量监督机制，所述候选隐层节点池包括候选隐层单节点池和候选隐层块节点池。

上述样本数据可以包括大量需要进行软测量的数据对应的样本，样本数据作为神经网络的输入，可以用于随机配置网络模型进行训练，不断学习与优化模型参数，以确定达到停止标准的软测量模型。

上述步骤之前，可以先对点增量算法和块增量算法过程中需要使用的参数进行初始化，以设置建模过程中需要使用的各个参数，保证建模顺利性。

具体地，上述步骤可以将样本数据划分为M块训练集，相应地，M块训练集包含M组输入数据与输出数据，M可以依据样本数据的具体特征设置其初始块数M₁，以合理确定训练集的块数。在将样本数据划分为M块训练集之后，采用点增量算法与块增量算法相结合的随机配置网络并行学习策略，所述并行学习策略包括采用点增量算法针对M块训练集求取点增量算法对应的候选隐层单节点池、采用块增量算法针对M块训练集求取块增量算法对应的候选隐层块节点池，以获得两种算法分别对应的候选隐层节点池，保证所获得的候选隐层节点池的全面性。

S30，在候选隐层节点池中基于残差最速下降原则选取最佳候选节点作为隐层增长节点添加到当前网络。

具体地，所述候选隐层节点池包括采用点增量监督机制处理得到的候选隐层单节点池，以及采用块增量监督机制处理得到的候选隐层块节点池。进一步地，在获得候选隐层单节点池之后，还需要在其中选取最佳候选隐层单节点，以得到点增量算法对应的最佳候选隐层单节点；在获得候选隐层块节点池之后，还需要在其中确定最佳候选隐层块节点，以得到块增量算法对应的最佳候选隐层块节点。这样便可以在最佳候选隐层单节点和最佳候选隐层块节点中选取最佳候选节点。然后可以在最佳候选隐层单节点与最佳候选隐层块节点二者中取使得残差下降最快的节点作为隐层增长节点，添加到当前网络并进一步确定当前隐层节点数，从而保证后续确定的下一次迭代中样本数据的分块数的合理性。

S40，若当前网络的模型参数达到停止标准，则根据对应的模型参数确定软测量模型。

S50，若当前网络的模型参数未达到停止标准，则根据当前隐层节点数更新下一次迭代中样本数据的分块数M，返回执行步骤S20，直至当前网络的模型参数达到停止标准，根据达到停止标准时的模型参数确定所述软测量模型。

上述模型参数可以包括隐层增长节点对应的输入权值和偏置，以及隐层增长节点对应的输出权值等参数，依据上述模型参数可以确定样本数据对应的最优软测量模型，以直接用于相应对象的软测量。

上述停止标准可以包括当前迭代次数超过给定最大迭代次数k_max或当前迭代中残差的模||e_L||不大于给定期望容差ε等标准，若软测量模型达到停止标准，表明以当前参数确定的软测量模型已达到最佳，以此确定的软测量模型可以直接用于相应对象的软测量，使相应软测量具有较高的建模速度、自主性和较低的计算开销。

上述面向工业大数据的并行学习软测量建模方法，通过将样本数据划分为M块训练集，采用点增量算法与块增量算法相结合的随机配置网络并行学习策略，针对所述M块训练集同步建立并求取满足监督机制的候选隐层节点池，在候选隐层节点池中基于残差最速下降原则选取最佳候选节点作为隐层增长节点添加到当前网络，若当前网络的模型参数达到停止标准，则根据对应的模型参数确定软测量模型，若当前网络的模型参数未达到停止标准，则根据当前隐层节点数更新下一次迭代中样本数据的分块数M，返回执行步骤S20，直至当前网络的模型参数达到停止标准，根据达到停止标准时的模型参数确定所述软测量模型，以使所获得的软测量模型可以直接用于目标对象的软测量，有利于保障目标对象软测量的顺利性，还可以提高建模速度、自主性和降低计算开销，能够较好地满足工业过程软测量的需求。

在一个实施例中，在所述将样本数据划分为M块训练集，采用点增量算法与块增量算法相结合的随机配置网络并行学习策略，针对所述M块训练集同步建立并求取满足监督机制的候选隐层节点池之前，还包括：

设置隐层参数随机生成次数T_max、学习参数r、随机参数的分配区间集合Υ、最大迭代次数k_max、给定期望容差ε、样本数据的初始块数M₁和并行学习策略中块增量算法的宽度(第k次迭代添加的节点数)△_k。

本实施例可以对先对点增量算法和块增量算法过程中需要使用的各参数进行初始化，以保证建模顺利性。

作为一个实施例，所述根据所述当前隐层节点数更新下一次迭代中样本数据的分块数M包括：

将所述当前隐层节点数代入分块函数计算下一次迭代中样本数据的分块数M；所述分块函数包括：

若

则

式中，L表示当前隐层节点数，表示第k次迭代时分块数递增区间长度，和分别表示相应递增区间的上下界，则

M₀表示初始样本数据的分块基数。

具体地，上述L_min、L_max在不同的节点数区间中具有不同取值，上述M₀的取值可以为4，上述

的取值可以为50，100,150，…，此时有：

在确定分块数M之后，输入数据X与输出数据T可以分别表示为：

其中X∈R^d、T∈R^m，d表示训练集输入的维数，m表示训练集输出的维数。

在一个实施例中，所述并行学习策略中采用点增量算法针对M块训练集同步建立并求取满足点增量监督机制的候选隐层单节点池包括：

根据所述随机参数的分配区间集合确定点增量分配区间，在所述点增量分配区间内进行T_max次随机生成点增量隐层参数；T_max表示隐层参数随机生成次数；

依据点增量监督机制，针对全体训练集分别对各次点增量隐层参数进行筛选，获得满足点增量监督机制的多个点增量隐层参数，根据各个点增量隐层参数构建候选隐层单节点池；

在所述候选隐层单节点池中确定最佳候选隐层单节点。

具体地，点增量算法在[-λ,λ]^d和[-λ,λ]内随机生成T_max次点增量隐层参数ω_L和b_L，其中λ为随机参数的分配区间边界值，d表示训练集输入的维数，λ∈Υ。

本实施例可以针对全体训练集采用点增量算法对应的点增量监督机制进行T_max次训练，以得到多个满足点增量监督机制的点增量隐层参数，以此得到候选隐层单节点池，从中选取块增量算法对应的最佳候选隐层单节点。

作为一个实施例，所述点增量监督机制包括：

式中，q＝1,2,…,m，m表示各训练集输出的维数，p＝1,2,…,M，M表示训练集的块数，r表示学习参数，μ_L＝1-r/L+1，L表示当前隐层节点数，e_L-1,q表示当前隐层节点数为L-1时各训练集第q个输出对应的残差，符号<·,·>表示向量的内积，g_p,L表示当前隐层节点数为L时第p个数据块的隐层输出，ξ_L,q表示当前隐层节点数为L时各训练集第q个输出对应的监督机制；

在所述候选隐层单节点池中确定最佳候选隐层单节点包括：

根据点增量监督机制计算全体训练集对应的点增量辅助参数ξ_L；所述点增量辅助参数的计算公式为：

在所述候选隐层单节点池中，将所述点增量辅助参数ξ_L取得最大值时全体训练集对应的隐层节点确定为最佳候选隐层单节点。

具体地，本实施例可以通过点增量算法对隐层参数配置T_max次，采用sigmoid作为激活函数，根据点增量监督机制建立候选隐层单节点池，以确定点增量算法对应的最佳候选隐层单节点。点增量算法对应的最佳候选隐层单节点的两个隐层参数：

和为最佳候选隐层单节点对应的输入权值，

为最佳候选隐层单节点对应的偏置。

在一个实施例中，所述并行学习策略中采用块增量算法针对M块训练集同步建立并求取满足块增量监督机制的候选隐层块节点池包括：

根据所述随机参数的分配区间集合确定块增量分配区间，在所述块增量分配区间内进行T_max次随机生成块增量隐层参数；T_max表示隐层参数随机生成次数；

依据块增量监督机制，针对全体训练集分别对各次块增量隐层参数进行筛选，获得满足块增量监督机制的多个块增量隐层参数，根据各块增量隐层参数构建候选隐层块节点池；

在所述候选隐层块节点池中确定最佳候选隐层块节点。

具体地，块增量算法在[-λ,λ]^Δk×d和[-λ,λ]^Δk×1内随机生成T_max次块增量隐层参数

和

其中λ为随机参数的分配区间边界值，△_k表示块增量算法的宽度(第k次迭代添加的节点数)，d表示训练集输入的维数，λ∈Υ。

本实施例可以针对全体训练集采用块增量算法对应的块增量监督机制进行T_max次训练，以得到多个满足块增量监督机制的块增量隐层参数，以此得到候选隐层块节点池，从中选取块增量算法对应的最佳候选隐层块节点。

作为一个实施例，所述块增量监督机制包括：

式中，q＝1,2,…,m，m表示各训练集输出的维数，

表示在第k次迭代时第p个数据块对应的隐层输出块，g_p,L表示当前隐层节点数为L时第p个数据块的隐层输出，p＝1,2,…,M，M表示训练集的块数，表示在第k次迭代时各训练集第q个输出对应的输出权值的中值，上标

表示广义逆运算，上标“_T”表示转置运算，r表示学习参数，μ_L＝1-r/L+1，L表示当前隐层节点数，

表示当前隐层节点数为L-△_k时各训练集第q个输出对应的残差，符号<·,·>表示向量的内积，

表示在第k次迭代时各训练集第q个输出对应的监督机制；

在所述候选隐层块节点池中确定最佳候选隐层块节点包括：

根据块增量监督机制计算全体训练集对应的块增量辅助参数

所述块增量辅助参数的计算公式为：

在所述候选隐层块节点池中，将所述块增量辅助参数

取得最大值时全体训练集对应的隐层节点确定为最佳候选隐层块节点。

具体地，本实施例可以通过块增量算法对隐层参数配置T_max次，采用sigmoid作为激活函数，根据块增量监督机制建立候选隐层单节点池，以确定块增量算法对应的最佳候选隐层块节点。块增量算法对应的最佳候选隐层块节点的两个隐层参数：

和

为最佳候选隐层块节点对应的输入权值，

为最佳候选隐层块节点对应的偏置。

在一个实施例中，在针对M块训练集同步建立并求取满足监督机制的候选隐层节点池之后，还包括：

若并行学习策略中点增量算法或块增量算法针对所述M块训练集未求取到满足监督机制的候选隐层节点池，则将其学习参数由r更新为r+τ，τ∈(0,1-r)，同时还可以调整随机参数的分配区间边界值λ，λ∈Υ，Υ为随机参数的分配区间集合；

依据更新后的学习参数和分配区间执行所述未求取到满足监督机制的候选隐层节点池对应的点增量算法或块增量算法，针对所述M块训练集同步建立并求取满足监督机制的候选隐层节点池的过程。

上述面向工业大数据的并行学习软测量建模方法，可以从相应候选隐层单节点池和块节点池中分别找出中使得ξ_L和

最大时点增量算法和块增量算法对应的隐层参数对

和计算相应的隐层输出，即为满足监督机制的最佳候选节点。若找不到满足条件的隐层参数，即未求取到候选隐层节点池，则通过对监督机制中的学习参数r进行补偿：放宽条件，即令r＝r+τ，其中，τ∈(0,1-r)，同时还可以自动调整随机参数的分配区间边界值λ，其中λ∈Υ，即改变随机参数的分配区间，然后重复以上建立最佳候选隐层节点池的步骤，即基于随机配置网络采用采用点增量算法和块增量算法相结合的并行学习策略针对M块训练集求取相应的候选隐层节点池(候选隐层单节点池和候选隐层单节点池)，以便能够顺利获得所需的候选隐层节点池。

在一个实施例中，所述在候选隐层节点池中基于残差最速下降原则选取最佳候选节点作为隐层增长节点添加到当前网络包括：

通过求解全局最优解得到所述最佳候选隐层单节点和最佳候选隐层块节点的输出权值，所述输出权值包括：

首先，根据所述最佳候选隐层单节点和最佳候选隐层块节点同步构建基于当前网络隐层输出矩阵的点增量隐层输出矩阵和块增量隐层输出矩阵，所述当前网络隐层输出矩阵包括：

式中，M表示训练集的块数，H_p,L表示当前隐层节点数为L时第p块训练集的隐层输出矩阵，T_p表示第p块训练集的输出数据；

所述点增量隐层输出矩阵包括：

所述块增量隐层输出矩阵包括：

然后，通过求解全局最优解得到所述最佳候选隐层单节点和最佳候选隐层块节点对应的点增量输出权值和块增量输出权值，所述点增量输出权值包括：

所述块增量输出权值包括：

计算所述最佳候选隐层单节点和最佳候选隐层块节点对应的点增量残差模值和块增量残差模值，所述点增量残差模值包括：

||e_L+1||＝||T-H_L+1β_L+1||

式中，e_L+1表示当前隐层节点数为L+1时的残差，||·||表示二范数形式的模值；

所述块增量残差模值包括：

式中，e_L+1表示当前隐层节点数为L+Δ_k时的残差；

最后，根据残差最速下降原则将残差模值小的候选隐层节点确定为隐层增长节点添加到当前网络；具体地，可以比较点增量残差模值||e_L+1||和块增量残差模值

取较小者的模型参数作为当前迭代的最终结果，即当前迭代过程的隐层增长节点并添加到当前网络，然后通过赋值的方式以较小者的模型参数更新较大者的模型参数。

在更新模型参数之后，可以判断当前模型参数是否使软测量模型达到停止标准，若软测量模型达到停止标准，则根据当前的模型参数确定所述软测量模型，以获得可以直接用于目标对象的软测量模型。若所述隐层增长节点对应的模型参数未使所述软测量模型达到停止标准，则根据所述模型参数确定当前隐层节点数L，并根据分块函数M＝M_k+1(L)，划分下一次迭代过程样本数据的分块数M，返回执行步骤S20。

上述停止标准包括当前迭代次数超过给定最大迭代次数k_max或当前迭代中残差的模||e_L||不大于给定期望容差ε等标准。在具体地迭代过程中，若当前迭代次数超过给定最大迭代次数k_max或当前迭代中残差的模||e_L||不大于给定期望容差ε，则不再新增隐层节点，以当前模型参数确定软测量模型，建模完成。

在一个实施例中，上述面向工业大数据的并行学习软测量建模方法，还包括：

采用所述软测量模型对目标对象进行软测量；所述目标对象与软测量模型的样本数据为同类型数据。

在一个示例中，以重介质选煤过程为例对上述面向工业大数据的并行学习软测量建模方法进行仿真说明，可以包括如下过程：

第一步：选取与选煤灰分相关性最高的三个过程变量作为输入变量，对选煤灰分进行估计。其中，输入变量包括混合池给矿量(脱泥脱水后的原煤进料率)y₁(kg/s)、重介质密度y₂(kg/m³)、旋流器进料压力y₃(MPa)，输出变量为选煤灰分(％)。在实际重介质选煤过程中采集40000个历史样本数据，其中32000个作为训练集：训练输入样本为X＝{x₁,x₂,…,x_i,…,x₃₂₀₀₀}，x_i＝{x_i,1,x_i,2,x_i,3}∈R³；训练输出样本为T＝{t₁,t₂,…,t_i,…,t₃₂₀₀₀}，t_i∈R，余下的8000个作为测试集：测试输入样本为U＝{u₁,u₂,…,u_j,…,u₈₀₀₀}，u_j＝{u_j,1,u_j,2,u_j,3}∈R³；训练输出样本为O＝{o₁,o₂,…,o_j,…,o₈₀₀₀}，o_j∈R。

第二步：初始化所需要的参数，设置隐层参数随机生成次数T_max＝10、学习参数r＝0.999、随机参数的分配区间集合Υ＝{1,5,10,50,100,150}、最大迭代次数k_max＝100、给定期望容差ε＝0.01、第一次迭代中的残差e₀＝T、样本数据的分块数M₁＝4和并行学习策略中块增量算法的宽度(第k次迭代添加的节点数)△_k＝3。于是第1次迭代时，分块后的训练集输入和输出样本分别为：

第三步：根据所述随机参数的分配区间集合确定点增量和块增量算法的分配区间，在第k次迭代中，采用点增量算法与块增量算法相结合的随机配置网络并行学习策略，针对M块训练集，同步建立并求取满足监督机制的候选隐层节点池(候选隐层单节点池和块节点池)，以选出最佳候选隐层单节点和最佳候选隐层块节点。不同数据块下，点增量算法的监督机制：

其中q＝1,2,…,m,m＝3表示各训练集输出的维数，p＝1,2,…,M，M表示训练集的块数，r＝0.999表示学习参数，μ_L＝1-0.999/L+1，e_L-1,q表示表示当前隐层节点数为L-1时各训练集第q个输出对应的残差，e₀＝T，<·,·〉表示向量的内积，g_p,L表示当前隐层节点数为L时第p个数据块的隐层输出，采用sigmoid作为激活函数实现，ξ_L,q表示当前隐层节点数为L时各训练集第q个输出对应的监督机制；

不同数据块下，块增量算法对应的块增量监督机制：

其中，q＝1,2,…,m，m＝3表示各训练集输出的维数，

表示在第k次迭代时第p个数据块对应的隐层输出块，g_p,L表示当前隐层节点数为L时第p个数据块的隐层输出，p＝1,2,…,M，M表示训练集的块数，

表示在第k次迭代时各训练集第q个输出对应的输出权值的中值，上标

表示广义逆运算，上标“_T”表示转置运算，r＝0.999表示学习参数，μ_L＝1-r/L+1，L表示当前隐层节点数，

表示当前隐层节点数为L-△_k时各训练集第q个输出对应的残差，符号<·,·〉表示向量的内积，表示在第k次迭代时各训练集第q个输出对应的监督机制。

在所述点增量和块增量算法的分配区间内随机生成T_max次隐层参数，构建候选隐层块单节点池和候选隐层块节点池。该过程以块增量算法为例：首先在区间[-1,1]^3×3和[-1,1]^3×1内随机生成隐层参数

和

代入sigmoid激活函数，同步获取不同数据块的隐层输出矩阵(如：第p个数据块的隐层输出为

将上述过程通过并行计算对隐层参数块配置T_max＝10次，建立隐层候选隐层块节点池，即得到小于等于T_max个

(同理，点增量算法通过建立隐层候选隐层单节点池点增量算法，可以得到小于等于T_max个ξ_L,q)。

将获得的候选隐点单节点池和候选隐层块节点池分别代入点增量辅助参数

和块增量辅助参数

找出使得ξ_L和

最大时对应的隐层参数对

和

并计算相应的隐层输出，即为满足监督机制的最佳候选隐层单节点和最佳候选隐层单块节点。

若找不到满足条件的隐层参数，则通过对监督机制中的学习参数r＝0.999进行补偿：放宽条件重复以上建立候选节点池的步骤，即r＝r+τ，其中，τ∈(0,1-0.999)，同时可自动调整随机参数的分配区间边界值λ，其中λ∈γ＝{1,5,10,50,100,150}，然后重复以上建立最佳候选隐层节点池的步骤。

第四步：将不同数据块整合，通过求解全局最优解得到所述最佳候选隐层单节点和最佳候选隐层块节点的输出权值：

首先，根据所述最佳候选隐层单节点和最佳候选隐层块节点同步构建基于当前网络隐层输出矩阵的点增量隐层输出矩阵和块增量隐层输出矩阵，所述当前网络隐层输出矩阵包括：

式中，M表示训练集的块数，H_p,L表示当前隐层节点数为L时第p块训练集的隐层输出矩阵，T_p表示第p块训练集的输出数据；

所述点增量隐层输出矩阵包括：

所述块增量隐层输出矩阵包括：

然后，通过求解全局最优解得到所述最佳候选隐层单节点和最佳候选隐层块节点对应的点增量输出权值和块增量输出权值，所述点增量输出权值包括：

所述块增量输出权值包括：

计算所述最佳候选隐层单节点和最佳候选隐层块节点对应的点增量残差模值和块增量残差模值，所述点增量残差模值包括：

||e_L+1||＝||T-H_L+1β_L+1||

式中，e_L+1表示当前隐层节点数为L+1时的残差，||·||表示二范数形式的模值；

所述块增量残差模值包括：

式中，e_L+1表示当前隐层节点数为L+Δ_k时的残差；

最后，比较点增量残差模值||e_L+1||和块增量残差模值

取较小者的模型参数作为当前迭代的最终结果，即当前迭代过程的隐层增长节点并添加到当前网络，然后通过赋值的方式以较小者的模型参数更新较大者的模型参数。

第五步：根据当前隐层节点数L，更新下一次迭代过程训练数据的分块情况。其中，训练数据分块数M的取值与当前网络复杂度L成正相关，可以定义如下分段函数用来实现动态分块：

重复上述步骤三至步骤五，直至在当前迭代次数超过k_max＝100或残差的模不大于ε＝0.01时，得到最佳模型参数ω^*，b^*和β^*等，即完成软测量模型的建立。剩下的8000个样本数据{U,O}作为测试集，其中U为测试输入，O为测试输出的真实值，并与软测量估计值相比较用于评估所建立软测量模型。具体的测试过程如下：根据建模完成所得到的模型参数，首先使用测试输入U计算测试隐含层输出H_{_test}＝1/1+exp(-Uω^*T-b^*)，然后获取软测量模型的灰分估计值

图2为根据本发明一个具体实施例的实际工业重介质选煤灰分软测量模型的残差收敛性曲线图，图2中横坐标表示迭代次数，纵坐标表示训练均方根误差，图3为根据本发明一个具体实施例的实际工业重介质选煤灰分软测量模型的估计结果图，图3中横坐标表示样本数，纵坐标表示选煤灰分。为了便于观察，这里只绘制500个测试集的测试结果。可以看出，随着迭代次数k的增加，残差快速收敛，且最终接近于0；所建立重介质选煤灰分软测量模型的估计值几乎都贴近真实值；达到期望容差所需要的迭代次数较少，综上说明本发明所建立模型的速度快、精度高、自主性强，具有一定的实用价值。

需要说明的是，上述面向工业大数据的并行学习软测量建模方法对于复杂工业运行过程运行指标具有普遍适用性，所建立的模型不仅适用于上述具体实施例中对于重介质选煤质量指标的检测，还适用于其他多种工业过程运行指标的检测。其可以建立基于不同构建方式与样本动态分块的随机配置网络并行学习策略：一方面针对大规模数据建模会显著增加网络参数训练与优化的成本，且难以有效学习，导致模型的整体性能下降问题，建立样本数据的动态分块方法；另一方面，采用点增量和块增量算法相结合的方法，可以快速准确地确定最佳隐层节点数。此外，针对过拟合问题，本发明采用提前结束建模的方法，即通过设定最大迭代次数和期望容差，在学习尚未过拟合之前结束建模，由此，本发明不仅建模速度快、自主性高、计算开销低，而且结构简单，具有良好的泛化性能。

在一个实施例中，提供一种面向工业大数据的并行学习软测量方法，包括如下步骤：

获取通过上述任意一个实施例所述的面向工业大数据的并行学习软测量建模方法确定的软测量模型；

采用所述软测量模型对目标对象进行软测量；所述目标对象与软测量模型的样本数据为同类型数据。

本实施例所得到的软测量模型可以直接用于目标对象的软测量，可以在保证测量准确度的情况下显著提高测量效率。其中获取软测量模型的过程，从初始化网络学习所学要的参数开始，通过基于随机配置网络采用点增量与块增量算法相结合的并行学习策略，以快速准确地确定最佳网络结构；同时，采用并行计算实现大规模样本数据的动态分块，同步获取各数据块的隐层输出矩阵，以降低计算开销；为了确保点增量算法和块增量算法的无限逼近特性并提高收敛性，针对全体训练集同步建立基于点增量监督机制和块增量监督机制的候选隐层单节点池和候选隐层块节点池，从而选出当前迭代过程的最佳候选隐层单节点和最佳候选隐层块节点。其中点增量监督机制和块增量监督机制均作用在各训练集的隐层输出上，对隐层节点起约束作用，保证随机生成的隐层参数的数据依赖特性，从而提升新增隐层节点对于建模的有效性；最后整合各训练集，通过求解全局最优解得到输出权值。此外，针对过拟合问题，本发明采用提前结束建模的方法，即通过设定最大隐层节点数和期望容差，可以在网络尚未过拟合之前结束建模，由此，所得到的软测量模型在确保模型精度达到期望的情况下，不仅建模速度快、自主性高、计算开销低，而模型结构简单、具有良好的泛化性能。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

需要说明的是，本申请实施例所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

本申请实施例的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块，而是可选地还包括没有列出的步骤或模块，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种面向工业大数据的并行学习软测量建模方法，其特征在于，包括如下步骤：

S20，将样本数据划分为M块训练集，采用点增量算法与块增量算法相结合的随机配置网络并行学习策略，针对所述M块训练集同步建立并求取满足监督机制的候选隐层节点池，其中所述监督机制包括点增量监督机制和块增量监督机制，所述候选隐层节点池包括候选隐层单节点池和候选隐层块节点池；

S30，在候选隐层节点池中基于残差最速下降原则选取最佳候选节点作为隐层增长节点添加到当前网络；

S40，若当前网络的模型参数达到停止标准，则根据对应的模型参数确定软测量模型；

S50，若当前网络的模型参数未达到停止标准，则根据当前隐层节点数更新下一次迭代中样本数据的分块数M，返回执行步骤S20，直至当前网络的模型参数达到停止标准，根据达到停止标准时的模型参数确定所述软测量模型。

2.根据权利要求1所述的面向工业大数据的并行学习软测量建模方法，其特征在于，在所述将样本数据划分为M块训练集，采用点增量算法与块增量算法相结合的随机配置网络并行学习策略，针对所述M块训练集同步建立并求取满足监督机制的候选隐层节点池之前，还包括：

设置隐层参数随机生成次数、学习参数、随机参数的分配区间集合、最大迭代次数、给定期望容差、样本数据的初始块数和并行学习策略中块增量算法的宽度。

3.根据权利要求2所述的面向工业大数据的并行学习软测量建模方法，其特征在于，所述根据所述当前隐层节点数更新下一次迭代中样本数据的分块数M包括：

将所述当前隐层节点数代入分块函数计算下一次迭代中样本数据的分块数M；所述分块函数包括：

若则

式中，L表示当前隐层节点数，

表示第k次迭代时分块数递增区间长度，

和

分别表示相应递增区间的上下界，则M₀表示初始样本数据的分块基数。

4.根据权利要求2所述的面向工业大数据的并行学习软测量建模方法，其特征在于，所述并行学习策略中采用点增量算法针对M块训练集同步建立并求取满足点增量监督机制的候选隐层单节点池包括：

根据所述随机参数的分配区间集合确定点增量分配区间，在所述点增量分配区间内进行T_max次随机生成点增量隐层参数；T_max表示隐层参数随机生成次数；

依据点增量监督机制，针对全体训练集分别对各次点增量隐层参数进行筛选，获得满足点增量监督机制的多个点增量隐层参数，根据各个点增量隐层参数构建候选隐层单节点池；

在所述候选隐层单节点池中确定最佳候选隐层单节点。

5.根据权利要求4所述的面向工业大数据的并行学习软测量建模方法，其特征在于，所述点增量监督机制包括：

式中，q＝1,2,…,m，m表示各训练集输出的维数，p＝1,2,…,M，M表示训练集的块数，r表示学习参数，μ_L＝1-r/L+1，L表示当前隐层节点数，e_L-1,q表示当前隐层节点数为L-1时各训练集第q个输出对应的残差，符号<·,·>表示向量的内积，g_p,L表示当前隐层节点数为L时第p个数据块的隐层输出，ξ_L,q表示当前隐层节点数为L时各训练集第q个输出对应的监督机制；

在所述候选隐层单节点池中确定最佳候选隐层单节点包括：

根据点增量监督机制计算全体训练集对应的点增量辅助参数ξ_L；所述点增量辅助参数的计算公式为：

在所述候选隐层单节点池中，将所述点增量辅助参数ξ_L取得最大值时全体训练集对应的隐层节点确定为最佳候选隐层单节点。

6.根据权利要求2所述的面向工业大数据的并行学习软测量建模方法，其特征在于，所述并行学习策略中采用块增量算法针对M块训练集同步建立并求取满足块增量监督机制的候选隐层块节点池包括：

根据所述随机参数的分配区间集合确定块增量分配区间，在所述块增量分配区间内进行T_max次随机生成块增量隐层参数；T_max表示隐层参数随机生成次数；

依据块增量监督机制，针对全体训练集分别对各次块增量隐层参数进行筛选，获得满足块增量监督机制的多个块增量隐层参数，根据各块增量隐层参数构建候选隐层块节点池；

在所述候选隐层块节点池中确定最佳候选隐层块节点。

7.根据权利要求6所述的面向工业大数据的并行学习软测量建模方法，其特征在于，所述块增量监督机制包括：

式中，q＝1,2,…,m，m表示各训练集输出的维数，表示在第k次迭代时第p个数据块对应的隐层输出块，g_p,L表示当前隐层节点数为L时第p个数据块的隐层输出，p＝1,2,…,M，M表示训练集的块数，

表示在第k次迭代时各训练集第q个输出对应的输出权值的中值，上标

表示广义逆运算，上标“T”表示转置运算，r表示学习参数，μ_L＝1-r/L+1，L表示当前隐层节点数，表示当前隐层节点数为L-△_k时各训练集第q个输出对应的残差，符号<·,·>表示向量的内积，表示在第k次迭代时各训练集第q个输出对应的监督机制；

在所述候选隐层块节点池中确定最佳候选隐层块节点包括：

根据块增量监督机制计算全体训练集对应的块增量辅助参数

所述块增量辅助参数的计算公式为：

在所述候选隐层块节点池中，将所述块增量辅助参数

取得最大值时全体训练集对应的隐层节点确定为最佳候选隐层块节点。

8.根据权利要求2至7任一项所述的面向工业大数据的并行学习软测量建模方法，其特征在于，在将样本数据划分为M块训练集之后，还包括：

若并行学习策略中点增量算法或块增量算法针对所述M块训练集未求取到满足监督机制的候选隐层节点池，则将其学习参数由r更新为r+τ，τ∈(0,1-r)，并调整随机参数的分配区间边界值λ，λ∈Υ，Υ为随机参数的分配区间集合。

依据更新后的学习参数和分配区间执行所述未求取到满足监督机制的候选隐层节点池对应的点增量算法或块增量算法，针对所述M块训练集同步建立并求取满足监督机制的候选隐层节点池的过程。

9.根据权利要求2至7任一项所述的面向工业大数据的并行学习软测量建模方法，其特征在于，所述在候选隐层节点池中基于残差最速下降原则选取最佳候选节点作为隐层增长节点添加到当前网络包括：

首先，根据所述最佳候选隐层单节点和最佳候选隐层块节点同步构建基于当前网络隐层输出矩阵的点增量隐层输出矩阵和块增量隐层输出矩阵，所述当前网络隐层输出矩阵包括：

式中，M表示训练集的块数，H_p,L表示当前隐层节点数为L时第p块训练集的隐层输出矩阵，T_p表示第p块训练集的输出数据；

所述点增量隐层输出矩阵包括：

所述块增量隐层输出矩阵包括：

然后，通过求解全局最优解得到所述最佳候选隐层单节点和最佳候选隐层块节点对应的点增量输出权值和块增量输出权值，所述点增量输出权值包括：

所述块增量输出权值包括：

计算所述最佳候选隐层单节点和最佳候选隐层块节点对应的点增量残差模值和块增量残差模值，所述点增量残差模值包括：

||e_L+1||＝||T-H_L+1β_L+1||

式中，e_L+1表示当前隐层节点数为L+1时的残差，||·||表示二范数形式的模值；

所述块增量残差模值包括：

式中，e_L+1表示当前隐层节点数为L+Δ_k时的残差；

最后，根据残差最速下降原则将残差模值小的候选隐层节点确定为隐层增长节点添加到当前网络。

10.根据权利要求1至7任一项所述的面向工业大数据的并行学习软测量建模方法，其特征在于，还包括：

采用所述软测量模型对目标对象进行软测量；所述目标对象与软测量模型的样本数据为同类型数据。

Images