CN116386756A - 一种基于集成神经网络可信度估计与加权学习的软测量建模方法 - Google Patents

一种基于集成神经网络可信度估计与加权学习的软测量建模方法 Download PDF

Info

Publication number
CN116386756A
CN116386756A CN202211624141.1A CN202211624141A CN116386756A CN 116386756 A CN116386756 A CN 116386756A CN 202211624141 A CN202211624141 A CN 202211624141A CN 116386756 A CN116386756 A CN 116386756A
Authority
CN
China
Prior art keywords
model
training
data
downstream
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211624141.1A
Other languages
English (en)
Inventor
葛志强
王乙淇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202211624141.1A priority Critical patent/CN116386756A/zh
Publication of CN116386756A publication Critical patent/CN116386756A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
    • G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
    • G16C20/30—Prediction of properties of chemical compounds, compositions or mixtures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
    • G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
    • G16C20/70—Machine learning, data mining or chemometrics

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Computational Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Pure & Applied Mathematics (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Algebra (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

本发明公开了一种应用于尿素合成流程工业软测量的基于集成神经网络与加权学习的软测量建模方法，首先基于神经网络集进行弱标签数据学习，训练构建噪声数据拟合神经网络集，对标签带噪验证集进行标签预测，并利用模型集的预测值集进行核密度估计，再对原有标签计算在KDE拟合概率密度图中的概率密度值，计算峰值与原有带噪标签的概率密度比值从而得到数据标签的可信度权重；将验证集数据作为下游学生模型的训练数据，同时向学生模型输入上游模型预测的数据标签可信度，进行学生模型的训练；再对于学生模型的测试时，数据直接流入下游网络，其中模型的特征维度中标签可信度值的输入均置为1，从而实现对工业过程关键质量指标进行降噪后的软测量预报。

Description

一种基于集成神经网络可信度估计与加权学习的软测量建模 方法
技术领域
本发明属于工业过程控制领域，特别涉及一种应用于尿素合成过程中N/C值预测的基于集成神经网络可信度估计与加权学习的软测量建模方法。
背景技术
在工业生产过程中，由于过程环境和生产条件的复杂，许多反映生产质量的关键变量无法用工业仪表实时测量。这些质量变量的数据通常由实验室分析或在线分析仪获得，受到大延迟或高成本的限制。近年来，随着数据科学和信息技术的进步，数据驱动软测量模型在过程工业中得到了广泛的应用，主要基于历史过程数据和统计机器学习方法构建输入输出模型，以解决具有非线性、噪声、多模态和多采样率等特点的过程数据建模问题。
传统机器学习模型进行数据分析时需要有一个预先假设，即数据均认定为准确真实数据，而这在工业传感数据中，尤其是一些传感器存在由于传感金属浸泡溶液导致的浓度改变、零漂等现象导致传感数据测不准的情况下是很难适用的。但是传统机器学习模型其优势在于模型简单、参数量小、时效性高等优点，在预测时相比大模型，因为其模型结构简单因此适用于落地集成于硬件中，更有普适性，且运行时对于硬件要求不高。
神经网络模型具有很好的拟合性，当模型复杂度增加时，在一定深度下，满足一定的神经元个数理论上就能适配任意函数。当噪声分布未知但是固定时，通过足够分散的数据量进行网络的训练，训练得到的模型能够拟合出噪声影响下的数据标签。而通过不同的分散数据集训练得到的神经网络通过类似于森林结构的模型架构下对于同一特征的预测，当模型足够多以及数据量足够多的情况下，对于某一标签的预测分布将会近似于噪声的分布情况。//
通过利用历史传感样本建立可信度模型进行可信度输出给下游预测模型。可信度模型的核心问题是找到合适的方法来评价可信度准则以及模型能够确实学习到噪声分布情况。目前，针对传统带噪标签数据的处理方法通常利用滤波或者离群点筛选等方法进行预处理，这些方法都会导致数据的损失，而工业流程中其实离群点的出现频率也能够体现噪声的整体分布情况，同时离群点也会蕴含部分所期望的工业数据信息。因此，有必要发明一种可信度加权学习的标签数据去噪软测量建模方法来学习带噪数据信息。
发明内容
本发明的目的在于针对现有机器学习方法的假设局限，提供一种基于集成神经网络可信度估计与加权学习的软测量建模方法。
本发明的目的是通过以下技术方案来实现的：
一种基于集成神经网络可信度估计与加权学习的软测量建模方法，包括以下步骤：
(1)判断工业标签数据可能带噪的噪声类型，判断是否为无偏噪声。
(2)利用工业控制系统收集建模用的样本集以及化验数据，均为有标签数据，样本集为
Figure BDA0004003331890000021
和化验数据集/>
Figure BDA0004003331890000022
其中n1＝1,...,Nl，n2＝1,...,t，l代表有标签数据，Nl为样本训练集数据个数，t代表化验数据集，Nt为化验数据个数，τ为变量维度，R为实数集，R1×τ表示X满足1×τ的二维分布。将这些数据存入模型数据库。
(3)将训练样本数据集随机打散为训练源集
Figure BDA0004003331890000023
其中o为打乱后的源训练数据，并将源数据集按照1:1的占比划分为子模型(上游模型)训练集
Figure BDA0004003331890000024
Figure BDA0004003331890000025
和下游模型训练集/>
Figure BDA0004003331890000026
其中st指子模型训练集，dmt指下游模型训练集。
(4)基于开源深度学习平台PyTorch搭建INNs网络，并设定树模型的个数tn，单个树模型的层数l，隐层节点数m，模型训练学习率ρ1，模型训练优化器Adam，训练批次数据大小Bs，训练周期数ep1，跳出训练阈值tv。
(5)基于训练集训练INNs网络模型，对下游模型训练集进行预测，获得预测标签集
Figure BDA0004003331890000027
其中pdmt是利用INNs对下游模型训练集的预测标签集。
(6)根据所得预测标签集
Figure BDA0004003331890000028
进行KDE得到概率密度曲线或者直方图统计得到概率分布，并将原有标签/>
Figure BDA0004003331890000029
放入拟合估计出的曲线中计算此时的概率密度值，并由此计算标签可信度。
(7)将下游模型训练集标签可信度与原下游模型训练集特征拼接，作为新输入特征输入下游回归预测模型中，以NNs为例，设定隐层层数dsl，隐层节点个数p，以及构建局部模型选择的有标签个数NL。另外设定模型训练学习率ρ2，训练批次数据大小BS，训练周期数ep2。并按照下游模型训练集标签进行加权训练。
(8)模型评价与预测应用时，去除上游模型，直接使用训练好的下游回归模型进行预测，其中输入数据在原有特征基础上堆叠一层可信度置1的维度特征。
(9)利用模型评价指标均方根误差(RMSE)对测试集的预测结果进行评价。同时与去除上游模型直接传统下游模型进行预测对比。
本发明的有益效果是：本发明通过构建具有森林结构的神经网络核密度模型集，对工业过程带噪标签数据进行可信度评估。然后，加权深度学习模型中引入该特征，构造基于可信度训练的软测量模型。相比直接使用下游软测量模型，本发明能够直接从带噪训练集中标签可信度特征，不仅可以适用于仅基于传感数据工业软测量模型的预测精度，降低了训练模型的数据成本，而且相比于传统的软测量模型而言，能够更准确反映过程生产状态。
附图说明
图1是集成神经网络可信度评估网络示意图；
图2是尿素合成过程简单示意图；
图3是MLPINNsWoR模型对N/C前50组数据预测结果图；
图4是MLPINNsWoR模型预测N/C前50组数据单点预测RMSE结果图。
具体实施方式
本发明针对工业过程软测量建模问题，将数据标签可信度特征融入到原始输入特征中进行模型的训练，提出了一种基于集成神经网络可信度估计与加权学习的软测量建模方法。利用森林结构的多神经网络模型，通过学习原始数据生成一系列神经网络子模型，通过子模型集对于下游模型训练集进行预测并通过KDE来对预测标签集进行核密度估计，并通过相应的可信度计算公式得到标签可信度，从而得到下游模型训练集每一个标签的可信度，对下游模型训练集与相应标签可信度进行模型的加权训练，进而提出了一种基于集成神经网络概率密度比值可信度估计与加权学习的标签数据去噪软测量模型，用于解决传统机器学习在有噪标签数据集中的软测量建模问题。本发明能够直接从带噪训练集中标签可信度特征，不仅可以适用于仅基于传感数据工业软测量模型的预测精度，降低了训练模型的数据成本，而且相比于传统的软测量模型而言，能够更准确反映过程生产状态，极大地提升传统机器学习软测量模型的预测精度。
本发明采用的技术方案的主要步骤分别如下：
第一步通过经验以及现场勘探了解数据的噪声情况，进行初步判断噪声产生的原因、影响状况以及数据的偏离状况等。
第二步利用工业控制系统收集建模用的样本集以及化验数据，均为有标签数据，样本集为
Figure BDA0004003331890000031
和化验数据集/>
Figure BDA0004003331890000032
其中n1＝1,...,Nl，n2＝1,...,t，l代表有标签数据，Nl为样本训练集数据个数，t代表化验数据集，Nt为化验数据个数，τ为变量维度，R为实数集，R1×τ表示X满足1×τ的二维分布。将这些数据存入模型数据库。//
第三步将训练样本数据集随机打散为训练源集
Figure BDA0004003331890000041
其中o为打乱后的源训练数据，并将源数据集按照1:1的占比划分为子模型训练集
Figure BDA0004003331890000042
和下游模型训练集/>
Figure BDA0004003331890000043
其中st指子模型训练集，dmt指下游模型训练集。
第四步基于开源深度学习平台PyTorch搭建INNs网络，并设定树模型的个数tn，单个树模型的层数l，隐层节点数m，模型训练学习率ρ1，模型训练优化器Adam，训练批次数据大小Bs，训练周期数ep1，跳出训练阈值tv。
第五步基于训练集训练INNs网络模型，对下游模型训练集进行预测，获得预测标签集
Figure BDA0004003331890000044
其中pdmt是利用INNs对下游模型训练集的预测标签集。
第六步根据所得预测标签集
Figure BDA0004003331890000045
进行KDE得到概率密度曲线或者直方图统计得到概率分布，并将原有标签/>
Figure BDA0004003331890000046
放入拟合估计出的曲线中计算此时的概率密度值，并由此计算标签可信度。具体步骤如下：
1)预测标签集
Figure BDA0004003331890000047
中的标签为/>
Figure BDA0004003331890000048
是INNs对于下游标签样本x1∈R1×τ的标签预测，按照核密度估计计算其概率密度函数f，具体计算公式如下：
Figure BDA0004003331890000049
其中，h＞0，为带宽或窗口。这里选择的KDE核函数K(·)为高斯曲线：
Figure BDA00040033318900000410
带宽h选择为：
Figure BDA00040033318900000411
其中，
Figure BDA00040033318900000412
为预测标签集的均值。
2)通过核密度估计得到概率密度函数f，计算出核密度函数的峰值
Figure BDA00040033318900000413
及其对应的坐标标签值ypeak，同时计算/>
Figure BDA00040033318900000414
在该核密度函数对应下的概率密度值flabel。
3)计算标签可信度。衍生出两种可信度PW和FW计算公式：
PW：
Figure BDA00040033318900000415
由于存在一些分布情况并非为类标准正态分布的情况，由此提出了第二种可信度计算方法:FW:
Figure BDA00040033318900000416
其中lenth是概率密度曲线置信长度。具体判断依据如下：
设定左区间坐标为yleft，右区间坐标为yright，变化阈值δconfidence，变化步长为εstep，显著性水平为αconfidence，满足如下条件：
Figure BDA0004003331890000051
从而计算得到lenth＝yright-yleft。
第七步将下游模型训练集标签可信度与原下游模型训练集特征拼接，作为新输入特征输入下游回归预测模型中，以NNs为例，设定隐层层数dsl，隐层节点个数p，以及构建局部模型选择的有标签个数NL。另外设定模型训练学习率ρ2，训练批次数据大小BS，训练周期数ep2。并按照下游模型训练集标签进行加权训练。具体步骤如下：
1)将计算得到的下游模型训练集标签可信度数据与特征数据拼接得到
Figure BDA0004003331890000052
Figure BDA0004003331890000053
即上游计算得到的可信度作为下游模型的一维特征进行输入。
2)定义下游NNs模型损失函数，并训练下游模型，其中损失函数需能够在参数梯度更新时考虑可信度水平进行参数更新，有两种自定义损失函数为formerLoss和newLoss。
FL:
Figure BDA0004003331890000054
NL:
Figure BDA0004003331890000055
其中wi为欧氏距离的标准差，
Figure BDA0004003331890000056
是模型预测值，/>
Figure BDA0004003331890000057
是数据集自带标签值。此时损失函数中，可信度高的在最后损失评价中占比权重大，可信度低的在最后损失评价时评价占比小，反馈回上游模型损失参数变动小，对模型参数更新影响小。
第八步模型评价与预测应用时，去除上游模型，直接使用训练好的下游回归模型进行预测，其中输入数据在原有特征基础上堆叠一层可信度置1的维度特征。
第九步利用模型评价指标均方根误差(RMSE)对测试集的预测结果进行评价。同时与去除上游模型直接传统下游模型(Baseline)进行预测对比。
Figure BDA0004003331890000058
其中yn、
Figure BDA0004003331890000059
分别为化验样本的真值、模型预测值，Nt为化验样本的个数。
为了验证模型的有效性，尿素合成过程数据将用于仿真和性能评测。我们选取了中海油富岛公司提供的尿素合成过程数据。该数据集的弱监督样本是从2019.9.1～2020.9.23间运行的分钟级分析仪数据共552799个，随机选择其中的弱标签数据36000组，少量有标签数据集2016.7.22～2021.3.24的每周采样两次的化验数据有469个。我们随机选取其中的分析仪数据中的50％组数据作为子模型训练集，余下50％分析仪数据作为下游模型训练集，469组化验数据为测试集。通过对尿素合成过程弱标签数据以及化验数据的对比来验证本发明的有效性。
尿素合成过程存在两步反应。1.氨和二氧化碳反应生成氨基甲酸铵2.氨基甲酸铵分解为尿素和水。第一步是放热反应，第二步是吸热反应。
如图2所示，反应首先在高压甲铵冷凝器(池式冷凝器)中发生。池式冷凝器是反应主要发生的装置之一，另一个反应主要发生的装置是尿素合成塔。池式冷凝器的压强，温度和原料的流量指标都能指示尿素合成过程，因此将这些指标选为过程变量。池式冷凝器内生成的混合物被送到下游尿素合成塔，进一步发生反应，因此合成塔处的温度，压强，原料的流量，合成塔内反应液的液位选为过程变量。
在整个过程中一个质量变量是合成塔下端出口的氨和二氧化碳的摩尔比值是反应原料气二氧化碳转化率的指标。为了预测此处的反应原料气二氧化碳转化率(N/C)，筛选出如下表1所示过程变量。
表1尿素合成过程变量描述表
Figure BDA0004003331890000061
Figure BDA0004003331890000071
整体流程如下：
1.从随机选取出来的尿素合成过程弱标签样本，样本随机打散后按照1:1的比例划分为子模型训练集、下游模型训练集，化验数据集作为模型效果评估测试集。即整个数据集分为三个部分，即18000个弱标签样本组成子模型训练集，18000个样本组成下游模型训练集，469个化验数据构成测试集。
2.在深度学习平台PyTorch上搭建INNs网络模型，子模型训练集划分对应树模型的不重复样本训练集进行模型训练，将树神经网络中隐层节点个数设置为40，激活函数设置为ReLU函数。在训练INNs树网络时，批次大小设置为对应样本数据量的10％，训练周期数为20，学习率为0.01。
3.INNs网络训练完成后，将下游模型训练数据输入至训练好的INNs，获得下游模型训练数据的标签预测集，并对标签预测集进行核密度估计并分别利用定义的可信度计算公式14计算对应标签的可信度，并与原始输入特征合并为新的特征矩阵。
4.将拼接得到的下游模型训练数据新的特征矩阵作为下游模型的输入，进而依据(17计算下游神经网络的损失函数进行Adam优化训练。
5.最后基于上述数据集和模型超参数设定值，构建了本发明提出的基于可信度的集成神经网络加权模型，并在测试集上与基本的神经网络模型进行预测性能比较，其单点预测效果展示于图3中，图4展示了单点的预测RMSE损失。可以看出，本发明提出的方法有效综合了标签可信度和加权模型的优越性，相比于对比模型而言有所提升。同时，将所提出的MLPINNsWoR模型与基础神经网络BaseMLP的测试RMSE评价指标列于表2中。
表2：模型预测效果比较
模型名称 RMSE
BaseMLP 0.013679
MLPINNsWoR 0.007014
比较结果表明，本发明提出的软测建模方法能够有效利用大量有噪样本蕴含的流程信息，构建基于可信度的加权的深度学习模型，其性能将相对于改进模型而言有所提升。
上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明做出的任何修改和改变，都落入本发明的保护范围。

Claims (7)

1.一种基于集成神经网络可信度估计与加权学习的软测量建模方法，其特征在于，包括以下步骤：
(1)判断工业标签数据可能带噪的噪声类型，判断是否为无偏噪声；
(2)利用尿素合成控制系统收集建模用的样本集以及化验数据，均为有标签数据，样本集为
Figure FDA0004003331880000011
和化验数据集/>
Figure FDA0004003331880000012
其中n1＝1，...，Nl，n2＝1，...，Nt，l代表有标签数据，Nl为样本训练集数据个数，t代表化验数据集，Nt为化验数据个数，τ为变量维度，R为实数集，R1×τ表示X满足1×τ的二维分布；将这些数据存入模型数据库；
(3)将训练样本数据集随机打散为训练源集
Figure FDA0004003331880000013
其中o为打乱后的源训练数据，并将源数据集按照1：1的占比划分为子模型训练集/>
Figure FDA0004003331880000014
Figure FDA0004003331880000015
和下游模型训练集/>
Figure FDA0004003331880000016
其中st指子模型训练集，即上游模型训练集，dmt指下游模型训练集；
(4)基于开源深度学习平台PyTorch搭建INNs网络，并设定树模型的个数tn，单棵树模型的层数l，隐层节点数m，模型训练学习率ρ1，模型训练优化器Adam，训练批次数据大小Bs，训练周期数ep1，跳出训练阈值tv；
(5)基于训练集训练INNs网络模型，对下游模型训练集进行预测，获得预测标签集
Figure FDA0004003331880000017
其中pdmt是利用INNs对下游模型训练集的预测标签集；
(6)根据所得预测标签集
Figure FDA0004003331880000018
进行KDE得到概率密度曲线或者直方图统计得到概率分布，并将原有标签/>
Figure FDA0004003331880000019
放入拟合估计出的曲线中计算此时的概率密度值，并由此计算标签可信度；
(7)将下游模型训练集标签可信度与原下游模型训练集特征拼接，作为新输入特征输入下游回归预测模型MLP中，设定下游模型MLP隐层层数dsl，隐层节点个数p，以及构建局部模型选择的有标签个数NL；另外设定模型训练学习率ρ2，训练批次数据大小BS，训练周期数ep2；并按照下游模型训练集标签进行加权训练；
(8)模型评价与预测应用时，去除上游模型，直接使用训练好的下游回归模型进行预测，其中输入数据在原有特征基础上堆叠一层可信度置1的维度特征；
(9)利用模型评价指标均方根误差对测试集的预测结果进行评价；同时与去除上游模型(INNsWoR)，直接使用传统下游模型MLP进行预测效果对比。
2.根据权利要求1所述基于集成神经网络可信度估计与加权学习的软测量建模方法，其特征在于，所述步骤(2)和步骤(3)具体为：对收集的原始数据集
Figure FDA0004003331880000021
和对应弱标签/>
Figure FDA0004003331880000022
进行随机打散，并按照1：1的数量比划分后，对子模型训练集与下游模型训练集分别进行归一化，即/>
Figure FDA0004003331880000023
其中i为第i维特征，j为第j个样本数据，μi指第i维特征的均值，δi指第i维特征均方差；通过上述归一化操作后，子模型训练集与下游模型训练集分别为：/>
Figure FDA0004003331880000024
和
Figure FDA0004003331880000025
3.根据权利要求1所述基于集成神经网络可信度估计与加权学习的软测量建模方法，其特征在于，所述步骤(4)具体为：基于子模型训练集样本，构造INNs网络模型；INNs网络是一种以NNs为树的森林结构；其中，每一棵NNs树将不重叠子样本的输入Xi＝{Xt∈R1×τ，t＝1,2，...，T}(T指原始子模型训练集中的样本分配到每个单一树的样本数，其中i指第i棵树，每一棵树的训练样本均不重复)经过多层隐层映射后，最后一层隐层神经元的状态hi＝{ht∈R1×m}，其中m代表隐层神经元的个数，最后输出最终的标签预测带噪值；其中，利用一个多层感知器(MLP)将上一层隐层状态ht映射至向量κt：
κt＝ReLU(ht·Wα+bα) (1)
其中，ReLU(·)为激活函数，Wα和bα均为NNs网络训练时需要求解的参数；
在训练INNs网络模型时，采用Adam优化器对损失函数进行优化，设定模型训练学习率ρ1，训练批次数据大小Bs，训练周期数ep1。
4.根据权利要求1所述基于集成神经网络可信度估计与加权学习的软测量建模方法，其特征在于，所述步骤(5)具体为：将INNs网络模型训练完成后对于下游模型特征训练集
Figure FDA0004003331880000026
的标签进行预测，获得下游模型特征训练集的标签集/>
Figure FDA0004003331880000027
5.根据权利要求1所述基于集成神经网络可信度估计与加权学习的软测量建模方法，其特征在于，所述步骤(6)具体为：基于所得预测标签集
Figure FDA0004003331880000028
进行KDE得到概率密度曲线或者直方图统计得到概率分布，并将原有标签/>
Figure FDA0004003331880000029
放入拟合估计出的曲线中计算此时的概率密度值，并由此计算标签可信度，具体步骤为：
6.1)预测标签集
Figure FDA00040033318800000210
中的标签为/>
Figure FDA00040033318800000211
是INNs对于下游标签样本x1∈R1×τ的标签预测，按照核密度估计计算其概率密度函数f，具体计算公式如下：
Figure FDA00040033318800000212
其中，h＞0，为带宽或窗口；这里选择的KDE核函数K(·)为高斯曲线：
Figure FDA00040033318800000213
带宽h选择为：
Figure FDA0004003331880000031
其中，
Figure FDA0004003331880000032
为预测标签集的均值；
6.2)此时计算出拟合出的核密度函数的峰值
Figure FDA0004003331880000033
及其对应的坐标标签值ypeak，同时计算/>
Figure FDA0004003331880000034
在该核密度函数对应下的概率密度值flabel；
6.3)计算标签可信度；衍生出两种可信度PW和FW计算公式：
PW：
Figure FDA0004003331880000035
由于存在一些分布情况并非为类标准正态分布的情况，由此提出了第二种可信度计算方法：
FW：
Figure FDA0004003331880000036
其中lenth是概率密度曲线置信长度；具体判断依据如下：
设定左区间坐标为yleft，右区间坐标为yright，变化阈值δconfidence，变化步长为εstep，显著性水平为αconfidence，满足如下条件：
Figure FDA0004003331880000037
从而计算得到lenth＝yright-yleft。
6.根据权利要求1所述基于集成神经网络可信度估计与加权学习的软测量建模方法，其特征在于，所述步骤(7)，主要聚焦于下游模型的训练过程，以下游NNs为例，具体为：
7.1)将计算得到的下游模型训练集标签可信度数据与特征数据拼接得到
Figure FDA0004003331880000038
Figure FDA0004003331880000039
即上游计算得到的可信度作为下游模型的一维特征进行输入。
7.2)定义下游NNs模型损失函数，并训练下游模型，其中损失函数需能够在参数梯度更新时考虑可信度水平进行参数更新，有两种自定义损失函数为FL和NL；
FL：
Figure FDA00040033318800000310
NL：
Figure FDA00040033318800000311
其中wi为INNsWoR上游模型对下游模型训练集预测的标签可信度，
Figure FDA0004003331880000041
是下游模型对第i个训练样本的预测值，yi是下游模型训练数据集的标签；此时损失函数中，可信度高的在最后损失评价中占比权重大，可信度低的在最后损失评价时评价占比小，反馈回上游模型损失参数变动小，对模型参数更新影响小。
7.根据权利要求1所述基于集成神经网络可信度估计与加权学习的软测量建模方法，其特征在于，所述步骤(8)和步骤(9)具体为：
1)模型应用于预测时，应去除上游INNs可信度模型，直接调用下游预测模型，或者说是训练好的传统机器学习模型进行预测，此时模型输入多出一个可信度权重特征，因为预测时需要预测出真实的标签模型，因此权重特征维度均置为1，即预测的拼接特征数据为{Xpredict∈R1×(τ+1)}；
2)由于整个方法是对于传统机器学习应用于带噪标签数据的预测的改进框架，因此在结果评估时需要跟传统机器学习方法进行对比，即确定baseline，利用模型评价指标均方根误差(RMSE)对测试集的预测结果进行评价。
CN202211624141.1A 2022-12-16 2022-12-16 一种基于集成神经网络可信度估计与加权学习的软测量建模方法 Pending CN116386756A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211624141.1A CN116386756A (zh) 2022-12-16 2022-12-16 一种基于集成神经网络可信度估计与加权学习的软测量建模方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211624141.1A CN116386756A (zh) 2022-12-16 2022-12-16 一种基于集成神经网络可信度估计与加权学习的软测量建模方法

Publications (1)

Publication Number Publication Date
CN116386756A true CN116386756A (zh) 2023-07-04

Family

ID=86973715

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211624141.1A Pending CN116386756A (zh) 2022-12-16 2022-12-16 一种基于集成神经网络可信度估计与加权学习的软测量建模方法

Country Status (1)

Country Link
CN (1) CN116386756A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116821695A (zh) * 2023-08-30 2023-09-29 中国石油大学(华东) 一种半监督神经网络软测量建模方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116821695A (zh) * 2023-08-30 2023-09-29 中国石油大学(华东) 一种半监督神经网络软测量建模方法
CN116821695B (zh) * 2023-08-30 2023-11-03 中国石油大学(华东) 一种半监督神经网络软测量建模方法

Similar Documents

Publication Publication Date Title
US20240144043A1 (en) Prediction model for predicting product quality parameter values
CN109558893B (zh) 基于重采样池的快速集成污水处理故障诊断方法
CN106897775A (zh) 基于贝叶斯集成学习的软测量建模方法
CN105868164B (zh) 一种基于有监督的线性动态系统模型的软测量建模方法
CN115495991A (zh) 一种基于时间卷积网络的降水区间预测方法
CN113642666B (zh) 一种基于样本扩充和筛选的主动增强软测量方法
CN110309609A (zh) 一种基于粗糙集和小波神经网络的建筑室内空气品质评价方法
CN114239397A (zh) 基于动态特征提取与局部加权深度学习的软测量建模方法
CN116386756A (zh) 一种基于集成神经网络可信度估计与加权学习的软测量建模方法
CN115561416A (zh) 污水处理厂进水水质实时检测方法和装置
CN101673096B (zh) 一种丹参注射液生产浓缩过程密度的软测量方法
CN116597939A (zh) 基于大数据的药品质量控制管理分析系统及方法
CN115407753A (zh) 一种多变量加权集成学习的工业故障诊断方法
CN111898673A (zh) 一种基于emd与lstm的溶解氧含量预测方法
CN116720080A (zh) 同源气象要素融合检验方法
CN115035962A (zh) 基于变分自编码器和生成对抗网络的虚拟样本生成及软测量建模方法
CN114548494A (zh) 一种可视化造价数据预测智能分析系统
CN114297921A (zh) 基于am-tcn的故障诊断方法
CN117764413A (zh) 一种基于机器学习的精确碳排放核算算法
CN113707240A (zh) 基于半监督非线性变分贝叶斯混合模型的成分参数鲁棒软测量方法
CN103279030A (zh) 基于贝叶斯框架的动态软测量建模方法及装置
CN112446168A (zh) 一种基于mic及rbfnn的出水bod浓度软测量方法
CN112069621A (zh) 基于线性可靠度指标的滚动轴承剩余使用寿命的预测方法
CN114861759B (zh) 一种线性动态系统模型的分布式训练方法
CN113807606B (zh) 可解释集成学习的间歇过程质量在线预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination