CN114169459A - 基于半监督贝叶斯正则化混合Student’s t模型的鲁棒软测量方法 - Google Patents
基于半监督贝叶斯正则化混合Student’s t模型的鲁棒软测量方法 Download PDFInfo
- Publication number
- CN114169459A CN114169459A CN202111522291.7A CN202111522291A CN114169459A CN 114169459 A CN114169459 A CN 114169459A CN 202111522291 A CN202111522291 A CN 202111522291A CN 114169459 A CN114169459 A CN 114169459A
- Authority
- CN
- China
- Prior art keywords
- model
- student
- hybrid
- variables
- semi
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/29—Graphical models, e.g. Bayesian networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Software Systems (AREA)
- Mathematical Optimization (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Operations Research (AREA)
- Probability & Statistics with Applications (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Complex Calculations (AREA)
Abstract
本发明公开了一种基于半监督贝叶斯正则化混合Student’s t模型的鲁棒软测量方法,属于工业过程预测和控制技术领域。该方法在有监督混合Student’s t模型的基础上,设计了半监督的混合Student’s t模型结构,并将质量变量和辅助变量之间的回归系数贝叶斯化,通过变分贝叶斯期望最大化算法来更新模型参数,进而实现软测量模型的建立。本发明不仅能够有效的解决有标签样本稀少导致的软测量建模不准的问题,还能够在一定程度上缓解了过拟合,提高了模型的预测精度。
Description
技术领域
本发明属于工业过程预测和控制技术领域,尤其是涉及一种基于半监督贝叶斯正则化混合Student’s t模型的鲁棒软测量方法。
背景技术
在许多工业过程中,存在着一类由于技术缺陷或经济成本而难以测量的关键质量变量。然而,实时监测这些质量变量在工业过程中起着重要的作用,例如化学反应的平稳运行或反应产物的纯度。软测量本质上是质量变量和辅助变量(易于测量的变量)的数学描述,通过使用辅助变量提供质量变量的估计值,是解决质量变量实时测量的有效方法。由于无延迟和易于维护等优点,软测量在过去几十年中得到了广泛的研究和应用。
工业数据通常呈现出许多难以处理的特征,包括非线性,非高斯性,多模态特性,离群点等。非线性、非高斯性和多模态特性通常来源于复杂的过程机理、多种产品等级或运行阶段引起的多种工况/阶段、负载变化等。离群点主要是由于硬件传感器获得的一些工业过程变量的测量值不可避免地被错误地观察、记录或导入数据库。针对这些数据特性,有监督混合Student’s t模型被提出并应用到工业过程的鲁棒软测量建模。在软测量应用中,由于质量变量采样率较低,有标签数据(输入和输出都是已知的)通常是稀缺的;而无标签数据(只有输入是已知的)由于高采样率而大量存在。现有的有监督混合Student’s t模型在软测量开发时仅仅只利用了有标签数据,这极大地限制了软测量模型的预测精度。此外有监督混合Student’s t模型也会遇到过拟合问题。
因此,为了解决上述分析中基于有监督混合Student’s t模型软测量模型的不足,本发明方法在有监督混合Student’s t模型的基础上,拓展了半监督的模型结构来充分利用大量存在的无标签数据,同时将质量变量和辅助变量之间的回归系数贝叶斯化来提高模型的抗过拟合能力,以达到更好的预测效果。
发明内容
本发明的目的是提供一种基于半监督贝叶斯正则化混合Student’s t模型的鲁棒软测量方法,解决工业过程中有标签数据稀少带来的模型预测精度低以及过拟合问题。
为实现上述目的,本发明提供了一种基于半监督贝叶斯正则化混合Student’s t模型的鲁棒软测量方法,包括以下步骤:
S1、收集历史工业过程中的有标签数据和无标签数据组成训练样本;x∈Rd和y∈R分别表示d维输入变量和一维输出变量,和分别表示有标签数据集和无标签数据集,其中N1和N2分别表示有标签样本和无标签样本的个数;
S3、初始化模型参数αk表示第k个组分的混合系数,μk,Λk,υk分别表示第k个组分中输入变量对应的均值向量、精度矩阵和自由度参数,βk,分别表示第k个组分中输出变量与输入变量之间的回归系数和方差,λk表示回归系数先验分布的精度;回归系数及其先验分布精度贝叶斯化,
a0,b0是λ的先验分布的超参数;
S4、采用变分贝叶斯期望最大化VBEM算法以迭代的方式进行参数学习;
优选的,所述步骤S4包括以下步骤:
S41、VBE-step:根据当前的模型参数,求解类别隐变量和中间隐变量的变分后验分布,以及回归系数和回归系数先验分布精度的后验分布,
基于类别隐变量和中间隐变量的变分后验分布,可以计算得到数学期望如下式
其中,E[·]表示数学期望,ψ(·)表示digamma函数;
对于回归系数和回归系数先验分布精度,其后验分布如下式
基于β和λ的后验分布,计算得到数学期望如下式
E[λk]=ak/bk
E[lnλk]=ψ(ak)-ln bk
S41、VBM-step:根据VBE-step求解得到的数学期望,计算变分下界ELBO,进而执行最大化ELBO操作得到模型参数的更新公式;
假设所有数据样本服从独立同分布假设,变分下界ELBO为:
执行最大化ELBO操作得到模型参数的更新公式如下:
对于自由度参数,通过求解非线性方程得到,如下式
最后根据VBM-step的更新参数计算变分下界ELBO,当Q(Θ)收敛时,此时参数为最终模型参数;当Q(Θ)不收敛则重复VBE-step和VBM-step步骤,直至对数似然函数Q(Θ)收敛为止。
优选的,所述步骤S5中,
本发明所述的基于半监督贝叶斯正则化混合Student’s t模型的鲁棒软测量方法,在有监督混合Student’s t模型的基础上,拓展了半监督的模型结构来充分利用大量存在的无标签数据,同时将质量变量和辅助变量之间的回归系数贝叶斯化来提高模型的抗过拟合能力,以达到更好的预测效果。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
图1是本发明基于半监督贝叶斯正则化混合Student’s t模型的鲁棒软测量方法流程图;
图2是本发明基于半监督贝叶斯正则化混合Student’s t模型的鲁棒软测量方法的概率图模型。
具体实施方式
以下通过附图和实施例对本发明的技术方案作进一步说明。
实施例
图1是本发明基于半监督贝叶斯正则化混合Student’s t模型的鲁棒软测量方法流程图,图2是本发明基于半监督贝叶斯正则化混合Student’s t模型的鲁棒软测量方法的概率图模型。如图所示,一种基于半监督贝叶斯正则化混合Student’s t模型的鲁棒软测量方法,包括以下步骤:
S1、收集历史工业过程中的有标签数据和无标签数据组成训练样本;x∈Rd和y∈R分别表示d维输入变量和一维输出变量,和分别表示有标签数据集和无标签数据集,其中N1和N2分别表示有标签样本和无标签样本的个数。
其中,zi=(zi1,zi2,...,ziK)表示第i个有标签样本对应的类别隐变量,zj=(zj1,zj2,...,zjK)表示第j个无标签样本对应的类别隐变量,ak表示第k个组分的混合系数,μk,Λk,υk分别表示第k个组分中输入变量对应的均值向量,精度矩阵和自由度参数,βk,分别表示第k个组分中输出变量与输入变量之间的回归系数和方差,λk表示回归系数先验分布的精度,表示高斯分布的概率密度函数,St(·)表示Student’s t分布的概率密度函数。
回归系数及其先验分布精度贝叶斯化,
a0,b0是λ的先验分布的超参数。
包括以下步骤:
S41、VBE-step:根据当前的模型参数,求解类别隐变量和中间隐变量的变分后验分布,以及回归系数和回归系数先验分布精度的后验分布,
基于类别隐变量和中间隐变量的变分后验分布,可以计算得到数学期望如下式
其中,E[·]表示数学期望,ψ(·)表示digamma函数;
对于回归系数和回归系数先验分布精度,其后验分布如下式
基于β和λ的后验分布,计算得到数学期望如下式
E[λk]=ak/bk
E[lnλk]=ψ(ak)-ln bk。
S41、VBM-step:根据VBE-step求解得到的数学期望,计算变分下界ELBO(EvidenceLower Bound),进而执行最大化ELBO操作得到模型参数的更新公式;
假设所有数据样本服从独立同分布假设,变分下界ELBO为:
其中,
执行最大化ELBO操作得到模型参数的更新公式如下:
对于自由度参数,通过求解非线性方程得到,如下式
最后根据VBM-step的更新参数计算变分下界ELBO,当Q(Θ)收敛时,此时参数为最终模型参数;当Q(Θ)不收敛则重复VBE-step和VBM-step步骤,直至对数似然函数Q(Θ)收敛为止。
因此,本发明基于半监督贝叶斯正则化混合Student’s t模型的鲁棒软测量方法,能够解决工业过程中有标签数据稀少带来的模型预测精度低以及过拟合问题。
最后应说明的是:以上实施例仅用以说明本发明的技术方案而非对其进行限制,尽管参照较佳实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对本发明的技术方案进行修改或者等同替换,而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。
Claims (3)
1.一种基于半监督贝叶斯正则化混合Student’s t模型的鲁棒软测量方法,其特征在于,包括以下步骤:
S1、收集历史工业过程中的有标签数据和无标签数据组成训练样本;x∈Rd和y∈R分别表示d维输入变量和一维输出变量,和分别表示有标签数据集和无标签数据集,其中N1和N2分别表示有标签样本和无标签样本的个数;
S3、初始化模型参数αk表示第k个组分的混合系数,μk,Λk,υk分别表示第k个组分中输入变量对应的均值向量、精度矩阵和自由度参数,βk,分别表示第k个组分中输出变量与输入变量之间的回归系数和方差,λk表示回归系数先验分布的精度;回归系数及其先验分布精度贝叶斯化,
a0,b0是λ的先验分布的超参数;
S4、采用变分贝叶斯期望最大化VBEM算法以迭代的方式进行参数学习;
2.根据权利要求1所述的基于半监督贝叶斯正则化混合Student’s t模型的鲁棒软测量方法,其特征在于,所述步骤S4包括以下步骤:
S41、VBE-step:根据当前的模型参数,求解类别隐变量和中间隐变量的变分后验分布,以及回归系数和回归系数先验分布精度的后验分布,
基于类别隐变量和中间隐变量的变分后验分布,可以计算得到数学期望如下式
其中,E[·]表示数学期望,ψ(·)表示digamma函数;
对于回归系数和回归系数先验分布精度,其后验分布如下式
基于β和λ的后验分布,计算得到数学期望如下式
E[λk]=ak/bk
E[lnλk]=ψ(ak)-lnbk
S41、VBM-step:根据VBE-step求解得到的数学期望,计算变分下界ELBO,进而执行最大化ELBO操作得到模型参数的更新公式;
假设所有数据样本服从独立同分布假设,变分下界ELBO为:
执行最大化ELBO操作得到模型参数的更新公式如下:
对于自由度参数,通过求解非线性方程得到,如下式
最后根据VBM-step的更新参数计算变分下界ELBO,当Q(Θ)收敛时,此时参数为最终模型参数;当Q(Θ)不收敛则重复VBE-step和VBM-step步骤,直至对数似然函数Q(Θ)收敛为止。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111522291.7A CN114169459A (zh) | 2021-12-13 | 2021-12-13 | 基于半监督贝叶斯正则化混合Student’s t模型的鲁棒软测量方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111522291.7A CN114169459A (zh) | 2021-12-13 | 2021-12-13 | 基于半监督贝叶斯正则化混合Student’s t模型的鲁棒软测量方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114169459A true CN114169459A (zh) | 2022-03-11 |
Family
ID=80486100
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111522291.7A Pending CN114169459A (zh) | 2021-12-13 | 2021-12-13 | 基于半监督贝叶斯正则化混合Student’s t模型的鲁棒软测量方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114169459A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114841000A (zh) * | 2022-05-09 | 2022-08-02 | 杭州师范大学 | 一种基于模态共有特征分离的软测量建模方法 |
CN117150931A (zh) * | 2023-10-30 | 2023-12-01 | 中国石油大学(华东) | 基于混合单隐层神经网络的混油长度在线估计方法及系统 |
-
2021
- 2021-12-13 CN CN202111522291.7A patent/CN114169459A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114841000A (zh) * | 2022-05-09 | 2022-08-02 | 杭州师范大学 | 一种基于模态共有特征分离的软测量建模方法 |
CN114841000B (zh) * | 2022-05-09 | 2024-05-14 | 杭州师范大学 | 一种基于模态共有特征分离的软测量建模方法 |
CN117150931A (zh) * | 2023-10-30 | 2023-12-01 | 中国石油大学(华东) | 基于混合单隐层神经网络的混油长度在线估计方法及系统 |
CN117150931B (zh) * | 2023-10-30 | 2024-01-30 | 中国石油大学(华东) | 基于混合单隐层神经网络的混油长度在线估计方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109060001B (zh) | 一种基于特征迁移学习的多工况过程软测量建模方法 | |
CN110414788B (zh) | 一种基于相似日和改进lstm的电能质量预测方法 | |
CN114169459A (zh) | 基于半监督贝叶斯正则化混合Student’s t模型的鲁棒软测量方法 | |
CN111142501B (zh) | 基于半监督自回归动态隐变量模型的故障检测方法 | |
CN109242223B (zh) | 城市公共建筑火灾风险的量子支持向量机评估与预测方法 | |
CN112990556A (zh) | 一种基于Prophet-LSTM模型的用户用电能耗预测方法 | |
Amini et al. | Fault detection and diagnosis with a novel source-aware autoencoder and deep residual neural network | |
Liu et al. | Selective recursive kernel learning for online identification of nonlinear systems with NARX form | |
CN110503251A (zh) | 一种基于Stacking算法的非节假日负荷预测方法 | |
CN112650063B (zh) | 一种基于半监督增量高斯混合回归的自适应软测量方法 | |
Dong et al. | The prediction trend of enterprise financial risk based on machine learning arima model | |
Feng et al. | Adversarial smoothing tri-regression for robust semi-supervised industrial soft sensor | |
CN108664706B (zh) | 一种基于半监督贝叶斯高斯混合模型的合成氨过程一段炉氧气含量在线估计方法 | |
CN114500004A (zh) | 一种基于条件扩散概率生成模型的异常检测方法 | |
CN109033524B (zh) | 一种基于鲁棒混合模型的化工过程浓度变量在线估计方法 | |
Li et al. | Data cleaning method for the process of acid production with flue gas based on improved random forest | |
Haleem et al. | Improving the predictive response using ensemble empirical mode decomposition based soft sensors with auto encoder deep neural network | |
Potočnik et al. | Empirical modeling of antibiotic fermentation process using neural networks and genetic algorithms | |
CN116303786B (zh) | 一种基于多维数据融合算法的区块链金融大数据管理系统 | |
CN117371573A (zh) | 基于TrAdaBoost-LSTM的时间序列预测方法、装置及介质 | |
CN114707424B (zh) | 基于质量相关慢特征分析算法的化工过程软测量方法 | |
Yang et al. | ELM parameter estimation in view of maximum likelihood | |
CN110826184B (zh) | 一种在时变时滞下narx模型结构和参数的变分贝叶斯辨识方法 | |
CN110879873B (zh) | 一种基于哈密顿蒙特卡洛采样的vine copula相关性描述的软测量方法及系统 | |
Zha et al. | A hierarchical reinforcement learning framework for stock selection and portfolio |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |