CN115186584A - 一种融合注意力机制和自适应构图的宽度学习半监督软测量建模方法 - Google Patents

一种融合注意力机制和自适应构图的宽度学习半监督软测量建模方法 Download PDF

Info

Publication number
CN115186584A
CN115186584A CN202210807679.XA CN202210807679A CN115186584A CN 115186584 A CN115186584 A CN 115186584A CN 202210807679 A CN202210807679 A CN 202210807679A CN 115186584 A CN115186584 A CN 115186584A
Authority
CN
China
Prior art keywords
matrix
equation
formula
data
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210807679.XA
Other languages
English (en)
Inventor
王平
李雪静
尹贻超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Petroleum East China
Original Assignee
China University of Petroleum East China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Petroleum East China filed Critical China University of Petroleum East China
Priority to CN202210807679.XA priority Critical patent/CN115186584A/zh
Publication of CN115186584A publication Critical patent/CN115186584A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种融合注意力机制和自适应构图的宽度学习半监督软测量建模方法，该方法综合利用数据输入空间和预测输出空间的加权欧式距离信息自适应构建近邻图实现对数据潜在结构信息的准确逼近；同时，考虑到不同的辅助变量对主导变量的准确估计具有不同程度的贡献度，通过融入注意力机制对变量进行加权，即对重要的信息增加一定比例的权重，对于无法提升模型性能的一些信息则选择降低权重，以降低冗余变量和噪声对构图和回归学习的不良影响；最后，将注意力机制、自适应构图和宽度学习建模整合在一个统一学习框架内，并采用交替迭代优化求解获得建模学习的整体最优解。因此，本发明提供的半监督学习框架能够充分利用标签数据所包含的监督信息，辅助以无标签数据所蕴含的结构信息，改善宽度学习模型性能，达到提升软测量模型泛化能力和可靠性之目的。

Description

一种融合注意力机制和自适应构图的宽度学习半监督软测量 建模方法
技术领域
本发明属于工业过程检测技术领域，涉及工业过程软测量技术，具体地说，涉及了一种融合注意力机制和自适应构图的宽度学习半监督软测量建模方法。
背景技术
现代工业生产过程正朝着数字化和智能化方向快速发展，与此同时，对产品质量控制的追求也越来越高。为此，实际生产装置通常配备了大量工业传感器，用于实时测量反映过程运行状态的操作参数，为实现产品质量闭环优化控制提供必需的反馈信息。然而，工业过程中总存在一些与产品质量密切相关但又难以实现直接测量的重要参数，如产品浓度、组分和各物性参数等。这些关键的质量相关参数目前只能依靠离线采样后送实验室化验分析得到，具有测量周期长、反馈滞后大和人力物力成本高等问题。因此，过程工况发生变化时，操作人员由于无法及时掌握过程的真实运行状态，很难给出正确的调整对策，致使生产效率降低甚至危及操作安全。软测量技术正是在这样的背景下发展起来的，其通过建立容易测量的过程变量(又称为辅助变量)与难以直接测量的质量相关变量(又称为主导变量)之间的数学模型，实现对关键质量相关参数的间接估计。与实验室化验分析或在线成分仪表相比，具有应用和维护成本低、响应及时等显著优点，因此在炼油、化工、冶金和制药等众多工业领域有着广泛应用。
软测量技术的关键在于建立能够准确描述出辅助变量与主导变量之间潜在函数关系的数学模型。若对生产过程有深刻认识且具备丰富相关领域知识，则可以采用机理建模方法建立软测量模型。然而，现代工业过程的复杂性和不确定性大大限制了机理建模方法的应用范围。因此，基于数据驱动的回归建模方法，由于其不依赖具体领域专业知识，普适性和灵活性更具优势，近几十年来在软测量领域得到了广泛应用。其中代表性技术有主元回归、偏最小二乘、人工神经网络和支持向量机等。特别地，随着大数据时代的到来，基于深度学习的人工神经网络算法，诸如卷积神经网络、循环神经网络和自编码器等，近年来已成为软测量建模领域的研究热点并取得了令人瞩目的一系列成果。
基于数据驱动的软测量建模方法的性能在很大程度上取决于训练数据的数量和质量。具体地说，为获得泛化能力强的软测量模型，需要利用大量覆盖过程主要操作工况的输入-输出数据集进行训练。特别地，对于人工神经网络等结构复杂和可调参数众多的机器学习模型而言更是如此。然而，对于实际软测量建模问题，主导变量(对应着软测量模型的输出变量)的采样速率一般远低于辅助变量(对应着软测量模型的输入变量)的采样频率。这导致实际收集到的训练数据只有一小部分同时具有输入和输出值，而绝大部分数据只有输入值，对应的输出值是缺失的。在机器学习领域，那些输入端和输出端同时有值的数据称为标签数据，而那些只有输入端有值的数据称为无标签数据。目前，基于数据驱动的软测量建模方法多采用监督学习方式，即仅使用标签数据建模而忽视了无标签数据的作用，在标签样本稀缺的情况下，很容易出现模型过拟合现象，模型的泛化能力和可靠性均得不到保证，不能满足实际应用的需要。实际上，无标签数据蕴含了丰富的数据结构信息，一系列研究表明，合理利用无标签数据所蕴含的信息能够显著提升回归模型的性能。因此，采用半监督学习方式，即同时利用少量的标签数据和大量的无标签数据，建立软测量数学模型受到越来越多的重视。
但在一些主流的深度学习网络中，即使网络模型的结构已经十分稳定，在网络训练过程中，耗时仍然是一个十分显著的缺陷，主要由于深度学习的网络结构十分复杂，且运用了很多超参数，这样进一步分析网络结构变得更加困难。Pao提出了随机向量函数链神经网络，可以在一定程度上有效解决模型训练时间长的问题，基于前者，Chen等(2018)提出了宽度学习模型，不仅大大缩短了模型训练所需时间，而且在数据特征提取时，用映射特征的方式来作为输入，在海量新数据加入后可以更高效的更新模型。为了提高宽度学习的泛化性能，Feng等(2018)提出了模糊宽度系统；针对特定数据集样本量少、标记难的问题，Kong等(2019)提出了无监督宽度学习用于高光谱图像聚类，采用稀疏编码器对随机权重进行微调，以图正则化项和输出权重的l2范数为代价函数优化求解连接权重；基于流行正则化(Manifold Regularization,MR)框架，Zhao等(2020)提出了半监督宽度学习，进一步丰富了宽度学习理论体系。研究表明，基于MR的半监督学习框架能够同时利用标签数据所提供的监督/辨别信息和无标签数据所蕴含的结构信息来提升模型的泛化能力和可靠性，具有简洁的描述形式和扎实的理论基础，因此在软测量建模领域得到了许多成功应用。
值得注意的是，基于MR的半监督学习方法取得性能改善的一个重要前提是，所构建的近邻图能够实现对数据潜在局部流行结构准确逼近。考虑到数据流行结构是预先未知且问题相关的，人们提出了许多构建近邻图的方法，如k近邻法、局部线性表示、稀疏自表示和低秩自表示等，并在多个不同的研究领域内获得了成功应用。然而，现有方法大多是在数据原始高维输入空间内采用无监督学习方式离线构建近邻图。这可能造成下述两个问题：(1)实际建模数据中不可避免地存在着冗余辅助变量和噪声，构图过程中，这些冗余信息可能严重影响数据间相似度的计算，使得所构建的近邻图内各节点出现错误连接。(2)现有方法普遍采用离线构图的方式，构图与后续回归建模学习是作为两个独立的学习任务单独完成，忽略了构图与回归学习之间的内在联系，因此构图时无法有效利用标签样本所提供的监督信息，造成所构建的近邻图与后续回归建模任务不适配的问题。
综上所述，采用现有基于MR的半监督学习方法解决实际软测量建模问题时容易出现模型泛化能力弱和可靠性差等突出问题。这主要是因为，现有方法忽视了构图和回归建模学习之间的必然内在联系，使得所建图的结构和参数不能准确地描述出数据潜在的结构信息，无法达到利用无标签样本提高模型性能之目的。
发明内容
本发明针对现有基于流行正则化的半监督软测量建模技术存在着的构图和回归建模脱节这一关键问题，提供一种融合注意力机制和自适应构图的宽度学习半监督软测量建模方法，将注意力机制、自适应构图和宽度学习建模紧密联系起来，并形成一个统一的优化学习框架联合求解。具体地说，本发明综合利用数据输入空间和预测输出空间的加权欧式距离信息自适应构建近邻图实现对数据潜在结构信息的准确逼近；同时，考虑到不同辅助变量对主导变量的准确估计具有不同的贡献度，通过引入注意力机制对变量进行加权，即对重要的信息增加一定比例的权重，对于无法提升模型性能的一些信息则选择降低权重；最后，将注意力机制、自适应构图和宽度学习建模整合在一个统一优化框架内，并采用交替迭代求解达到建模学习的整体最优。因此，本发明提供的半监督学习框架能够充分利用标签数据所包含的监督信息，辅助以无标签数据所蕴含的结构信息，达到改善软测量模型泛化能力和可靠性之目的。
为了达到上述目的，本发明提供了一种融合注意力机制和自适应构图的宽度学习半监督软测量建模方法，含有以下步骤：
(一)离线建模阶段：收集主导变量化验分析值yi及与其对应的辅助变量测量值
Figure BDA0003738828000000031
其中i＝1,2,…,nl，nl为所收集主导变量值的个数，d为辅助变量的维数；额外收集nu个辅助变量测量值
Figure BDA0003738828000000032
定义n＝nl+nu为所收集辅助变量值的个数；将所收集的辅助变量值按行排序得到辅助变量数据矩阵
Figure BDA0003738828000000033
上标T表示矩阵转置运算，相应地，将所收集的主导变量值按行排序得到主导变量数据行向量
Figure BDA0003738828000000034
进一步地，定义nu行全0行向量
Figure BDA0003738828000000035
将yl和yu合并为行向量
Figure BDA0003738828000000036
利用X0的均值mean(X0)和均方差std(X0)对X0进行标准化处理得
Figure BDA0003738828000000037
利用y0的均值mean(y0)和均方差std(y0)对y0进行标准化处理得
Figure BDA0003738828000000038
得到宽度学习的离线训练数据X,y；
(二)指定宽度学习每组特征节点个数nc、增强节点个数为ns、正则化参数β,λ,μ,θ和最大迭代次数max_iterate，初始化变量加权矩阵
Figure BDA0003738828000000041
计算每个样本间的距离并选择出与第i个样本xi最近的k个样本构造初始拉普拉斯矩阵
Figure BDA0003738828000000042
(三)随机生成N组宽度学习输入层和特征层之间的权值矩阵
Figure BDA0003738828000000043
和偏置项矩阵
Figure BDA0003738828000000044
利用线性映射计算特征层输出
Figure BDA0003738828000000045
随机生成M组特征层和增强层之间权值矩阵
Figure BDA0003738828000000046
和偏置项矩阵
Figure BDA0003738828000000047
并利用非线性激活函数计算增强层输出
Figure BDA0003738828000000048
进而得到输出增广数据矩阵
Figure BDA0003738828000000049
(四)更新隐层和输出层之间的权重
Figure BDA00037388280000000410
偏置b和模型预测标签值
Figure BDA00037388280000000411
(五)利用相似矩阵
Figure BDA00037388280000000412
更新变量加权矩阵
Figure BDA00037388280000000413
(六)更新相似矩阵
Figure BDA00037388280000000414
(七)重复步骤(四)(五)(六)直到达到最大迭代次数max_iterate；
(八)在线测试阶段：采集测试数据Xnew，利用训练数据X0的均值mean(X0)和均方差std(X0)对测试数据Xnew进行标准化处理，得到标准化后的测试数据
Figure BDA00037388280000000415
对宽度学习预测结果
Figure BDA00037388280000000416
进行反标准化，得到Xnew对应的估计值
Figure BDA00037388280000000417
进一步的，所述步骤(一)中，首先利用训练数据
Figure BDA00037388280000000418
的均值mean(X0)和均方差std(X0)通过公式(1)对训练数据X0进行标准化处理，公式(1)的表达式为：
Figure BDA00037388280000000419
公式中，mean(·)表示计算矩阵各列的均值，std(·)表示计算矩阵各列的均方差，得到标准化后的训练数据
Figure BDA00037388280000000420
对
Figure BDA00037388280000000421
也需要类似标准化过程如公式(2):
Figure BDA00037388280000000422
进一步的，所述步骤(二)中，针对初始化变量加权矩阵
Figure BDA00037388280000000423
计算每个样本间的距离并选择出与第i个样本xi最近的k个样本构造初始拉普拉斯矩阵
Figure BDA00037388280000000424
的具体步骤为；
首先，通过公式(3)初始化变量加权矩阵M,公式(3)表示为：
Figure BDA00037388280000000425
其中，M为对角线上的元素均为
Figure BDA00037388280000000426
其余元素为0的对角矩阵，
Figure BDA00037388280000000427
其次，通过公式(4)-公式(7)计算初始拉普拉斯矩阵L，其过程为：
Figure BDA0003738828000000051
Figure BDA0003738828000000052
Figure BDA0003738828000000053
Figure BDA0003738828000000054
公式中，
Figure BDA0003738828000000055
Dii为对角阵D对角线上的第i个元素，Sij为相似矩阵S的第i行第j列元素，L为与数据集X对应的拉普拉斯矩阵，然后根据公式(8)-公式(11)求解公式(4)：
Figure BDA0003738828000000056
Figure BDA0003738828000000057
通过定义两个拉格朗日乘数将公式(9)写成拉格朗日公式(10)。对公式(10)关于si求偏导并令其为0，可得到
Figure BDA0003738828000000058
根据KTT条件，得到最优解如公式(11)所示，
Figure BDA0003738828000000059
Figure BDA00037388280000000510
其中
Figure BDA00037388280000000511
其中(·)+表示括号内的值大于0时取本身，小于或等于0时取0，利用公式(12)得到只有k个非零元素的稀疏表示的si，
Figure BDA00037388280000000512
将公式(12)进一步化简为公式(13)为：
Figure BDA00037388280000000513
因为γ跟k有关，k为整数且0≤k≤n，参数γ可以表示为公式(14)：
Figure BDA00037388280000000514
将η和γ代入公式(11)得：
Figure BDA0003738828000000061
进一步的，所述步骤(三)中，随机生成N组宽度学习输入层和特征层之间的权值矩阵
Figure BDA0003738828000000062
和偏置项矩阵
Figure BDA0003738828000000063
利用线性映射计算特征层输出
Figure BDA0003738828000000064
随机生成M组特征层和增强层间的权值矩阵
Figure BDA0003738828000000065
和偏置项矩阵
Figure BDA0003738828000000066
并利用非线性激活函数计算增强层输出
Figure BDA0003738828000000067
进而得到输出增广数据矩阵
Figure BDA0003738828000000068
的具体步骤为：
首先，在(-1，1)范围内，随机生成宽度学习输入层和特征层之间的权值矩阵Wei和偏置项矩阵Bei，通过线性映射得到特征层Z；
Zi＝φi(XWei+Bei),i＝1,2,…,N (16)
公式中，
Figure BDA0003738828000000069
表示第i组映射特征，nc表示每组特征节点个数，φi(·)表示线性映射；每组映射包含nc个特征节点，从而N组映射共包含Nnc个特征节点，通过N组映射可以相互抵消部分权重和偏置随机生成的过程中带来的误差，从而提高模型的精度，全部特征节点输出Z记为公式(17):
Figure BDA00037388280000000610
然后，利用非线性函数以及数据Z计算宽度学习增强层输出矩阵H如公式(18)-公式(19)所示：
Figure BDA00037388280000000611
Figure BDA00037388280000000612
公式中，
Figure BDA00037388280000000613
表示第j组映射特征，Whj，Bhj表示其权重和偏置，ns表示每组增强节点的个数，
Figure BDA00037388280000000614
表示非线性激活函数；
最后，将特征层输出Z和增强层输出矩阵H按行进行合并得增广数据矩阵A如公式(20)所示；
A＝[Z1,Z2,…,ZN,H1,H2,…,HM] (20)
公式中，q＝Nnc+Mns；
进一步的，所述步骤(四)中，更新隐层和输出层之间的权重
Figure BDA00037388280000000615
偏置b和模型预测标签值
Figure BDA00037388280000000616
首先，将宽度学习、变量加权和自适应局部构图有机融合到一个统一的优化目标函数中，最小化目标函数如公式(21)所示：
Figure BDA0003738828000000071
Figure BDA0003738828000000072
其中Tr(·)表示矩阵求迹运算，
Figure BDA0003738828000000073
表示l2范数的平方，1表示所有元素都为1的列向量，对角矩阵
Figure BDA0003738828000000074
即给前nl个标签值赋予一定的权值β，λ,μ,β,θ为给定的正则化参数，且
Figure BDA0003738828000000075
w,b,f分别为隐层和输出层之间的权重，偏置和模型预测标签值；
然后，固定相似矩阵
Figure BDA0003738828000000076
变量加权矩阵
Figure BDA0003738828000000077
得到关于w、b和f的优化问题描述如公式(22)所示，从而可以得到w，b的解析表达式如公式(23)所示：
Figure BDA0003738828000000078
Figure BDA0003738828000000079
公式(23)中，D＝λ(λATHCA+Iq×q)-1ATHC，其中，
Figure BDA00037388280000000710
I表示单位矩阵，1表示所有元素都为1的列向量，将公式(23)带入公式(22)中的目标函数Aw+1n×1b得到公式(24)：
Figure BDA00037388280000000711
其中，
Figure BDA00037388280000000712
最后，根据公式(23)和公式(24),可以将公式(22)中的优化问题转化为公式(25)：
Figure BDA00037388280000000713
对f求偏导并令其为0，可以得到f的解析表达式如公式(26)所示，
f＝(U+L+μλHC-μλ2N)-1Uy (26)
其中
Figure BDA00037388280000000714
XC＝AHC；
进一步的，所述步骤(五)中，利用相似矩阵
Figure BDA00037388280000000717
更新变量加权矩阵
Figure BDA00037388280000000716
的具体步骤为公式(27)-公式(28)：
首先，固定输出
Figure BDA0003738828000000081
相似矩阵S,目标函数由公式(21)简化为公式(27)：
Figure BDA0003738828000000082
然后，求解公式(27)，可以得变量加权矩阵M的更新公式(28)：
Figure BDA0003738828000000083
其中，ti＝zii,Zn＝XTLX,zii为矩阵Zn第i个主对角线上的元素；
进一步的，所述步骤(六)中，更新相似矩阵
Figure BDA0003738828000000084
的步骤为公式(25)-公式(27)：
首先，固定输出
Figure BDA0003738828000000085
变量加权矩阵
Figure BDA0003738828000000086
目标函数由公式(21)简化为公式(29)：
Figure BDA0003738828000000087
然后，公式(29)可以进一步化简为求解如公式(30)所示优化问题：
Figure BDA0003738828000000088
最后，同样根据步骤(二)中的原理得到相似矩阵S的更新公式(31)，
Figure BDA0003738828000000089
公式(31)中，
Figure BDA00037388280000000810
进一步的，所述步骤(七)中，重复步骤(四)(五)(六)直到达到最大迭代次数max_iterate，并输出模型参数
Figure BDA00037388280000000811
b。
进一步的，所述步骤(八)中，在线测试阶段的具体步骤为：
首先，对于采集到的nt个测试数据
Figure BDA00037388280000000812
利用训练数据
Figure BDA00037388280000000813
的均值mean(X0)和均方差std(X0)通过公式(32)对测试数据Xnew进行标准化处理，公式(32)表示为：
Figure BDA00037388280000000814
然后，根据标准化后的测试数据
Figure BDA0003738828000000091
通过公式(33)-公式(35)计算测试数据的输出值
Figure BDA0003738828000000092
公式(33)、公式(34)、公式(35)分别表示为:
Zti＝φi(XtestWei+Bei),i＝1,2,…,N (33)
Figure BDA0003738828000000093
Figure BDA0003738828000000094
其中，将特征层输出Zt和增强层输出数据Ht按行进行合并得增广数据矩阵
Figure BDA0003738828000000095
最后对预测结果ytest进行反标准化，得到Xnew对应的估计值
Figure BDA0003738828000000096
如公式(36)所示：
ynew＝ytest×std(y0)+mean(y0) (36)
与现有技术相比，本发明的优点和积极效果在于：
本发明提供的融合注意力机制和自适应构图的宽度学习半监督软测量建模方法，将注意力机制、自适应构图和宽度学习建模紧密联系起来，并形成一个统一的优化学习框架联合求解。具体地，一方面，本发明综合利用数据输入空间和预测输出空间的加权欧式距离信息自适应构建近邻图实现对数据潜在结构信息的准确逼近。另一方面，考虑到不同辅助变量对主导变量的准确估计具有不同的贡献度，通过融入注意力机制对变量进行加权，即对重要的信息增加一定比例的权重，对于无法提升模型性能的一些信息则选择降低权重，通过模型的不断学习，不断的调整权重，减少冗余变量和噪声对构图和回归建模的不良影响。相比现有其他算法，本发明将注意力机制、自适应构图和宽度学习建模整合在一个统一优化框架内，并采用交替迭代求解达到建模学习的整体最优。本方法可以充分利用标签数据所包含的监督信息，辅助以无标签数据所蕴含的结构信息，达到改善软测量模型泛化能力和可靠性之目的。
附图说明
图1为本发明所述融合注意力机制和自适应构图的宽度学习半监督软测量建模方法(简称：AA-SS-BLS)的流程图；
图2为本发明实施例所述脱丁烷塔过程原理图；
图3为自适应局部构图半监督宽度学习模型(简称：A-SS-BLS)测试集的预测效果图；
图4为本发明所述方法测试集的预测效果图；
图5为基础的半监督宽度学习模型(简称：SS-BLS)测试集误差分布直方图；
图6为本发明所述方法测试集误差分布直方图；
图7为基础的半监督宽度学习模型的测试集真实值和预测值之间的散点图；
图8为本发明所述方法的测试集真实值和预测值之间的散点图；
图9为三种模型在最优参数下的测试集决定系数的箱状图；
图10为在自适应局部构图半监督宽度学习模型下不同迭代次数下对脱丁烷塔训练集和测试集的决定系数的影响图；
图11为在本发明所述方法下不同迭代次数下对脱丁烷塔训练集和测试集的决定系数的影响图；
具体实施方式
下面，通过示例性的实施方式对本发明进行具体描述。然而应当理解，在没有进一步叙述的情况下，一个实施方式中的元件、结构和特征也可以有益地结合到其他实施方式中。
参见图1，本发明揭示了一种融合注意力机制和自适应构图的宽度学习半监督软测量建模方法，含有以下步骤：
(一)离线建模阶段：收集主导变量化验分析值yi及与其对应的辅助变量测量值
Figure BDA0003738828000000101
其中i＝1,2,…,nl，nl为所收集主导变量值的个数，d为辅助变量的维数；额外收集nu个辅助变量测量值
Figure BDA0003738828000000102
定义n＝nl+nu为所收集辅助变量值的个数；将所收集的辅助变量值按行排序得到辅助变量数据矩阵
Figure BDA0003738828000000103
上标T表示矩阵转置运算，相应地，将所收集的主导变量值按行排序得到主导变量数据行向量
Figure BDA0003738828000000104
进一步地，定义nu行全0行向量
Figure BDA0003738828000000105
将yl和yu合并为行向量
Figure BDA0003738828000000106
利用X0的均值mean(X0)和均方差std(X0)对X0进行标准化处理得
Figure BDA0003738828000000107
利用y0的均值mean(y0)和均方差std(y0)对y0进行标准化处理得
Figure BDA0003738828000000108
得到宽度学习的离线训练数据X,y，具体步骤为：
利用训练数据
Figure BDA0003738828000000109
的均值mean(X0)和均方差std(X0)通过公式(1)对训练数据X0进行标准化处理，公式(1)的表达式为：
Figure BDA00037388280000001010
式(1)中，mean(·)表示计算矩阵各列的均值，std(·)表示计算矩阵各列的均方差，得到标准化后的训练数据
Figure BDA00037388280000001011
对
Figure BDA00037388280000001012
也需要类似标准化过程如公式(2):
Figure BDA0003738828000000111
(二)指定宽度学习每组特征节点个数nc、增强节点个数为ns、正则化参数β,λ,μ,θ和最大迭代次数max_iterate，初始化变量加权矩阵
Figure BDA0003738828000000112
计算每个样本间的距离并选择出与第i个样本xi最近的k个样本构造初始拉普拉斯矩阵
Figure BDA0003738828000000113
其具体过程为：
首先，通过公式(3)初始化变量加权矩阵M,公式(3)表示为：
Figure BDA0003738828000000114
其中，M为对角线上的元素均为
Figure BDA0003738828000000115
其余元素为0的对角矩阵，
Figure BDA0003738828000000116
其次，通过公式(4)-公式(7)计算初始拉普拉斯矩阵L，其过程为：
Figure BDA0003738828000000117
Figure BDA0003738828000000118
Figure BDA0003738828000000119
Figure BDA00037388280000001110
公式中，
Figure BDA00037388280000001111
Dii为对角阵D对角线上的第i个元素，Sij为相似矩阵S的第i行第j列元素，L为与数据集X对应的拉普拉斯矩阵，然后根据公式(8)-公式(11)求解公式(4)：
Figure BDA00037388280000001112
Figure BDA00037388280000001113
通过定义两个拉格朗日乘数将公式(9)写成拉格朗日公式(10)。对公式(10)关于si求偏导并令其为0，可得到
Figure BDA00037388280000001114
根据KTT条件，得到最优解如公式(11)所示，
Figure BDA00037388280000001115
Figure BDA00037388280000001116
其中
Figure BDA00037388280000001117
其中(·)+表示括号内的值大于0时取本身，小于或等于0时取0，利用公式(12)得到只有k个非零元素的稀疏表示的si，
Figure BDA0003738828000000121
将公式(12)进一步化简为公式(13)为：
Figure BDA0003738828000000122
因为γ跟k有关，k为整数且0≤k≤n，参数γ可以表示为公式(14)：
Figure BDA0003738828000000123
将η和γ代入公式(11)得：
Figure BDA0003738828000000124
(三)随机生成随机生成N组宽度学习输入层和特征层之间的权值矩阵
Figure BDA0003738828000000125
和偏置项矩阵
Figure BDA0003738828000000126
利用线性映射计算特征层输出
Figure BDA0003738828000000127
随机生成M组特征层和增强层间的权值矩阵
Figure BDA0003738828000000128
和偏置项矩阵
Figure BDA0003738828000000129
并利用非线性激活函数计算增强层输出
Figure BDA00037388280000001210
进而得到输出增广数据矩阵
Figure BDA00037388280000001211
的具体步骤为：
首先，在(-1，1)范围内，随机生成宽度学习输入层和特征层之间的权值矩阵Wei和偏置项矩阵Bei，通过线性映射得到特征层Z；
Zi＝φi(XWei+Bei),i＝1,2,…,N (16)
公式中，
Figure BDA00037388280000001212
表示第i组映射特征，nc表示每组特征节点个数，φi(·)表示线性映射；每组映射包含nc个特征节点，从而N组映射共包含Nnc个特征节点，通过N组映射可以相互抵消部分权重和偏置随机生成的过程中带来的误差，从而提高模型的精度，全部特征节点输出Z记为公式(17):
Figure BDA00037388280000001213
然后，利用非线性函数以及数据Z计算宽度学习增强层输出矩阵H如公式(18)-公式(19)所示：
Figure BDA00037388280000001214
Figure BDA0003738828000000131
公式中，
Figure BDA0003738828000000132
表示第j组映射特征，Whj，Bhj表示其权重和偏置，ns表示每组增强节点的个数，
Figure BDA0003738828000000133
表示非线性激活函数；
最后，将特征层输出Z和增强层输出矩阵H按行进行合并得增广数据矩阵
Figure BDA0003738828000000134
如公式(20)所示；
A＝[Z1,Z2,…,ZN,H1,H2,…,HM] (20)
公式中，q＝Nnc+Mns；
(四)更新隐层和输出层之间的权重
Figure BDA0003738828000000135
偏置b和模型预测标签值
Figure BDA0003738828000000136
其具体过程为：
首先，将宽度学习、注意力机制和自适应局部构图有机融合到一个统一的优化目标函数中，最小化目标函数如公式(21)所示：
Figure BDA0003738828000000137
Figure BDA0003738828000000138
其中Tr(·)表示矩阵求迹运算，
Figure BDA0003738828000000139
表示l2范数的平方，1表示所有元素都为1的列向量，对角矩阵
Figure BDA00037388280000001310
即给前nl个标签值赋予一定的权值β，λ,μ,β,θ为给定的正则化参数，且
Figure BDA00037388280000001311
w,b,f分别为隐层和输出层之间的权重，偏置和模型预测标签值；
然后，固定相似矩阵
Figure BDA00037388280000001312
变量加权矩阵
Figure BDA00037388280000001313
得到关于w、b和f的优化问题描述如公式(22)所示，从而可以得到w，b的解析表达式如公式(23)所示：
Figure BDA00037388280000001314
Figure BDA00037388280000001315
公式(23)中，D＝λ(λATHCA+Iq×q)-1ATHC，
Figure BDA00037388280000001316
I表示单位矩阵，1表示所有元素都为1的列向量，将公式(23)带入公式(22)中的目标函数Aw+1n×1b得到公式(24)：
Figure BDA0003738828000000141
其中，
Figure BDA0003738828000000142
最后，根据公式(23)和公式(24),可以将公式(22)中的优化问题转化为公式(25)：
Figure BDA0003738828000000143
对f求偏导并令其为0，可以得到f的解析表达式如公式(26)所示，
f＝(U+L+μλHC-μλ2N)-1Uy (26)
其中
Figure BDA0003738828000000144
XC＝AHC；
(五)利用相似矩阵
Figure BDA00037388280000001416
更新变量加权矩阵
Figure BDA0003738828000000146
其具体过程为：
首先，固定输出
Figure BDA0003738828000000147
相似矩阵S,目标函数由公式(21)简化为公式(27)：
Figure BDA0003738828000000148
然后，求解公式(27)，可以得变量加权矩阵M的更新公式(28)：
Figure BDA0003738828000000149
其中，ti＝zii,Zn＝XTLX,zii为矩阵Zn第i个主对角线上的元素；
(六)更新相似矩阵
Figure BDA00037388280000001410
其具体过程为：
首先，固定输出
Figure BDA00037388280000001411
变量加权矩阵
Figure BDA00037388280000001412
目标函数由公式(21)简化为公式(29)：
Figure BDA00037388280000001413
然后，公式(29)可以进一步化简为求解如公式(30)所示优化问题：
Figure BDA00037388280000001414
最后，同样根据步骤(二)中的原理得到相似矩阵S的更新公式(31)，
Figure BDA00037388280000001415
公式(31)中，
Figure BDA0003738828000000151
(七)重复步骤(四)(五)(六)直到达到最大迭代次数max_iterate，其具体过程为：
重复步骤(四)(五)(六)直到达到最大迭代次数max_iterate，并输出模型参数
Figure BDA0003738828000000152
b。
(八)在线测试阶段：对于采集到的nt个测试数据
Figure BDA0003738828000000153
首先，利用训练数据
Figure BDA0003738828000000154
的均值mean(X0)和均方差std(X0)通过公式(32)对测试数据Xnew进行标准化处理，公式(32)表示为：
Figure BDA0003738828000000155
然后，根据标准化后的测试数据
Figure BDA0003738828000000156
通过公式(33)-公式(35)计算测试数据的输出值
Figure BDA0003738828000000157
公式(33)、公式(34)、公式(35)分别表示为:
Zti＝φi(XtestWei+Bei),i＝1,2,…,N (33)
Figure BDA0003738828000000158
Figure BDA0003738828000000159
其中，将特征层输出Zt和增强层输出数据Ht按行进行合并得增广数据矩阵
Figure BDA00037388280000001510
最后对预测结果ytest进行反标准化，得到Xnew对应的估计值
Figure BDA00037388280000001511
如公式(36)所示：
ynew＝ytest×std(y0)+mean(y0) (36)
本发明实施例上述方法，该模型将注意力机制、自适应构图和宽度学习建模整合在一个统一学习框架内，并采用交替迭代优化求解获得建模学习的整体最优解。该方法综合利用数据输入空间和预测输出空间的加权欧式距离信息自适应构建近邻图实现对数据潜在结构信息的准确逼近，而融合注意力机制和自适应局部构图的宽度学习在自适应局部构图的宽度学习的基础上进行输入样本的变量加权学习，通过加入注意力机制对不同的辅助变量赋予不同的权重，以减少冗余变量和噪声对构图和回归学习的不良影响。本方法通过利用标签数据所包含的监督信息，辅助以无标签数据所蕴含的结构信息，改善了宽度学习模型性能。
为了说明本发明上述融合注意力机制和自适应构图的宽度学习软测量建模方法的效果，以下结合具体实施例对本发明做出进一步说明。
实施例：以脱丁烷塔的过程数据为例进行说明。
脱丁烷塔精馏塔是脱硫和石脑油分离器装置的一部分，其主要任务是最大限度地提高脱丁烷塔塔顶(液化石油气分离器进料)中的C5(稳定汽油)含量，并且尽量减少脱丁烷塔底部(Naptha分离器进料)中的C4(丁烷)含量。其框图如图2所示。除精馏塔(T102)外，脱丁烷塔还包含了换热器(E105B)、塔顶冷凝器(E107AB)、底部再沸器(E108AB)、塔顶回流泵(P102AB)以及LPG分离器的给水泵(P103AB)等设备。脱丁烷塔塔顶中的C5含量由位于900号装置液化石油气分馏塔底部的分析仪间接测量。该装置的测量周期为10分钟。另外，测量装置的位置会导致延迟，该延迟不为人所知，但为常数，可能在20-60分钟范围内。同样，脱丁烷塔底中的C4含量也无法在塔底直接检测得到，而是通过在塔顶安装气相色谱仪进行检测。该设备的测量周期一般为15分钟，同样由于分析仪器的安装位置，获得浓度值时会有一个很大的延迟，这个延迟不是众所周知的，但是恒定的，并且可能在30–75分钟的范围内。因此，为实现对丁烷浓度的实时测量，提高脱丁烷塔的控制质量，有必要建立软测量模型来实时估计底部丁烷浓度。另外，考虑到实际生产过程中质量变量的采样效率低、时延大的问题，假设所有的历史样本中仅有五分之一的样本具有标签(既包含输入数据，也包含输出数据)，其他历史样本均为无标签样本(仅包含输入数据)。
接下来结合脱丁烷塔生产过程对本发明的具体步骤进行阐述：
1、离线建模阶段：将已采集到的数据作为训练数据集，并且进行预处理。
首先，对所有样本进行预处理，删除其中的异常样本；然后，考虑到过程的动态特性，对所有样本进行维度扩展，扩展后的样本特征个数为30；最后，进行标准化处理得到最终训练离线训练数据
Figure BDA0003738828000000161
将所收集的质量变量值按行排序得到质量变量数据行向量
Figure BDA0003738828000000162
进一步地，定义1440行全0行向量
Figure BDA0003738828000000163
将yl和yu合并为行向量
Figure BDA0003738828000000164
利用y0的均值mean(y0)和均方差std(y0)对y0进行标准化处理得
Figure BDA0003738828000000165
得到宽度学习的离线训练数据X,y；
2、根据训练数据集构造初始拉普拉斯矩阵。
指定宽度学习每组130个特征节点、5个增强节点，正则化参数β,λ,μ,θ分别为10-1，10-1，10-3，0.05和最大迭代次数15，初始化变量加权矩阵
Figure BDA0003738828000000166
计算每个样本间的距离并选择出与第i个样本xi最近的3个样本构造初始拉普拉斯矩阵
Figure BDA0003738828000000167
3、计算特征层和增强层输出，进而得到输出
Figure BDA0003738828000000168
4、更新模型参数
Figure BDA0003738828000000169
变量加权矩阵
Figure BDA00037388280000001610
相似矩阵
Figure BDA00037388280000001611
5、重复步骤4直到达到最大迭代次数15；
6、在线测试阶段：采集测试数据
Figure BDA00037388280000001612
测试集所采集主导变量值的个数为400，利用训练数据X0的均值mean(X0)和均方差std(X0)对测试数据Xnew进行标准化处理，得到标准化后的测试数据
Figure BDA0003738828000000171
对宽度学习预测结果
Figure BDA0003738828000000172
进行反标准化，得到Xnew对应的估计值
Figure BDA0003738828000000173
采用均方根误差(RMSE)，决定系数(R2)，平均绝对误差(MAE)三种评价指标来综合评价软测量模型的预测性能，三种评价指标的表达式如公式(37)-公式(39)所示：
Figure BDA0003738828000000174
Figure BDA0003738828000000175
Figure BDA0003738828000000176
公式中，yi和
Figure BDA0003738828000000177
分别为第i个样本目标变量的真实值和预测值，
Figure BDA0003738828000000178
为所有样本目标变量的平均值。决定系数R2能够衡量预测结果的可靠性，其计算结果越接近于1，软测量模型的预测效果越好。采用RMSE和MAE计算软测量模型的预测误差，误差值越小，软测量模型的预测精度越高。
表1给出了最优参数下传统半监督宽度学习模型(简称：SS-BLS)，自适应局部构图的宽度学习模型(简称：A-SS-BLS)和本发明融合注意力机制和自适应构图的宽度学习模型(简称：AA-SS-BLS)在10次仿真实验中对于脱丁烷塔数据的拟合情况。
表1
Figure BDA0003738828000000179
由表1可知，本发明提供的方法总体上取得了最好的效果，测试集MAE,R2,RMSE都有一定的提升。
综合以上分析，本发明提供的融合注意力机制和自适应构图的宽度学习模型，不仅可以综合利用数据输入空间和预测输出空间的加权欧式距离信息自适应构建近邻图实现对数据潜在结构信息的准确逼近，还可以通过融合注意力机制对不同的辅助变量赋予不同的权重，从而提高了模型的泛化能力和可靠性。
图3，图4为基础的半监督宽度学习模型(简称：SS-BLS)以及本发明所述方法(简称：AA-SS-BLS)的测试集的预测效果图，图5,图6为基础的半监督宽度学习模型以及本发明所述方法测试集误差分布直方图，图7,图8为基础的半监督宽度学习模型以及本发明所述方法测试集真实值和预测值之间的散点图，图9为三种模型在最优参数下十次仿真的测试集决定系数的箱状图，自适应局部构图半监督宽度学习模型(简称：A-SS-BLS)以及本发明所述方法对脱丁烷塔数据在不同迭代次数下对训练集和测试集的决定系数的影响图如图10和图11所示，由图可知，两种模型下测试集的决定系数都呈上升趋势且在第8次迭代左右达到稳定，综上可知，本发明所述方法与传统方法相比，具有更高的预测精度，
上述实施例用来解释本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明做出的任何修改和改变，都落入本发明的保护范围。

Claims (8)

1.一种融合注意力机制和自适应构图的宽度学习半监督软测量建模方法，其特征在于，含有以下步骤：
(一)离线建模阶段：收集主导变量化验分析值yi及与其对应的辅助变量测量值
Figure FDA0003738827990000011
其中i＝1,2,…,nl，nl为所收集主导变量值的个数，d为辅助变量的维数；额外收集nu个辅助变量测量值
Figure FDA0003738827990000012
定义n＝nl+nu为所收集辅助变量值的个数；将所收集的辅助变量值按行排序得到辅助变量数据矩阵
Figure FDA0003738827990000013
上标T表示矩阵转置运算，相应地，将所收集的主导变量值按行排序得到主导变量数据行向量
Figure FDA0003738827990000014
进一步地，定义nu行全0行向量
Figure FDA0003738827990000015
将yl和yu合并为行向量
Figure FDA0003738827990000016
利用X0的均值mean(X0)和均方差std(X0)对X0进行标准化处理得
Figure FDA0003738827990000017
利用y0的均值mean(y0)和均方差std(y0)对y0进行标准化处理得
Figure FDA0003738827990000018
得到宽度学习的离线训练数据X,y；
(二)指定宽度学习每组特征节点个数nc、增强节点个数为ns、正则化参数β,λ,μ,θ和最大迭代次数max_iterate，初始化变量加权矩阵
Figure FDA0003738827990000019
计算每个样本间的距离并选择出与第i个样本xi最近的k个样本构造初始拉普拉斯矩阵
Figure FDA00037388279900000110
(三)随机生成N组宽度学习输入层和特征层之间的权值矩阵
Figure FDA00037388279900000111
和偏置项矩阵
Figure FDA00037388279900000112
利用线性映射计算特征层输出
Figure FDA00037388279900000113
随机生成M组特征层和增强层之间权值矩阵
Figure FDA00037388279900000114
和偏置项矩阵
Figure FDA00037388279900000115
并利用非线性激活函数计算增强层输出
Figure FDA00037388279900000116
进而得到输出增广数据矩阵
Figure FDA00037388279900000117
(四)更新隐层和输出层之间的权重
Figure FDA00037388279900000118
b和模型预测标签值
Figure FDA00037388279900000119
(五)利用相似矩阵更新变量加权矩阵
Figure FDA00037388279900000120
(六)更新相似矩阵
Figure FDA00037388279900000121
(七)重复步骤(四)(五)(六)直到达到最大迭代次数max_iterate，并输出模型参数w，b；
(八)在线测试阶段：采集测试数据
Figure FDA00037388279900000122
nt为测试集所采集主导变量值的个数，利用训练数据X0的均值mean(X0)和均方差std(X0)对测试数据Xnew进行标准化处理，得到标准化后的测试数据
Figure FDA00037388279900000123
对宽度学习预测结果
Figure FDA00037388279900000124
进行反标准化，得到Xnew对应的估计值
Figure 1
。
2.权利要求1所述的一种融合注意力机制和自适应构图的宽度学习半监督软测量建模方法，其特征在于，所述步骤(一)中，首先利用训练数据
Figure FDA0003738827990000021
的均值mean(X0)和均方差std(X0)通过公式(1)对训练数据X0进行标准化处理，公式(1)的表达式为：
Figure FDA0003738827990000022
式中，mean(·)表示计算矩阵各列的均值，std(·)表示计算矩阵各列的均方差，得到标准化后的训练数据
Figure FDA0003738827990000023
对
Figure FDA0003738827990000024
也需要类似标准化过程如公式(2):
Figure FDA0003738827990000025
。
3.权利要求2所述的一种融合注意力机制和自适应构图的宽度学习半监督软测量建模方法，其特征在于，所述步骤(二)中，针对初始化变量加权矩阵
Figure FDA0003738827990000026
计算每个样本间的距离并选择出与第i个样本xi最近的k个样本构造初始拉普拉斯矩阵
Figure FDA0003738827990000027
的具体步骤为；
首先，通过公式(3)初始化变量加权矩阵M,公式(3)表示为：
Figure FDA0003738827990000028
其中，M为对角线上的元素均为
Figure FDA0003738827990000029
其余元素为0的对角矩阵，
Figure FDA00037388279900000210
其次，通过公式(4)-公式(7)计算初始拉普拉斯矩阵L，其过程为：
Figure FDA00037388279900000211
Figure FDA00037388279900000212
Figure FDA00037388279900000213
Figure FDA00037388279900000214
上述公式中，
Figure FDA00037388279900000215
Dii为对角阵D对角线上的第i个元素，Sij为相似矩阵S的第i行第j列元素，L为与数据集X对应的拉普拉斯矩阵，然后根据公式(8)-公式(11)求解公式(4)：
Figure FDA0003738827990000031
Figure FDA0003738827990000032
通过定义两个拉格朗日乘数将公式(9)写成拉格朗日公式(10)。对公式(10)关于si求偏导并令其为0，可得到
Figure FDA0003738827990000033
根据KTT条件，得到最优解如公式(11)所示，
Figure FDA0003738827990000034
Figure FDA0003738827990000035
其中
Figure FDA0003738827990000036
其中(·)+表示括号内的值大于0时取本身，小于或等于0时取0，利用公式(12)得到只有k个非零元素的稀疏表示的si，
Figure FDA0003738827990000037
将公式(12)进一步化简为公式(13)为：
Figure FDA0003738827990000038
因为γ跟k有关，k为整数且0≤k≤n，参数γ可以表示为公式(14)：
Figure FDA0003738827990000039
将η和γ代入公式(11)得：
Figure FDA00037388279900000310
。
4.权利要求3所述的一种融合注意力机制和自适应构图的宽度学习半监督软测量建模方法，其特征在于，所述步骤(三)中，随机生成N组宽度学习输入层和特征层之间的权值矩阵
Figure FDA00037388279900000311
和偏置项矩阵
Figure FDA00037388279900000312
利用线性映射计算特征层输出
Figure FDA00037388279900000313
随机生成M组特征层和增强层间的权值矩阵
Figure FDA00037388279900000314
和偏置项矩阵
Figure FDA00037388279900000315
并利用非线性激活函数计算增强层输出
Figure FDA0003738827990000041
进而得到输出增广数据矩阵
Figure FDA0003738827990000042
的具体步骤为：
首先，在(-1，1)范围内，随机生成N组宽度学习输入层和特征层之间的权值矩阵Wei和偏置项矩阵Bei，通过线性映射得到特征层Z；
Zi＝φi(XWei+Bei),i＝1,2,…,N (16)
公式中，
Figure FDA0003738827990000043
表示第i组映射特征，nc表示每组特征节点个数，φi(·)表示线性映射；每组映射包含nc个特征节点，从而N组映射共包含Nnc个特征节点，通过N组映射可以相互抵消部分权重和偏置随机生成的过程中带来的误差，从而提高模型的精度，全部特征节点输出Z记为公式(17):
Figure FDA0003738827990000044
然后，利用非线性激活函数以及数据Z计算宽度学习增强层输出矩阵H如公式(18)-公式(19)所示：
Figure FDA0003738827990000045
Figure FDA0003738827990000046
公式中，
Figure FDA0003738827990000047
表示第j组映射特征，Whj，Bhj表示其权重和偏置，ns表示每组增强节点的个数，
Figure FDA0003738827990000048
表示非线性激活函数；
最后，将特征层输出Z和增强层输出矩阵H按行进行合并得增广数据矩阵A如公式(20)所示；
A＝[Z1,Z2,…,ZN,H1,H2,…,HM] (20)
公式中，q＝Nnc+Mns。
5.权利要求4所述的一种融合注意力机制和自适应构图的宽度学习半监督软测量建模方法，其特征在于，所述步骤(四)中，更新隐层和输出层之间的权重
Figure FDA0003738827990000049
偏置b和模型预测标签值
Figure FDA00037388279900000410
的具体步骤为：
首先，将宽度学习、注意力机制和自适应局部构图有机融合到一个统一的优化目标函数中，最小化如公式(21)所示优化问题：
Figure FDA00037388279900000411
Figure FDA00037388279900000412
其中Tr(·)表示矩阵求迹运算，
Figure FDA0003738827990000051
表示l2范数的平方，1表示所有元素都为1的列向量，对角矩阵
Figure FDA0003738827990000052
即给前nl个标签值赋予一定的权值β，λ,μ,β,θ为给定的正则化参数，且
Figure FDA0003738827990000053
w,b,f分别为隐层和输出层之间的权重，偏置和模型预测标签值；
然后，固定相似矩阵
Figure FDA0003738827990000054
变量加权矩阵
Figure FDA0003738827990000055
得到关于w、b和f的优化问题描述如公式(22)所示，从而可以得到w，b的解析表达式如公式(23)所示：
Figure FDA0003738827990000056
Figure FDA0003738827990000057
公式(23)中，D＝λ(λATHCA+Iq×q)-1ATHC，
Figure FDA0003738827990000058
I表示单位矩阵，1表示所有元素都为1的列向量，将公式(23)带入公式(22)中的Aw+1n×1b得到公式(24)：
Figure FDA0003738827990000059
公式(24)中的
Figure FDA00037388279900000510
最后，根据公式(23)和公式(24),将优化问题公式(22)转化为公式(25)：
Figure FDA00037388279900000511
对f求偏导并令其为0，得其最优解如公式(26)所示，
f＝(U+L+μλHC-μλ2N)-1Uy (26)
其中
Figure FDA00037388279900000512
XC＝AHC。
6.权利要求5所述的一种融合注意力机制和自适应构图的宽度学习半监督软测量建模方法，其特征在于，所述步骤(五)中，利用相似矩阵
Figure FDA00037388279900000513
更新变量加权矩阵
Figure FDA00037388279900000516
的具体步骤为：
首先，固定输出
Figure FDA00037388279900000515
相似矩阵S,目标函数由公式(21)简化为公式(27)：
Figure FDA0003738827990000061
然后，求解公式(27)，可以得变量加权矩阵M的更新公式(28)：
Figure FDA0003738827990000062
其中，ti＝zii,Zn＝XTLX,zii为矩阵Zn第i个主对角线上的元素。
7.权利要求6所述的一种融合注意力机制和自适应构图的宽度学习半监督软测量建模方法，其特征在于，所述步骤(六)中，更新相似矩阵
Figure FDA0003738827990000063
的具体步骤为：
首先，固定输出
Figure FDA0003738827990000064
变量加权矩阵
Figure FDA0003738827990000065
目标函数由公式(21)简化为公式(29)：
Figure FDA0003738827990000066
然后，公式(29)可以进一步化简为求解如公式(30)所示优化问题：
Figure FDA0003738827990000067
最后，同样根据步骤(二)中的原理得到相似矩阵S的更新公式(31)，
Figure FDA0003738827990000068
公式(31)中，
Figure 2
。
8.权利要求7所述的一种融合注意力机制和自适应构图的宽度学习半监督软测量建模方法，其特征在于，所述步骤(八)中，在线测试阶段的具体步骤为：
首先，对于采集到的nt个测试数据
Figure FDA00037388279900000610
利用训练数据
Figure FDA00037388279900000611
的均值mean(X0)和均方差std(X0)通过公式(32)对测试数据Xnew进行标准化处理，公式(32)表示为：
Figure FDA00037388279900000612
然后，根据标准化后的测试数据
Figure FDA00037388279900000613
通过公式(33)-公式(35)计算测试数据的输出值
Figure FDA00037388279900000614
公式(33)、公式(34)、公式(35)分别表示为:
Zti＝φi(XtestWei+Bei),i＝1,2,…,N (33)
Figure FDA0003738827990000071
ytest＝Atw+1nt×1b (35)
其中，将特征层输出Zt和增强层输出数据Ht按行进行合并得增广数据矩阵
Figure FDA0003738827990000072
最后对预测结果ytest进行反标准化，得到Xnew对应的估计值
Figure FDA0003738827990000073
如公式(36)所示：
ynew＝ytest×std(y0)+mean(y0) (36) 。
CN202210807679.XA 2022-07-11 2022-07-11 一种融合注意力机制和自适应构图的宽度学习半监督软测量建模方法 Pending CN115186584A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210807679.XA CN115186584A (zh) 2022-07-11 2022-07-11 一种融合注意力机制和自适应构图的宽度学习半监督软测量建模方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210807679.XA CN115186584A (zh) 2022-07-11 2022-07-11 一种融合注意力机制和自适应构图的宽度学习半监督软测量建模方法

Publications (1)

Publication Number Publication Date
CN115186584A true CN115186584A (zh) 2022-10-14

Family

ID=83517198

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210807679.XA Pending CN115186584A (zh) 2022-07-11 2022-07-11 一种融合注意力机制和自适应构图的宽度学习半监督软测量建模方法

Country Status (1)

Country Link
CN (1) CN115186584A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116738866A (zh) * 2023-08-11 2023-09-12 中国石油大学(华东) 一种基于时间序列特征提取的即时学习的软测量建模方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116738866A (zh) * 2023-08-11 2023-09-12 中国石油大学(华东) 一种基于时间序列特征提取的即时学习的软测量建模方法
CN116738866B (zh) * 2023-08-11 2023-10-27 中国石油大学(华东) 一种基于时间序列特征提取的即时学习的软测量建模方法

Similar Documents

Publication Publication Date Title
CN112101480B (zh) 一种多变量聚类与融合的时间序列组合预测方法
CN114936528A (zh) 一种基于变量加权自适应局部构图的极限学习机半监督软测量建模方法
CN111047012A (zh) 基于深度双向长短期记忆网络的空气质量预测方法
CN116448419A (zh) 基于深度模型高维参数多目标高效寻优的零样本轴承故障诊断方法
CN110490496B (zh) 一种基于分步约简筛选复杂工业过程中影响产品质量的敏感变量的方法
CN106610584A (zh) 一种基于神经网络与专家系统的再制造工序质量控制方法
CN113281229B (zh) 一种基于小样本下多模型自适应大气pm2.5浓度预测方法
CN112784920A (zh) 云边端协同的旋转部件对抗域自适应故障诊断方法
CN110189800A (zh) 基于多粒度级联循环神经网络的炉氧含量软测量建模方法
CN114821155A (zh) 一种基于可变形nts-net神经网络的多标签分类方法及系统
CN115204272A (zh) 基于多采样率数据的工业系统故障诊断方法与设备
Dong et al. Quality monitoring and root cause diagnosis for industrial processes based on Lasso-SAE-CCA
CN115186584A (zh) 一种融合注意力机制和自适应构图的宽度学习半监督软测量建模方法
CN113011102A (zh) 基于多元时间序列的Attention-LSTM的青霉素发酵过程故障预测方法
CN117216525A (zh) 一种基于cnn-lka的稀疏图注意力软测量建模方法
CN110880044A (zh) 一种基于马尔科夫链的负荷预测方法
CN117709524A (zh) 一种基于贝叶斯优化的钢铁行业碳排放预测方法及系统
CN111061151B (zh) 一种基于多元卷积神经网络的分布式能源状态监测方法
CN117392450A (zh) 一种基于进化多尺度特征学习的钢铁材料质量解析方法
CN116910483A (zh) 一种基于遮蔽卷积注意力残差收缩网络的软测量建模方法
CN114970698B (zh) 一种基于改进lwpls的计量设备运行性能预测方法
CN117034139A (zh) 一种基于模型融合的化工过程故障诊断方法
CN116662925A (zh) 一种基于加权稀疏神经网络工业过程软测量方法
CN114048762B (zh) 双注意力引导的旋转机械健康评估方法
CN113985853B (zh) 一种基于数据依赖核判别分析的工业过程可视化监控方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination