CN115458078A - 一种基于多工况分布式输出过程补偿宽度迁移建模方法 - Google Patents
一种基于多工况分布式输出过程补偿宽度迁移建模方法 Download PDFInfo
- Publication number
- CN115458078A CN115458078A CN202211051978.1A CN202211051978A CN115458078A CN 115458078 A CN115458078 A CN 115458078A CN 202211051978 A CN202211051978 A CN 202211051978A CN 115458078 A CN115458078 A CN 115458078A
- Authority
- CN
- China
- Prior art keywords
- bls
- feature
- target domain
- data
- domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 230000008569 process Effects 0.000 title claims abstract description 48
- 238000013508 migration Methods 0.000 title claims abstract description 38
- 230000005012 migration Effects 0.000 title claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 30
- 238000012360 testing method Methods 0.000 claims abstract description 27
- 238000010606 normalization Methods 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 22
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000012546 transfer Methods 0.000 claims description 9
- 230000003044 adaptive effect Effects 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 6
- 230000002596 correlated effect Effects 0.000 claims description 5
- 230000000875 corresponding effect Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 210000002569 neuron Anatomy 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 3
- 238000007476 Maximum Likelihood Methods 0.000 claims description 2
- 230000006978 adaptation Effects 0.000 claims description 2
- 238000012824 chemical production Methods 0.000 claims description 2
- 230000001276 controlling effect Effects 0.000 claims 1
- 238000012216 screening Methods 0.000 claims 1
- PPBRXRYQALVLMV-UHFFFAOYSA-N Styrene Chemical compound C=CC1=CC=CC=C1 PPBRXRYQALVLMV-UHFFFAOYSA-N 0.000 abstract description 24
- 238000010526 radical polymerization reaction Methods 0.000 abstract description 13
- 230000007246 mechanism Effects 0.000 abstract description 3
- 230000005540 biological transmission Effects 0.000 abstract description 2
- 238000013526 transfer learning Methods 0.000 description 6
- UHOVQNZJYSORNB-UHFFFAOYSA-N Benzene Chemical compound C1=CC=CC=C1 UHOVQNZJYSORNB-UHFFFAOYSA-N 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 239000003999 initiator Substances 0.000 description 3
- 239000000178 monomer Substances 0.000 description 3
- 239000002904 solvent Substances 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000001311 chemical methods and process Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000006116 polymerization reaction Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- VGGSQFUCUMXWEO-UHFFFAOYSA-N Ethene Chemical compound C=C VGGSQFUCUMXWEO-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
- G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
- G16C20/70—Machine learning, data mining or chemometrics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
- G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
- G16C20/10—Analysis or design of chemical reactions, syntheses or processes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Chemical & Material Sciences (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Crystallography & Structural Chemistry (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Chemical Kinetics & Catalysis (AREA)
- Analytical Chemistry (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
一种基于多工况分布式输出过程补偿宽度迁移建模方法，所述方法包括以下步骤：(1)数据的获取：收集不同工况特性的数据，并进行归一化处理；(2)数据集的重构；(3)建模训练：建立补偿宽度迁移模型以及其他对比模型，并进行模型训练；(4)模型测试：对目标域测试工况数据进行预测。本发明针对分布式输出过程特征变量导致的标签空间差异问题，有效结合了宽度迁移学习对特征空间信息抓取能力和偏差补偿机制对源域和目标域标签空间进行的信息传递，提出了一种基于多工况分布式输出过程补偿宽度迁移建模方法，有效的处理了苯乙烯自由基聚合反应中多工况和大噪声特性，并增强了预测的鲁棒性和准确性。
Description
技术领域
本发明涉及过程工业产品质量建模领域，特别涉及一种基于多工况分布式输出过程的产品质量补偿宽度迁移建模与预测方法。
背景技术
在现代化工过程中，市场对产品多样化的需求与日俱增，大范围的产品工况条件变化时有发生，导致其生产过程具有一定的工况迁移现象，该过程称为多工况过程。多工况迁移控制从本质上来说属于动态优化问题。在数据驱动模型作为主要建模方法的大背景下，不同工况之间的数据分布特性存在较大差异，仅仅在单一稳态工况数据下建立模型无法适用于其他不同生产条件的稳态工况，导致模型的失效。其次，大多数新工况的数据量是有限的，新工况标签数据的缺乏导致数据驱动模型不能准确的建立相应的模型，严重降低了模型的泛化性能。
在化学工业过程中，随着先进仪器和数据驱动建模技术的发展，测量的系统反馈信号往往不是单一值而是系统输出随输入特征的概率密度函数PDF，这类产品的输出过程被统称为分布式输出过程。传统对于分布式输出过程的产品质量建模，大部分针对一集总值进行研究。但是，近些年来的研究表明，调整分布式输出过程的整体分布形状可以有效改进产品质量预测流程效率从而提高经济效益。
前馈神经网络FNN是目前研究最多、应用最为广泛的一种人工神经网络架构。然而，多层FNN结构网络的隐层堆叠会引申出大量待解参数问题，使得模型训练时间漫长且容易陷入局部最小值。
因此一些研究人员提出了一种不同架构的神经网络模型，即随机向量函数链接神经网络RVFLNN。有效的克服了FNN训练时间过长的缺点，同时也提供了函数逼近的泛化能力。宽度学习系统BLS是基于RVFLNN思想设计的一种随机权重网络架构。
BLS的特点在于如果需要新特征映射的增量，则可以容易地构建整个结构，并且应用增量学习，而无需从头重新训练整个网络。目前结合迁移学习，提出了基于BLS的源域自适应算法BLS-SDA和基于BLS的目标域自适应算法BLS-TDA。
迁移学习的主要目的是从一个或多个源任务中抽取知识、经验，然后应用到一个有相关性的目标领域中。针对化工过程存在两个难题：一个是多工况问题，另一个是较少数据情况下的数据驱动建模问题，提出的机器学习范式，即迁移学习方法，能够通过减少不同工况间的数据分布差异，并从相关领域中学习到的信息来帮助解决目标领域的数据量少的建模问题。
发明内容
针对分布式输出过程特征变量导致的标签空间差异问题，有效结合了宽度迁移学习对特征空间信息抓取能力和偏差补偿机制对源域和目标域标签空间进行的信息传递，提出了一种补偿宽度迁移学习方法，最终实验结果证明了所提出方法的有效性。
本发明解决其技术问题所采用的技术方案是：
当目标域工况已知少量标签数据时，分别建立传统预测模型,从源域到目标域的高斯过程回归迁移补偿模型GPR(S+T)、从源域到目标域的宽度迁移模型BLS(S+T)、基于宽度学习的源域自适应模型BLS-SDA、基于宽度学习的目标域自适应模型BLS-TDA以及基于补偿宽度迁移的源域自适应模型BLS-OSDA、基于补偿宽度迁移的目标域自适应模型BLS-OTDA，具体的多工况分布式输出过程补偿宽度迁移建模的步骤总结如下:
(1)数据的获取
首先根据化工生产过程中的实际操作条件，收集不同工况特性的数据；数据集可以分为源域工况数据集、少量目标域标签数据集以及目标域测试数据集，并进行归一化处理。
(2)数据集的重构
使用源域工况数据集、少量目标域标签数据集对源域训练工况数据集进行重构，并建立预测标签。
(3)建模训练
使用补偿宽度迁移方法对源域工况数据集、少量目标域标签数据集以及目标域测试数据集建立补偿宽度迁移模型以及其他对比模型，并进行模型训练。
(4)模型测试
对目标域测试工况数据XTu进行预测。
进一步，所述步骤(1)的过程为：
通过信息论中的互信息准则度量特征之间的相关性值，图1为基于互信息的特征选择流程图：
以a个训练数据样本，b个特征变量的数据集
为例，基于互信息的特征选择具体过程如下：
步骤1.1：使用互信息准则度量训练数据每个特征变量
j＝1,…,b与训练数据标签y，将筛选出的特征变量按相关性程度降序排列，选择一个比例阈值作为划分相对相关特征组
的依据，即b′个特征变量构成相对相关特征组。
步骤1.2：将其余特征变量作为相对独立特征组
对相对独立特征进行排列组合，构建
个相对独立特征组
步骤1.3：按互信息度量结果筛选c个相关特征和d个不相关特征
步骤1.4：c-1个不相关特征与d个相关特征随机组合构建c+1个输入变量集。
步骤1.5：将b-b′个相对独立特征组
和相对相关特征组
进行特征组合重构
i＝1,…,b-b′，与初始的特征变量组
构成总数为b-b′+1个训练输入变量集。
进一步，所述步骤(2)的过程为：
步骤2.1：将收集到的数据集分为源域工况数据集、少量目标域标签数据集以及目标域测试数据集，并进行归一化处理。
步骤2.2：使用源域工况数据集、少量目标域标签数据集对源域训练工况数据集进行重构，得到源域训练工况新标签ynew，建立基于高斯过程回归GPR的补偿迁移模型对目标域测试数据集建立预测伪标签
进一步，所述步骤(3)的过程为：
步骤3：使用补偿宽度迁移方法对源域工况数据集、少量目标域标签数据集以及目标域测试数据集建立BLS-OSDA和BLS-OTDA模型以及其他对比模型GPR(S+T)、BLS(S+T)、BLS-SDA、BLS-TDA。
以上建模步骤的结构框图2，图3所示。
所述步骤1.3中，采用的互信息准则度量每个输入特征和标签特征之间信息熵，降序排列，选取前30％的特征作为相关变量，其余为非相关变量，互信息准则公式定义如下：
其中P(x1)，P(x2)是随机变量x1，x2的边缘概率密度函数，P(x1,x2)是两者的联合概率密度函数。
如图4所示，BLS由输入层、特征层、增强层和输出层构成，中间的特征层和增强层是并列关系，这种并列结构简化了BLS的训练复杂度。
所提出的基于BLS的域自适应框架主要包含两个阶段：(1)BLS特征映射；(2)学习输出权重。
假设训练数据为{(xi,yi)|xi∈M,i＝1,…,N}，其中X,Yn代表了样本的输入和输出，Wn表示输出权重，M表示输入数据样本的维度，输出数据为单变量信息，N为样本个数，BLS的特征层包含有n组特征节点，每组特征节点包含q个特征神经元，增强层包含m组增强节点，每组增强节点包含有p个增强神经元。利用公式(2)获得输入的第i组随机特征：
其中
和
是随机的第i个特征组输入权重与节点阈值，为了减小提取错误特征的概率，利用SAE(自编码算法)对输入权重进行微调，φ(·)表示特征层的激活函数，将所有特征节点表示为Zn＝[Z1,…,Zn]，同理，增强层将一组增强节点表示为：
其中
和
是随机的第j个特征组输入权重与节点阈值，λ表示长度尺寸参数，I表示单位矩阵，ξ(·)表示增强层的激活函数，所有的增强节点表示为Hm＝[H1,…,Hm]，联合后的扩展输入为A＝[Zn|Hm]。因此BLS的网络权重最小值求解可以表示为：
优化上述目标函数，得到最终的输出权重为：
W＝(λI+ATA)-1ATY (5)
对于第一阶段BLS特征映射，使用源域和目标域的数据按照上述的BLS过程计算相应的扩展输入特征矩阵A。以源域数据XS和源域扩展输入特征矩阵AS为例，可以得到以下式子：
其中
φ(·)和
ξ(·)分别是特征节点组和特征增强节点组的输入权重、节点阈值和激活函数。对于n组特征映射组，每组p个节点和m个增强特征组，每组q个节点，可以将扩展输出特征矩阵表示为：
同理由少量目标域标签数据XTl和目标域测试数据XTu可得
对于第二阶段学习输出权重，可以由两种不同的计算方法得出，(a)BLS-SDA及(b)BLS-TDA，利用所获得的最佳权重值W*，目标域测试样本的预测可以由下式表示：
(a)BLS-SDA：
BLS-SDA主要是利用源域所有标记实例来学习分类器W，并将来自目标域的标记数据设置为适当的正则化器，表达式如公式(10)所示：
其中YS和YTl代表相应的标签矩阵，CS和CT分别表示对源域和目标域预测数据的惩罚系数。后续通过极大似然估计求解学习分类器W以及最优分类器W*，计算公式如下：
与传统的BLS方法相比，BLS-SDA利用目标域中的少量标签样本作为正则化项，在源域和目标域中传递知识，达到了信息传递。
(b)BLS-TDA：
在上述BLS-SDA方法中，分类器W是在源域上学习的，来自目标域的少量标签样本作为正则化项加入目标函数增加源域和目标域之间的信息传递，然而被忽略的未标记样本也有助于在不同领域之间传递信息知识，将此信息加入目标函数可以提高模型的分类性能，并将基于现有的源域分类器Wb来学习目标分类器。借助于来自目标域测试数据的未标签数据的信息，使用来自目标域非常有限数量的标签样本来修改Wb。则BLS-TDA的目标函数可以表述为：
其中正则化参数CTu控制模型中未标记数据样本的预测效果，其他参数与BLS-SDA模型算法相同。同理可得BLS-TDA的最优学习分类器W*：
改进后的基于补偿源域的宽度学习算法BLS-OSDA和基于补偿目标域的宽度学习算法BLS-OTDA，其在单输出的回归任务中，目标函数可以表述为：
通过采用上述技术，与现有技术相比，本发明的有益效果如下：
本发明针对分布式输出过程特征变量导致的标签空间差异问题，有效结合了宽度迁移学习对特征空间信息抓取能力和偏差补偿机制对源域和目标域标签空间进行的信息传递，提出了一种基于多工况分布式输出过程补偿宽度迁移建模方法，有效地处理了苯乙烯自由基聚合反应中多工况和大噪声特性，并增强了预测的鲁棒性和准确性。
附图说明
图1是本发明基于互信息的特征选择流程图；
图2是本发明基于源域的补偿宽度迁移方法结构框架；
图3是本发明基于目标域的补偿宽度迁移方法结构框架；
图4是本发明的BLS网络结构图；
图5是本发明实施例中，苯乙烯自由基聚合MWD工况1的预测效果；
图6是本发明实施例中，苯乙烯自由基聚合MWD工况1的预测误差变化趋势；
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1～图6，一种基于多工况分布式输出过程补偿宽度迁移建模方法，包括以下步骤：
(1)数据的获取
步骤1.1：提取聚合物特征，其中，提取实验的特征数据分别为：聚合度、进口溶剂流量、单体进口流量、入口引发剂的流量、入口单体进料流中的单体浓度、溶剂进料中溶剂的浓度、引发剂进料流中的引发剂浓度和进料温度，共8个特征，以此构建模型的输入。
步骤1.2：按互信息度量结果筛选出聚合度和温度为相关特征，其余6个特征为不相关特征。
步骤1.3：6个不相关特征中5个特征随机组合与2个相关特征随机组合构建7个输入变量集。
步骤1.4：使用苯乙烯自由基聚合MWD仿真程序模拟产生30种不同实验操作条件下的过程数据，分别记为工况1、工况2和工况3，每种实验操作条件标签数据为100个样本，工况1有5种实验操作条件数据，工况2有11种实验操作条件数据，工况3有14种实验操作条件数据。
步骤1.5：以标签数据相对较多、非线性程度最低的工况3作为源域训练数据，其他两种工况数据作为目标域工况数据。
步骤1.6：苯乙烯自由基聚合MWD实验中对数据施加中噪声(5％高斯噪声)。
(2)数据集的重构
步骤2.1：将所获取的领域偏差数据集作为训练集，源域工况数据集作为测试集。
步骤2.2：使用源域工况数据集、少量目标域标签数据集对源域训练工况数据集进行重构，得到源域训练工况新标签ynew，建立基于高斯过程回归GPR的补偿迁移模型对目标域测试数据集建立预测伪标签
(3)建模训练
步骤3：使用补偿宽度迁移方法对源域工况数据集、少量目标域标签数据集以及目标域测试数据集建立BLS-OSDA和BLS-OTDA模型以及其他对比模型GPR(S+T)、BLS(S+T)、BLS-SDA、BLS-TDA。
(4)模型测试
对目标域测试工况数据XTu进行预测。
步骤4.1：将差异性较大的工况3和工况1作为预测验证数据。
步骤4.2：对数据施加中5％高斯噪声。
步骤4.3：当工况3作为源域工况(14批次)，工况1作为目标域测试工况(4批次)，目标域少量已知标签工况1数据(1批次)，苯乙烯自由基聚合MWD工况1预测效果见图4。
步骤4.4：苯乙烯自由基聚合MWD工况1的预测误差变化趋势见图5。六种软测量模型对苯乙烯自由基聚合MWD预测性能对比见表1。
表1六种软测量模型对苯乙烯自由基聚合MWD预测性能对比
从图6苯乙烯自由基聚合MWD工况1预测误差变化趋势可以看出在不同批次目标域工况中，BLS-SDA的振幅是最大的，即稳定性最差，所提模型BLS-OSDA和BLS-OTDA在所有批次的目标域测试集中均表现出良好的预测性能。表1汇总了六种软测量模型对苯乙烯自由基聚合MWD预测性能，也能体现所提模型BLS-OTDA的预测优势，实现了对源域和目标域较大差异性工况的迁移预测。
本发明所提出的基于多工况分布式输出过程补偿宽度迁移方法在苯乙烯自由基聚合MWD数据集上得到了充分验证，提高了预测的准确性，具有普遍性和通用性。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。
Claims (8)
1.一种基于多工况分布式输出过程补偿宽度迁移建模方法，其特征在于，包括以下步骤：
1)数据的获取：
根据化工生产过程中的实际操作条件，收集不同工况特性的数据；将数据集分为源域工况数据集、少量目标域标签数据集以及目标域测试数据集，并进行归一化处理；
2)数据集的重构：
使用源域工况数据集、少量目标域标签数据集对源域训练工况数据集进行重构，并建立预测标签；
3)建模训练：
使用补偿宽度迁移方法对源域工况数据集、少量目标域标签数据集以及目标域测试数据集建立补偿宽度迁移模型以及其他对比模型，并进行模型训练；
4)模型测试：对目标域测试工况数据进行预测。
2.如权利要求1所述的一种基于多工况分布式输出过程补偿宽度迁移建模方法，其特征在于，所述步骤1)的过程为：
通过信息论中的互信息准则度量特征之间的相关性值，选取a个训练数据样本，b个特征变量的数据集
基于互信息的特征选择具体过程如下：
步骤1.1：使用互信息准则度量训练数据每个特征变量
与训练数据标签y，将筛选出的特征变量按相关性程度降序排列，选择一个比例阈值作为划分相对相关特征组
的依据，即b′个特征变量构成相对相关特征组；
步骤1.2：将其余特征变量作为相对独立特征组
对相对独立特征进行排列组合，构建
个相对独立特征组
步骤1.3：按互信息度量结果筛选c个相关特征和d个不相关特征；
步骤1.4：将c-1个不相关特征与d个相关特征随机组合构建c+1个输入变量集；
步骤1.5：将b-b′个相对独立特征组
和相对相关特征组
进行特征组合重构
与初始的特征变量组
构成总数为b-b′+1个训练输入变量集。
3.如权利要求2所述的一种基于多工况分布式输出过程补偿宽度迁移建模方法，其特征在于，所述步骤2)的过程为：
步骤2.1：将收集到的数据集分为源域工况数据集、少量目标域标签数据集以及目标域测试数据集，并进行归一化处理；
步骤2.2：使用源域工况数据集、少量目标域标签数据集对源域训练工况数据集进行重构，得到源域训练工况新标签ynew，建立基于高斯过程回归GPR的补偿迁移模型对目标域测试数据集建立预测伪标签
4.如权利要求3所述的一种基于多工况分布式输出过程补偿宽度迁移建模方法，其特征在于，所述步骤3)的过程为：
使用补偿宽度迁移方法对源域工况数据集、少量目标域标签数据集以及目标域测试数据集建立源域自适应模型BLS-OSDA和基于补偿宽度迁移的目标域自适应模型BLS-OTDA模型以及其他对比模型：从源域到目标域的高斯过程回归迁移补偿模型GPR(S+T)模型、从源域到目标域的宽度迁移BLS(S+T)模型、基于宽度学习的源域自适应BLS-SDA模型、基于宽度学习的目标域自适应BLS-TDA模型。
5.如权利要求4所述的一种基于多工况分布式输出过程补偿宽度迁移建模方法，其特征在于所述步骤1.3中，采用的互信息准则度量每个输入特征和标签特征之间信息熵，降序排列，选取特征作为相关变量，其余为非相关变量，互信息准则公式定义如下：
其中P(x1)，P(x2)是随机变量x1，x2的边缘概率密度函数，P(x1,x2)是两者的联合概率密度函数。
6.如权利要求5所述的一种基于多工况分布式输出过程补偿宽度迁移建模方法，其特征在于所述宽度学习系统BLS由输入层、特征层、增强层和输出层构成，中间的特征层和增强层是并列关系；基于BLS的域自适应框架包含两个阶段：BLS特征映射及学习输出权重；所述BLS过程计算如下：
假设训练数据为{(xi,yi)|xi∈M,i＝1,…,N}，其中X,Yn代表了样本的输入和输出，Wn表示输出权重，M表示输入数据样本的维度，输出数据为单变量信息，N为样本个数，BLS的特征层包含有n组特征节点，每组特征节点包含q个特征神经元，增强层包含m组增强节点，每组增强节点包含有p个增强神经元；利用公式(2)获得输入的第i组随机特征：
其中
和
是随机的第i个特征组输入权重与节点阈值，为了减小提取错误特征的概率，利用SAE对输入权重进行微调，φ(·)表示特征层的激活函数，将所有特征节点表示为Zn＝[Z1,…,Zn]，同理，增强层将一组增强节点表示为：
其中
和
是随机的第j个特征组输入权重与节点阈值，ξ(·)表示增强层的激活函数，所有的增强节点表示为Hm＝[H1,…,Hm]，联合后的扩展输入为A＝[Zn|Hm]；因此BLS的网络权重最小值求解可以表示为：
其中，λ表示长度尺寸参数，I表示单位矩阵；优化上述目标函数，得到最终的输出权重为：
W＝(λI+ATA)-1ATY (5)。
7.如权利要求6所述的一种基于多工况分布式输出过程补偿宽度迁移建模方法，其特征在于对于第一阶段BLS特征映射，使用源域和目标域的数据按照上述的BLS过程计算相应的扩展输入特征矩阵A；基于数据XS和源域扩展输入特征矩阵AS，可以得到以下式子：
其中
φ(·)和
ξ(·)分别是特征节点组和特征增强节点组的输入权重、节点阈值和激活函数；对于n组特征映射组，每组p个节点和m个增强特征组，每组q个节点，可以将扩展输出特征矩阵表示为：
同理由少量目标域标签数据XTl和目标域测试数据XTu可得
8.如权利要求7所述的一种基于多工况分布式输出过程补偿宽度迁移建模方法，其特征在于对于第二阶段学习输出权重，可以由两种不同的计算方法得出(a)BLS-SDA及(b)BLS-TDA，利用所获得的最佳权重值W*，目标域测试样本的预测可以由下式表示：
其中(a)BLS-SDA中，利用源域所有标记实例来学习分类器W，并将来自目标域的标记数据设置为适当的正则化器，表达式如公式(10)所示：
其中YS和YTl代表相应的标签矩阵，CS和CT分别表示对源域和目标域预测数据的惩罚系数；后续通过极大似然估计求解学习分类器W以及最优分类器W*，计算公式如下：
BLS-SDA利用目标域中的标签样本作为正则化项，在源域和目标域中传递知识，达到了信息传递；
(b)BLS-TDA中，将被忽略的未标记样本加入目标函数提高模型的分类性能，并将基于现有的源域分类器Wb来学习目标分类器；借助于来自目标域测试数据的未标签数据的信息，使用来自目标域非常有限数量的标签样本来修改Wb；则BLS-TDA的目标函数可以表述为：
其中正则化参数CTu控制模型中未标记数据样本的预测效果，其他参数与BLS-SDA模型算法相同；同理可得BLS-TDA的最优学习分类器W*：
改进后的基于补偿源域的宽度学习算法BLS-OSDA和基于补偿目标域的宽度学习算法BLS-OTDA，其在单输出的回归任务中，目标函数可以表述为：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211051978.1A CN115458078A (zh) | 2022-08-30 | 2022-08-30 | 一种基于多工况分布式输出过程补偿宽度迁移建模方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211051978.1A CN115458078A (zh) | 2022-08-30 | 2022-08-30 | 一种基于多工况分布式输出过程补偿宽度迁移建模方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115458078A true CN115458078A (zh) | 2022-12-09 |
Family
ID=84301331
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211051978.1A Pending CN115458078A (zh) | 2022-08-30 | 2022-08-30 | 一种基于多工况分布式输出过程补偿宽度迁移建模方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115458078A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116362012A (zh) * | 2023-03-02 | 2023-06-30 | 浙江工业大学 | 一种基于多工况分布式输出过程补偿迁移建模方法 |
| CN116561710A (zh) * | 2023-05-12 | 2023-08-08 | 西咸新区大熊星座智能科技有限公司 | 基于数据空间转化的焊接参数迁移学习预测方法 |
| CN117612627A (zh) * | 2023-10-18 | 2024-02-27 | 浙江工业大学 | 一种基于分布式输出过程时间图卷积建模方法 |
-
2022
- 2022-08-30 CN CN202211051978.1A patent/CN115458078A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116362012A (zh) * | 2023-03-02 | 2023-06-30 | 浙江工业大学 | 一种基于多工况分布式输出过程补偿迁移建模方法 |
| CN116362012B (zh) * | 2023-03-02 | 2025-05-27 | 浙江工业大学 | 一种基于多工况分布式输出过程补偿迁移建模方法 |
| CN116561710A (zh) * | 2023-05-12 | 2023-08-08 | 西咸新区大熊星座智能科技有限公司 | 基于数据空间转化的焊接参数迁移学习预测方法 |
| CN116561710B (zh) * | 2023-05-12 | 2024-02-02 | 西咸新区大熊星座智能科技有限公司 | 基于数据空间转化的焊接参数迁移学习预测方法 |
| CN117612627A (zh) * | 2023-10-18 | 2024-02-27 | 浙江工业大学 | 一种基于分布式输出过程时间图卷积建模方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115458078A (zh) | 一种基于多工况分布式输出过程补偿宽度迁移建模方法 | |
| CN109060001B (zh) | 一种基于特征迁移学习的多工况过程软测量建模方法 | |
| Göçken et al. | Integrating metaheuristics and artificial neural networks for improved stock price prediction | |
| CN112989635B (zh) | 基于自编码器多样性生成机制的集成学习软测量建模方法 | |
| Dehuri et al. | Evolutionarily optimized features in functional link neural network for classification | |
| Oliveira et al. | Feature selection using multi-objective genetic algorithms for handwritten digit recognition | |
| CN106469560B (zh) | 一种基于无监督域适应的语音情感识别方法 | |
| CN109242223B (zh) | 城市公共建筑火灾风险的量子支持向量机评估与预测方法 | |
| CN110322933A (zh) | 一种基于动态误差补偿机制的聚丙烯熔融指数混合建模方法 | |
| CN110287983A (zh) | 基于最大相关熵深度神经网络单分类器异常检测方法 | |
| CN110348608A (zh) | 一种基于模糊聚类算法改进lstm的预测方法 | |
| CN115186798A (zh) | 基于知识蒸馏的再生tsk模糊分类器 | |
| Zhu et al. | A novel nonlinear functional expansion based PLS (FEPLS) and its soft sensor application | |
| Zhang et al. | CAE-CNN: Predicting transcription factor binding site with convolutional autoencoder and convolutional neural network | |
| Chakraborty et al. | A novel distribution-free hybrid regression model for manufacturing process efficiency improvement | |
| CN115905848A (zh) | 基于多模型融合的化工过程故障诊断方法及系统 | |
| He et al. | A robust hybrid model integrating enhanced inputs based extreme learning machine with PLSR (PLSR-EIELM) and its application to intelligent measurement | |
| CN113052373A (zh) | 一种基于改进elm模型的月径流变化趋势预测方法 | |
| Jing | Neural network-based pattern recognition in the framework of edge computing | |
| Spieth et al. | A memetic inference method for gene regulatory networks based on S-Systems | |
| CN113887570A (zh) | 一种基于神经网络的太阳耀斑二分类预测方法 | |
| Jiao | Big Data Mining Optimization Algorithm Based on Machine Learning Model. | |
| Cui et al. | KPCA‐ESN Soft‐Sensor Model of Polymerization Process Optimized by Biogeography‐Based Optimization Algorithm | |
| Mishra et al. | Let's Identify the Similar and Confusing Raags of Hindustani Classical Music | |
| CN111797574A (zh) | 聚合物分子量分布的集成高斯过程回归模型方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |