CN111985103B - 基于核极限学习机的样本处理方法及系统 - Google Patents
基于核极限学习机的样本处理方法及系统 Download PDFInfo
- Publication number
- CN111985103B CN111985103B CN202010841786.5A CN202010841786A CN111985103B CN 111985103 B CN111985103 B CN 111985103B CN 202010841786 A CN202010841786 A CN 202010841786A CN 111985103 B CN111985103 B CN 111985103B
- Authority
- CN
- China
- Prior art keywords
- sample set
- updated
- marked
- sample
- samples
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 11
- 238000000034 method Methods 0.000 claims abstract description 62
- 238000005259 measurement Methods 0.000 claims abstract description 39
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 17
- 230000008569 process Effects 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 13
- 239000011159 matrix material Substances 0.000 claims description 87
- 238000012549 training Methods 0.000 claims description 16
- 238000012804 iterative process Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000000354 decomposition reaction Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000004379 similarity theory Methods 0.000 claims 2
- 238000006467 substitution reaction Methods 0.000 claims 2
- 238000001311 chemical methods and process Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 9
- NINIDFKCEFEMDL-UHFFFAOYSA-N Sulfur Chemical compound [S] NINIDFKCEFEMDL-UHFFFAOYSA-N 0.000 description 7
- 238000011084 recovery Methods 0.000 description 7
- 229910052717 sulfur Inorganic materials 0.000 description 7
- 239000011593 sulfur Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000005457 optimization Methods 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 102000008297 Nuclear Matrix-Associated Proteins Human genes 0.000 description 1
- 108010035916 Nuclear Matrix-Associated Proteins Proteins 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 210000000299 nuclear matrix Anatomy 0.000 description 1
- 210000004940 nucleus Anatomy 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Machine Translation (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供基于核极限学习机的样本处理方法及系统，方法包括：识别预处理样本集中的无标记样本及有标记样本，确定无标记样本集及有标记样本集作为处理对象；基于KELM算法从所述无标记样本集中选取满足预设要求的无标记样本，构成第一子样本集；将所述第一子样本集中的样本进行标记，得到带有标记的第二子样本集，将第二子样本集加入所述有标记样本集，得到更新后的有标记样本集；若所述有标记样本集与更新后的有标记样本集的相似度满足预设要求，则基于更新后的有标记样本集进行软测量。本方案，迭代更新速度快，稳定性高，应用于复杂化工过程建模，可大大降低主动学习的运算成本，并减少人工标记代价，更有效地实现过程质量变量的软测量。
Description
技术领域
本发明属于工业生产过程软测量建模和应用领域，特别涉及一种基于核极限学习机的样本处理方法及系统。
背景技术
在复杂工业过程中，需要对一些决定产品质量的关键变量进行监测和控制，但由于现场环境以及技术条件的制约，使得这些变量难以在线测量。软测量是工业过程中用于解决难测变量检测的常用技术，通过训练集构建数学模型，实现对新样本质量变量的实时估计。常见的软测量模型包括支持向量回归、人工神经网络、高斯过程回归和极限学习机等。
软测量技术通常需要大量有标记样本才能完成模型训练，而在实际工业过程中常常是无标记样本数量多，有标记样本数量较少，而且获取成本高。在这种情况下，如何利用大量无标记数据和少量标记数据来提升模型性能成为软测量建模的关键问题。采用上述软测量模型稳定性较差，在复杂化工过程建模时运算成本较高。
发明内容
本发明提供一种基于核极限学习机的样本处理方法及系统，以解决现有技术方案中软测量模型稳定性较差，在复杂化工过程建模时运算成本较高的技术问题。
第一方面，根据本发明实施例提供的基于核极限学习机的样本处理方法，应用于软测量中，包括：
步骤S12、识别预处理样本集中的无标记样本及有标记样本，确定无标记样本集及有标记样本集作为处理对象；
步骤S14、基于KELM算法从所述无标记样本集中选取满足预设要求的无标记样本，构成第一子样本集；
步骤S16、将所述第一子样本集中的样本进行标记，得到带有标记的第二子样本集，将第二子样本集加入所述有标记样本集，得到更新后的有标记样本集；其中，在对第一子样本集中的样本进行标记之后，从所述无标记样本集中去除所述第一子样本集中的样本，得到更新后的无标记样本集；
步骤S18、若所述有标记样本集与更新后的有标记样本集的相似度满足预设要求，则基于更新后的有标记样本集进行软测量。
在一个实施例中，所述方法，还包括：
若所述有标记样本集与更新后的有标记样本集的相似度不满足预设要求，则确定更新后的有标记样本集与更新后的无标记样本集构成的样本集为预处理样本集，并迭代执行步骤S12、步骤S14、步骤S16及步骤S18，直到第K次更新后的有标记样本与第K-1次更新后的有标记样本的相似度满足要求，则基于第K次更新后的有标记样本进行软测量。
在一个实施例中，所述基于KELM算法从所述无标记样本集中选取满足预设要求的无标记样本，构成第一子样本集，包括：
计算所述无标记样本集中的无标记样本的置信度；
选取置信度满足预设要求的无标记样本，构成第一子样本集。
在一个实施例中，所述方法，还包括：
步骤S171、分别求取第k-1次更新后的有标记样本的协方差矩阵Rk及第k次更新后的有标记样本的协方差矩阵Rk+1；
步骤S172、将第k-1次更新后的有标记样本的协方差矩阵Rk与第k次更新后的有标记样本的协方差矩阵Rk+1合并，得到混合后的协方差矩阵Rmix，并求取Rmix的正交矩阵P0；
步骤S173、利用转换矩阵P将第k-1次更新后的无标记样本集转换成Yk，并求取Yk的协方差矩阵Sk；
步骤S174、对Sk进行特征分解，求取第k-1次更新后的第j个特征向量与第k次更新后的第j个特征向量/>之间的关系模型；
步骤S175、根据所述关系模型求取第k-1次更新后的有标记样本集与第k次更新后的有标记样本集的相似度。
第二方面，根据本发明实施例提供的基于核极限学习机的样本处理系统，应用于软测量中，包括：
识别模块，用于识别预处理样本集中的无标记样本及有标记样本，确定无标记样本集及有标记样本集作为处理对象；
样本选取模块，用于基于KELM算法从所述无标记样本集中选取满足预设要求的无标记样本，构成第一子样本集；
样本标记模块，用于将所述第一子样本集中的样本进行标记，得到带有标记的第二子样本集，将第二子样本集加入所述有标记样本集，得到更新后的有标记样本集；其中，在对第一子样本集中的样本进行标记之后，从所述无标记样本集中去除所述第一子样本集中的样本，得到更新后的无标记样本集；
样本确定模块，用于若所述有标记样本集与更新后的有标记样本集的相似度满足预设要求，则基于更新后的有标记样本集进行软测量。
在一个实施例中，所述系统，还包括：
迭代更新模块，用于若所述有标记样本集与更新后的有标记样本集的相似度不满足预设要求，则确定更新后的有标记样本集与更新后的无标记样本集构成的样本集为预处理样本集，并迭代运行识别模块、样本选取模块、样本标记模块及样本确定模块，直到第K次更新后的有标记样本与第K-1次更新后的有标记样本的相似度满足要求，则基于第K次更新后的有标记样本进行软测量。
在一个实施例中，所述样本选取模块，包括：
计算单元，用于计算所述无标记样本集中的无标记样本的置信度；
选取单元，用于选取置信度满足预设要求的无标记样本，构成第一子样本集。
在一个实施例中，所述系统，还包括：
协方差矩阵求取单元，用于分别求取第k-1次更新后的有标记样本的协方差矩阵Rk及第k次更新后的有标记样本的协方差矩阵Rk+1；
正交矩阵求取单元，用于将第k-1次更新后的有标记样本的协方差矩阵Rk与第k次更新后的有标记样本的协方差矩阵Rk+1合并，得到混合后的协方差矩阵Rmix，并求取Rmix的正交矩阵P0；
转换单元，用于利用转换矩阵P将第k-1次更新后的无标记样本集转换成Yk，并求取Yk的协方差矩阵Sk；
关系模型求取单元，用于对Sk进行特征分解，求取第k-1次更新后的第j个特征向量与第k次更新后的第j个特征向量/>之间的关系模型；
相似度计算单元，用于根据所述关系模型求取第k-1次更新后的有标记样本集与第k次更新后的有标记样本集的相似度。
本发明实施例提供的基于核极限学习机的样本处理方法及系统，通过极限核学习机的迭代更新，可以从包括较少有标记样本的样本集中通过迭代更新自学习得到包含满足要求的较多有标记样本的样本集，然后可以基于得到的包含较多有标记样本的样本集进行软测量，本方法不仅具有较强的样本选择能力，而且迭代更新速度较快，稳定性较高，应用于复杂化工过程建模，能够大大降低主动学习的运算成本，并减少人工标记代价，更加有效地实现过程质量变量的软测量。
附图说明
本发明所提供的说明书附图用于解释本发明，应该理解的是，如下所描述的具体实施例为构成本发明的一部分实施例，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例提供的一种基于核极限学习机的样本处理方法的流程图；
图2为本发明实施例提供的另一种基于核极限核学习机的样本处理方法的流程图；
图3a-3b为在不同学习步长下模型性能随迭代次数的变化的示意图；
图4a-4b为在不同学习步长下模型性能随标记样本个数的变化的示意图；
图5a-5d无标记样本的置信度随迭代次数的变化的示意图；
图6a-6b为不同终止阈值对模型性能的影响的示意图；
图7a为预测H2S浓度的平均RMSE随迭代次数的变化的示意图；
图7b为预测SO2浓度的平均RMSE随迭代次数的变化的示意图；
图8为本发明实施例提供的基于核极限核学习机的样本处理系统的模块图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
以下结合附图，详细说明本发明实施例提供的技术方案。
本发明实施例提供一种基于核极限学习机的样本处理方法，应用于软测量中，参见图1所示，包括：
步骤S12、识别预处理样本集中的无标记样本及有标记样本，确定无标记样本集及有标记样本集作为处理对象；
在本发明实施例中，在对样本进行首次处理之前，确定的有标记样本集记为确定出的无标记样本集记为/>其中，/>和/>分别为首次处理之前的有标记样本的个数和无标记样本的个数，m为辅助变量个数。
步骤S14、基于KELM算法从所述无标记样本集中选取满足预设要求的无标记样本，构成第一子样本集；
在本发明实施例中，在确定出无标记样本集之后，根据预设的规则，从无标记样本集中选取满足预设条件的无标记样本，至于该预设条件，用户可以根据要求进行设定，可为无标记样本的置信度等。如，挑选ns个置信度较低的样本构成第一子样本集。
步骤S16、将所述第一子样本集中的样本进行标记，得到带有标记的第二子样本集，将第二子样本集加入所述有标记样本集，得到更新后的有标记样本集；其中，在对第一子样本集中的样本进行标记之后，从所述无标记样本集中去除所述第一子样本集中的样本，得到更新后的无标记样本集；
在本发明实施例中，在确定出第一子样本集之后，将第一子样本集中无标记样本进行标记，第一子样本集更新标记后记为然后将这些样本加入到已标记样本集中，则首次更新后的有标记样本集更新为：
在无标记样本集中删除所选的样本，首次更新后的无标记样本集为：
一般一次更新基本上无法满足要求，很可能需要多次迭代更新有标记样本集及无标记样本集，进而得到满足要求的包含较多有标记样本的样本集，假设第k-1次更新后的已标记样本集为相应的，第k-1次更新后的无标记样本集为则在第k次迭代更新时无标记样本的误差向量Dk为：
其中，核矩阵/> 为无标记样本集/>和有标记样本集/>之间的核矩阵，/>为单位矩阵，/>分别为/>的隐层核映射矩阵，/>
也可以表示为：
其中，为第k-1次更新后的核矩阵，/>为第k-1次更新后的无标记样本集的隐层核映射矩阵。
Qk也可以表示为：
其中，为单位阵，Qk-1通过第k-1次迭代计算得到，/>为第k-1次迭代的有标记样本集/>的隐层核映射矩阵。根据矩阵反演公式，可将Qk表示为：
其中，A11＝(Qk-1)-1， 将所得的/>Qk代入式(3)中得到本次迭代中的误差向量Dk，可通过下文中的式(18)计算无标记样本的置信度，并挑选ns个样本进行标记，记为根据式(1)-(3)更新训练集(包括有标记样本集和无标记样本集)和/>矩阵，并保存本次迭代更新的运算信息/>Qk、/>和/>利用式(3)-(6)优化下一轮迭代过程的评估算法。由于迭代信息和矩阵反演公式的有效利用，避免了KELM评估算法的重复信息计算，节约了主动学习的运算成本。
步骤S18、若所述有标记样本集与更新后的有标记样本集的相似度满足预设要求，则基于更新后的有标记样本集进行软测量。
本发明实施例提供的方法，通过核极限学习机的迭代更新，可以从包括较少有标记样本的样本集中通过迭代更新自学习得到包含满足要求的较多有标记样本的样本集，然后可以基于得到的包含较多有标记样本的样本集进行软测量，本方法不仅具有较强的样本选择能力，而且迭代更新速度较快，稳定性较高，应用于复杂化工过程建模，能够大大降低主动学习的运算成本，并减少人工标记代价，更加有效地实现过程质量变量的软测量。
在发明实施例中，参见图2所示，所述方法，还包括：
步骤S19、若所述有标记样本集与更新后的有标记样本集的相似度不满足预设要求，则确定更新后的有标记样本集与更新后的无标记样本集构成的样本集为预处理样本集，并迭代执行步骤S12、步骤S14、步骤S16及步骤S18，直到第K次更新后的有标记样本与第K-1次更新后的有标记样本的相似度满足要求，则基于第K次有标记样本进行软测量。
在此指出，这里的相似度为相邻两次更新之后的有标记样本集的相似度，如，第一次更新后的有标记样本集与原始(未经更新)的有标记样本集的相似度，第二次更新后的有标记样本集与第一次更新后的有标记样本集的相似度，……，第K次更新后的有标记样本集与第K-1次更新后的有标记样本集的相似度等，直到判断出第K次更新后的有标记样本集与第K-1次更新后的有标记样本集的相似度满足预设要求时，基于第K次更新后的有标记样本集进行软测量。
假定第k-1次更新后的有标记样本集为第k次更新后的有标记样本集为/>其中，/>为第k-1次更新后的已标记样本的个数，/>为/>标准化后的数据集。
本发明实施例的方法，还包括：
步骤S171、分别求取第k-1次更新后的有标记样本的协方差矩阵Rk及第k次更新后的有标记样本的协方差矩阵Rk+1；
其中，
步骤S172、将第k-1次更新后的有标记样本的协方差矩阵Rk与第k次更新后的有标记样本的协方差矩阵Rk+1合并，得到混合后的协方差矩阵Rmix，并求取Rmix的正交矩阵P0；则
对Rmix进行特征值分解，得到一个正交矩阵P0：
RmixP0＝P0Λ (9)
步骤S173、利用转换矩阵P将第k-1次更新后的无标记样本集转换成Yk，并求取Yk的协方差矩阵Sk；
利用转换矩阵P将样本集转换成Yk,采用的数学模型为：
其中，Λ为对角矩阵，
则Yk的协方差矩阵Sk的求取方法为：
由式(22)可得：
Sk+Sk+1＝PTRmixP＝I (12)
步骤S174、对Sk进行特征分解，求取第k-1次更新后的第j个特征向量与第k次更新后的第j个特征向量/>之间的关系模型；
根据式(23)可以得到：
步骤S175、根据所述关系模型求取第k-1次更新后的有标记样本集与第k次更新后的有标记样本集的相似度。
具体方法可为：
第k-1次迭代更新后的标记样本集和第k次迭代更新后的标记样本集/>的相似度指标D可表示为：
根据式(15)可知，相似度指标D的取值范围为(0,1)，D越小，表示已标记样本集的信息量越少，随着迭代更新过程的进行，已标记样本集的信息量逐渐增加，相似度D逐渐趋近于1，设定满足预设要求的无标记样本为连续两次检测置信度D均大于设定的终止阈值，则认为已标记样本集的信息量已经达到要求，迭代更新过程终止。
在本发明实施例中，所述基于KELM算法从所述无标记样本集中选取满足预设要求的无标记样本，构成第一子样本集，包括：
1)计算所述无标记样本集中的无标记样本的置信度；
2)选取置信度满足预设要求的无标记样本，构成第一子样本集。
在此指出，本发明实施例中，利用KELM算法计算(所有)无标记样本的置信度，并以此作为样本选择依据，具体实施如下：
样本集中包括有标记样本集和无标记样本集nl和nu分别为有标记样本和无标记样本个数，m为辅助变量个数，标记样本集的目标输出向量为/>假设标记样本的目标输出相同，ti＝y，y是一个实数，则T＝[y,...,y]T。因此，无标记样本xu的预测输出与目标输出之间的误差为：
其中，HL为标记样本的隐层核映射矩阵。将式(16)进行标准化，可以得到：
其中，根据误差指标dN-KELM定义无标记样本的置信度：
η＝exp(-dN-KELM) (18)
其中，η∈(0,1)，当η趋近于1时，说明该样本数据与现有的已标记样本集在本质上是相同的；反之，若η趋于0时，则说明对应的样本数据集有可能漂移出KELM模型空间，标记该样本后能够为KELM模型提供更多额外信息。
在本发明实施例中，需要说明的是，KELM是核极限学习机的简称，可从极限学习机推导得到，极限学习机是一种单隐层前馈神经网络模型，可以通过KKT理论计算网络输出权值。给定n个训练样本{X∈Rn×m,t∈Rn}，m为输入变量维数，ELM的优化目标是最小化训练误差和输出权重的范数，极限学习机的优化函数可以表示为：
其中，β是隐含层到输出层的输出权重向量，h(xi)为xi的隐层映射。极限学习机的优化函数可以等价为：
式(20)中ξi为训练误差，C为惩罚系数，用来权衡模型的训练误差和输出权重。根据KKT最优化条件解得：
其中，H＝[h(x1),...,h(xn)]T为隐层输出矩阵，T＝[t1,...,tn]T为目标值矩阵，I为单位矩阵。
应用Mercer’s条件定义KELM的核矩阵为：
Ω＝HHT:Ωi,j＝h(xi)·h(xj)＝K(xi,xj) (22)
其中，K(xi,xj)为核矩阵Ω的第i行、第j列的元素。
通常选择径向基核函数作为KELM模型的核函数：
其中，δ为核函数参数。
则KELM的预测输出表达式为：
如下，列举具体实施例进行阐述：
具体实施例：
将本发明提出的方法应用于硫回收过程(SRU,Sulfur Recovery Unit)的软测量中，SRU共收集2000组数据，从中选择1000组数据作为训练集，1000组数据作为测试集，训练集中初始标记样本有10个，未标记样本有990个，标签率为1％，迭代过程中采用KELM方法训练模型。
首先，对迭代更新过程的学习步长(每次迭代标记样本个数)进行实验分析，随着学习步长num的增加，更多的标记样本被添加到训练集中优化KELM模型，模型性能提升得越快，然而人工标记成本也随之增多。进一步在相同标记样本数量的情况下，重新进行仿真实验，在迭代更新初期学习步长越小，模型性能提升得越快，相应地迭代次数和运算成本也随之增多。
其次，对迭代更新过程的学习步长(每次迭代标记样本个数)进行实验分析，图3a、3b分别为本发明实施例的方法针对硫回收实验中H2S样本和SO2样本在不同学习步长下对模型性能的影响。可以看出，随着学习步长num的增加，更多的有标记样本添加到训练集中来优化KELM模型，模型性能提升得越快，人工标记成本也随之增多。进一步在相同标记样本数量的情况下，重新进行仿真实验。图4a、图4b分别为本发明实施例的方法针对硫回收实验中H2S样本和SO2样本在不同学习步长下模型性能随标记样本个数的变化示意图，从图4a、4b可以看出，在迭代初期越小的学习步长对模型性能提升得越快，相应地迭代次数和运算成本也随之增多。
图5a-5d为无标记样本在第20次、第40次、第60次和第80次迭代更新后无标记样本的置信度的变化情况，其中中间横线为无标记样本置信度的平均值。可以看出，随着主动学习迭代更新过程的进行，无标记样本的置信度越来越大，并逐渐趋近于1。主要是因为软测量模型在迭代更新后，更多的标记样本参与到KELM模型优化中，使得对无标记样本的信息评估更加精确。并且随着迭代过程的运行，无标记样本信息逐渐减少，KELM模型性能不再有显著提升。
图6a为硫回收试验中的H2 S样本在预设条件中的不同终止阈值对模型性能的影响，图6b为硫回收试验中的SO2样本在预设条件中不同终止阈值对模型性能的影响。可以看出，随着终止阈值逐渐增大，模型性能逐渐提升。这是因为越大的阈值对终止条件要求越高，从而需要标记更多无标记样本来提升模型性能，同时人工标记成本和运算成本也随之增加，因此应在不影响KELM模型性能的条件下设置尽可能高的终止阈值，在本方法用于化学反应过程中的H2S和SO2的软测量时，在预测H2S和SO2的浓度时将终止阈值设为0.999。
最后，为了进一步验证所提方法的有效性，纵向比较了四种主动学习方法，除本方案上述方法之外，对比方法包括Random、DAL和RSAL。
(1)随机选择方法(Random)。利用随机选择的方式选取无标记样本进行标记。
(2)距最近训练样本的距离方法(DAL,Distance from the closest trainingsample)。通过计算无标记样本与有标记样本之间的欧式距离来度量无标记样本信息，从而挑选信息量较大的样本进行标记。
(3)残差回归方法(RSAL,Residual regression)。利用已标记样本构建残差模型，并对无标记样本进行残差估计，以此挑选残差较大的样本进行标记。
将本发明的方法记为Proposed，迭代过程中的学习步长设置为10，分别进行5次仿真实验，四种主动学习方法的平均均方根误差(RMSE)随迭代次数的变化情况如图7a,图7b所示，四种主动学习方法在迭代过程中的性能指标如表1和表2所示。
表1四种主动学习方法在迭代过程中对H2S浓度预测的性能指标
表2四种主动学习方法在迭代过程中对SO2浓度预测的性能指标
从图7a,图7b可以看出，随着标记数据的增加，四种主动学习的软测量模型性能均有所提升。其中，RSAL、DAL和本文方法均比Random方法的效果好，相比于RSAL和DAL方法，本文方法的收敛速度更快，这表明在相同的标记代价下，本文方法能够对软测量模型性能提升得更高，第30次迭代更新后，软测量模型性能基本保持不变，为了达到相同的效果，随机选择需要标记接近3倍的无标记样本。
从表1和表2可以看出，RSAL、DAL和本发明实施例的方法中的RMSE的标准差均低于Random方法，而本发明的主动学习方法(Proposed)比Random更加稳定，相比于RSAL和DAL方法，本发明的方法在大多情况下标准差最小，若以稳定性作为评价指标，本发明的方法的模型性能最好。最后，对本发明的主动学习迭代更新过程的运行时间进行分析，可以看出，与RSAL和DAL方法相比，所提方法的迭代更新时间最短，降低了迭代过程的运行成本，比较全面地提升了主动学习的性能。
本发明针对工业过程中有标记样本少而无标记样本多的情况，提出了一种基于核极限学习机的快速主动学习方法及系统，该方法利用KELM对无标记样本的信息进行评估，根据每次迭代的运算信息优化样本选择策略，并引入矩阵相似度理论完成终止条件的设计。将所提方法应用于上述硫回收过程的SO2和H2S浓度的软测量，验证了所提方法的有效性和优越性。
本发明实施例还提供一种基于核极限学习机的样本处理系统，应用于软测量中，参见图8所示，所述系统包括：
识别模块21，用于识别预处理样本集中的无标记样本及有标记样本，确定无标记样本集及有标记样本集作为处理对象；
样本选取模块22，用于基于KELM算法从所述无标记样本集中选取满足预设要求的无标记样本，构成第一子样本集；
样本标记模块23，用于将所述第一子样本集中的样本进行标记，得到带有标记的第二子样本集，将第二子样本集加入所述有标记样本集，得到更新后的有标记样本集；其中，在对第一子样本集中的样本进行标记之后，从所述无标记样本集中去除所述第一子样本集中的样本，得到更新后的无标记样本集；
样本确定模块24，用于若所述有标记样本集与更新后的有标记样本集的相似度满足预设要求，则基于更新后的有标记样本集进行软测量。
在一个实施例中，所述系统，还包括：
迭代更新模块，用于若所述有标记样本集与更新后的有标记样本集的相似度不满足预设要求，则确定更新后的有标记样本集与更新后的无标记样本集构成的样本集为预处理样本集，并迭代运行识别模块，样本选取模块、样本标记模块及样本确定模块，直到第K次更新后的有标记样本与第K-1次更新后的有标记样本的相似度满足要求，则基于第K次有标记样本进行软测量。
在一个实施例中，所述样本选取模块，包括：
计算单元，用于计算所述无标记样本集中的无标记样本的置信度；
选取单元，用于选取置信度满足预设要求的无标记样本，构成第一子样本集。
在一个实施例中，所述系统，还包括：
协方差矩阵求取单元，用于分别求取第k-1次更新后的有标记样本的协方差矩阵Rk及第k次更新后的有标记样本的协方差矩阵Rk+1；
正交矩阵求取单元，用于将第k-1次更新后的有标记样本的协方差矩阵Rk与第k次更新后的有标记样本的协方差矩阵Rk+1合并，得到混合后的协方差矩阵Rmix，并求取Rmix的正交矩阵P0；
转换单元，用于利用转换矩阵P将第k-1次更新后的无标记样本集转换成Yk，并求取Yk的协方差矩阵Sk；
关系模型求取单元，用于对Sk进行特征分解，求取第k-1次更新后的第j个特征向量与第k次更新后的第j个特征向量/>之间的关系模型；
相似度计算单元，用于根据所述关系模型求取第k-1次更新后的有标记样本集与第k次更新后的有标记样本集的相似度。
本发明实施例提供的基于核极限学习机的样本处理系统，通过核极限学习机的迭代更新，可以从包括较少有标记样本的样本集中通过迭代更新自学习得到包含满足要求的较多有标记样本的样本集，然后可以基于得到的包含较多有标记样本的样本集进行软测量，本方法不仅具有较强的样本选择能力，而且迭代更新速度较快，稳定性较高，应用于复杂化工过程建模，能够大大降低主动学习的运算成本，并减少人工标记代价，更加有效地实现过程质量变量的软测量。
需要说明的是，以上是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化与修饰，均属于发明技术方案的范围内。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅以一较佳实施例对本发明的技术方案进行介绍，但是对于本领域的一般技术人员，依据本发明实施例的思想，应能在具体实施方式上及应用范围上进行改变，故而，综上所述，本说明书内容部不应该理解为本发明的限制，凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。
Claims (8)
1.基于核极限学习机的样本处理方法，应用于软测量中，其特征在于，所述方法，包括：
步骤S12、识别预处理样本集中的无标记样本及有标记样本，确定无标记样本集及有标记样本集作为处理对象；
步骤S14、基于核极限学习机KELM算法从所述无标记样本集中选取满足预设要求的无标记样本，构成第一子样本集；
步骤S16、基于每次迭代过程的运算信息，引入矩阵反演公式对KELM算法进行优化，假设第k-1次更新后的已标记样本集为相应的，第k-1次更新后的无标记样本集为/>则在第k次迭代更新时无标记样本的误差向量Dk为其中，/> 为无标记样本集/>和有标记样本集/>之间的核矩阵，/>为单位矩阵，C为惩罚系数，/>分别为/>的隐层核映射矩阵，/>根据矩阵反演公式可将Qk变化，将所得的/>Qk代入/>中得到本次迭代中的误差向量Dk，根据置信度，并挑选ns个样本进行标记，记为/>更新训练集和/>矩阵，并保存本次迭代更新的运算信息/>Qk、/>和/>进入下一轮迭代过程的评估算法；将所述第一子样本集中的样本进行标记，得到带有标记的第二子样本集，将第二子样本集加入所述有标记样本集，得到更新后的有标记样本集；其中，在对第一子样本集中的样本进行标记之后，从所述无标记样本集中去除所述第一子样本集中的样本，得到更新后的无标记样本集；
步骤S18、基于矩阵相似度理论对迭代过程的已标记样本数据进行信息度量，并将其作为迭代终止依据；若所述有标记样本集与更新后的有标记样本集的相似度满足预设要求，则基于更新后的有标记样本集进行软测量。
2.根据权利要求1所述的方法，其特征在于，所述方法，还包括：
若所述有标记样本集与更新后的有标记样本集的相似度不满足预设要求，则确定更新后的有标记样本集与更新后的无标记样本集构成的样本集为预处理样本集，并迭代执行步骤S12、步骤S14、步骤S16及步骤S18，直到第k次更新后的有标记样本与第k-1次更新后的有标记样本的相似度满足要求，则基于第k次更新后有标记样本进行软测量。
3.根据权利要求1所述的方法，其特征在于，所述基于核极限学习机KELM算法从所述无标记样本集中选取满足预设要求的无标记样本，构成第一子样本集，包括：
计算所述无标记样本集中的无标记样本的置信度；
选取置信度满足预设要求的无标记样本，构成第一子样本集。
4.根据权利要求1所述的方法，其特征在于，所述方法，还包括：
步骤S171、分别求取第k-1次更新后的有标记样本的协方差矩阵Rk及第k次更新后的有标记样本的协方差矩阵Rk+1；
步骤S172、将第k-1次更新后的有标记样本的协方差矩阵Rk与第k次更新后的有标记样本的协方差矩阵Rk+1合并，得到混合后的协方差矩阵Rmix，并求取Rmix的正交矩阵P0；
步骤S173、利用转换矩阵P将第k-1次更新后的无标记样本集转换成Yk，并求取Yk的协方差矩阵Sk；
步骤S174、对Sk进行特征分解，求取第k-1次更新后的第j个特征向量与第k次更新后的第j个特征向量/>之间的关系模型；
步骤S175、根据所述关系模型求取第k-1次更新后的有标记样本集与第k次更新后的有标记样本集的相似度。
5.基于核极限学习机的样本处理系统，应用于软测量中，其特征在于，所述系统包括：
识别模块，用于识别预处理样本集中的无标记样本及有标记样本，确定无标记样本集及有标记样本集作为处理对象；
样本选取模块，用于基于核极限学习机KELM算法从所述无标记样本集中选取满足预设要求的无标记样本，构成第一子样本集；
样本标记模块，用于基于每次迭代过程的运算信息，引入矩阵反演公式对KELM算法进行优化，假设第k-1次更新后的已标记样本集为相应的，第k-1次更新后的无标记样本集为/>则在第k次迭代更新时无标记样本的误差向量Dk为其中，/> 为无标记样本集/>和有标记样本集/>之间的核矩阵，/>为单位矩阵，C为惩罚系数，/>分别为/>的隐层核映射矩阵，/>根据矩阵反演公式可将Qk变化，将所得的/>Qk代入/>中得到本次迭代中的误差向量Dk，根据置信度，并挑选ns个样本进行标记，记为/>更新训练集和/>矩阵，并保存本次迭代更新的运算信息/>Qk、/>和/>进入下一轮迭代过程的评估算法；将所述第一子样本集中的样本进行标记，得到带有标记的第二子样本集，将第二子样本集加入所述有标记样本集，得到更新后的有标记样本集；其中，在对第一子样本集中的样本进行标记之后，从所述无标记样本集中去除所述第一子样本集中的样本，得到更新后的无标记样本集；
样本确定模块，用于基于矩阵相似度理论对迭代过程的已标记样本数据进行信息度量，并将其作为迭代终止依据；若所述有标记样本集与更新后的有标记样本集的相似度满足预设要求，则基于更新后的有标记样本集进行软测量。
6.根据权利要求5所述的系统，其特征在于，还包括：
迭代更新模块，用于若所述有标记样本集与更新后的有标记样本集的相似度不满足预设要求，则确定更新后的有标记样本集与更新后的无标记样本集构成的样本集为预处理样本集，并迭代运行识别模块、样本选取模块样本标记模块及样本确定模块，直到第k次更新后的有标记样本与第k-1次更新后的有标记样本的相似度满足要求，则基于第K次更新后的有标记样本进行软测量。
7.根据权利要求5所述的系统，其特征在于，所述样本选取模块，包括：
计算单元，用于计算所述无标记样本集中的无标记样本的置信度；
选取单元，用于选取置信度满足预设要求的无标记样本，构成第一子样本集。
8.根据权利要求5所述的系统，其特征在于，还包括：
协方差矩阵求取单元，用于分别求取第k-1次更新后的有标记样本的协方差矩阵Rk及第k次更新后的有标记样本的协方差矩阵Rk+1；
正交矩阵求取单元，用于将第k-1次更新后的有标记样本的协方差矩阵Rk与第k次更新后的有标记样本的协方差矩阵Rk+1合并，得到混合后的协方差矩阵Rmix，并求取Rmix的正交矩阵P0；
转换单元，用于利用转换矩阵P将第k-1次更新后的无标记样本集转换成Yk，并求取Yk的协方差矩阵Sk；
关系模型求取单元，用于对Sk进行特征分解，求取第k-1次更新后的第j个特征向量与第k次更新后的第j个特征向量/>之间的关系模型；
相似度计算单元，用于根据所述关系模型求取第k-1次更新后的有标记样本集与第k次更新后的有标记样本集的相似度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010841786.5A CN111985103B (zh) | 2020-08-20 | 2020-08-20 | 基于核极限学习机的样本处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010841786.5A CN111985103B (zh) | 2020-08-20 | 2020-08-20 | 基于核极限学习机的样本处理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111985103A CN111985103A (zh) | 2020-11-24 |
| CN111985103B true CN111985103B (zh) | 2024-05-07 |
Family
ID=73442385
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010841786.5A Active CN111985103B (zh) | 2020-08-20 | 2020-08-20 | 基于核极限学习机的样本处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111985103B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106228183A (zh) * | 2016-07-18 | 2016-12-14 | 北京邮电大学 | 一种半监督学习分类方法与装置 |
| CN106874934A (zh) * | 2017-01-12 | 2017-06-20 | 华南理工大学 | 基于加权极限学习机集成算法的污水处理故障诊断方法 |
| CN107563567A (zh) * | 2017-09-18 | 2018-01-09 | 河海大学 | 基于稀疏自编码的核极限学习机洪水预报方法 |
| CN108764295A (zh) * | 2018-04-28 | 2018-11-06 | 江南大学 | 一种基于半监督集成学习的软测量建模方法 |
-
2020
- 2020-08-20 CN CN202010841786.5A patent/CN111985103B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106228183A (zh) * | 2016-07-18 | 2016-12-14 | 北京邮电大学 | 一种半监督学习分类方法与装置 |
| CN106874934A (zh) * | 2017-01-12 | 2017-06-20 | 华南理工大学 | 基于加权极限学习机集成算法的污水处理故障诊断方法 |
| CN107563567A (zh) * | 2017-09-18 | 2018-01-09 | 河海大学 | 基于稀疏自编码的核极限学习机洪水预报方法 |
| CN108764295A (zh) * | 2018-04-28 | 2018-11-06 | 江南大学 | 一种基于半监督集成学习的软测量建模方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于Block-RPLS模型自适应更新的质量预测方法;王培良等;控制与决策;第1-8页 * |
| 基于数据分布的小样本扩充方法及应用;毕略等;控制工程;第1-6页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111985103A (zh) | 2020-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kurniawati et al. | An online POMDP solver for uncertainty planning in dynamic environment | |
| CN111127364B (zh) | 图像数据增强策略选择方法及人脸识别图像数据增强方法 | |
| US20200167659A1 (en) | Device and method for training neural network | |
| CN112232413B (zh) | 基于图神经网络与谱聚类的高维数据特征选择方法 | |
| CN105718999B (zh) | 一种启发式代谢共表达网络的构建方法及系统 | |
| CN110633667B (zh) | 一种基于多任务随机森林的动作预测方法 | |
| CN111079780A (zh) | 空间图卷积网络的训练方法、电子设备及存储介质 | |
| CN113095575B (zh) | 一种基于迁移学习的车流量预测方法和系统 | |
| CN114548591B (zh) | 一种基于混合深度学习模型和Stacking的时序数据预测方法及系统 | |
| Riesen et al. | Approximate graph edit distance in quadratic time | |
| CN112765415A (zh) | 基于关系内容联合嵌入卷积神经网络的链路预测方法 | |
| CN112215412B (zh) | 溶解氧预测方法及装置 | |
| CN113010683A (zh) | 基于改进图注意力网络的实体关系识别方法及系统 | |
| CN112488147A (zh) | 一种基于对抗网络的冗余去除主动学习方法 | |
| CN114627980A (zh) | 一种化学逆合成分析方法及系统 | |
| CN111985103B (zh) | 基于核极限学习机的样本处理方法及系统 | |
| Villacorta et al. | Sensitivity analysis in the scenario method: A multi-objective approach | |
| Dridi et al. | Learning stochastic dynamical systems with neural networks mimicking the Euler-Maruyama scheme | |
| Xie et al. | Upper confident bound advantage function proximal policy optimization | |
| CN115240782A (zh) | 药物属性预测方法、装置、电子设备及存储介质 | |
| Toubeh et al. | Risk-aware planning by confidence estimation using deep learning-based perception | |
| Alghanmi et al. | A hybrid regression model for mixed numerical and categorical data | |
| Khosravani et al. | A New Convex Hull, Sliding Window Based Online Adaptation Method for Fixed-Structure Radial Basis Function Neural Networks | |
| Li et al. | Texture direction recognition of wooden beams and columns based on improved meta-learning | |
| CN114608596B (zh) | 一种基于dssa算法的路径规划方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |