CN111708343B - 一种面向制造业行业现场工艺行为异常行为检测方法 - Google Patents

Abstract

本发明涉及一种面向制造业行业现场工艺异常行为检测方法，主要针对制造业工业现场工艺异常行为检测开展基于行为特征知识库的检测方法研究，本发明基于随机森林算法构建随机森林异常检测模型。具体实现方法为对工业现场的工艺数据进行PCA(主成分分析)方法降维，采用集成规则树模型进行特征选择，采用随机森林算法对工艺数据进行分类。随机森林每条路径对应一条规则，具有很好的解释性，分类准确度大大提升，可以处理大量的输入变数，即便工艺数据中含有缺失值，分类结果仍然能达到较高的准确度。融合行为特征知识库与未知行为情景的实时应急决策架构，通过预测工业现场工艺数据的行为检测，对异常行为进行提前预警。

Description

一种面向制造业行业现场工艺行为异常行为检测方法

技术领域

本发明涉及一种面向制造业行业现场工艺行为的异常行为检测方法，通过基于工业现场行为特征知识库构建，实现提高工控安全检测技术与行业现场行为的关联性，使异常行为检测警报更代表行业现场行为特点，属于工业控制网络信息安全领域。

背景技术

当前国内外关于基于行业特征知识库的异常行为检测技术的研究比较空白，目前都是在传统IT安全防护产品的基础上增加了工业控制协议，现在用于异常检测的技术有基于支持向量机的异常检测，它的数据空间与时间代价比较大，需要大量的存储空间，基于朴素贝叶斯方法的异常检测，在特征个数较多以及特征之间相关性较大时，分类效果不好。基于决策树算法的异常检测预测结果不稳定，方差较大。本发明的研究成果将突破当前国内外关于工业现场行为特征知识库构建技术空白的局限，提高工控安全检测技术与行业现场行为的关联性，使异常检测警报更代表行业现场行为特点，提高了预测准确度，对降低异常检测“漏报率”与“误报率”有一定帮助。随机森林算法不容易产生过拟合，既能处理离散性数据，也能处理连续性数据，随机性的引入，对工艺数据有很好的抗噪性。

本发明主要针对制造业行业现场工艺行为的异常行为检测开展基于行为特征知识库的检测方法研究，项目通过结合实际的工厂生产环境研究业务运行过程行为基线，通过主成分描述以及专家知识建立生产控制行为模型，对工业现场的业务行为进行概括和抽象，建立运行过程行为基线与攻击行为之间的关联关系，实现面向工业现场的行为特征知识库构建，通过在线自学习优化机制的研究实现对行为库的自动化学习和更新机制。在此基础上，通过基于工艺行为特征提取算法的研究，结合建立的行为特征知识库实现一种高效的工业现场隐蔽异常行为检测报警机制。对制造业现场工艺数据进行预处理，采用PCA方法对数据进行降维，采用规则树模型进行特征选择，进行特征工程选择后的数据采用随机森林方法建立异常检测模型，采用网格搜索交叉验证的方式逐步调优模型参数，建立的一种基于随机森林的异常检测报警机制。

发明内容

针对上述技术不足，本发明的目的提供一种面向制造业行业现场工艺异常行为检测方法。本发明结合态势感知的概念，提出基于有监督学习的工控系统态势理解算法，结合制造业半导体实时数据，半导体工艺数据具有8029个维度，每个维度代表一道工艺，如温度，流量，压力等。通过这些维度去预测最后一列Y(标签)的值。我们通过特征提取将通过PCA和随机森林等有监督学习算法对系统的正常工况进行建模，并以此作为基准来得到每个时刻系统状态与正常工况的偏离程度来作为安全态势要素，在时间维度上对其进行融合计算，得到系统当前态势，为后续态势预测阶段提供数据基础。

本发明为实现上述目的所采用的技术方案是：

一种面向制造业行业现场工艺行为异常行为检测方法，包括以下步骤：

1)对工艺数据进行预处理；

2)对预处理后的工艺数据使用随机森林算法进行预测，得到预测值；

3)将步骤2)中得到的预测值与阈值比较，若预测值小于阈值，则标注正常，否则提示报警。

所述预处理为对工艺数据进行PCA降维处理，对工艺数据缺失值进行可视化，并对工艺数据进行降噪处理。

所述PCA降维处理是对工艺数据特征进行压缩，由原始的n维压缩成m维，用于计算特征间的协方差矩阵，求取特征的特征值与特征向量，将特征值从大到小排序并根据需要选择特征的维度去选择各个特征。

所述随机森林算法通过训练，不断改变模型的权重，通过网格搜索交叉验证的方法调节参数，保存训练得到的最终模型。

所述随机森林算法步骤为：

1)应用bootstrap方法有放回地随机抽取K个新的样本集，使用新的样本集构建K棵规则树，每次未被抽到的样本组成了K个袋外数据，bootstrap样本b＝1，2，…，B，B表示训练样本个数：

2)设置b＝1,在训练样本上创建决策树T_b，并将袋外数据标记为

在袋外数据上使用T_b对数据进行分类,统计正确分类的个数，记为

3)对于特征X_j，j＝1，2，…，N，N为降维后的工艺数据的维度数，对

中的特征X_j的值进行扰动,扰动后的数据集记为

使用T_b对数据进行分类，统计正确分类的个数，记为

4)对于b＝2，3，…，B，重复步骤1)～3)，特征X_j的变量重要性度量D_j通过下面的公式进行计算：

5)利用网格搜索Grid Search设置10折交叉验证，选取在验证集上以正确率高排序的前多个特征个数，生成新的工艺数据样本；

6)利用步骤5)得到的新的工艺数据样本训练随机森林模型，通过网格搜索调节参数，保存训练得到的最终模型。

本发明具有以下有益效果及优点：

1.针对制造业行业现场工艺数据的异常行为问题，提出的一种基于集成学习学习方法的工控系统态势理解算法，使用PCA与集成规则树和随机森林等学习算法，对系统正常工况建模，采集实时监测的数据来预测系统状态偏离正常的程度作为系统态势要素，能够正确预测系统的安全态势，根据异常检测响应频率，工控网络安全人员可以更快找到异常点和更好地实施安全防护手段。为系统管理人员提供可靠的决策信息，及时的做出判断预防危险事件的发生；

2.通过大数据对于制造业工业控制系统关键设备的建模，可以更加清晰的了解关键设备的运行状态，通过异常数据发生的频率定点找到异常的设备，提高生产效率以及安全系数。能够进一步实现制造业工厂的自动化、信息化、智能化水平，在部分工艺阶段减少人力投入，实现无人化或少人化操作，降低生产成本。

附图说明

图1为本发明中采用PCA对半导体工艺数据进行降维原理示意图；

图2为本发明中采用随机森林分类中心过程示意图；

图3为本发明中面向制造业现场行业工控系统安全态势理解算法流程示意图。

具体实施方式

本发明包括以下步骤：

1.对工艺数据进行进行数据预处理，对数据缺失值进行可视化，并对数据进行降噪处理，采用PCA方法对数据进行降维，相似的特征被合并掉，减少特征的个数，降低数据维度。使投射误差最小，转换后的数据维度都是新生的，有利于防止过拟合的出现。PCA降维步骤如下：

1a)对连续型的原始数据进行均值归一化，保证每一个维度的数据量级是一样的。

1b)求特征的协方差矩阵：

其中，cov表示协方差，Xi为第i个特征值，Yi为第i个预测值，

分别为特征方差与预测方差；n为特征个数，i为将要代入计算的每个数据i＝1,2,...n。

1c)根据SVD求取特征值和特征向量:

(A^TA)ν_i＝λ_iν_i

其中，A为矩阵，ν_i为特征向量，λ_i为特征值，δ_i为奇异值，μ_i为左奇异向量。

1d)按特征值从大到小排列。

1e)选择k个高方差特征。

2.使用集成规则树模型对已压缩后的工艺数进行特征选择，规则树模型是用过寻找适当的分裂点，把目标数据划分为更多、更小规模的同质化更强的组。分裂点的选择包括数据全体特征的选择和单特征中分裂点的划分，度量纯度的方法有Gini(基尼系数)和交叉熵，规则树模型就是通过不断的利用不同特征以及随机抽样的不用样本生成各种不同的树模型，从而保证了结果的泛化性，然后根据每个特征作为分裂点在不同规则树模型中平均基尼系数改变量，作为特征重要性依据，生成特征重要性指标。这种基于规则树的方法在生成较多树模型后，对工艺数据中的噪声有很强的鲁棒性。

3.使用随机森林方法构建模型对工艺数据进行分类，通过不同的理念或算法建立的规则集合，随机森林中的每棵树都被看做新样本分类的投票，整合模型中每类票数比例就是预测概率向量，随机森林模型与树模型一样有对数据预处理要求低的特定；Adaboost(自适应增强)自适应助推模型利用了助推法原理，助推法生成一系列弱分类模型，每次迭代，算法都会基于当前样本权重发现最佳的分类器，在第k轮迭代中被错分的样本将在k+1轮迭代中被分配更高的权重，被正确分类的样本在下一轮的迭代中权重会降低，助推法目的是每次迭代学习样本的不同方面，着眼于难以区分的样本区域。算法步骤如下：

3a)应用bootstrap(自助法)方法有放回地随机抽取K个新的样本集，使用新的样本集构建K棵规则树，每次未被抽到的样本组成了K个袋外数据，bootstrap样本b＝1，2，…，B，B表示训练样本个数，特征X_j的基于分类准确率的变量重要性度量D_j按照下面的步骤计算：

3b)设置b＝1,在训练样本上创建决策树T_b，并将袋外数据标记为

在袋外数据上使用T_b对数据进行分类,统计正确分类的个数，记为

3c)对于特征X_j，j＝1，2，…，N，对

中的特征X_j的值进行扰动,扰动后的数据集记为

使用T_b对数据进行分类，统计正确分类的个数，记为

3d)对于b＝2，3，…，B，重复步骤(3a)～(3c)。特征X_j的变量重要性度量D_j通过下面的公式进行计算：

3e)利用网格搜索Grid Search设置10折交叉验证，选取在验证集上正确率高方差小的特征个数，生成新的工艺数据样本。

3f)利用上一步得到的新的工艺数据集训练随机森林模型，通过网格搜索调节最优参数，保存训练得到的最优模型。

随机森林算法一般选用具有较大偏差和较小方差的“弱模型”进行训练，重点在每个模型的所占权重，通过一次次迭代，不断改变各个模型的权重，通过网格搜索调节最优参数，保存训练得到的最优模型。

4.对每个实时检测到的数据做同样的数据预处理，经过特征降维与特征选择，用交叉验证方法不断调优。主要参数有max_features(最大特征数目)，max_depth(决策树最大深度)，min_weight_fraction_leaf(叶子结点最小权重)。通过不断调节参数，使模型效果达到最优，用模型预测Y值是否大于阈值，结果小于阈值，系统运作正常，如果大于阈值，有异常发生会有危险情况发生，对系统发出报警提示。

下面结合附图及实施例对本发明做进一步的详细说明。

1.PCA降维

如图1所示，以制造业行业半导体工艺数据处理过程为例，首先半导体工艺数据存在维度高，有些特征含有大量缺失值，现场工艺数据存在噪声等特点，不适合直接进行数据分析。因此采用PCA对数据进行降维。PCA是统计学中一种数据集简化技术，它可以去除数据中大量的冗余特征。对工艺数据特征进行压缩，由原始的n维压缩成m维，提高模型的泛化能力。主要是计算特征间的协方差矩阵，求取特征的特征值与特征向量，将特征值从大到小排序。根据需要选择特征的维度去选择各个特征。

先对连续性数据进行均值归一化处理，求取特征的协方差矩阵，根据SVD求取特征值与特征向量，将特征值从大道小排序，选取特征值最大的M个特征向量作为样本映射矩阵。

2.随机森林分类

如图2所示，经过数据预处理降低数据的维度，在极大程度上保留了原有的工艺数据行为特征。选取不同的算法建立规则集合，随机森林中的每棵树都被看做新样本分类的投票，整合模型中每类票数比例就是预测概率向量，随机森林模型与树模型一样有对数据预处理要求低的特定；Adaboost(自适应增强)自适应助推模型利用了助推法原理，助推法生成一系列弱分类模型，每次迭代，算法都会基于当前样本权重发现最佳的分类器，在第k轮迭代中被错分的样本将在k+1轮迭代中被分配更高的权重，被正确分类的样本在下一轮的迭代中权重会降低，助推法目的是每次迭代学习样本的不同方面，着眼于难以区分的样本区域。算法步骤如下：

2a)应用bootstrap(自助法)方法有放回地随机抽取K个新的样本集，使用新的样本集构建K棵规则树，每次未被抽到的样本组成了K个袋外数据，bootstrap样本b＝1，2，…，B，B表示训练样本个数，特征X_j的基于分类准确率的变量重要性度量D_j按照下面的步骤计算：

2b)设置b＝1,在训练样本上创建决策树T_b，并将袋外数据标记为

在袋外数据上使用T_b对数据进行分类,统计正确分类的个数，记为

2c)对于特征X_j，j＝1，2，…，N，对

中的特征X_j的值进行扰动,扰动后的数据集记为

使用T_b对数据进行分类，统计正确分类的个数，记为

2d)对于b＝2，3，…，B，重复步骤(2a)～(2c)。特征X_j的变量重要性度量D_j通过下面的公式进行计算：

2e)利用网格搜索Grid Search设置10折交叉验证，选取在验证集上正确率高方差小的特征个数，生成新的工艺数据样本。

2f)利用上一步得到的新的工艺数据集训练随机森林模型，通过网格搜索调节最优参数，保存训练得到的最优模型。

随机森林算法一般选用具有较大偏差和较小方差的“弱模型”进行训练，重点在每个模型的所占权重，通过一次次迭代，不断改变各个模型的权重，通过网格搜索交叉验证的方法调节最优参数，保存训练得到的最优模型。

3.半导体工艺现场数据异常行为检测建模

具体步骤如下：

3a)从历史数据库中取出系统正常运行时段的现场控制层所收集的数据；

3b)利用PCA方法对数据进行压缩降维，过滤掉冗余信息，保留主要信息的数据；

3c)对经过特征变换之后的数据用随机森林方法进行预测，每个规则树代表着一种工况，整合模型中每类票数比例就是预测概率向量，每次迭代，算法都会基于当前样本权重发现最佳的分类器，在第k轮迭代中被错分的样本将在k+1轮迭代中被分配更高的权重，被正确分类的样本在下一轮的迭代中权重会降低，通过一次次的迭代不断调整各分类器的权重，直至得到最优模型。

3d)对每个实时检测的数据进行降维处理，经过随机森林异常检测模型预测得到一个预测值，若预测值大于阈值，则记录该时刻系统状态偏离系统正常工况，计入报警日志，若预测值小于阈值，系统工况正常运行。

工控系统态势理解算法流程如图3所示。

该数据集属于高维数据，有许多维度之间存在信息冗余与特征值缺失的现象，不能直接用于分类分析，先对数据进行常量维度删减并对其进行数值归一化处理，再用PCA方法进行数据降维，在进行随机森林分类的时候，不断的调整参数max_depth(决策树最大深度)与min_child_weight(叶子结点最小权重)，当max_depth为3min_child_weight为4时,分类效果最好。

根据本发明所提算法成功检测出异常工况的数据，根据检测的数据与阈值相比较，可以有效地判别工艺数据是否存在异常，如若存在异常，记录该时刻工况异常。根据异常检测响应频率，工控网络安全人员可以更快找到异常点和更好地实施安全防护手段。

Claims (3)

1.一种面向制造业行业现场工艺行为异常行为检测方法，其特征在于，包括以下步骤：

1)对工艺数据进行预处理；

2)对预处理后的工艺数据使用随机森林算法进行预测，得到预测值；

3)将步骤2)中得到的预测值与阈值比较，若预测值小于阈值，则标注正常，否则提示报警；

所述随机森林算法通过训练，不断改变模型的权重，通过网格搜索交叉验证的方法调节参数，保存训练得到的最终模型；

所述随机森林算法步骤为：

a)应用bootstrap方法有放回地随机抽取K个新的样本集，使用新的样本集构建K棵规则树，每次未被抽到的样本组成了K个袋外数据，bootstrap样本b＝1，2，…，B，B表示训练样本个数：

b)设置b＝1，在训练样本上创建决策树T_b，并将袋外数据标记为

在袋外数据上使用T_b对数据进行分类，统计正确分类的个数，记为

c)对于特征X_j，j＝1，2，…，N，N为降维后的工艺数据的维度数，对

和的特征X_j的值进行扰动，扰动后的数据集记为

使用T_b对数据进行分类，统计正确分类的个数，记为

d)对于b＝2，3，…，B，重复步骤a)～c)，特征X_j的变量重要性度量D_j通过下面的公式进行计算：

e)利用网格搜索Grid Search设置10折交叉验证，选取在验证集上以正确率高排序的前多个特征个数，生成新的工艺数据样本；

f)利用步骤e)得到的新的工艺数据样本训练随机森林模型，通过网格搜索调节参数，保存训练得到的最终模型。

2.根据权利要求1所述的一种面向制造业行业现场工艺行为异常行为检测方法，其特征在于，所述预处理为对工艺数据进行PCA降维处理，对工艺数据缺失值进行可视化，并对工艺数据进行降噪处理。

3.根据权利要求2所述的一种面向制造业行业现场工艺行为异常行为检测方法，其特征在于，所述PCA降维处理是对工艺数据特征进行压缩，由原始的n维压缩成m维，用于计算特征间的协方差矩阵，求取特征的特征值与特征向量，将特征值从大到小排序并根据需要选择特征的维度去选择各个特征。

Images