CN113189963A - 一种基于非平衡数据的轧制过程故障诊断方法 - Google Patents
一种基于非平衡数据的轧制过程故障诊断方法 Download PDFInfo
- Publication number
- CN113189963A CN113189963A CN202110454048.XA CN202110454048A CN113189963A CN 113189963 A CN113189963 A CN 113189963A CN 202110454048 A CN202110454048 A CN 202110454048A CN 113189963 A CN113189963 A CN 113189963A
- Authority
- CN
- China
- Prior art keywords
- data
- layer
- value
- sample
- class
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005096 rolling process Methods 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000003745 diagnosis Methods 0.000 title claims abstract description 20
- 238000004519 manufacturing process Methods 0.000 claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 32
- 230000002159 abnormal effect Effects 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000012795 verification Methods 0.000 claims abstract description 11
- 230000008569 process Effects 0.000 claims abstract description 10
- 238000009499 grossing Methods 0.000 claims abstract description 8
- 238000010606 normalization Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 41
- 238000005070 sampling Methods 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 12
- 239000000126 substance Substances 0.000 claims description 11
- 229910000831 Steel Inorganic materials 0.000 claims description 10
- 239000010959 steel Substances 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 9
- 238000010200 validation analysis Methods 0.000 claims description 9
- 238000005259 measurement Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000009826 distribution Methods 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims description 7
- 238000011478 gradient descent method Methods 0.000 claims description 6
- 210000002569 neuron Anatomy 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000012546 transfer Methods 0.000 claims description 4
- 238000012952 Resampling Methods 0.000 claims description 3
- 230000003213 activating effect Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000004140 cleaning Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 claims description 3
- 238000012886 linear function Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000013000 roll bending Methods 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 230000008901 benefit Effects 0.000 abstract description 3
- 238000005098 hot rolling Methods 0.000 abstract description 3
- 239000000523 sample Substances 0.000 description 49
- 230000000694 effects Effects 0.000 description 5
- 238000002790 cross-validation Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
- G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
- G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
- G05B23/0275—Fault isolation and identification, e.g. classify fault; estimate cause or root of failure
- G05B23/0278—Qualitative, e.g. if-then rules; Fuzzy logic; Lookup tables; Symptomatic search; FMEA
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种基于非平衡数据的轧制过程故障诊断方法,涉及轧制过程自动控制技术领域。本发明首先采集某段时间中轧制过程的生产数据;再将数据进行连续型特征去除异常值、平滑处理和归一化、类别型特征编码处理,划分数据集,非平衡训练数据平衡化;用处理后的数据构建深度置信网络(DBN)模型,采用训练集进行常规的预训练及微调并使用L2正则化防止过拟合,使用验证集通过主动学习策略增加一步再微调过程,最后根据模型进行非平衡数据分类。本发明提供的基于非平衡数据的轧制过程故障诊断方法,运算速度快、计算精度高。同时,本发明方法可直接在计算机上通过编程实现,且不需要成本上的投入,可以广泛推广到热轧生产中。
Description
技术领域
本发明涉及轧制过程自动控制技术领域,尤其涉及一种基于非平衡数据的轧制过程故障诊断方法。
背景技术
在轧制过程中,当产线发生故障时能否及时排查出故障源并修复是实现制作过程稳定连续的重要前提。轧制过程的故障诊断响应速度及准确性将直接影响产线的效率以及产品的质量,进而对厂家的生产效益产生重大影响。
由于轧制过程具有遗传性、实变性、强耦合等特点,很难基于传统的机理建模来构建故障诊断模型,钢铁行业作为一种流程工业,轧制过程产生并积累了大量的数据,这些数据几乎包含了与轧制相关的所有信息,包含带钢的物理成形机理、轧制条件信息、金属塑性成形原理、设备的运行状况以及生产物料调度信息等。通过对这些数据的挖掘,可以为轧制过程的故障诊断提供新的解决思路,轧制过程的故障诊断问题往往和数据分类问题息息相关,轧制生产数据包含占绝大多数的正常数据和占比很小的异常数据,通过将正常数据与异常数据的有效分类,即可在异常数据中搜索故障源,由于收集到的轧制数据中故障数据和正常数据存在较大数量差构成了非平衡数据,给基于平衡数据的机器学习分类算法应用在非平衡轧制数据时分类效果很不理想。
发明内容
本发明要解决的技术问题是针对上述现有技术的不足,提供一种基于非平衡数据的轧制过程故障诊断方法,在轧制过程中,根据实测轧制数据,实现在线故障诊断。
为解决上述技术问题,本发明所采取的技术方案是:
一种基于非平衡数据的轧制过程故障诊断方法,包括以下步骤:
步骤1:采集轧制过程的生产数据;所述生产数据包括钢卷号、生产时间、中间坯厚度、轧制力、弯辊力、窜辊量、平均宽度、平均厚度、精轧入口温度、终轧温度、轧辊速度、后凸度、轧制公里数;
步骤2:对步骤1中生产数据进行预处理,包括连续型特征去除异常值、平滑处理和归一化、类别型特征编码处理,划分数据集,非平衡训练数据平衡化,具体方法为:
步骤2.1:对生产数据中的连续型数据进行数据预处理;
步骤2.1.1:采用拉衣达准则(Pauta criterion)对生产数据中的连续性数据进行异常值剔除,如下公式所示:
步骤2.1.2:对生产数据中的连续性特征数据采用五点三次平滑,减小每个数据点所包含的测量误差,如下公式所示:
步骤2.1.3:采用最大最小归一化法归一化处理生产数据,如下公式所示:
步骤2.2:类别型特征编码处理;采用独热编码(one-hot),将生产数据中所有的类别型特征数据及标签转化为数值型,编码规则如表1所示:
表1独热编码
步骤2.3:数据集划分;采用分层采样将预处理后的数据集按设定的比例划分,按照标签值对数据进行分类划分,使各类别在训练集、测试集与验证集中的占比相同;
步骤2.4:非平衡训练数据平衡化;针对训练集采用SMOTE过采样技术,增加属于0类和2类的样本的数量,使所有类的样本数量均等于初始训练集中最大类的数量,如下公式所示:
步骤3:基于经过特征选取和数据清洗过的数据集构建深度置信网络(DBN)模型,具体方法为:
步骤3.1:确定深度置信网络DBN的隐含层数;一般隐含层数不易过大,在隐含层数的上下区间内,进行遍历搜索,获得最优的隐含层数m;
步骤3.2:确定隐含层神经元节点数;首先采用如下经验公式计算经验值:
n=log2T
其中,T为输入特征数,n为隐含层神经元节点数的经验值;
在经验值的上下区间内,进行遍历搜索,获得最优的隐含层节点数nbest;
步骤3.3:预训练深度置信网络;
步骤3.3.1:构建受限玻尔兹曼机(RBM)模型;深度置信网络的第一层和第二层构成一个受限玻尔兹曼机模型,第二层和第三层构成另外一个受限玻尔兹曼机模型,依此类推直至神经网络中的次外层;
步骤3.3.2:确定受限玻尔兹曼机模型的学习率;遍历搜索0.001~0.01,确定最优的学习率lr;
步骤3.3.3:分别计算受限玻尔兹曼机显层和隐层的采样概率,如下公式所示:
其中vi,hi,wk,i,ak,bk,P(hk=1|v),P(vk=1|h)分别是受限玻尔兹曼机显层第i节点的值,隐层的i节点的值,显层k节点和隐层i节点的连接权重,显层k节点的阈值,隐层k节点的阈值,已知显层求出的隐层k节点激活概率,已知隐层求出的显层k节点激活概率;
步骤3.3.4:根据显层和隐层的采样概率进行显层和隐层的重采样,每次取0到1之间的随机数,若激活概率大于该随机数则将对应的节点激活取值为1,否则取值为0;
步骤3.3.5:采用对比散度(CD)算法训练受限玻尔兹曼机模型,如下公式所示:
△bi=△bi+[P(hi=1|v(0))-P(hi=1|v(1))]
wi,j=wi,j+lr*△wi,j
aj=aj+lr*△aj
bi=bi+lr*△bi
步骤3.4:微调深度置信网络;
步骤3.4.1:确定DBN微调的学习率;遍历搜索0.01~0.1,确定最优的学习率lr微调;
步骤3.4.2:确定DBN隐含层和输出层的传递函数;对于线性函数,logsig函数和tansig函数,两两组合产生9种组合,分别测试并选取最优的组合;
步骤3..4.3:确定训练函数;DBN模型顶层采用softmax分类器,以预测值与实测值的交叉熵为代价函数,通过梯度下降法,对DBN模型进行全局微调,微调过程中使用L2正则化防止过拟合;softmax和交叉熵为代价函数如下公式所示:
H(p,q)=-∑ipilogqi
其中,zi是最后一个DBN的第i个输出结果,pi和qi分别是第i个样本的真实数据分布和预测的分布;
步骤4:采用主动学习框架,在验证集中选出最能影响模型性能的样本用于更新DBN,具体方法为:
步骤4.1:定义验证集中样本xi的排名得分为ri,对于n个样本有如下公式:
步骤4.2:计算样本的不确定性;DBN的顶层采用softmax分类器,获得每个样本对应每个类别的后验概率,采用距离度量(margine),计算每个样本的最大可能类的概率与次大可能类的概率的差值,如下公式所示:
其中Pθ(y|x(i))为输入样本x(i)后,网络输出该样本属于各类的概率值,y代表模型输出的类别,假设共有i类,则有y1 y2…yi;ym和yn分别是其中的最大值和第二大的值,x*为不确定性度量值
步骤4.3:计算样本的多样性,对于样本xi和xj之间的相似度,通过高斯核函数计算:
k(xi,xj)=exp(-||xi-xj||2/2σ2)
步骤4.3:综合考虑样本的不确定性与多样性,将不确定度函数与多样性函数相结合,以样本的排名得分ri为求解目标,确定样本选择函数,公式如下:
步骤4.4:将样本选择函数转化为二次规划问题求解得到所有样本的排名得分,在选择样本的过程中,依据实际需要,依次从排名得分由高到低进行选择;
步骤4.5:将经过主动学习框架选择得到的验证集样本用于DBN训练;
步骤5:定义评价指标对训练后的DBN模型进行评估,将轧制生产数据输入此模型,得到终轧凸度的分类结果;由此实现轧制过程中的故障诊断;
评价指标如下公式所示:
式中,c代表类别数,ni和tri分别是真实属于第i类的样本数量及该类样本被正确分类的数量。
采用上述技术方案所产生的有益效果在于:
本发明提供的一种基于非平衡数据的轧制过程故障诊断方法,利用深度置信网络并结合主动学习样本选择策略,在线进行轧制过程故障诊断,克服轧制过程中数据非平衡及传统诊断精度差的缺陷。本发明提出的方法,不仅精度高,而且运算速度快,利用大量的生产过程数据通过直接在计算机上编程,即可实现在线投入使用,成本十分低廉。
附图说明
图1为本发明实施例中深度置信网络分类模型结构示意图;
图2为本发明实施例中受限玻尔兹曼机模型示意图;
图3为本发明实施例中选择样本数量对G-mean的影响曲线图;
图4为本发明实施例中选择样本数量对MAUC的影响曲线图;
图5为本发明实施例中σ对G-mean的影响曲线图;
图6为本发明实施例中σ对MAUC的影响曲线图;
图7为本发明实施例中提出的算法基于轧制数据的对比曲线图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
一种基于非平衡数据的轧制过程故障诊断方法,包括以下步骤:
步骤1:采集轧制过程的生产数据;所述生产数据包括钢卷号、生产时间、中间坯厚度、轧制力、弯辊力、窜辊量、平均宽度、平均厚度、精轧入口温度、终轧温度、轧辊速度、后凸度、轧制公里数;
本实施例中采用六架HCW轧机组成的热连轧生产线数据,轧辊直径630mm~700mm,可轧带钢的宽度为700mm~2130mm,厚度为1.2mm~25.4mm,采集某热轧厂热连轧的生产数据,共计4000个钢卷;数据包含122个特征。选取其中对于板凸度影响最为大的36个特征进行研究,包括中间坯厚度、F1~F6轧制速度、F1~F6轧制力、F1~F6弯辊力、F1~F6窜辊量、F1~F6后凸度、轧后带钢的宽度、厚度、凸度以及精轧入口温度、终轧温度;
步骤2:对步骤1中生产数据进行预处理,包括连续型特征去除异常值、平滑处理和归一化、类别型特征编码处理,划分数据集,非平衡训练数据平衡化,具体方法为:
步骤2.1:对生产数据中的连续型数据存在的噪声干扰、测量误差以及各特征属性量纲不同等问题进行数据预处理,提高数据质量;
本实施例中对连续性特征采用拉衣达准则合计剔除83个数据点;采用5点3次平滑降噪;采用最大最小归一化;
步骤2.1.1:轧制生产条件恶劣,仪器设备并不可能完美地采集到准确的生产数据,数以万计的数据中,包含着部分异常值,采用拉衣达准则(Pauta criterion)对生产数据中的连续性数据进行异常值剔除,如下公式所示:
步骤2.1.2:对生产数据中的连续性特征数据采用五点三次平滑,减小每个数据点所包含的测量误差,如下公式所示:
步骤2.1.3:原数据集包含大量的特征,且量纲各不相同,本发明采用最大最小归一化法归一化处理生产数据,如下公式所示:
步骤2.2:类别型特征编码处理;采用独热编码(one-hot),将生产数据中所有的类别型特征数据及标签转化为数值型,编码规则如表1所示:
表1独热编码
对类别型特征编码处理,通常,带钢的设定凸度多处于厚度的0.8%~1.8%之间。以此为标准,将实际热轧数据集分为3类,如表2所示;通过独热编码(one-hot),将所有的类别型特征及标签转化为数值型:
表2数据集分布
步骤2.3:数据集划分;采用分层采样将预处理后的数据集按设定的比例划分,按照标签值对数据进行分类划分,使各类别在训练集、测试集与验证集中的占比相同;
本实施例中采用分层5折交叉验证,验证集和测试集占总集(3006条样本)的20%,再抽取10%作为验证集,用来实施主动学习策略;
步骤2.4:非平衡训练数据平衡化;针对训练集采用SMOTE过采样技术,增加属于0类和2类的样本的数量,使所有类的样本数量均等于初始训练集中最大类的数量,如下公式所示:
步骤3:基于经过特征选取和数据清洗过的数据集构建深度置信网络(DBN)模型,如图1所示,具体方法为:
步骤3.1:确定深度置信网络DBN的隐含层数;一般隐含层数不易过大,在隐含层数的上下区间内,进行遍历搜索,获得最优的隐含层数m;
本实施例中采用分层5折交叉验证,验证集和测试集占总集(3006条样本)的20%,再抽取10%作为验证集,用来实施主动学习策略;
步骤3.2:确定隐含层神经元节点数;首先采用如下经验公式计算经验值:
n=log2T
其中,T为输入特征数,n为隐含层神经元节点数的经验值;
在经验值的上下区间内,进行遍历搜索,获得最优的隐含层节点数nbest;
本实施例中通过试错法最终设定隐含层网络结构为50-30-10;
步骤3.3:预训练深度置信网络,如图2所示;
步骤3.3.1:构建受限玻尔兹曼机(RBM)模型;深度置信网络的第一层和第二层构成一个受限玻尔兹曼机模型,第二层和第三层构成另外一个受限玻尔兹曼机模型,依此类推直至神经网络中的次外层;
步骤3.3.2:确定受限玻尔兹曼机模型的学习率;遍历搜索0.001~0.01,确定最优的学习率lr;
步骤3.3.3:分别计算受限玻尔兹曼机显层和隐层的采样概率,如下公式所示:
其中vi,hi,wk,i,ak,bk,P(hk=1|v),P(vk=1|h)分别是受限玻尔兹曼机显层第i节点的值,隐层的i节点的值,显层k节点和隐层i节点的连接权重,显层k节点的阈值,隐层k节点的阈值,已知显层求出的隐层k节点激活概率,已知隐层求出的显层k节点激活概率;
步骤3.3.4:根据显层和隐层的采样概率进行显层和隐层的重采样,每次取0到1之间的随机数,若激活概率大于该随机数则将对应的节点激活取值为1,否则取值为0;
步骤3.3.5:采用对比散度(CD)算法训练受限玻尔兹曼机模型,如下公式所示:
△bi=△bi+[P(hi=1|v(0))-P(hi=1|v(1))]
wi,j=wi,j+lr*△wi,j
aj=aj+lr*△aj
bi=bi+lr*△bi
本实施例中确定预训练批次和迭代次数,分别设置预训练批次和迭代次数10,20,30,40,50各5组,总共25各组合进行遍历测试,确定预训练批次为20,迭代次数为50,采用对比散度(CD)算法训练RBM模型,梯度下降法更新RBM连接权重与阈值;
步骤3.4:微调深度置信网络;
步骤3.4.1:确定DBN微调的学习率;遍历搜索0.01~0.1,确定最优的学习率lr微调;
本实施例中以0.1为增量,从0.1至0.5分别测试5次,寻找到最优的学习率0.1;
步骤3.4.2:确定DBN隐含层和输出层的传递函数;对于线性函数,logsig函数和tansig函数,两两组合产生9种组合,分别测试并选取最优的组合;
本实施例中选择logsig函数和purelin函数分别作为隐含层和输出层的传递函数;
步骤3..4.3:确定训练函数;DBN模型顶层采用softmax分类器,以预测值与实测值的交叉熵为代价函数,通过梯度下降法,对DBN模型进行全局微调,微调过程中使用L2正则化防止过拟合;softmax和交叉熵为代价函数如下公式所示:
H(p,q)=-∑ipilogqi
其中,zi是最后一个DBN的第i个输出结果,pi和qi分别是第i个样本的真实数据分布和预测的分布;
本实施例中确定交叉熵为代价函数,依次测试梯度下降法、动态梯度下降法、拟牛顿法、贝叶斯规则化法和L-M法,确定L-M法为最优的训练函数,使用L2正则化系数选定为0.01;
步骤4:采用主动学习框架,在验证集中选出最能影响模型性能的样本用于更新DBN,增加一步再微调过程,具体方法为:
步骤4.1:定义验证集中样本xi的排名得分为ri,样本得分越高,越容易被选中,对于n个样本有如下公式:
步骤4.2:计算样本的不确定性;DBN的顶层采用softmax分类器,获得每个样本对应每个类别的后验概率,采用距离度量(margine),计算每个样本的最大可能类的概率与次大可能类的概率的差值,如下公式所示:
其中Pθ(y|x(i))为输入样本x(i)后,网络输出该样本属于各类的概率值,y代表模型输出的类别,假设共有i类,则有y1 y2…yi;ym和yn分别是其中的最大值和第二大的值,x*为不确定性度量值
对于分类问题来说,当样本x(i)离分类面越近,意味着其所含的信息愈加丰富。对于margin方法,当样本最大与次大概率的差越小,表示该样本越“模糊”,即很难确认其真实所属的类别,换句话说,该样本的不确定性很高;
步骤4.3:计算样本的多样性,对于样本xi和xj之间的相似度,通过高斯核函数计算:
k(xi,xj)=exp(-||xi-xj||2/2σ2)
式中,σ为待确定超参数;对于集合中的n个样本,计算核矩阵对于Kij来说,当xi和xj越相似,Kij越大,但是在数据集中,只有部分会被选择用来更新模型,因此必会存在某个样本的排名得分低于其它,定义样本多样性指标g(r):
通过最小化g(ri),即使ri、rj和Kij至少有一项必然小于其余项,样本之间的差异性,也可以认为样本具有多样性;
步骤4.3:综合考虑样本的不确定性与多样性,将不确定度函数与多样性函数相结合,以样本的排名得分ri为求解目标,确定样本选择函数,公式如下:
步骤4.4:将样本选择函数转化为二次规划问题求解得到所有样本的排名得分,在选择样本的过程中,依据实际需要,依次从排名得分由高到低进行选择;
步骤4.5:将经过主动学习框架选择得到的验证集样本用于DBN训练,进一步进行模型微调;
本实施例中采用放回抽样循环迭代的方法,每轮迭代所选取适量的样本用以模型的修正,因此样本的数量将严重影响模型的性能,实际划分的验证集包含300条样本,因此分别测试1、3、5、10、15、20、50、100、150共计9中情况下的模型性能,如图3和图4所示,最优主动学习样本选择数量为5;分别以G-mean和MAUC为评价指标,测试σ为0.0001、0.001、0.01、0.1、1、5、10、50、100的8种情况,如图5和图6所示,选取1为σ的最终值,最终的模型参数如表3所示:
表3模型参数描述
步骤5:针对多类别非平衡分类问题定义评价指标对训练后的DBN模型进行评估,将轧制生产数据输入此模型,得到终轧凸度的分类结果;由此实现轧制过程中的故障诊断;深度置信网络、SMOTE过采样和主动学习框架结合,进行测试判断模型的最终性能,并于其他模型进行对比,如图7所示,综合对比,所提出的模型具有较好的性能。
评价指标如下公式所示:
式中,c代表类别数,ni和tri分别是真实属于第i类的样本数量及该类样本被正确分类的数量;
另外,ROC曲线下的面积(AUC)同样被广泛应用在二分类问题,对于多分类问题,常用指标为M(MAUC),通过计算两两比较值(两个类之间的AUC),具体公式如下所示:
式中,代表属于j类的一个随机样本,相比于属于i类的随机样本,具有更低的估计概率属于i类;因此代表属于i类的一个随机样本,相比于属于j类的随机样本,具有更低的估计概率属于j类。在二分类问题中,但是在多分类问题中,通常
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明权利要求所限定的范围。
Claims (4)
1.一种基于非平衡数据的轧制过程故障诊断方法,其特征在于,包括以下步骤:
步骤1:采集轧制过程的生产数据;所述生产数据包括钢卷号、生产时间、中间坯厚度、轧制力、弯辊力、窜辊量、平均宽度、平均厚度、精轧入口温度、终轧温度、轧辊速度、后凸度、轧制公里数;
步骤2:对步骤1中生产数据进行预处理,包括连续型特征去除异常值、平滑处理和归一化、类别型特征编码处理,划分数据集,非平衡训练数据平衡化;
步骤3:基于经过特征选取和数据清洗过的数据集构建深度置信网络(DBN)模型;
步骤4:采用主动学习框架,在验证集中选出最能影响模型性能的样本用于更新DBN;
步骤5:定义评价指标对训练后的DBN模型进行评估,将轧制生产数据输入此模型,得到终轧凸度的分类结果;由此实现轧制过程中的故障诊断;
评价指标如下公式所示:
式中,c代表类别数,ni和tri分别是真实属于第i类的样本数量及该类样本被正确分类的数量。
2.根据权利要求1所述的一种基于非平衡数据的轧制过程故障诊断方法,其特征在于,所述步骤2具体包括以下步骤:
步骤2.1:对生产数据中的连续型数据进行数据预处理;
步骤2.1.1:采用拉衣达准则(Pauta criterion)对生产数据中的连续性数据进行异常值剔除,如下公式所示:
步骤2.1.2:对生产数据中的连续性特征数据采用五点三次平滑,减小每个数据点所包含的测量误差,如下公式所示:
步骤2.1.3:采用最大最小归一化法归一化处理生产数据,如下公式所示:
步骤2.2:类别型特征编码处理;采用独热编码(one-hot),将生产数据中所有的类别型特征数据及标签转化为数值型,编码规则如表1所示:
表1独热编码
步骤2.3:数据集划分;采用分层采样将预处理后的数据集按设定的比例划分,按照标签值对数据进行分类划分,使各类别在训练集、测试集与验证集中的占比相同;
步骤2.4:非平衡训练数据平衡化;针对训练集采用SMOTE过采样技术,增加属于0类和2类的样本的数量,使所有类的样本数量均等于初始训练集中最大类的数量,如下公式所示:
3.根据权利要求1所述的一种基于非平衡数据的轧制过程故障诊断方法,其特征在于,所述步骤3具体包括以下步骤:
步骤3.1:确定深度置信网络DBN的隐含层数;一般隐含层数不易过大,在隐含层数的上下区间内,进行遍历搜索,获得最优的隐含层数m;
步骤3.2:确定隐含层神经元节点数;首先采用如下经验公式计算经验值:
n=log2T
其中,T为输入特征数,n为隐含层神经元节点数的经验值;
在经验值的上下区间内,进行遍历搜索,获得最优的隐含层节点数nbest;
步骤3.3:预训练深度置信网络;
步骤3.3.1:构建受限玻尔兹曼机(RBM)模型;深度置信网络的第一层和第二层构成一个受限玻尔兹曼机模型,第二层和第三层构成另外一个受限玻尔兹曼机模型,依此类推直至神经网络中的次外层;
步骤3.3.2:确定受限玻尔兹曼机模型的学习率;遍历搜索0.001~0.01,确定最优的学习率lr;
步骤3.3.3:分别计算受限玻尔兹曼机显层和隐层的采样概率,如下公式所示:
其中vi,hi,wk,i,ak,bk,P(hk=1|v),P(vk=1|h)分别是受限玻尔兹曼机显层第i节点的值,隐层的i节点的值,显层k节点和隐层i节点的连接权重,显层k节点的阈值,隐层k节点的阈值,已知显层求出的隐层k节点激活概率,已知隐层求出的显层k节点激活概率;
步骤3.3.4:根据显层和隐层的采样概率进行显层和隐层的重采样,每次取0到1之间的随机数,若激活概率大于该随机数则将对应的节点激活取值为1,否则取值为0;
步骤3.3.5:采用对比散度(CD)算法训练受限玻尔兹曼机模型,如下公式所示:
△bi=△bi+[P(hi=1|v(0))-P(hi=1|v(1))]
wi,j=wi,j+lr*△wi,j
aj=aj+lr*△aj
bi=bi+lr*△bi
步骤3.4:微调深度置信网络;
步骤3.4.1:确定DBN微调的学习率;遍历搜索0.01~0.1,确定最优的学习率lr微调;
步骤3.4.2:确定DBN隐含层和输出层的传递函数;对于线性函数,logsig函数和tansig函数,两两组合产生9种组合,分别测试并选取最优的组合;
步骤3..4.3:确定训练函数;DBN模型顶层采用softmax分类器,以预测值与实测值的交叉熵为代价函数,通过梯度下降法,对DBN模型进行全局微调,微调过程中使用L2正则化防止过拟合;softmax和交叉熵为代价函数如下公式所示:
H(p,q)=-∑ipilogqi
其中,zi是最后一个DBN的第i个输出结果,pi和qi分别是第i个样本的真实数据分布和预测的分布。
4.根据权利要求1所述的一种基于非平衡数据的轧制过程故障诊断方法,其特征在于,所述步骤4具体包括以下步骤:
步骤4.1:定义验证集中样本xi的排名得分为ri,对于n个样本有如下公式:
步骤4.2:计算样本的不确定性;DBN的顶层采用softmax分类器,获得每个样本对应每个类别的后验概率,采用距离度量(margine),计算每个样本的最大可能类的概率与次大可能类的概率的差值,如下公式所示:
其中Pθ(y|x(i))为输入样本x(i)后,网络输出该样本属于各类的概率值,y代表模型输出的类别,假设共有i类,则有y1 y2 ....yi;ym和yn分别是其中的最大值和第二大的值,x*为不确定性度量值
步骤4.3:计算样本的多样性,对于样本xi和xj之间的相似度,通过高斯核函数计算:
k(xi,xj)=exp(-||xi-xj||2/2σ2)
步骤4.3:综合考虑样本的不确定性与多样性,将不确定度函数与多样性函数相结合,以样本的排名得分ri为求解目标,确定样本选择函数,公式如下:
步骤4.4:将样本选择函数转化为二次规划问题求解得到所有样本的排名得分,在选择样本的过程中,依据实际需要,依次从排名得分由高到低进行选择;
步骤4.5:将经过主动学习框架选择得到的验证集样本用于DBN训练。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110454048.XA CN113189963B (zh) | 2021-04-26 | 2021-04-26 | 一种基于非平衡数据的轧制过程故障诊断方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110454048.XA CN113189963B (zh) | 2021-04-26 | 2021-04-26 | 一种基于非平衡数据的轧制过程故障诊断方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113189963A true CN113189963A (zh) | 2021-07-30 |
CN113189963B CN113189963B (zh) | 2024-03-19 |
Family
ID=76979266
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110454048.XA Active CN113189963B (zh) | 2021-04-26 | 2021-04-26 | 一种基于非平衡数据的轧制过程故障诊断方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113189963B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1393196A1 (en) * | 2001-05-07 | 2004-03-03 | Biowulf Technologies, LLC | Kernels and methods for selecting kernels for use in learning machines |
WO2017003666A1 (en) * | 2015-06-30 | 2017-01-05 | Arizona Technology Enterprises | Method and apparatus for large scale machine learning |
CN108228716A (zh) * | 2017-12-05 | 2018-06-29 | 华南理工大学 | 基于加权极限学习机的SMOTE_Bagging集成污水处理故障诊断方法 |
CN108345860A (zh) * | 2018-02-24 | 2018-07-31 | 江苏测联空间大数据应用研究中心有限公司 | 基于深度学习和距离度量学习的人员再识别方法 |
CN109034202A (zh) * | 2018-06-29 | 2018-12-18 | 北京航空航天大学 | 一种深度信念网络的航电系统模式识别方法 |
CN109214416A (zh) * | 2018-07-23 | 2019-01-15 | 华南理工大学 | 一种基于深度学习的多维信息融合变压器故障诊断方法 |
CN109558677A (zh) * | 2018-11-29 | 2019-04-02 | 东北大学 | 一种基于数据驱动的热轧板凸度预测方法 |
US20190325275A1 (en) * | 2018-04-19 | 2019-10-24 | Adobe Inc. | Active learning method for temporal action localization in untrimmed videos |
CN112069310A (zh) * | 2020-06-18 | 2020-12-11 | 中国科学院计算技术研究所 | 基于主动学习策略的文本分类方法及系统 |
CN112199862A (zh) * | 2020-10-29 | 2021-01-08 | 华中科技大学 | 纳米粒子运移的预测方法、其影响因子分析方法及系统 |
-
2021
- 2021-04-26 CN CN202110454048.XA patent/CN113189963B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1393196A1 (en) * | 2001-05-07 | 2004-03-03 | Biowulf Technologies, LLC | Kernels and methods for selecting kernels for use in learning machines |
WO2017003666A1 (en) * | 2015-06-30 | 2017-01-05 | Arizona Technology Enterprises | Method and apparatus for large scale machine learning |
CN108228716A (zh) * | 2017-12-05 | 2018-06-29 | 华南理工大学 | 基于加权极限学习机的SMOTE_Bagging集成污水处理故障诊断方法 |
CN108345860A (zh) * | 2018-02-24 | 2018-07-31 | 江苏测联空间大数据应用研究中心有限公司 | 基于深度学习和距离度量学习的人员再识别方法 |
US20190325275A1 (en) * | 2018-04-19 | 2019-10-24 | Adobe Inc. | Active learning method for temporal action localization in untrimmed videos |
CN109034202A (zh) * | 2018-06-29 | 2018-12-18 | 北京航空航天大学 | 一种深度信念网络的航电系统模式识别方法 |
CN109214416A (zh) * | 2018-07-23 | 2019-01-15 | 华南理工大学 | 一种基于深度学习的多维信息融合变压器故障诊断方法 |
CN109558677A (zh) * | 2018-11-29 | 2019-04-02 | 东北大学 | 一种基于数据驱动的热轧板凸度预测方法 |
CN112069310A (zh) * | 2020-06-18 | 2020-12-11 | 中国科学院计算技术研究所 | 基于主动学习策略的文本分类方法及系统 |
CN112199862A (zh) * | 2020-10-29 | 2021-01-08 | 华中科技大学 | 纳米粒子运移的预测方法、其影响因子分析方法及系统 |
Non-Patent Citations (2)
Title |
---|
LEAN YU: "A DBN-based resampling SVM ensemble learning paradigm for credit classification with imbalanced data", 《APPLIED SOFT COMPUTING 》, 31 August 2018 (2018-08-31) * |
葛强强: "基于深度置信网络的数据驱动故障诊断方法研究", 《中国优秀硕士学位论文全文数据库》, 15 February 2017 (2017-02-15) * |
Also Published As
Publication number | Publication date |
---|---|
CN113189963B (zh) | 2024-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111105160A (zh) | 一种基于倾向性异质装袋算法的钢材质量预测方法 | |
CN112557034B (zh) | 一种基于pca_cnns的轴承故障诊断方法 | |
CN112756759B (zh) | 点焊机器人工作站故障判定方法 | |
CN113159461A (zh) | 基于样本迁移学习的中小微企业信用评价方法 | |
CN113240527A (zh) | 基于可解释机器学习的债券市场违约风险预警方法 | |
CN112884570A (zh) | 一种模型安全性的确定方法、装置和设备 | |
CN113189963A (zh) | 一种基于非平衡数据的轧制过程故障诊断方法 | |
CN116089801A (zh) | 一种基于多重置信度的医疗数据缺失值修复的方法 | |
CN111897310B (zh) | 基于一维多头卷积网络的工业过程故障分类方法和系统 | |
CN114722918A (zh) | 一种基于dna甲基化的肿瘤分类方法 | |
CN104537449B (zh) | 一种基于d_s证据理论信息重构的热连轧板厚预测方法 | |
CN108287902B (zh) | 一种基于数据非随机缺失机制的推荐系统方法 | |
Sallehuddin et al. | Forecasting small data set using hybrid cooperative feature selection | |
Paśko et al. | Bootstrap aggregation technique for evaluating the significance of manufacturing process parameters in the glass industry | |
CN111861271A (zh) | 一种管道保温性能的评价方法 | |
CN117840232B (zh) | 一种基于增量学习的热轧过程宽度预测方法 | |
CN117851464B (zh) | 一种用于心理评估的用户行为模式辅助分析方法 | |
CN117391836A (zh) | 一种基于不同标签的异质集成进行逾期概率建模的方法 | |
CN112966870B (zh) | 一种基于神经网络的冷轧硅钢质量缺陷预测方法 | |
Wang et al. | Product Key Reliability Characteristics Identification Method Based on XGBoost in Manufacturing Process | |
CN116976665A (zh) | 一种基于改进topsis模型的风险评估方法 | |
CN111461219A (zh) | 一种基于光滑支撑向量回归融合的二手车估值方法 | |
CN115471331A (zh) | 一种基于异质集成学习的汇率波动预测方法 | |
Zhu et al. | Identification of Related Factors of Users’ Power Consumption and Prediction Model of Power Consumption Based on Random Forest Algorithm | |
CN115270916A (zh) | 一种基于深度置信网络的供电服务工单异常识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |