CN113189963B - 一种基于非平衡数据的轧制过程故障诊断方法 - Google Patents

Abstract

本发明提供一种基于非平衡数据的轧制过程故障诊断方法，涉及轧制过程自动控制技术领域。本发明首先采集某段时间中轧制过程的生产数据；再将数据进行连续型特征去除异常值、平滑处理和归一化、类别型特征编码处理，划分数据集，非平衡训练数据平衡化；用处理后的数据构建深度置信网络(DBN)模型，采用训练集进行常规的预训练及微调并使用L2正则化防止过拟合，使用验证集通过主动学习策略增加一步再微调过程，最后根据模型进行非平衡数据分类。本发明提供的基于非平衡数据的轧制过程故障诊断方法，运算速度快、计算精度高。同时，本发明方法可直接在计算机上通过编程实现，且不需要成本上的投入，可以广泛推广到热轧生产中。

Description

一种基于非平衡数据的轧制过程故障诊断方法

技术领域

本发明涉及轧制过程自动控制技术领域，尤其涉及一种基于非平衡数据的轧制过程故障诊断方法。

背景技术

在轧制过程中，当产线发生故障时能否及时排查出故障源并修复是实现制作过程稳定连续的重要前提。轧制过程的故障诊断响应速度及准确性将直接影响产线的效率以及产品的质量，进而对厂家的生产效益产生重大影响。

由于轧制过程具有遗传性、实变性、强耦合等特点，很难基于传统的机理建模来构建故障诊断模型，钢铁行业作为一种流程工业，轧制过程产生并积累了大量的数据，这些数据几乎包含了与轧制相关的所有信息，包含带钢的物理成形机理、轧制条件信息、金属塑性成形原理、设备的运行状况以及生产物料调度信息等。通过对这些数据的挖掘，可以为轧制过程的故障诊断提供新的解决思路，轧制过程的故障诊断问题往往和数据分类问题息息相关，轧制生产数据包含占绝大多数的正常数据和占比很小的异常数据，通过将正常数据与异常数据的有效分类，即可在异常数据中搜索故障源，由于收集到的轧制数据中故障数据和正常数据存在较大数量差构成了非平衡数据，给基于平衡数据的机器学习分类算法应用在非平衡轧制数据时分类效果很不理想。

发明内容

本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于非平衡数据的轧制过程故障诊断方法，在轧制过程中，根据实测轧制数据，实现在线故障诊断。

为解决上述技术问题，本发明所采取的技术方案是：

一种基于非平衡数据的轧制过程故障诊断方法，包括以下步骤：

步骤1：采集轧制过程的生产数据；所述生产数据包括钢卷号、生产时间、中间坯厚度、轧制力、弯辊力、窜辊量、平均宽度、平均厚度、精轧入口温度、终轧温度、轧辊速度、后凸度、轧制公里数；

步骤2：对步骤1中生产数据进行预处理，包括连续型特征去除异常值、平滑处理和归一化、类别型特征编码处理，划分数据集，非平衡训练数据平衡化，具体方法为：

步骤2.1：对生产数据中的连续型数据进行数据预处理；

步骤2.1.1：采用拉衣达准则(Pauta criterion)对生产数据中的连续性数据进行异常值剔除，如下公式所示：

其中，是x的平均值，S_x是标准差；x为样本数据，x_i为第i个样本数据，n为样本数据的数量，若某数据点与平均值的差的绝对值大于3倍的标准差，则该数据点将被视为异常值予以剔除；

步骤2.1.2：对生产数据中的连续性特征数据采用五点三次平滑，减小每个数据点所包含的测量误差，如下公式所示：

其中，是Y_i平滑后的值，Y_i代表第i个样本点，取值范围从1到n；

步骤2.1.3：采用最大最小归一化法归一化处理生产数据，如下公式所示：

其中，x_i,x_min,x_max分别是归一化后的值，初始值，生产数据集中的最小值和最大值；

步骤2.2：类别型特征编码处理；采用独热编码(one-hot)，将生产数据中所有的类别型特征数据及标签转化为数值型，编码规则如表1所示：

表1独热编码

步骤2.3：数据集划分；采用分层采样将预处理后的数据集按设定的比例划分，按照标签值对数据进行分类划分，使各类别在训练集、测试集与验证集中的占比相同；

步骤2.4：非平衡训练数据平衡化；针对训练集采用SMOTE过采样技术，增加属于0类和2类的样本的数量，使所有类的样本数量均等于初始训练集中最大类的数量，如下公式所示：

其中，x_new是合成的少数类新样本，x,是0类和2类中随机选择的两个样本点，rand(0,1)是0到1之间的随机数；

步骤3：基于经过特征选取和数据清洗过的数据集构建深度置信网络(DBN)模型，具体方法为：

步骤3.1：确定深度置信网络DBN的隐含层数；一般隐含层数不易过大，在隐含层数的上下区间内，进行遍历搜索，获得最优的隐含层数m；

步骤3.2：确定隐含层神经元节点数；首先采用如下经验公式计算经验值：

n＝log₂T

其中，T为输入特征数，n为隐含层神经元节点数的经验值；

在经验值的上下区间内，进行遍历搜索，获得最优的隐含层节点数n_best；

步骤3.3：预训练深度置信网络；

步骤3.3.1：构建受限玻尔兹曼机(RBM)模型；深度置信网络的第一层和第二层构成一个受限玻尔兹曼机模型，第二层和第三层构成另外一个受限玻尔兹曼机模型，依此类推直至神经网络中的次外层；

步骤3.3.2：确定受限玻尔兹曼机模型的学习率；遍历搜索0.001～0.01，确定最优的学习率lr；

步骤3.3.3：分别计算受限玻尔兹曼机显层和隐层的采样概率，如下公式所示：

其中v_i,h_i,w_k,i,a_k,b_k,P(h_k＝1|v),P(v_k＝1|h)分别是受限玻尔兹曼机显层第i节点的值，隐层的i节点的值，显层k节点和隐层i节点的连接权重，显层k节点的阈值，隐层k节点的阈值，已知显层求出的隐层k节点激活概率，已知隐层求出的显层k节点激活概率；

步骤3.3.4：根据显层和隐层的采样概率进行显层和隐层的重采样，每次取0到1之间的随机数，若激活概率大于该随机数则将对应的节点激活取值为1，否则取值为0；

步骤3.3.5：采用对比散度(CD)算法训练受限玻尔兹曼机模型，如下公式所示：

△b_i＝△b_i+[P(h_i＝1|v⁽⁰⁾)-P(h_i＝1|v⁽¹⁾)]

w_i,j＝w_i,j+lr*△w_i,j

a_j＝a_j+lr*△a_j

b_i＝b_i+lr*△b_i

其中，分别是显层j节点的初始值和重采样的值w_i,j隐层i节点和显层j节点之间的连接权重，a_j，b_i分别是显层节点j和隐层节点i的阈值；

步骤3.4：微调深度置信网络；

步骤3.4.1：确定DBN微调的学习率；遍历搜索0.01～0.1，确定最优的学习率lr_微调；

步骤3.4.2：确定DBN隐含层和输出层的传递函数；对于线性函数，logsig函数和tansig函数，两两组合产生9种组合，分别测试并选取最优的组合；

步骤3..4.3：确定训练函数；DBN模型顶层采用softmax分类器，以预测值与实测值的交叉熵为代价函数，通过梯度下降法，对DBN模型进行全局微调，微调过程中使用L2正则化防止过拟合；softmax和交叉熵为代价函数如下公式所示：

H(p,q)＝-∑_ip_ilogq_i

其中，z_i是最后一个DBN的第i个输出结果，p_i和q_i分别是第i个样本的真实数据分布和预测的分布；

步骤4：采用主动学习框架，在验证集中选出最能影响模型性能的样本用于更新DBN，具体方法为：

步骤4.1：定义验证集中样本x_i的排名得分为r_i，对于n个样本有如下公式：

步骤4.2：计算样本的不确定性；DBN的顶层采用softmax分类器，获得每个样本对应每个类别的后验概率，采用距离度量(margine)，计算每个样本的最大可能类的概率与次大可能类的概率的差值，如下公式所示：

其中P_θ(y|x⁽ⁱ⁾)为输入样本x(i)后，网络输出该样本属于各类的概率值，y代表模型输出的类别，假设共有i类，则有y₁ y₂…y_i；y_m和y_n分别是其中的最大值和第二大的值，x*为不确定性度量值

步骤4.3：计算样本的多样性，对于样本x_i和x_j之间的相似度，通过高斯核函数计算：

k(x_i,x_j)＝exp(-||x_i-x_j||²/2σ²)

式中，σ为待确定超参数；对于集合中的n个样本，计算核矩阵/>定义样本多样性指标g(r)：

步骤4.3：综合考虑样本的不确定性与多样性，将不确定度函数与多样性函数相结合，以样本的排名得分r_i为求解目标，确定样本选择函数，公式如下：

步骤4.4：将样本选择函数转化为二次规划问题求解得到所有样本的排名得分，在选择样本的过程中，依据实际需要，依次从排名得分由高到低进行选择；

步骤4.5：将经过主动学习框架选择得到的验证集样本用于DBN训练；

步骤5：定义评价指标对训练后的DBN模型进行评估，将轧制生产数据输入此模型，得到终轧凸度的分类结果；由此实现轧制过程中的故障诊断；

评价指标如下公式所示：

式中，c代表类别数，n_i和tr_i分别是真实属于第i类的样本数量及该类样本被正确分类的数量。

采用上述技术方案所产生的有益效果在于：

本发明提供的一种基于非平衡数据的轧制过程故障诊断方法，利用深度置信网络并结合主动学习样本选择策略，在线进行轧制过程故障诊断，克服轧制过程中数据非平衡及传统诊断精度差的缺陷。本发明提出的方法，不仅精度高，而且运算速度快，利用大量的生产过程数据通过直接在计算机上编程，即可实现在线投入使用，成本十分低廉。

附图说明

图1为本发明实施例中深度置信网络分类模型结构示意图；

图2为本发明实施例中受限玻尔兹曼机模型示意图；

图3为本发明实施例中选择样本数量对G-mean的影响曲线图；

图4为本发明实施例中选择样本数量对MAUC的影响曲线图；

图5为本发明实施例中σ对G-mean的影响曲线图；

图6为本发明实施例中σ对MAUC的影响曲线图；

图7为本发明实施例中提出的算法基于轧制数据的对比曲线图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

一种基于非平衡数据的轧制过程故障诊断方法，包括以下步骤：

步骤1：采集轧制过程的生产数据；所述生产数据包括钢卷号、生产时间、中间坯厚度、轧制力、弯辊力、窜辊量、平均宽度、平均厚度、精轧入口温度、终轧温度、轧辊速度、后凸度、轧制公里数；

本实施例中采用六架HCW轧机组成的热连轧生产线数据，轧辊直径630mm～700mm，可轧带钢的宽度为700mm～2130mm，厚度为1.2mm～25.4mm，采集某热轧厂热连轧的生产数据，共计4000个钢卷；数据包含122个特征。选取其中对于板凸度影响最为大的36个特征进行研究，包括中间坯厚度、F1～F6轧制速度、F1～F6轧制力、F1～F6弯辊力、F1～F6窜辊量、F1～F6后凸度、轧后带钢的宽度、厚度、凸度以及精轧入口温度、终轧温度；

步骤2：对步骤1中生产数据进行预处理，包括连续型特征去除异常值、平滑处理和归一化、类别型特征编码处理，划分数据集，非平衡训练数据平衡化，具体方法为：

步骤2.1：对生产数据中的连续型数据存在的噪声干扰、测量误差以及各特征属性量纲不同等问题进行数据预处理，提高数据质量；

本实施例中对连续性特征采用拉衣达准则合计剔除83个数据点；采用5点3次平滑降噪；采用最大最小归一化；

步骤2.1.1：轧制生产条件恶劣，仪器设备并不可能完美地采集到准确的生产数据，数以万计的数据中，包含着部分异常值，采用拉衣达准则(Pauta criterion)对生产数据中的连续性数据进行异常值剔除，如下公式所示：

其中，是x的平均值，S_x是标准差；x为样本数据，x_i为第i个样本数据，n为样本数据的数量，若某数据点与平均值的差的绝对值大于3倍的标准差，则该数据点将被视为异常值予以剔除；

步骤2.1.2：对生产数据中的连续性特征数据采用五点三次平滑，减小每个数据点所包含的测量误差，如下公式所示：

其中，是Y_i平滑后的值，Y_i代表第i个样本点，取值范围从1到n；

步骤2.1.3：原数据集包含大量的特征，且量纲各不相同，本发明采用最大最小归一化法归一化处理生产数据，如下公式所示：

其中，x_i,x_min,x_max分别是归一化后的值，初始值，生产数据集中的最小值和最大值；

步骤2.2：类别型特征编码处理；采用独热编码(one-hot)，将生产数据中所有的类别型特征数据及标签转化为数值型，编码规则如表1所示：

表1独热编码

对类别型特征编码处理，通常，带钢的设定凸度多处于厚度的0.8％～1.8％之间。以此为标准，将实际热轧数据集分为3类，如表2所示；通过独热编码(one-hot)，将所有的类别型特征及标签转化为数值型：

表2数据集分布

步骤2.3：数据集划分；采用分层采样将预处理后的数据集按设定的比例划分，按照标签值对数据进行分类划分，使各类别在训练集、测试集与验证集中的占比相同；

本实施例中采用分层5折交叉验证，验证集和测试集占总集(3006条样本)的20％，再抽取10％作为验证集，用来实施主动学习策略；

步骤2.4：非平衡训练数据平衡化；针对训练集采用SMOTE过采样技术，增加属于0类和2类的样本的数量，使所有类的样本数量均等于初始训练集中最大类的数量，如下公式所示：

其中，x_new是合成的少数类新样本，x,是0类和2类中随机选择的两个样本点，rand(0,1)是0到1之间的随机数；

步骤3：基于经过特征选取和数据清洗过的数据集构建深度置信网络(DBN)模型，如图1所示，具体方法为：

步骤3.1：确定深度置信网络DBN的隐含层数；一般隐含层数不易过大，在隐含层数的上下区间内，进行遍历搜索，获得最优的隐含层数m；

本实施例中采用分层5折交叉验证，验证集和测试集占总集(3006条样本)的20％，再抽取10％作为验证集，用来实施主动学习策略；

步骤3.2：确定隐含层神经元节点数；首先采用如下经验公式计算经验值：

n＝log₂T

其中，T为输入特征数，n为隐含层神经元节点数的经验值；

在经验值的上下区间内，进行遍历搜索，获得最优的隐含层节点数n_best；

本实施例中通过试错法最终设定隐含层网络结构为50-30-10；

步骤3.3：预训练深度置信网络，如图2所示；

步骤3.3.1：构建受限玻尔兹曼机(RBM)模型；深度置信网络的第一层和第二层构成一个受限玻尔兹曼机模型，第二层和第三层构成另外一个受限玻尔兹曼机模型，依此类推直至神经网络中的次外层；

步骤3.3.2：确定受限玻尔兹曼机模型的学习率；遍历搜索0.001～0.01，确定最优的学习率lr；

步骤3.3.3：分别计算受限玻尔兹曼机显层和隐层的采样概率，如下公式所示：

其中v_i,h_i,w_k,i,a_k,b_k,P(h_k＝1|v),P(v_k＝1|h)分别是受限玻尔兹曼机显层第i节点的值，隐层的i节点的值，显层k节点和隐层i节点的连接权重，显层k节点的阈值，隐层k节点的阈值，已知显层求出的隐层k节点激活概率，已知隐层求出的显层k节点激活概率；

步骤3.3.4：根据显层和隐层的采样概率进行显层和隐层的重采样，每次取0到1之间的随机数，若激活概率大于该随机数则将对应的节点激活取值为1，否则取值为0；

步骤3.3.5：采用对比散度(CD)算法训练受限玻尔兹曼机模型，如下公式所示：

△b_i＝△b_i+[P(h_i＝1|v⁽⁰⁾)-P(h_i＝1|v⁽¹⁾)]

w_i,j＝w_i,j+lr*△w_i,j

a_j＝a_j+lr*△a_j

b_i＝b_i+lr*△b_i

其中，分别是显层j节点的初始值和重采样的值w_i,j隐层i节点和显层j节点之间的连接权重，a_j，b_i分别是显层节点j和隐层节点i的阈值；

本实施例中确定预训练批次和迭代次数，分别设置预训练批次和迭代次数10，20，30，40，50各5组，总共25各组合进行遍历测试，确定预训练批次为20，迭代次数为50，采用对比散度(CD)算法训练RBM模型，梯度下降法更新RBM连接权重与阈值；

步骤3.4：微调深度置信网络；

步骤3.4.1：确定DBN微调的学习率；遍历搜索0.01～0.1，确定最优的学习率lr_微调；

本实施例中以0.1为增量，从0.1至0.5分别测试5次，寻找到最优的学习率0.1；

步骤3.4.2：确定DBN隐含层和输出层的传递函数；对于线性函数，logsig函数和tansig函数，两两组合产生9种组合，分别测试并选取最优的组合；

本实施例中选择logsig函数和purelin函数分别作为隐含层和输出层的传递函数；

步骤3..4.3：确定训练函数；DBN模型顶层采用softmax分类器，以预测值与实测值的交叉熵为代价函数，通过梯度下降法，对DBN模型进行全局微调，微调过程中使用L2正则化防止过拟合；softmax和交叉熵为代价函数如下公式所示：

H(p,q)＝-∑_ip_ilogq_i

其中，z_i是最后一个DBN的第i个输出结果，p_i和q_i分别是第i个样本的真实数据分布和预测的分布；

本实施例中确定交叉熵为代价函数，依次测试梯度下降法、动态梯度下降法、拟牛顿法、贝叶斯规则化法和L-M法，确定L-M法为最优的训练函数，使用L2正则化系数选定为0.01；

步骤4：采用主动学习框架，在验证集中选出最能影响模型性能的样本用于更新DBN，增加一步再微调过程，具体方法为：

步骤4.1：定义验证集中样本x_i的排名得分为r_i，样本得分越高，越容易被选中，对于n个样本有如下公式：

步骤4.2：计算样本的不确定性；DBN的顶层采用softmax分类器，获得每个样本对应每个类别的后验概率，采用距离度量(margine)，计算每个样本的最大可能类的概率与次大可能类的概率的差值，如下公式所示：

其中P_θ(y|x⁽ⁱ⁾)为输入样本x(i)后，网络输出该样本属于各类的概率值，y代表模型输出的类别，假设共有i类，则有y₁ y₂…y_i；y_m和y_n分别是其中的最大值和第二大的值，x*为不确定性度量值

对于分类问题来说，当样本x(i)离分类面越近，意味着其所含的信息愈加丰富。对于margin方法，当样本最大与次大概率的差越小，表示该样本越“模糊”，即很难确认其真实所属的类别，换句话说，该样本的不确定性很高；

步骤4.3：计算样本的多样性，对于样本x_i和x_j之间的相似度，通过高斯核函数计算：

k(x_i,x_j)＝exp(-||x_i-x_j||²/2σ²)

式中，σ为待确定超参数；对于集合中的n个样本，计算核矩阵/>对于K_ij来说，当x_i和x_j越相似，K_ij越大，但是在数据集中，只有部分会被选择用来更新模型，因此必会存在某个样本的排名得分低于其它，定义样本多样性指标g(r)：

通过最小化g(r_i)，即使r_i、r_j和K_ij至少有一项必然小于其余项，样本之间的差异性，也可以认为样本具有多样性；

步骤4.3：综合考虑样本的不确定性与多样性，将不确定度函数与多样性函数相结合，以样本的排名得分r_i为求解目标，确定样本选择函数，公式如下：

步骤4.4：将样本选择函数转化为二次规划问题求解得到所有样本的排名得分，在选择样本的过程中，依据实际需要，依次从排名得分由高到低进行选择；

步骤4.5：将经过主动学习框架选择得到的验证集样本用于DBN训练，进一步进行模型微调；

本实施例中采用放回抽样循环迭代的方法，每轮迭代所选取适量的样本用以模型的修正，因此样本的数量将严重影响模型的性能，实际划分的验证集包含300条样本，因此分别测试1、3、5、10、15、20、50、100、150共计9中情况下的模型性能，如图3和图4所示，最优主动学习样本选择数量为5；分别以G-mean和MAUC为评价指标，测试σ为0.0001、0.001、0.01、0.1、1、5、10、50、100的8种情况，如图5和图6所示，选取1为σ的最终值，最终的模型参数如表3所示：

表3模型参数描述

步骤5：针对多类别非平衡分类问题定义评价指标对训练后的DBN模型进行评估，将轧制生产数据输入此模型，得到终轧凸度的分类结果；由此实现轧制过程中的故障诊断；深度置信网络、SMOTE过采样和主动学习框架结合，进行测试判断模型的最终性能，并于其他模型进行对比，如图7所示，综合对比，所提出的模型具有较好的性能。

评价指标如下公式所示：

式中，c代表类别数，n_i和tr_i分别是真实属于第i类的样本数量及该类样本被正确分类的数量；

另外，ROC曲线下的面积(AUC)同样被广泛应用在二分类问题，对于多分类问题，常用指标为M(MAUC)，通过计算两两比较值(两个类之间的AUC)，具体公式如下所示：

/>

式中，代表属于j类的一个随机样本，相比于属于i类的随机样本，具有更低的估计概率属于i类；因此/>代表属于i类的一个随机样本，相比于属于j类的随机样本，具有更低的估计概率属于j类。在二分类问题中，/>但是在多分类问题中，通常/>

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (1)

1.一种基于非平衡数据的轧制过程故障诊断方法，其特征在于，包括以下步骤：

步骤1：采集轧制过程的生产数据；所述生产数据包括钢卷号、生产时间、中间坯厚度、轧制力、弯辊力、窜辊量、平均宽度、平均厚度、精轧入口温度、终轧温度、轧辊速度、后凸度、轧制公里数；

步骤2：对步骤1中生产数据进行预处理，包括连续型特征去除异常值、平滑处理和归一化、类别型特征编码处理，划分数据集，非平衡训练数据平衡化；

所述步骤2具体包括以下步骤：

步骤2.1：对生产数据中的连续型数据进行数据预处理；

步骤2.1.1：采用拉衣达准则Pauta criterion对生产数据中的连续性数据进行异常值剔除，如下公式所示：

其中，是x的平均值，S_x是标准差；x为样本数据，x_i为第i个样本数据，n为样本数据的数量，若某数据点与平均值的差的绝对值大于3倍的标准差，则该数据点将被视为异常值予以剔除；

步骤2.1.2：对生产数据中的连续性特征数据采用五点三次平滑，减小每个数据点所包含的测量误差，如下公式所示：

其中，是Y_i平滑后的值，Y_i代表第i个样本点，取值范围从1到n；

步骤2.1.3：采用最大最小归一化法归一化处理生产数据，如下公式所示：

其中，x_i,x_min,x_max分别是归一化后的值，初始值，生产数据集中的最小值和最大值；

步骤2.2：类别型特征编码处理；采用独热编码one-hot，将生产数据中所有的类别型特征数据及标签转化为数值型，编码规则如表1所示：

表1独热编码

步骤2.3：数据集划分；采用分层采样将预处理后的数据集按设定的比例划分，按照标签值对数据进行分类划分，使各类别在训练集、测试集与验证集中的占比相同；

步骤2.4：非平衡训练数据平衡化；针对训练集采用SMOTE过采样技术，增加属于0类和2类的样本的数量，使所有类的样本数量均等于初始训练集中最大类的数量，如下公式所示：

其中，x_new是合成的少数类新样本，x,是0类和2类中随机选择的两个样本点，

rand(0,1)是0到1之间的随机数；

步骤3：基于经过特征选取和数据清洗过的数据集构建深度置信网络DBN模型；

所述步骤3具体包括以下步骤：

步骤3.1：确定深度置信网络DBN模型的隐含层数；在隐含层数的上下区间内，进行遍历搜索，获得最优的隐含层数m；

步骤3.2：确定隐含层神经元节点数；首先采用如下经验公式计算经验值：

n＝log₂T

其中，T为输入特征数，n为隐含层神经元节点数的经验值；

在经验值的上下区间内，进行遍历搜索，获得最优的隐含层节点数n_best；

步骤3.3：预训练深度置信网络DBN模型；

步骤3.3.1：构建受限玻尔兹曼机RBM模型；深度置信网络DBN模型的第一层和第二层构成一个受限玻尔兹曼机模型，第二层和第三层构成另外一个受限玻尔兹曼机模型，依此类推直至深度置信网络DBN模型中的次外层；

步骤3.3.2：确定受限玻尔兹曼机模型的学习率；遍历搜索0.001～0.01，确定最优的学习率lr；

步骤3.3.3：分别计算受限玻尔兹曼机显层和隐层的采样概率，如下公式所示：

其中v_i,h_i,w_k,i,a_k,b_k,P(h_k＝1|v),P(v_k＝1|h)分别是受限玻尔兹曼机显层第i节点的值，隐层的i节点的值，显层k节点和隐层i节点的连接权重，显层k节点的阈值，隐层k节点的阈值，已知显层求出的隐层k节点激活概率，已知隐层求出的显层k节点激活概率；

步骤3.3.4：根据显层和隐层的采样概率进行显层和隐层的重采样，每次取0到1之间的随机数，若激活概率大于该随机数则将对应的节点激活取值为1，否则取值为0；

步骤3.3.5：采用对比散度CD算法训练受限玻尔兹曼机模型，如下公式所示：

△b_i＝△b_i+[P(h_i＝1|v⁽⁰⁾)-P(h_i＝1|v⁽¹⁾)]

w_i,j＝w_i,j+lr*△w_i,j

a_j＝a_j+lr*△a_j

b_i＝b_i+lr*△b_i

其中，分别是显层j节点的初始值和重采样的值w_i,j隐层i节点和显层j节点之间的连接权重，a_j，b_i分别是显层节点j和隐层节点i的阈值；

步骤3.4：微调深度置信网络DBN模型；

步骤3.4.1：确定深度置信网络DBN模型微调的学习率；遍历搜索0.01～0.1，确定最优的学习率lr_微调；

步骤3.4.2：确定深度置信网络DBN模型隐含层和输出层的传递函数；对于线性函数，logsig函数和tansig函数，两两组合产生9种组合，分别测试并选取最优的组合；

步骤3..4.3：确定训练函数；DBN模型顶层采用softmax分类器，以预测值与实测值的交叉熵为代价函数，通过梯度下降法，对深度置信网络DBN模型进行全局微调，微调过程中使用L2正则化防止过拟合；softmax和交叉熵为代价函数如下公式所示：

H(p,q)＝-∑_ip_ilogq_i

其中，z_i是最后一个DBN的第i个输出结果，p_i和q_i分别是第i个样本的真实数据分布和预测的分布；

步骤4：采用主动学习框架，在验证集中选出最能影响模型性能的样本用于更新深度置信网络DBN模型；

所述步骤4具体包括以下步骤：

步骤4.1：定义验证集中样本x_i的排名得分为r_i，对于n个样本有如下公式：

步骤4.2：计算样本的不确定性；DBN的顶层采用softmax分类器，获得每个样本对应每个类别的后验概率，采用距离度量margine，计算每个样本的最大可能类的概率与次大可能类的概率的差值，如下公式所示：

其中P_θ(y|x⁽ⁱ⁾)为输入样本x(i)后，网络输出该样本属于各类的概率值，y代表深度置信网络DBN模型输出的类别，假设共有i类，则有y₁ y₂…y_i；y_m和y_n分别是其中的最大值和第二大的值，x*为不确定性度量值

步骤4.3：计算样本的多样性，对于样本x_i和x_j之间的相似度，通过高斯核函数计算：

k(x_i,x_j)＝exp(-||x_i-x_j||²/2σ²)

式中，σ为待确定超参数；对于集合中的n个样本，计算核矩阵/>定义样本多样性指标g(r)：

步骤4.3：综合考虑样本的不确定性与多样性，将不确定度函数与多样性函数相结合，以样本的排名得分r_i为求解目标，确定样本选择函数，公式如下：

步骤4.4：将样本选择函数转化为二次规划问题求解得到所有样本的排名得分，在选择样本的过程中，依据实际需要，依次从排名得分由高到低进行选择；

步骤4.5：将经过主动学习框架选择得到的验证集样本用于深度置信网络DBN模型训练；

步骤5：定义评价指标对训练后的深度置信网络DBN模型进行评估，将轧制生产数据输入此模型，得到终轧凸度的分类结果；由此实现轧制过程中的故障诊断；

评价指标如下公式所示：

式中，c代表类别数，n_i和tr_i分别是真实属于第i类的样本数量及该类样本被正确分类的数量。