CN105678332B - 火焰图像cnn识别建模的转炉炼钢终点判断方法及系统 - Google Patents

Abstract

本发明涉及火焰图像CNN识别建模的转炉炼钢终点判断方法及系统，属人工智能领域。本发明首先将采集来的火焰图像转换到HSI空间；然后进行阈值分割；再合并分割后的图像，再通过后期处理得到单连通的火焰图像，去除因分割不佳造成的干扰点，得到分割后的图像，再把图像进行预处理；构建卷积神经网络识别模型；将预处理后的图像直接输入卷积神经网络模型，在离线状态下采用降梯度法对网络进行训练；将离线训练完毕的卷积神经网络模型进行在线判断，采集转炉火焰图像并预处理后送入网络模型，模型输出判断结果。本发明避免了工人观测转炉火焰受到的主观影响以及工人个体间判断终点存在的误差，并且实现了实时精确地判断转炉终点。

Description

火焰图像CNN识别建模的转炉炼钢终点判断方法及系统

技术领域

本发明涉及火焰图像CNN识别建模的转炉炼钢终点判断方法及系统，属于人工智能技术领域。

背景技术

转炉吹炼的终点判断是转炉吹炼末期的重要操作，我国中小型钢厂转炉终点的预测主要依靠人工经验和副枪探测。已有转炉炼钢主要依靠人工经验和副枪检测来判断转炉终点，人工经验依靠工人目测观察转炉火焰的颜色、形状、纹理、频闪等特征，根据经验做出转炉终点判断，但是实际情况中，操作工人观测转炉火焰时会受到主观影响且每个工人个体间的判断会存在差异，导致终点判断的精度不高，需要多次倒炉进行补吹，造成原材料和能源的浪费并且影响炼钢效率。副枪检测是利用副枪在熔池内接触探测，检测钢水内温度、碳含量等指标，根据采集数据判断转炉终点，而副枪探测一般应用在120t以上的转炉，多次检测会影响探头使用寿命，且无法进行实时连续测量。炉气分析检测方法是利用相关仪器检测炉口气体成分，经过分析得到熔池内相应指标，该方法可以对吹炼数据连续测量，由于长期使用在高温腐蚀的环境中造成此类设备的使用和维护成本较高。基于炉口辐射的方法是利用转炉吹炼的不同时期的炉口光辐射能量变化来判断转炉终点，但由于转炉炼钢现场存在的多个干扰辐射源会对辐射采集仪器产生影响。因此研究一种准确、实时的转炉炼钢终点判断方法是亟待解决的问题。

由于熔池内吹炼数据的变化必然表现在炉口火焰特征的变化，已有研究人员通过分析炉口火焰图像特征对转炉终点进行判定，通过提取火焰图像的多种特征，例如色彩均值、纹理信息、边缘信息等，然后根据特征构建识别模型并且选择若干样本图像训练该模型，进而实现对转炉火焰图像进行终点判断。已有方法提取了火焰图像的某些特定信息，其效果取决于特征表示和描述方法的准确性，基于特征的方法难以实现对火焰视觉感知特征的完备性表达。

发明内容

本发明提供了火焰图像CNN识别建模的转炉炼钢终点判断方法及系统，以用于解决人工特征很难表示火焰吹炼的完备信息且具有主观性的缺点，以及解决不能实时准确的对转炉炼钢终点进行判断的问题。

本发明的技术方案是：火焰图像CNN识别建模的转炉炼钢终点判断方法，所述方法的具体步骤如下：

Step1、采集转炉炉口火焰图像，为下一步图像的处理提供数据；

Step2、先将采集来的火焰图像转换到HSI空间，HSI色彩空间和RGB色彩空间之间关系如下式所示，其中R,G,B分别表示红、绿、蓝三个分量：

Step3、分别在H、S、I分量下利用最大类间方差法进行阈值分割：

采用遍历法得到使类间方差最大的阈值T^*，即

用得到的阈值去分割图像；

其中L为当前分量的灰度级；ω₀为火焰主体的像素点数占整幅图像的比例；ω₁为背景的像素点数占整幅图像的比例；μ₀为火焰主体的平均像素值；μ₁为背景的平均像素值；μ为整幅图像的平均像素值；

Step4、合并分割后的图像，再去噪处理用贴标签的方法得到单连通的火焰图像部分，去除因分割不佳造成的干扰点，得到分割后的图像；

Step5、预处理图像；在经分割后的图像中找寻火焰的中心点，然后以中心点为中心，选择合适的正方形阈值窗口将图像从中截取出来，并压缩至合适大小，最后转换为灰度图像，作为卷积神经网络的输入图像；

Step6、构建卷积神经网络识别模型，包括卷积神经网络的结构和关键参数，如隐含层层数、隐含层内部的连接方式、卷积核个数、每层输出特征图的个数以及训练迭代次数等；

Step7、将预处理后的图像直接输入卷积神经网络模型，根据之前设定的迭代次数进行迭代，在离线状态下采用降梯度法对网络进行训练；

Step8、将离线训练完毕的卷积神经网络模型进行在线判断，采集转炉火焰图像并预处理后送入网络模型，模型输出判断结果。

所述步骤Step7的具体步骤如下：

Step7.1、原始图片经过一系列预处理后输入到卷积神经网络的输入层；

Step7.2、用卷积核对输入层的图片进行卷积操作并且加上偏置项，最后经过sigmoid函数，得到卷积层图像；

Step7.3、将卷积层的图像进行降采样，尺寸为原先的1/4大小，再加上权重系数，最后经过sigmoid函数，得到采样层图像；

Step7.4、经过隐含层层数是否满足最初的设定值，如果满足则执行Step 7.5，如果不满足则执行Step7.2；

Step7.5、将上层图像看成一列特征向量，输出层与上一层是全连接方式，上一层的每个神经元的值乘以权值再求和即得到输出层的一个神经元的值，重复上述计算，直至算出输出层的所有神经元的值。

Step7.6、CNN采用的是有监督式训练，每幅火焰图像都有着对应的标签，不仅根据标签训练模型变量，而且还根据标签判断最终识别率，输出层为3个神经元，当输入一幅火焰图像，输出层便输出3个值，从这些值中找到最大值并将其赋为1，其他值赋为0，将赋值完毕的3个数值与输出标签进行对比，判断输入的火焰图像属于所处的类别。

火焰图像CNN识别建模的转炉炼钢终点判断系统，所述系统包括：

图像采集处理模块：采集转炉炉口火焰图像并将图像由RGB空间转换至HSI空间；

分割模块：分别在H、S、I分量下利用最大类间方差法进行阈值分割，后将分割后图像进行合并，再通过后期处理用贴标签的方法得到单连通的火焰图像部分，去除因分割不佳造成的干扰点，得到分割后的图像；

尺寸处理模块：在经分割后的图像中找寻火焰的中心点，然后以中心点为中心，选择合适的正方形阈值窗口将图像从中截取出来，并压缩至合适大小，最后转换为灰度图像，作为卷积神经网络模型的输入图像；

识别模块：首先构建卷积神经网络结构和设定关键参数来建立卷积神经网络识别模型，选取预处理过的图像直接输入模型进行离线训练，最后采集转炉火焰图像并预处理后送入训练完毕的模型，模型在线输出判断结果。

本发明的工作原理是：

所述卷积神经网络识别模型如下：

卷积神经网络(CNN)是参考视觉系统的结构而产生的。卷积神经网络是一种多层的监督式学习网络，由输入层、隐藏层和输出层组成，其中隐藏层包括多个卷积层和采样层。隐藏层的层数直接影响模式的识别效果，层数较小则影响提取出的特征向量类间方差，进而难以区分不同类别的测试样本，考虑使用采用60×60大小的输入图片，采用三层隐含层。

(1)输入层。在原始图像预处理的基础上，将火焰从背景中分离并灰度化，得到了60×60大小的火焰图像，将此作为CNN模型的输入。

(2)卷积层。C1、C2和C3为卷积层。卷积层的主要作用是特征提取，是由多个二维特征图组成，通过5×5大小的卷积核对上一层的图像进行卷积而获得。卷积核的尺寸直接决定下一层神经元感受野的尺寸，实验中采用5×5大小的卷积核。卷积层的计算形式为：

其中，l表示所在层数，k为卷积核，M_j为输入层的感受野，B为偏置项，f为激活函数，此处采用sigmoid函数作为激活函数。

C1层是第一个卷积层，将输入60×60大小的火焰图片通过3个卷积核进行卷积运算，加上偏置项通过sigmoid函数，最终获得三幅56×56大小的特征图像。由于采取不同的卷积核，故提取的特征图像是不同的，对于引入带有权值共享和感受野的卷积神经网络后，此处训练参数共有(5×5+1)×3＝78个。

C2层是第二个卷积层，将S1层输出的火焰特征图像通过6个卷积核进行卷积操作，最后如图3的方式进行累加，即组成了C2层的6个特征图像。C3层同为卷积层，卷积过程与C1、C2相同。

(3)采样层。S1、S2和S3为采样层。采样层是为了降低网络的空间分辨率消除偏移和图像扭曲，实现位移不变性。输入的特征图像经过采样后其个数不会发生变化，输出特征图像的尺寸为输入的一半。采样层的计算形式为：

其中，p为采样函数，β为权重系数。

S1层是第一个采样层，将C1层输出的特征图像经过采样得到三幅28×28大小的特征图像。在CNN中一般缩小1/4尺寸最为合适，缩小的太快或太慢都会影响模型的识别效果。在每幅采样特征图像中，需要训练2个参数，即S1层共需训练3×2＝6个参数。S2和S3层同为采样层，采样过程与S1层相同。

(4)输出层。输出层与S3层采用全连接方式。S3层含有9×4×4＝144个神经元，本文要将火焰图像分为前、中、末期三类，即输出为3个神经元。可将S3层看作一个9×4×4＝144维的特征向量，该向量是卷积神经网络提取出的火焰特征向量。其中，输出层有(144+1)×3＝435个训练参数。

(5)分类过程。CNN为有监督式训练，每幅火焰图像都有着对应的标签，不仅根据标签训练模型参数而且还根据标签判断最终识别率。输出层为3个神经元，当输入一幅火焰图像则输出层输出3个值，从这3个值中找到最大值并将其赋为1，其他值赋为0，将赋值完毕的3个数值与输出标签进行对比，判断输入的火焰图像属于所处的类别。

(6)训练方法。卷积神经网络采用的是梯度下降法训练，代价函数为：

其中，J(ω,b)为均方差项，ω为卷积神经网络中卷积核的参数，b为卷积神经网络中的偏置项，m为训练样本个数，h_ω,b(x_i)为第i个训练样本的输出值，y_i为第i个训练样本的标签。

训练过程就是针对参数ω和b来使代价函数J(ω,b)达到最小，开始训练前，首先将所有参数ω和b初始化为[-1,1]的随机值，之后对代价函数使用梯度下降法的最优化算法。参数ω和b的更新公式如下：

其中，α是学习率，一般取0到1之间。

本发明的有益效果是：

本发明是一种基于火焰图像卷积神经网络识别建模的转炉炼钢吹炼终点判断方法，它是针对人工特征很难表示火焰吹炼的完备信息且具有主观性的缺点而提出来的。卷积神经网络是参考视觉系统结构而产生的，并辅以深度学习的方法训练参数和偏置项，该模型可以自行在转炉火焰图像上进行特征学习与分类，很好的避免了人工设定特征对识别模型造成的局限。实验证明，采用卷积神经网络来判断转炉炼钢吹炼终点，具有较好识别率和实时性，减少了倒炉和补吹的次数，在实际应用中可实现节约原材料和能源且保证炼钢效率，有较好的实际价值和意义。

附图说明

图1为本发明的整体框图；

图2为本发明的转炉炼钢终点判断CNN模型；

图3为本发明的转炉炼钢终点判断CNN模型识别过程。

具体实施方式

实施例1：如图1-3所示，一种火焰图像CNN识别建模的转炉炼钢终点判断方法，所述方法的具体步骤如下：

Step1、采集转炉炉口火焰图像，为下一步图像的处理提供数据；采集的图像尺寸为640×480；

Step2、先将采集来的火焰图像转换到HSI空间，HSI色彩空间和RGB色彩空间之间关系如下式所示，其中R,G,B分别表示红、绿、蓝三个分量：

Step3、分别在H、S、I分量下利用最大类间方差法进行阈值分割：

采用遍历法得到使类间方差最大的阈值T^*，即用得到的阈值去分割图像；

其中L为当前分量的灰度级；ω₀为火焰主体的像素点数占整幅图像的比例；ω₁为背景的像素点数占整幅图像的比例；μ₀为火焰主体的平均像素值；μ₁为背景的平均像素值；μ为整幅图像的平均像素值；

Step4、合并分割后的图像，再去噪处理用贴标签的方法得到单连通的火焰图像部分，去除因分割不佳造成的干扰点，得到分割后的图像；

Step5、预处理图像；在经分割后的图像中找寻火焰的中心点，然后以中心点为中心，选择合适的正方形阈值窗口将图像从中截取出来，并压缩至合适大小，最后转换为灰度图像，作为卷积神经网络的输入图像；图像的尺寸为60×60；

Step6、构建卷积神经网络识别模型，包括卷积神经网络的结构和关键参数，如隐含层层数、隐含层内部的连接方式、卷积核个数、每层输出特征图的个数以及训练迭代次数等；

Step7、将预处理后的图像直接输入卷积神经网络模型，根据之前设定的迭代次数进行迭代，在离线状态下采用降梯度法对网络进行训练；

训练卷积神经网络模型，具体如下：

将预处理后的图像输入至网络，经过3层隐含层，其中多次对图像进行了卷积和采样操作，后经输出层输出结果。根据结果与图像标签得到的残差计算代价函数，本发明通过降梯度法训练网络，本质就是不停修改权值和偏置项，使得代价函数数值最小。因为权值和偏置项都在各个隐含层中，修改它们就要将残差逐层传导到各层中，故要将输出层的残差做反卷积运算和上采样运算，将其逐层传导到隐含层中。再根据权值修改公式，对权值进行修改。按照之前设定的迭代次数，根据降梯度法，去反复修改权值。

表1转炉火焰图片标签

Step8、将离线训练完毕的卷积神经网络模型进行在线判断，采集转炉火焰图像并预处理后送入网络模型，模型输出判断结果。

将离线训练好的模型进行在线测试，具体如下：

将采集来的转炉火焰图像进行预处理后送入之前已经训练好的网络模型，经过卷积神经网络模型得到输出，因为本发明将火焰图像分为前、中、末期三类，则输出为3个神经元，得到输出的三个值，从这些值中找到最大值并将其赋为1，其他值赋为0。将赋值完毕的3个数值与输出标签进行对比，判断输入的火焰图像属于所处的类别。最后统计识别结果，得到模型的识别率。

火焰图像CNN识别建模的转炉炼钢终点判断系统，所述系统包括：

图像采集处理模块：采集转炉炉口火焰图像并将图像由RGB空间转换至HSI空间；

分割模块：分别在H、S、I分量下利用最大类间方差法进行阈值分割，后将分割后图像进行合并，再通过后期处理用贴标签的方法得到单连通的火焰图像部分，去除因分割不佳造成的干扰点，得到分割后的图像；

尺寸处理模块：在经分割后的图像中找寻火焰的中心点，然后以中心点为中心，选择合适的正方形阈值窗口将图像从中截取出来，并压缩至合适大小，最后转换为灰度图像，作为卷积神经网络模型的输入图像；

识别模块：首先构建卷积神经网络结构和设定关键参数来建立卷积神经网络识别模型，选取预处理过的图像直接输入模型进行离线训练，最后采集转炉火焰图像并预处理后送入训练完毕的模型，模型在线输出判断结果。

实施例2：如图1-3所示，一种火焰图像CNN识别建模的转炉炼钢终点判断方法，所述方法的具体步骤如下：

Step1、采集转炉炉口火焰图像，为下一步图像的处理提供数据；

Step2、先将采集来的火焰图像转换到HSI空间，HSI色彩空间和RGB色彩空间之间关系如下式所示，其中R,G,B分别表示红、绿、蓝三个分量：

Step3、分别在H、S、I分量下利用最大类间方差法进行阈值分割：

采用遍历法得到使类间方差最大的阈值T^*，即用得到的阈值去分割图像；

其中L为当前分量的灰度级；ω₀为火焰主体的像素点数占整幅图像的比例；ω₁为背景的像素点数占整幅图像的比例；μ₀为火焰主体的平均像素值；μ₁为背景的平均像素值；μ为整幅图像的平均像素值；

Step4、合并分割后的图像，再去噪处理用贴标签的方法得到单连通的火焰图像部分，去除因分割不佳造成的干扰点，得到分割后的图像；

Step5、预处理图像；在经分割后的图像中找寻火焰的中心点，然后以中心点为中心，选择合适的正方形阈值窗口将图像从中截取出来，并压缩至合适大小，最后转换为灰度图像，作为卷积神经网络的输入图像；

Step6、构建卷积神经网络识别模型，包括卷积神经网络的结构和关键参数，如隐含层层数、隐含层内部的连接方式、卷积核个数、每层输出特征图的个数以及训练迭代次数等；

Step7、将预处理后的图像直接输入卷积神经网络模型，根据之前设定的迭代次数进行迭代，在离线状态下采用降梯度法对网络进行训练；

Step8、将离线训练完毕的卷积神经网络模型进行在线判断，采集转炉火焰图像并预处理后送入网络模型，模型输出判断结果。

所述步骤Step7的具体步骤如下：

Step7.1、原始图片经过一系列预处理后输入到卷积神经网络的输入层；

Step7.2、用卷积核对输入层的图片进行卷积操作并且加上偏置项，最后经过sigmoid函数，得到卷积层图像；

Step7.3、将卷积层的图像进行降采样，尺寸为原先的1/4大小，再加上权重系数，最后经过sigmoid函数，得到采样层图像；

Step7.4、经过隐含层层数是否满足最初的设定值，如果满足则执行Step 7.5，如果不满足则执行Step7.2；

Step7.5、将上层图像看成一列特征向量，输出层与上一层是全连接方式，上一层的每个神经元的值乘以权值再求和即得到输出层的一个神经元的值，重复上述计算，直至算出输出层的所有神经元的值。

Step7.6、CNN采用的是有监督式训练，每幅火焰图像都有着对应的标签，不仅根据标签训练模型变量，而且还根据标签判断最终识别率，输出层为3个神经元，当输入一幅火焰图像，输出层便输出3个值，从这些值中找到最大值并将其赋为1，其他值赋为0，将赋值完毕的3个数值与输出标签进行对比，判断输入的火焰图像属于所处的类别。

火焰图像CNN识别建模的转炉炼钢终点判断系统，所述系统包括：

图像采集处理模块：采集转炉炉口火焰图像并将图像由RGB空间转换至HSI空间；

分割模块：分别在H、S、I分量下利用最大类间方差法进行阈值分割，后将分割后图像进行合并，再通过后期处理用贴标签的方法得到单连通的火焰图像部分，去除因分割不佳造成的干扰点，得到分割后的图像；

尺寸处理模块：在经分割后的图像中找寻火焰的中心点，然后以中心点为中心，选择合适的正方形阈值窗口将图像从中截取出来，并压缩至合适大小，最后转换为灰度图像，作为卷积神经网络模型的输入图像；

识别模块：首先构建卷积神经网络结构和设定关键参数来建立卷积神经网络识别模型，选取预处理过的图像直接输入模型进行离线训练，最后采集转炉火焰图像并预处理后送入训练完毕的模型，模型在线输出判断结果。

实施例3：如图1-3所示，一种火焰图像CNN识别建模的转炉炼钢终点判断方法，所述方法的具体步骤如下：

Step1、采集转炉炉口火焰图像，为下一步图像的处理提供数据；采集来的图像尺寸为640×480；

Step2、先将采集来的火焰图像转换到HSI空间，HSI色彩空间和RGB色彩空间之间关系如下式所示，其中R,G,B分别表示红、绿、蓝三个分量：

Step3、分别在H、S、I分量下利用最大类间方差法进行阈值分割：

采用遍历法得到使类间方差最大的阈值T^*，即用得到的阈值去分割图像；

其中L为当前分量的灰度级；ω₀为火焰主体的像素点数占整幅图像的比例；ω₁为背景的像素点数占整幅图像的比例；μ₀为火焰主体的平均像素值；μ₁为背景的平均像素值；μ为整幅图像的平均像素值；

Step4、合并分割后的图像，再去噪处理用贴标签的方法得到单连通的火焰图像部分，去除因分割不佳造成的干扰点，得到分割后的图像；

Step5、预处理图像；在经分割后的图像中找寻火焰的中心点，然后以中心点为中心，选择合适的正方形阈值窗口将图像从中截取出来，并压缩至合适大小，最后转换为灰度图像，作为卷积神经网络的输入图像；

Step6、构建卷积神经网络识别模型，包括卷积神经网络的结构和关键参数，如隐含层层数、隐含层内部的连接方式、卷积核个数、每层输出特征图的个数以及训练迭代次数等；

Step7、将预处理后的图像直接输入卷积神经网络模型，根据之前设定的迭代次数进行迭代，在离线状态下采用降梯度法对网络进行训练；

Step8、将离线训练完毕的卷积神经网络模型进行在线判断，采集转炉火焰图像并预处理后送入网络模型，模型输出判断结果。

所述步骤Step7的具体步骤如下：

Step7.1、原始图片经过一系列预处理后输入到卷积神经网络的输入层；

Step7.2、用卷积核对输入层的图片进行卷积操作并且加上偏置项，最后经过sigmoid函数，得到卷积层图像；

Step7.3、将卷积层的图像进行降采样，尺寸为原先的1/4大小，再加上权重系数，最后经过sigmoid函数，得到采样层图像；

Step7.4、经过隐含层层数是否满足最初的设定值，如果满足则执行Step 7.5，如果不满足则执行Step7.2；

Step7.5、将上层图像看成一列特征向量，输出层与上一层是全连接方式，上一层的每个神经元的值乘以权值再求和即得到输出层的一个神经元的值，重复上述计算，直至算出输出层的所有神经元的值。

Step7.6、CNN采用的是有监督式训练，每幅火焰图像都有着对应的标签，不仅根据标签训练模型变量，而且还根据标签判断最终识别率，输出层为3个神经元，当输入一幅火焰图像，输出层便输出3个值，从这些值中找到最大值并将其赋为1，其他值赋为0，将赋值完毕的3个数值与输出标签进行对比，判断输入的火焰图像属于所处的类别。

为了验证本发明所述方法及系统，将预处理后的图像直接输入本发明训练好的卷积神经网络模型、基于颜色共生矩阵法的识别模型、基于灰度差分统计法的识别模型和基于灰度共生矩阵法的识别模型；记录各模型最终识别率和识别耗时如表2所示：

表2不同算法模型的性能对比

从表中可以看出，本发明采用的火焰图像CNN识别建模的转炉炼钢终点判断方法识别时间较短短，识别率高，在实际应用中可实现节约原材料和能源且保证炼钢效率，有较好的实际价值和意义。

火焰图像CNN识别建模的转炉炼钢终点判断系统，所述系统包括：

图像采集处理模块：采集转炉炉口火焰图像并将图像由RGB空间转换至HSI空间；

分割模块：分别在H、S、I分量下利用最大类间方差法进行阈值分割，后将分割后图像进行合并，再通过后期处理用贴标签的方法得到单连通的火焰图像部分，去除因分割不佳造成的干扰点，得到分割后的图像；

尺寸处理模块：在经分割后的图像中找寻火焰的中心点，然后以中心点为中心，选择合适的正方形阈值窗口将图像从中截取出来，并压缩至合适大小，最后转换为灰度图像，作为卷积神经网络模型的输入图像；

识别模块：首先构建卷积神经网络结构和设定关键参数来建立卷积神经网络识别模型，选取预处理过的图像直接输入模型进行离线训练，最后采集转炉火焰图像并预处理后送入训练完毕的模型，模型在线输出判断结果。

上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (2)

1.火焰图像CNN识别建模的转炉炼钢终点判断方法，所述方法的具体步骤如下：

Step1、采集转炉炉口火焰图像，为下一步图像的处理提供数据；

Step2、先将采集来的火焰图像转换到HSI空间，HSI色彩空间和RGB色彩空间之间关系如下式所示，其中R,G,B分别表示红、绿、蓝三个分量：

Step3、分别在H、S、I分量下利用最大类间方差法进行阈值分割：

采用遍历法得到使类间方差最大的阈值T*，即

用得到的阈值去分割图像；

其中L为当前分量的灰度级；ω₀为火焰主体的像素点数占整幅图像的比例；ω₁为背景的像素点数占整幅图像的比例；μ₀为火焰主体的平均像素值；μ₁为背景的平均像素值；μ为整幅图像的平均像素值；

Step4、合并分割后的图像，再去噪处理用贴标签的方法得到单连通的火焰图像部分，去除因分割不佳造成的干扰点，得到分割后的图像；

Step5、预处理图像；在经分割后的图像中找寻火焰的中心点，然后以中心点为中心，选择合适的正方形阈值窗口将图像从中截取出来，并压缩至合适大小，最后转换为灰度图像，作为卷积神经网络的输入图像；

Step6、构建卷积神经网络识别模型，包括卷积神经网络的结构和关键参数:隐含层层数、隐含层内部的连接方式、卷积核个数、每层输出特征图的个数以及训练迭代次数；

Step7、将预处理后的图像直接输入卷积神经网络模型，根据之前设定的迭代次数进行迭代，在离线状态下采用降梯度法对网络进行训练；

Step7.1、原始图片经过一系列预处理后输入到卷积神经网络的输入层；

Step7.2、用卷积核对输入层的图片进行卷积操作并且加上偏置项，最后经过sigmoid函数，得到卷积层图像；

Step7.3、将卷积层的图像进行降采样，尺寸为原先的1/4大小，再加上权重系数，最后经过sigmoid函数，得到采样层图像；

Step7.4、经过隐含层层数是否满足最初的设定值，如果满足则执行Step7.5，如果不满足则执行Step7.2；

Step7.5、将上层图像看成一列特征向量，输出层与上一层是全连接方式，上一层的每个神经元的值乘以权值再求和即得到输出层的一个神经元的值，重复上述计算，直至算出输出层的所有神经元的值；

Step7.6、CNN采用的是有监督式训练，每幅火焰图像都有着对应的标签，不仅根据标签训练模型变量，而且还根据标签判断最终识别率，输出层为3个神经元，当输入一幅火焰图像，输出层便输出3个值，从这些值中找到最大值并将其赋为1，其他值赋为0，将赋值完毕的3个数值与输出标签进行对比，判断输入的火焰图像属于所处的类别；

Step8、将离线训练完毕的卷积神经网络模型进行在线判断，采集转炉火焰图像并预处理后送入网络模型，模型输出判断结果。

2.火焰图像CNN识别建模的转炉炼钢终点判断系统，其特征在于：所述系统包括：

图像采集处理模块：采集转炉炉口火焰图像并将图像由RGB空间转换至HSI空间；

分割模块：分别在H、S、I分量下利用最大类间方差法进行阈值分割，后将分割后图像进行合并，再通过后期处理用贴标签的方法得到单连通的火焰图像部分，去除因分割不佳造成的干扰点，得到分割后的图像；

尺寸处理模块：在经分割后的图像中找寻火焰的中心点，然后以中心点为中心，选择合适的正方形阈值窗口将图像从中截取出来，并压缩至合适大小，最后转换为灰度图像，作为卷积神经网络模型的输入图像；

识别模块：首先构建卷积神经网络结构和设定关键参数来建立卷积神经网络识别模型，选取预处理过的图像直接输入模型进行离线训练，Step7.1、原始图片经过一系列预处理后输入到卷积神经网络的输入层；

Step7.2、用卷积核对输入层的图片进行卷积操作并且加上偏置项，最后经过sigmoid函数，得到卷积层图像；

Step7.3、将卷积层的图像进行降采样，尺寸为原先的1/4大小，再加上权重系数，最后经过sigmoid函数，得到采样层图像；

Step7.4、经过隐含层层数是否满足最初的设定值，如果满足则执行Step7.5，如果不满足则执行Step7.2；

Step7.5、将上层图像看成一列特征向量，输出层与上一层是全连接方式，上一层的每个神经元的值乘以权值再求和即得到输出层的一个神经元的值，重复上述计算，直至算出输出层的所有神经元的值；

Step7.6、CNN采用的是有监督式训练，每幅火焰图像都有着对应的标签，不仅根据标签训练模型变量，而且还根据标签判断最终识别率，输出层为3个神经元，当输入一幅火焰图像，输出层便输出3个值，从这些值中找到最大值并将其赋为1，其他值赋为0，将赋值完毕的3个数值与输出标签进行对比，判断输入的火焰图像属于所处的类别；最后采集转炉火焰图像并预处理后送入训练完毕的模型，模型在线输出判断结果。

Images