一种转炉火焰识别方法、系统、电子设备及介质
技术领域
本发明涉及检测技术领域,特别是涉及一种转炉火焰识别方法、系统、电子设备及介质。
背景技术
在转炉炼钢的工作中,火焰的判断对最终烧制的炉钢质量至关重要。目前,整个转炉火焰分类工作仍依赖人工目测,对经验、感知能力要求非常高。技术人员只能通过远程摄像机观察火焰形态、纹理、频闪等特征判断鉴定钢铁冶炼情况。在实际工作中,由于火焰刺激物变化性大,主观判断具有局限性,且技术人员判断有个体差异,此项工作常因人难以正确掌握火花特征、视觉疲劳等原因造成误判,最终影响炼钢效率。
发明内容
鉴于以上所述现有技术的缺点,本发明的目的在于提供一种转炉火焰识别方法、系统、电子设备及介质,用于解决现有技术中转炉火焰识别不便的问题。
为实现上述目的及其他相关目的,本发明提供一种转炉火焰识别方法,包括:
采集火焰图像并进行分类处理,获取数据集;
对所述数据集中的图像信息进行归一化处理;
提供神经网络,所述神经网络包括ResNet网络;
将归一化处理后的数据集中的图像信息分别输入所述神经网络进行训练,获取训练模型;
通过所述训练模型确定火焰图像对应的分类。
进一步地,采集火焰图像并进行分类处理的步骤包括:按照火焰的形态、明亮度、纹理对火焰图像进行分类。
进一步地,对所述数据集中的图像信息进行归一化处理的步骤包括:将图像信息的灰度值从0至255归一化为0至1。
进一步地,对所述数据集中的图像信息进行归一化处理的数学表达为:
其中,其中xi表示图像像素点灰度值,max(x)表示图像像素灰度值的最大值,max(x)表示为图像像素灰度值的最小值。
进一步地,ResNet网络包括至少一个block残差模块以及至少一个bottleneck残差模块。
进一步地,在所述神经网络中,神经元个数与火焰图像的分类数量相匹配。
进一步地,所述神经元的激活函数的数学表达为:
ReLU(z)=max(0,z)
进一步地,所述神经网络还包括用于下采样的池化层以及用于火焰概率分类输出的回归层,所述池化层包括maxpool池化层,所述回归层包括softmax回归层。
进一步地,包括:将归一化处理后的数据集中的图像信息分别输入所述神经网络进行训练的步骤包括:
根据相应的映射关系计算各个火焰分类的概率,通过概率大小确定相应的分类以及训练模型。
进一步地,所述映射关系的数学表达为:
y=labels
其中,softmax为归一化指数函数,labels表示相应分类的火焰图像的标签,numclasses代表火焰图像标签类别数,y是一个1*numclasses的向量,其中真实标签对应的位置为1,其余位置为0,Pi代表这个样本属于第i个火焰类别对应的概率。logitsi是softmax的输出向量logits的第i个值,lossi表示对应的火焰分类的损失函数。
进一步地,将归一化处理后的数据集中的图像信息分别输入所述神经网络进行训练的步骤还包括:
通过指数衰减法设置神经网络学习率,并通过L2正则化对训练模型的参数进行更新。
进一步地,L2正则化的数学表达为:
其中,C表示目标函数,C0代表原始的代价函数,n是样本的个数,λ是正则项系数,w为正则项与C0项的比重。
一种转炉火焰识别模块,包括:采集模块,用于采集火焰图像并进行分类处理,获取数据集;预处理模块,用于对所述数据集中的图像信息进行归一化处理;神经网络模块,用于提供神经网络,所述神经网络包括ResNet网络;训练模块,用于将归一化处理后的数据集中的图像信息分别输入所述神经网络进行训练,获取训练模型;输出模块,用于通过所述训练模型确定火焰图像对应的分类。
一种设备,包括:一个或多个处理器;和其上存储有指令的一个或多个机器可读介质,当所述一个或多个处理器执行时,使得所述设备执行一个或多个所述的方法。
一个或多个机器可读介质,其上存储有指令,当由一个或多个处理器执行时,使得设备执行一个或多个所述的方法。
如上所述,本发明的转炉火焰识别方法、系统、电子设备及介质,具有以下有益效果:
本发明使用的基于深度学习的转炉火焰分类识别网络,能够较好地提取输入图像的特征,对不同场景状态下的火焰图像能够准确流畅地进行分类,具有较高的识别率。
附图说明
图1显示为本发明实施例提供的神经网络中block残差模块的结构示意图。
图2显示为本发明实施例提供的bottleneck残差模块的结构示意图。
图3显示为本发明实施例提供的激活函数的数学表达关系示意图。
图4显示为本发明实施例提供的转炉火焰识别方法的流程示意图。
图5显示为本发明实施例提供的神经网络的结构示意图。
图6显示为本发明实施例中第零类火焰的示意图。
图7显示为本发明实施例中第一类火焰的示意图。
图8显示为本发明实施例中第二类火焰的示意图。
图9显示为本发明实施例中第三类火焰的示意图。
图10显示为本发明实施例中第四类火焰的示意图。
图11显示为本发明实施例中第五类火焰的示意图。
图12显示为本发明实施例中第六类火焰的示意图。
图13显示为本发明实施例中第七类火焰的示意图。
图14显示为本法发明实施例提供的转炉火焰识别系统的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。
需要说明的是,本实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。本说明书所附图式所绘示的结构、比例、大小等,均仅用以配合说明书所揭示的内容,以供熟悉此技术的人士了解与阅读,并非用以限定本发明可实施的限定条件,故不具技术上的实质意义,任何结构的修饰、比例关系的改变或大小的调整,在不影响本发明所能产生的功效及所能达成的目的下,均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时,本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语,亦仅为便于叙述的明了,而非用以限定本发明可实施的范围,其相对关系的改变或调整,在无实质变更技术内容下,当亦视为本发明可实施的范畴。
请参阅图4,本发明实施例提供的一种转炉火焰识别方法,包括:
S1:采集火焰图像并进行分类处理,获取数据集,可以获取多种场景下的清晰的火焰图像,进行分类,组成火焰图像的数据集,还可以按照一定比例作为测试集和训练集,例如,按照1:9,又例如2:8;
S2:对所述数据集中的图像信息进行归一化处理;
S3:提供神经网络,所述神经网络包括ResNet网络;
S4:将归一化处理后的数据集中的图像信息分别输入所述神经网络进行训练,学习相应的特征,例如在将训练集的图像信息分别输入神经网络,有监督地训练分类火焰并按照概率获取输出结果,强化学习相应的火焰分类的特征,并可通过测试集测试,获取优选的训练模型,将优选的训练模型作为识别火焰分类的训练模型;
S5:通过所述训练模型确定火焰图像对应的分类。通过基于神经网络的机器学习方式提高了转炉火焰分类的识别效率和准确度。
在步骤S1中,首先研究人员根据火焰的形态、明亮度、纹理特征对转炉火焰进行分类,例如可分为八类。第零类,第一类,第二类,第七类属于正常情况,第三、四、五、六类属于异常情况,各类别转炉火焰图像示例图如图三。
请参阅图6,第零类火焰特征为火焰明亮,颜色鲜明,多为明亮黄色、橙色,纹理清晰,无烟无黑点;
请参阅图7,第一类火焰特征为火焰明亮,颜色鲜明,多为明亮的黄色、橙色,无烟,但在火焰中有细小的黑点;
请参阅图8,第二类火焰特征为火焰偏暗,颜色多为偏暗橘色、红色,无烟,火焰中有较大颗粒的黑点;
请参阅图9,第三类火焰特征为火焰偏暗,有极其粘稠、厚重的溢渣情况,面积通常较大,渣多呈现暗橙色、棕色的固体形态,无烟;
请参阅图10,第四类火焰特征为火焰偏暗,亦有溢渣现象,对比第三类,第四类的渣为较明显的液体形态,略显粘稠地缓慢流出,无烟;
请参阅图11,第五类火焰特征为火焰较暗,有少量黑烟,亦有溢渣现象,对比前两类,此类的渣具有明显的流动性,如同瓢泼的水流,较稀,流速较快。
请参阅图12,第六类火焰特征为火焰非常暗,整个场景几乎被黑烟掩盖,有溢渣情况,渣的特点是如岩浆,颜色较明亮,类似于很细的水流,面积小。
请参阅图13,第七类火焰特征为有火焰喷出现象,常有较大火团喷出,火团多为黑红色。
在步骤S2中,将图片的灰度值从0到255归一化至0到1。图像归一化在这里采用最大最小值归一化方法,公式如下:
其中,其中xi表示图像像素点灰度值,max(x)表示图像像素灰度值的最大值,max(x)表示为图像像素灰度值的最小值。
在步骤S3中,搭建ResNet深度学习神经网络,学习各类转炉火焰的特征并进行分类预测。
ResNet深度学习神经网络有block和bottleneck两种残差模块,整个网络共分为4个残差模块。针对单幅转炉火焰输入图像,ResNet深度学习网络将学习到相应的转炉火焰图片的特征。每一个block残差模块包含两个卷积层,主要用于ResNet18,ResNet34网络结构搭建,其结构示意图请参阅图1;
每一个bottleneck残差模块包含三个卷积层,主要用于ResNet50,ResNet101,ResNet152等较更复杂网络结构搭建,其结构示意图请参阅图2;
由于总共有八类转炉火焰,全连接层的神经元个数设置为8,激活函数使用ReLU(线性整流函数),请参阅图3,其数学公式为:
f(x)=max(0,x)
并通过最大池化层maxpool进行下采样.最后一层为softmax回归层,输出结果被分为某一类的概率,通过获取各类概率中的最大值,得到该转炉火焰图像类别的预测值,ResNet18网络主结构示例如图二,相关计算公式为:
y=labels
其中,softmax函数,又称归一化指数函数,目的是将模型的预测结果转化到指数函数上,并通过指数函数,将一个K维的任意实数向量压缩(映射)成另一个K维的实数向量,其中向量中的每个元素取值都介于(0,1)之间,最后将所有结果相加,进行归一化,将多分类的结果以概率的形式呈现。labels表示相应分类的火焰图像的标签。numclasses代表火焰图像标签类别数。y是一个1*numclasses的向量,其中真实标签对应的位置为1,其余位置为0。Pi代表这个样本属于第i个火焰类别对应的概率。logitsi是softmax的输出向量logits的第i个值。lossi表示对应的火焰分类的损失函数。
在步骤S4中:图像训练过程中,为避免过度拟合,采用指数衰减法设置网络学习率,并采用L2正则化方法(L2正则化是指权值向量中各个元素的平方和然后再求平方根),基于L2范数,即在目标函数后面加上参数的L2范数和项,即参数的平方和与参数的积项,即:
其中,C可以看做是目标函数,即原始代价函数与额外项的和,将对损失函数中的某些参数做一些限制,以达到防止过拟合的效果,C0代表原始的代价函数,n是样本的个数,λ是正则项系数,权衡正则项与C0项的比重,w是权重。
L2正则化中则使用下式对模型参数进行更新:
在本实施例中,图像在分类过程中,采用监督式训练,每幅火焰图像都有对应的标签,不仅根据标签训练模型参数,而且还根据标签判断最终识别率。当训练网络通过多次迭代,预测值不断向标签误差方向进行收敛,然后反向传播根据链式法则将参数更新到每一层中.每次迭代都会根据梯度下降的优化方向,尽可能减少传播误差,最终得到数据集所有转炉火焰图像最终的分类结果。本发明取在测试集上分类准确率最高的模型作为最优模型,在工业场景的实际操作中,首先通过摄像头实时获取图片,将单幅转炉火焰图像作为输入,此模型将自动对图像进行处理,识别火焰特征,进行预测,最终输出该转炉火焰图像的分类结果。
利用本发明设计的基于深度学习的转炉火焰分类识别方法,实现无人工参与对工业场景下的八种转炉火焰的分类,分类准确率超过94%以上,在实际转炉炼钢的工业场景下,效果极佳,在对转炉火焰进行分类的技术领域有了前所未有的飞跃。
请参阅图14,本发明还提供一种转炉火焰识别模块,包括:
采集模块10,用于采集火焰图像并进行分类处理,获取数据集;
预处理模块20,用于对所述数据集中的图像信息进行归一化处理;
神经网络模块30,用于提供神经网络,所述神经网络包括ResNet网络;
训练模块40,用于将归一化处理后的数据集中的图像信息分别输入所述神经网络进行训练,获取训练模型;
输出模块50,用于通过所述训练模型确定火焰图像对应的分类。
进一步地,采集火焰图像并进行分类处理的步骤包括:按照火焰的形态、明亮度、纹理对火焰图像进行分类。
进一步地,对所述数据集中的图像信息进行归一化处理的步骤包括:将图像信息的灰度值从0至255归一化为0至1。
进一步地,对所述数据集中的图像信息进行归一化处理的数学表达为:
其中,其中xi表示图像像素点灰度值,max(x)表示图像像素灰度值的最大值,max(x)表示为图像像素灰度值的最小值。
进一步地,ResNet网络包括至少一个block残差模块以及至少一个bottleneck残差模块。
进一步地,在所述神经网络中,神经元个数与火焰图像的分类数量相匹配。
进一步地,所述神经元的激活函数的数学表达为:
ReLU(z)=max(0,z)
进一步地,所述神经网络还包括用于下采样的池化层以及用于火焰概率分类输出的回归层,所述池化层包括maxpool池化层,所述回归层包括softmax回归层。
进一步地,包括:将归一化处理后的数据集中的图像信息分别输入所述神经网络进行训练的步骤包括:
根据相应的映射关系计算各个火焰分类的概率,通过概率大小确定相应的分类以及训练模型。
进一步地,所述映射关系的数学表达为:
y=labels
其中,softmax函数,又称归一化指数函数,目的是将模型的预测结果转化到指数函数上,并通过指数函数,将一个K维的任意实数向量压缩(映射)成另一个K维的实数向量,其中向量中的每个元素取值都介于(0,1)之间,最后将所有结果相加,进行归一化,将多分类的结果以概率的形式呈现。labels表示相应分类的火焰图像的标签。numclasses代表火焰图像标签类别数。y是一个1*numclasses的向量,其中真实标签对应的位置为1,其余位置为0。Pi代表这个样本属于第i个火焰类别对应的概率。logitsi是softmax的输出向量logits的第i个值。lossi表示对应的火焰分类的损失函数。
进一步地,将归一化处理后的数据集中的图像信息分别输入所述神经网络进行训练的步骤还包括:
通过指数衰减法设置神经网络学习率,并通过L2正则化对训练模型的参数进行更新。
进一步地,L2正则化(Regularization)将额外信息引入原始代价函数,以便防止过拟合和
提高模型泛化性能。其数学表达为:
其中,C表示目标函数,即原始代价函数与额外项的和,将对损失函数中的某些参数做一些限制,以达到防止过拟合的效果。C0代表原始的代价函数,n是样本的个数,λ是正则项系数,w为正则项与C0项的比重。
本发明提供一种设备,包括:一个或多个处理器;和其上存储有指令的一个或多个机器可读介质,当所述一个或多个处理器执行时,使得所述设备执行一个或多个所述的方法。可用于众多通用或专用的计算系统环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
本发明提供一种或多个机器可读介质,其上存储有指令,当由一个或多个处理器执行时,使得设备执行一个或多个所述的方法。可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
在上述实施例中,说明书对“本实施例”、“一实施例”、“另一实施例”、或“其他实施例”的提及表示结合实施例说明的特定特征、结构或特性包括在至少一些实施例中,但不必是全部实施例。“本实施例”、“一实施例”、“另一实施例”的多次出现不一定全部都指代相同的实施例。如果说明书描述了部件、特征、结构或特性“可以”、“或许”或“能够”被包括,则该特定部件、特征、结构或特性“可以”、“或许”或“能够”被包括,则该特定部件、特征、结构或特性不是必须被包括的。如果说明书或权利要求提及“一”元件,并非表示仅有一个元件。如果说明书或权利要求提及“一另外的”元件,并不排除存在多于一个的另外的元件。
在上述实施例中,尽管已经结合了本发明的具体实施例对本发明进行了描述,但是根据前面的描述,这些实施例的很多替换、修改和变形对本领域普通技术人员来说将是显而易见的。本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。