CN112785577B - 基于SOLOv2网络的钢液检测定位方法 - Google Patents

Abstract

本发明公开了一种基于SOLOv2网络的钢液检测定位方法，包括：获取原始钢液图像；用训练好的SOLOv2网络处理原始钢液图像，得到钢液分割效果图；除去步骤2中得到的分割效果图中钢液区域面积小于阈值的钢液区域，得到第一钢液分割效果图；对于具有时序信息原始钢液图像，采用光流法获取火焰区域，计算区域面积；求取火焰区域与第一钢液分割效果图的交集面积，并采用面积判定的方法，除去不合理的区域后得到第二钢液分割效果图；对第二钢液分割效果图，采用方差判定方法，除去不合理区域，得到最终的钢液分割效果图。本发明使用SOLOv2深度学习网络，可以快速、准确的将钢液目标分割开来，完成钢液的定位，辅助判定此时转炉炼钢所处的状态。

Description

基于SOLOv2网络的钢液检测定位方法

技术领域

本发明属于图像处理领域，具体为一种基于SOLOv2网络的钢液检测定位方法。

背景技术

转炉炼钢是利用氧枪将氧气吹入炉内，利用与铁水中的各种元素产生复杂的物理化学反应放出的热量来进行冶炼，随着熔池内温度的提升，去除铁水内的杂质和降低含碳量，从而使熔池内各元素含量和温度达到出钢要求。转炉炼钢终点是指炼钢炉熔池内的化学成分含量和温度达到了出钢要求的时刻。终点判定是指通过熔池内的碳含量和温度来判断吹炼是否达到终点，因此，对转炉炼钢终点判定的准确尤为重要，终点判定的好坏直接关系到出钢产品的质量。

由于转炉炼钢所采用的原料成分不稳定，且炼钢吹炼是一个复杂的高温物理化学反应过程，单纯依靠普通操作工对终点进行控制很不精确，难以保证较高的终点命中率，造成资源浪费，效益低下。

发明内容

本发明的目的在于提出了一种基于SOLOv2网络的钢液检测定位方法。

实现本发明目的的技术解决方案为一种基于SOLOv2网络的钢液检测定位方法，具体步骤为：

步骤1：获取原始钢液图像；

步骤2：用训练好的SOLOv2网络处理原始钢液图像，得到钢液分割效果图；

步骤3：除去步骤2中得到的分割效果图中钢液区域面积小于阈值的钢液区域，得到第一钢液分割效果图；

步骤4：对于具有时序信息的原始钢液图像，采用光流法获取火焰区域，计算区域面积；

步骤5：对于步骤4获得的火焰区域，采用求取交集面积以及面积判定的方法，除去不合理的区域后得到第二钢液分割效果图；

步骤6：对步骤5获得的第二钢液分割效果图，采用方差判定方法，除去不合理区域，得到最终的钢液分割效果图。

优选地，所述SOLOv2网络处理原始转炉炼钢视频，得到分割效果图。具体为：

步骤21：利用训练样本对SOLOv2网络进行训练得到深度学习模型；

步骤22：使用深度学习模型处理原始转炉炼钢图，得到分割的效果图。

优选地，所述SOLOv2网络包括数据输入模块、骨干网络、特征金字塔网络以及掩码分析重构网络，其中：

所述数据输入模块用于完成数据的输入和预处理；

所述骨干网络采用resnet34网络对输入图片进行卷积操作，提取图片特征；

所述特征金字塔网络用于生成不同尺度的特征图并进行特征融合，得到掩码特征和掩码内核；

所述掩码分析重构网络用于对掩码特征进行预测分析和重构，得到掩码分割结果。

优选地，采用光流法获取火焰区的具体过程为：

利用opencv中的光流计算函数，找到在连续2帧原始钢液图像之间变化值大于阈值的像素点的集合，得到这部分像素点集合构成的区域；利用图像的颜色矩阵，得到颜色为黄色和白色的像素点的区域；将像素点集合构成的区域和黄色和白色的像素点的区域合并作为火焰区域。

优选地，对于获得的火焰区域，采用求取交集面积以及面积判定的方法，除去不合理的区域后得到新的钢液分割效果图，具体处理过程为：

步骤51：根据步骤42得到的黄白色火焰面积和全部火焰面积，进行阈值判定，当黄白色火焰面积和全部火焰面积都大于特定的阈值则认为该钢液分割效果图无效，反之有效；

步骤52：求取步骤51得到的有效的钢液分割效果图中每个钢液区域和火焰区域的交集，得到重叠区域，计算重叠区域面积，当重叠区域面积与对应的钢液区域面积的比例超过阈值时，认定该区域无效，去除无效的钢液区域，得到第二钢液分割效果图。

优选地，采用方差判定方法，除去不合理区域，得到最终的钢液分割效果图的具体方法为：

对第二钢液分割效果图中的每个钢液区域，计算原图中对应区域的方差，若方差大于阈值，则认为该区域无效，除去无效区域后，得到最终的钢液分割效果图。

本发明与现有技术相比，其显著优点为：本发明对转炉炼钢视频钢液目标进行分割与定位，使用分割结果图得到钢液的具体位置和钢液的面积，并且定位精度能够满足要求，间接的提高了对当前炼钢所属状态判断的正确率；本发明使用了SOLOv2网络和一些传统的图像处理算法完成了钢液的定位，采用SOLOv2 网络完成钢液图像的分割，深度网络鲁棒性较好，更能适合实际的生产环境，；通过SOLOv2网络处理原始的转炉炼钢图像，得到分割效果图，再使用传统的图像处理算法和筛选条件以得到更准确的钢液轮廓，最终得到了钢液的分割效果图，完成钢液定位；同时本发明采用的SOLOv2网络模型属于轻量级模型，与其他复杂的网络结构相比识别速度很快，具有很好的实时性，本发明对转炉炼钢图像的钢液目标进行分割具有较好的效果，能够快速的完成钢液的定位。

下面结合附图对本发明做进一步详细的描述。

附图说明

图1为本发明的流程图。

图2为对钢液目标进行定位各个阶段的效果图。

具体实施方式

一种基于SOLOv2网络的钢液检测定位方法，具体步骤为：

步骤1：获取原始钢液图像；

步骤2：用训练好的SOLOv2网络处理原始钢液图像，得到钢液分割效果图；

步骤3：除去步骤2中得到的分割效果图中钢液区域面积小于阈值的钢液区域，得到第一钢液分割效果图；

步骤4：对于具有时序信息原始钢液图像，采用光流法获取火焰区域，计算区域面积；

步骤5：求取火焰区域与第一钢液分割效果图的交集面积，并采用面积判定的方法，除去不合理的区域后得到第二钢液分割效果图；

步骤6：对步骤5获得的第二钢液分割效果图，采用方差判定方法，除去不合理区域，得到最终的钢液分割效果图。

为了便于理解，做如下的字符说明，原始的钢液图像为I，如图2中(a)所示，钢液目标分割操作结束后的分割效果图为I₂如图2中(c)所示，图中标编号的区域为检测得到的钢液区域，训练学习得到的SOLOv2网络模型为M。

进一步的实施例中，利用训练好的SOLOv2网络处理步骤1获得的图像，得到分割效果图包括以下步骤：

步骤21：利用训练样本对SOLOv2网络进行训练后得到深度学习模型M；

SOLOv2网络是一个可以进行实例分割的网络，且具有较好的分割效果。

进一步的实施例中，训练样本为原始钢液图像，以及标注钢液边缘得到的图像的标注文件。

将工业相机固定在炉口正前方墙壁，相机与PC机连接，采集并保存转炉炼钢视频数据。通过PC机控制相机拍摄获得原始的钢液图像I，采集多张原始钢液图像用于标注训练。钢液图像如图2中的(a)所示，使用标注工具VGG Image Annotator进行手工标注钢液目标，得到标记后的图像I₁，如图2中的(b)所示。

进一步的实施例中，SOLOv2网络的训练过程为：

使用SOLOv2网络的目的在于通过训练学习，得到一个能够将钢液目标与无效背景分隔开的分割模型。SOLOv2网络主要包括数据输入模块(Data)、骨干网络(Backbone)、特征金字塔网络以及掩码分析重构网络四个部分组成。

数据输入模块：主要是完成数据的输入和预处理，将用VGG Image Annotator 标注得到的标注文件转换为coco数据集格式，读入标注文件，可以得到图片路径及对应的标注。输入的钢液图片大小为1920*1080，batchsize设置为2，总共训练40个epoch。

骨干网络(Backbone)：骨干网络采用resnet34网络对输入图片进行卷积操作，提取图片特征，并使用特征金字塔网络生成不同尺度的特征图并进行特征融合,得到掩码特征和掩码内核。

掩码分析重构网络：对掩码特征进行预测分析和重构，得到掩码分割的结果，以像素到像素的方式预测分割掩码。

步骤22：使用深度学习模型M处理全新的钢液原图I，得到分割的效果图 I₂，图像I₂如图2中的(c)所示。图2中的(c)中编号区域为模型预测的钢液区域，其余的为背景。

进一步的实施例中，步骤3获得第一钢液分割效果图的具体方法为：

根据步骤2中模型预测的结果，对图像I₂进行面积判定，将连通区域面积小于阈值的区域(区域编号4)排除，得到效果图I₃，图像I₃如图2中的(d)所示。图2中的(d)中编号部分即为处理后的钢液区域；

进一步的实施例中，步骤4包括以下具体步骤：

步骤41：对于输入具有时序信息的图像，利用opencv中的光流计算函数, 找到在连续2帧之间变化值大于阈值的像素点的集合，得到这部分像素点构成的区域；再利用图像的颜色矩阵，得到颜色为黄色和白色的像素点的区域。这2 个区域共同组成了火焰区域，效果图I₄如图 2中的 (e)所示，图中编号区域为火焰区域。

上述方法中，步骤41具体包括以下内容：

步骤411：对于采集的视频，是具有时序信息的。每次输入连续的2帧，使用opencv中的calcOpticalFlowFarneback函数，该函数利用图像序列中的像素在时间域上的变化、相邻帧之间的相关性来找到的上一帧跟当前帧间存在的对应关系，计算出相邻帧之间物体的运动信息，因为钢液相对火焰运动缓慢，所以可以将相邻帧之间运动速度大于阈值的区域确定为火焰区域；

同时由于钢液的颜色偏暗或红色，而火焰的颜色有时会是黄色和白色，所以将图片转换为灰度图后，取出灰度范围为200-255的区域，将这两块区域结合就得到了最终的火焰区域。

步骤42：对于得到的火焰区域图，计算火焰的总面积和火焰中黄白部分的面积。

进一步的实施例中，步骤5包括以下具体步骤：

步骤51：对步骤31所得的钢液分割图I₃进行火焰面积判定，具体为：当步骤4中得到的火焰总面积和黄白部分面积大于各自阈值时，认为此钢液分割图无效。反之则有效。对步骤41得到的火焰区域图和步骤31得到的有效钢液效果图中的每个钢液区域求取交集，当火焰与每个钢液区域的重叠面积与该钢液区域面积的比值大于阈值时，认为该区域的钢液(如区域编号3)是无效的。得到排除火焰干扰后的钢液分割效果图I₅如图 2中的 (f)所示。

进一步的实施例中，步骤6包括以下具体步骤：

步骤61：对步骤5得到的效果图I₅，对于钢液分割效果图中每块连通区域，计算原图上对应该区域位置上的方差。除去方差大于阈值的连通区域，得到最终的钢液分割效果图I₆如图2中的(g)所示。

Claims (4)

1.一种基于SOLOv2网络的钢液检测定位方法，其特征在于，具体步骤为：

步骤1：获取原始钢液图像；

步骤2：用训练好的SOLOv2网络处理原始钢液图像，得到钢液分割效果图；

步骤3：除去步骤2中得到的分割效果图中钢液区域面积小于阈值的钢液区域，得到第一钢液分割效果图；

步骤4：对于具有时序信息的原始钢液图像，采用光流法获取火焰区域，计算火焰区域面积；

步骤5：对于步骤4获得的火焰区域，采用求取交集面积以及面积判定的方法，除去不合理的区域后得到第二钢液分割效果图，具体方法为：

步骤51：根据黄白色火焰面积和全部火焰面积，进行阈值判定，当黄白色火焰面积和全部火焰面积都大于特定的阈值则认为该钢液分割效果图无效，反之有效；

步骤52：求取步骤51得到的有效的钢液分割效果图中每个钢液区域和火焰区域的交集，得到重叠区域，计算重叠区域面积，当重叠区域面积与对应的钢液区域面积的比例超过阈值时，认定该区域无效，去除无效的钢液区域，得到第二钢液分割效果图；

步骤6：对步骤5获得的第二钢液分割效果图，采用方差判定方法，除去不合理区域，得到最终的钢液分割效果图，具体方法为：

对第二钢液分割效果图中的每个钢液区域，计算原图中对应区域的方差，若方差大于阈值，则认为该区域无效，除去无效区域后，得到最终的钢液分割效果图。

2.根据权利要求1所述的基于SOLOv2网络的钢液检测定位方法，其特征在于，所述SOLOv2网络处理原始转炉炼钢视频，得到分割效果图，具体为：

步骤21：利用训练样本对SOLOv2网络进行训练得到深度学习模型；

步骤22：使用深度学习模型处理原始转炉炼钢图，得到分割的效果图。

3.根据权利要求1或2所述的基于SOLOv2网络的钢液检测定位方法，其特征在于，所述SOLOv2网络包括数据输入模块、骨干网络、特征金字塔网络以及掩码分析重构网络，其中：

所述数据输入模块用于完成数据的输入和预处理；

所述骨干网络采用resnet34网络对输入图片进行卷积操作，提取图片特征；

所述特征金字塔网络用于生成不同尺度的特征图并进行特征融合，得到掩码特征和掩码内核；

所述掩码分析重构网络用于对掩码特征进行预测分析和重构，得到掩码分割结果。

4.根据权利要求1所述的基于SOLOv2网络的钢液检测定位方法，其特征在于，采用光流法获取火焰区的具体过程为：

利用opencv中的光流计算函数，找到在连续2帧原始钢液图像之间变化值大于阈值的像素点的集合，得到这部分像素点集合构成的区域；利用图像的颜色矩阵，得到颜色为黄色和白色的像素点的区域；将像素点集合构成的区域和黄色和白色的像素点的区域合并作为火焰区域。

Images