CN110532902B - 一种基于轻量化卷积神经网络的铁水扒渣检测方法 - Google Patents

Abstract

本发明提供一种基于轻量化卷积神经网络的铁水扒渣检测方法，包括：从铁水扒渣的工业现场采集预设时长的铁水扒渣视频；从采集的铁水扒渣视频中提取预设数量的图片，构建训练数据集；对构建的训练数据集中的每一图片进行标注，得到对应的标签数据；使用轻量级网络模型对训练数据集进行训练，利用训练好的轻量级网络模型对实时采集的铁水扒渣图片隔帧进行检测，实时监测铁水扒渣情况。本发明方法有着更好的抗干扰能力，提高了铁水扒渣中对铁水和脱硫渣检测的精度，可有效地检测出铁水和脱硫渣，同时也能对铁水内包壁以及扒渣装置进行有效地识别；可稳定地检测铁水扒渣过程的同时，实时性也能达到实际监测要求，在生产过程中具有极大地应用价值。

Description

一种基于轻量化卷积神经网络的铁水扒渣检测方法

技术领域

本发明涉及深度学习技术领域，特别是指一种基于轻量化卷积神经网络的铁水扒渣检测方法。

背景技术

在炼钢流程中，铁水想要送入转炉进行炼钢，必须经过一步脱硫处理。但是，如果只是进行脱硫处理并不能完全去除铁水中的硫含量，因为脱硫处理后的铁水表面存在大量的脱硫渣，这一层脱硫渣如果不能及时处理掉，渣中的硫元素会被氧还原。钢水的含硫量作为炼钢过程中的重要参数，如果在铁水从铁水包注入转炉前扒渣不够干净，那么会导致铁水的含硫量超出标准，从而影响炼钢的质量。对于钢水的硫含量要求越低，相应要求扒渣时脱硫渣识别能力就要越高，那么对于检测装置的精度要求也就越高。

目前，在工业实际应用中，铁水扒渣还是基于人工控制扒渣铲扒渣的传统方式，但由于实际工作环境温度高，且扒渣过程中会有大量烟尘，因此人工的方式不仅效率低下，还会因恶劣的工作环境影响工人身体健康甚至发生危险。

近两年出现了机器取代人工的扒渣方法，主要检测方法是基于机器视觉的识别方法。其中阈值分割的识别方法通过读取现场照片，对照片按照灰度值进行分割，但这一方法的实际效果很差，由于烟尘的存在以及铁水包角度的变化，实际的图片中铁水包内包壁与铁水的灰度非常接近，而外包壁与矿渣灰度非常接近，因此会出现根本识别不到脱硫渣与铁水的情况；另外还有使用红外识别的方法，但这一方法由于铁水包包壁与铁水温度相近，难以将包壁与铁水分开，会使扒渣装置误触包壁，容易发生危险。

综上所述，现有的基于机器视觉的铁水扒渣检测主要基于灰度图像的阈值分割方法，即利用摄像头采集现场图像，然后将图像转化成为灰度图像，通过铁水与脱硫渣像素灰度值的差异设定分割阈值，从而实现铁水与铁水渣识别。此类方法对于铁水、矿渣与铁水包包壁以及扒渣装置等的识别效果很不理想，不仅不能高精度的完成扒渣任务，还会因识别不准确导致扒渣装置触碰包壁，引起设备的损坏甚至发生危险，具体存在以下问题：

1、分割阈值难以确定，由于在很多情况下，扒渣装置与脱硫渣的灰度值非常接近，因此现有方法难以有效的区分二者，此外，铁水包内包壁由于高温的影响，在某些情况下与铁水的灰度值也非常相近，这会导致扒渣装置触碰到铁水包内壁，不仅容易损坏设备，还有可能引发危险；2、阈值分割方法的抗干扰能力很差，铁水包角度的变化以及扒渣中产生的烟尘都会对其产生明显的影响；3、所得结果需要进一步处理，阈值分割方法所得结果较为粗糙，需要进一步地处理才能被控制算法利用。

发明内容

本发明要解决的技术问题是针对现有铁水扒渣检测方法的识别准确率和精度无法满足当前工业生产要求的问题，提供一种基于轻量化卷积神经网络的铁水扒渣检测方法，只需要将监控摄像系统采集的铁水扒渣的工业现场的视频流图像输入给嵌入式设备进行处理，就可实现远程监测铁水包扒渣的状况。在满足日常检测实时性需要的同时，其检测精度也足够高，同时可以将铁水包，铁水，脱硫渣，扒渣器具检测识别并分开。

本发明拟采用基于深度学习的方法进行铁水扒渣的检测。首先，使用摄像头采集铁水扒渣过程的视频；然后，通过构建的基于轻量化卷积神经网络的铁水扒渣检测模型，将摄像头采集来的视频流图像输入给嵌入式设备进行处理，从而得到铁水扒渣的准确的检测结果，借此来调整扒渣装置的移动，进而实现远程控制铁水扒渣的目的。

具体地，为解决上述技术问题，本发明提供一种基于轻量化卷积神经网络的铁水扒渣检测方法，其包括：

从铁水扒渣的工业现场采集预设时长的铁水扒渣视频；

从采集的铁水扒渣视频中提取预设数量的图片，构建训练数据集；

对构建的训练数据集中的每一图片进行标注，得到对应的标签数据；

使用轻量级网络模型对所述训练数据集进行训练，利用训练好的轻量级网络模型对实时采集的铁水扒渣图片隔帧进行检测，实时监测铁水扒渣情况。

进一步地，从铁水扒渣的工业现场采集预设时长的铁水扒渣视频，具体为：

通过工业相机从实际的铁水扒渣的工业现场采集一段3200s的铁水扒渣视频；其中，视频分辨率为1920x1080，帧率为25帧每秒。

进一步地，所述从采集的铁水扒渣视频中提取预设数量的图片，构建训练数据集，具体为：

从采集的铁水扒渣视频中每隔8秒取一帧，得到400张原图；将得到的原图按照3:1的比例划分为训练数据集与测试数据集。

进一步地，轻量级网络模型为将Spatial Path与Context Path相结合的BiseNet网络，其中Context Path部分使用ResNet18这一轻量化网络结构。

进一步地，所述使用轻量级网络模型对所述训练数据集进行训练，包括：

训练时通过随机上下翻转、随机左右翻转以及随机尺寸裁剪，对所述训练数据集进行数据增强，得到所述训练数据集对应的扩充图；

基于所述训练数据集中的图片及扩充图，使用轻量级网络模型进行训练。

进一步地，所述使用轻量级网络模型对所述训练数据集进行训练，还包括：

训练过程中将所述训练数据集中的图片及扩充图输入轻量级网络模型；

将轻量级网络模型的输出结果与输入图片对应的标签数据进行损失计算；

根据计算结果，使用交叉熵损失函数减小该轻量级网络模型的预测值与标签数据之间的差距，采用反向传播算法优化模型参数。

进一步地，所述利用训练好的轻量级网络模型对实时采集的铁水扒渣图片隔帧进行检测，实时监测铁水扒渣情况，具体为：

将训练好的轻量级网络模型配置到工业现场的嵌入式设备中，对实时采集的铁水扒渣图片隔帧进行检测，实时监测铁水扒渣情况。

本发明的上述技术方案的有益效果如下：

本发明提出的基于轻量化卷积神经网络的铁水扒渣检测方法，对于铁水扒渣的检测有着更好的抗干扰能力，能够抵抗铁水包角度变化与烟尘的干扰，检测的效果也比传统方法更好，提高了铁水扒渣对铁水与脱硫渣检测的精度，可以有效地检测出铁水和脱硫渣，同时也能对铁水内包壁以及扒渣装置进行有效地识别。本发明可稳定地检测铁水扒渣过程的同时，实时性也能达到实际监测要求，能够实时进行铁水扒渣过程的检测，实现远程监测铁水扒渣的运行状况，避免了人工参与恶劣复杂环境工作，在生产过程中具有极大地应用价值。

附图说明

图1为基于轻量化卷积神经网路的铁水扒渣检测模型总体框架图；

图2为本发明的基于轻量化卷积神经网络的铁水扒渣检测方法的流程图；

图3a为铁水扒渣原图；

图3b为与图3a对应的人工标注的标签；

图4a为铁水扒渣原图；

图4b为与图4a对应的模型预测结果。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

第一实施例

本实施例提供一种基于轻量化卷积神经网络的铁水扒渣检测方法，首先从实际的铁水扒渣的工业现场采集一段视频，从中提取出足够的图片制作数据集，包括300张原图，然后在有经验的工人指导下，对这些图片进行人工标注，得到与之相对应的标签数据。然后，根据深度学习对于图像的每个像素点进行分类的原理，使用轻量级网络模型BiseNet(Bilateral Segmentation Network for Real-time Semantic Segmentation)对数据集进行训练。

BiseNet包含两条通路Spatial Path与Context Path，其中Spatial Path可保留原输入图像的空间尺度，并编码丰富的空间信息。Spatial Path包含三层，每层包含一步幅(stride)为2的卷积，随后是批量标准化和ReLU激活函数，因此，该路网络提取相当于原图1/8的输出特征图。由于它利用了较大尺度的特征图，所以可编码比较丰富的空间信息。而Context Path充分利用轻量级模型ResNet18与全局平均池化以提供大感受野。这样的设计可在保证精度不变的条件下，精简网络结构，减小计算量。将数据集进行预处理后输入网络进行训练，保存训练好的最佳模型进行测试，模型总体框架如图1所示。

具体地，如图2所示，本实施例的基于轻量化卷积神经网络的铁水扒渣检测方法包括以下步骤：

S101，从铁水扒渣的工业现场采集预设时长的铁水扒渣视频；

需要说明的是，该步骤是通过工业相机对实际的铁水扒渣的工业现场进行视频采集，从而获取实际的铁水扒渣的视频；其中，所采集的视频长度可以根据实际需求确定，对此，本实施例并不做具体限定。

S102，从采集的铁水扒渣视频中提取预设数量的图片，构建训练数据集；

需要说明的是，该步骤从采集的铁水扒渣视频中提取图片的方式可以根据实际需求确定，可以每隔一定间隔从视频中截取一张图片，也可以人工对视频图像进行筛查，从中选出符合要求的图片；其中，所提取的图片数量可以根据实际需求确定，只要能够满足实际训练需求即可，本实施例对此不作具体限定。

S103，对构建的训练数据集中的每一图片进行标注，得到对应的标签数据；

需要说明的是，该步骤中对训练数据集中的每一图片进行标注的方式可以是，在有经验人士的指导下，使用PhotoShop对图片进行像素级手工标注；当然可以理解的是，本实施例并不限定对图片进行标注的具体方式。

S104，使用轻量级网络模型对训练数据集进行训练，利用训练好的轻量级网络模型对实时采集的铁水扒渣图片隔帧进行检测，实时监测铁水扒渣情况。

需要说明的是，此处使用的轻量级网络模型为将Spatial Path与Context Path相结合的BiseNet网络，其中Context Path部分使用ResNet18这一轻量化网络结构。该轻量化模型的视频流图像处理速度可以达到6帧每秒，完全可以满足实际场景的需求。它的检测精度和效果相比于现有方法有了很大的提升，另外，通过更多的训练和修改模型结构以及参数，可以使得该模型获得更好的检测精度和效果。

上述步骤中实现实时监测铁水扒渣情况的方式可以是将训练好的轻量级网络模型配置到工业现场的嵌入式设备中，将监控摄像系统采集的铁水扒渣的工业现场的视频流图像输入给该嵌入式设备进行处理，对实时采集的铁水扒渣图片隔帧进行检测，从而实时监测铁水扒渣情况。当然可以理解的是，本实施例并不限定该轻量级网络模型的具体部署方式。

本实施例提出的基于轻量化卷积神经网络的铁水扒渣检测方法，对于铁水扒渣的检测有着更好的抗干扰能力，能够抵抗铁水包角度变化与烟尘的干扰，检测的效果也比传统方法更好，提高了铁水扒渣对铁水与脱硫渣检测的精度，可有效地检测出铁水和脱硫渣，同时也能对铁水内包壁以及扒渣装置进行有效地识别。本发明可稳定地检测铁水扒渣过程的同时，实时性也能达到实际监测要求，能够实时进行铁水扒渣过程的检测，实现远程监测铁水扒渣的运行状况，避免了人工参与恶劣复杂环境工作，在生产过程中具有极大地应用价值。

第二实施例

本实施例提供一种基于轻量化卷积神经网络的铁水扒渣检测方法，包括：

1、通过工业相机从实际的铁水扒渣的工业现场采集一段3200s的铁水扒渣视频；其中，视频分辨率为1920x1080，帧率为25帧每秒；

2、从采集的铁水扒渣视频中每隔8秒取一帧，得到400张原图；将得到的原图按照3:1的比例划分为训练数据集与测试数据集；对其中训练数据集中的300张图片，在有经验人士的指导下，使用PhotoShop进行像素级手工标注，把这300张图片作为训练数据集，剩余的100张图片作为测试数据集；

3、训练时通过随机上下翻转、随机左右翻转以及随机尺寸裁剪，对训练数据集进行数据增强，可以得到训练数据集的900张扩充图；结合之前原图，共1200张图片作为训练集进行训练；

4、设计铁水扒渣的检测网络，使用将Spatial Path与Context Path相结合的BiseNet网络，其中Context Path部分使用ResNet18这一轻量化网络结构，同时保留更多的空间信息和更大的感受野，从而搭建适用于铁水扒渣的轻量化卷积神经网络；

5、训练过程将3中的数据集输入4中的轻量化卷积神经网络，该卷积神经网络获取图片的深层信息，然后将网络输出与3中的标签数据进行损失计算，使用交叉熵损失函数减小网络模型的预测值与标签之间的差距，网络采用反向传播算法优化模型参数；

6、利用5中训练好的轻量化网络模型配置到工业现场的嵌入式设备中，对实时采集的铁水扒渣图片隔帧进行测试，实时监测铁水扒渣的情况。

采用本实施例的方法可以对铁水扒渣过程进行良好地检测，检测结果不受铁水包转动角度以及烟尘的干扰，可以准确地区分开铁水、脱硫渣、铁水包内包壁，扒渣装置，以及吹气杆等设备，在满足日常检测需要的同时，还具有检测精度高，实时性强等优点，适用于一般铁水扒渣的生产场景。其中，图3a和图3b分别是铁水扒渣原图与人工标注的标签，图4a和图4b是对训练好的网络进行检测的效果图。

此外，需要说明的是，本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (3)

1.一种基于轻量化卷积神经网络的铁水扒渣检测方法，其特征在于，所述基于轻量化卷积神经网络的铁水扒渣检测方法包括：

从铁水扒渣的工业现场采集预设时长的铁水扒渣视频；

从采集的铁水扒渣视频中提取预设数量的图片，构建训练数据集；

对构建的训练数据集中的每一图片进行标注，得到对应的标签数据，所述标签包括铁水、脱硫渣、铁水包内包壁、扒渣装置和吹气杆；

使用轻量级网络模型对所述训练数据集进行训练，训练时通过随机上下翻转、随机左右翻转以及随机尺寸裁剪，对所述训练数据集进行数据增强，得到所述训练数据集对应的扩充图；基于所述训练数据集中的图片及扩充图，使用轻量级网络模型进行训练，训练过程中将所述训练数据集中的图片及扩充图输入轻量级网络模型，将轻量级网络模型的输出结果与输入图片对应的标签数据进行损失计算；根据计算结果，使用交叉熵损失函数减小该轻量级网络模型的预测值与标签数据之间的差距，采用反向传播算法优化模型参数；

将训练好的轻量级网络模型配置到工业现场的嵌入式设备中，对实时采集的铁水扒渣图片隔帧进行检测，实时监测铁水扒渣情况；

所述轻量级网络模型为将Spatial Path与Context Path相结合的BiseNet网络；其中，Context Path部分使用ResNet18这一轻量化网络结构；Spatial Path用于保留原输入图像的空间尺度，并编码空间信息；Spatial Path包含三层，每层包含一步幅为2的卷积，随后是批量标准化和ReLU激活函数，Spatial Path提取相当于原图1/8的输出特征图。

2.如权利要求1所述的基于轻量化卷积神经网络的铁水扒渣检测方法，其特征在于，从铁水扒渣的工业现场采集预设时长的铁水扒渣视频，具体为：

通过工业相机从实际的铁水扒渣的工业现场采集一段3200s的铁水扒渣视频；其中，视频分辨率为1920x1080，帧率为25帧每秒。

3.如权利要求2所述的基于轻量化卷积神经网络的铁水扒渣检测方法，其特征在于，所述从采集的铁水扒渣视频中提取预设数量的图片，构建训练数据集，具体为：

从采集的铁水扒渣视频中每隔8秒取一帧，得到400张原图；将得到的原图按照3:1的比例划分为训练数据集与测试数据集。

Images