CN111429424A - 一种基于深度学习的加热炉入口异常识别方法 - Google Patents

Abstract

本发明提出一种基于深度学习的加热炉入口异常识别方法，包括：根据加热炉入口处的钢条的样本图像获取钢条识别模型；通过所述钢条识别模型识别连续多帧加热炉入口处的实时图像，获取连续多帧图像中钢条识别框的位置，进而获取所述钢条在进入所述加热炉入口前后的移动状态，并根据所述移动状态判断是否出现钢条运输异常；本发明可有效避免人工参与的一系列问题，准确识别异常，有效保障钢条质量。

Description

一种基于深度学习的加热炉入口异常识别方法

技术领域

本发明涉及钢铁冶金领域，尤其涉及一种基于深度学习的加热炉入口异常识别方法。

背景技术

在钢铁冶金领域的热轧过程中，需要加热炉对钢材进行加热处理。一旦钢条被送入加热炉的过程出现异常，需要及时处理，避免影响整体工作效率。然而，目前针对加热炉入口异常大多依赖人工，不仅效率低，而且由于人工的疏漏，也容易导致部分异常无法及时处理，影响炼钢效率。

发明内容

鉴于以上现有技术存在的问题，本发明提出一种基于深度学习的加热炉入口异常识别方法，主要解决加热炉入口异常识别依赖人工且识别效率低的问题。

为了实现上述目的及其他目的，本发明采用的技术方案如下。

一种基于深度学习的加热炉入口异常识别方法，包括：

根据加热炉入口处的钢条的样本图像获取钢条识别模型；

通过所述钢条识别模型识别连续多帧加热炉入口处的实时图像，获取连续多帧图像中钢条识别框的位置，进而获取所述钢条在进入所述加热炉入口前后的移动状态，并根据所述移动状态判断是否出现钢条运输异常。

可选地，通过所述钢条识别模型获取单帧所述实时图像中钢条的数量以及所述钢条识别框；

当所述钢条数量为一时，直接通过连续多帧实时图像中当前钢条的钢条识别框获取所述钢条的移动状态；

当所述钢条数量为二时，通过远离加热炉入口处的钢条对应的识别框获取所述钢条的移动状态。

可选地，设置实时图像采集区域，当前一钢条一端进入所述加热炉入口时，后一钢条进入所述实时图像采集区域。

可选地，通过所述钢条样本图像创建训练数据集和测试数据集；

将所述训练数据集用于训练深度学习神经网络获取所述神经网络模型；

通过所述测试数据集优化所述神经网络模型的参数获取所述冲顶识别模型。

可选地，在进行模型训练之前，分别对所述训练数据集和所述测试数据集中样本图像进行归一化处理。

可选地，采用MobileNetV2网络替换SDD网络架构中的VGG-16，并去掉MobileNetV2网络最后的全局平均池化层、全连接层和Softmax层；将原VGG-16的最后两个全连接层改为卷积层，以此构建所述深度学习神经网络。

可选地，采用指数衰减法设置所述深度学习神经网络的学习率。

可选地，将所述深度学习神经网络的权重进行正则化后，引入到原SSD网络的代价函数中，创建新的代价函数。

可选地，可采用L2范数正则化，创建所述新的代价函数，表示为：

其中，C₀为原SSD网络的代价函数，w为权重，λ为正则项的系数。

可选地，采用反向传播对所述深度学习神经网络的权重进行更新，更新公式如下：

其中，C₀为原SSD网络的代价函数，w为权重，λ为正则项的系数，α和β为常系数。

如上所述，本发明一种基于深度学习的加热炉入口异常识别方法，具有以下有益效果。

通过冲顶识别模型自动识别加热炉入口的异常，避免由人工参与带来的一系列问题；通过模型识别加热炉入口异常，实现炼钢过程中加热炉入口钢条异常的实时监控、管理，可保障识别的实时性和准确性，提高异常处理效率。

附图说明

图1为本发明一实施例中基于深度学习的加热炉入口异常识别方法的流程图。

图2为MobileNetV2网络瓶颈层的结构示意图。

图3为SSD网络框架的结构示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

请参阅图1，本发明提供一种基于深度学习的加热炉入口异常识别方法，包括步骤S01-S02。

在步骤S01中，根据加热炉入口处的钢条的样本图像获取钢条识别模型：

在一实施例中，可通过设置在加热炉入口附近的摄像头等图像采集模块获取钢条样本图像，并对采集的样本图像中的钢条进行标注，以便根据标注信息采用监督学习方法检测钢条位置。进一步地，可将经过标注的样本图像输入数据库中分别创建训练数据集和测试数据集。具体地，可按1:9的比例将样本图像分为测试数据集和训练数据集；也可根据实际需求设置样本图像的划分比例。

在一实施例中，由于钢条一根接一根依次进入加热炉中，可设置图像采集区域，当前一根钢条的一端进入加热炉入口时，后一根钢条的一端刚好进入图像采集区域。

在一实施例中，可分别对训练数据集和测试数据集中的样本图像进行归一化处理，将图片的灰度值从0到255归一化至0到1。具体地，图像归一化可采用最大最小值归一化方法、对数函数转化方法或反余切函数转化方法等，这里以最大最小值归一化方法为例，公式如下：

其中，xi表示图像像素点值，max(x)和min(x)分别表示图像像素的最大和最小值。

在一实施例中，可对经过归一化处理的样本图像进行图像质量增强，具体地，可分别对样本图像进行裁剪、翻转、旋转、亮度调节、对比度调节、饱和度调节等，保障样本图像质量，提高钢条检测的效率。

在一实施例中，将经过前述步骤处理的训练数据集用于训练深度学习神经网络，获取神经网络模型；并通过测试数据集对神经网络模型参数进行优化，获取最优的神经网络模型作为冲顶识别模型。

深度学习神经网络可采用MobileNetV2-SSD深度学习神经网络。MobileNetV2是对MobileNetV1的改进，它提出了两个新的概念：反转残差Inverted Residual和线性瓶颈Linear Bottleneck。反转残差Inverted Residual主要用来增加图像特征的提取以提高精度，而线性瓶颈Linear Bottleneck主要用来避免非线性函数ReLU的信息丢失。MobileNetV2的核心由17个Bottleneck组成，其网络结构请参阅表1，其中，t为瓶颈层内部升维的倍数，c为输出特征的维数，n为重复的次数，s为卷积的步长，k为宽度缩放因子。

表1

瓶颈层的具体结构请参阅表2。输入通过1×1的conv+ReLU层将维度从k维增加到tk维，之后通过3×3conv+ReLU可分离卷积对图像进行降采样(stride>1时)，此时特征维度已经为tk维度，最后通过1×1conv(无ReLU)进行降维，维度从tk降低到k’维。

表2

此外，如图2所示，对于瓶颈层，当卷积步长stride＝1时，将输入映射到输出中；当stride＝2时，无shortcut连接输入和输出特征。ReLU_6函数作为激活函数，可表示为：

y＝relu6(x)＝min(max(x,0),6)

其中，x和y分别表示输入和输出。

SSD是一种single-stage的目标检测算法，利用不同尺度的特征图去预测不同框大小的目标。SSD网络结构分为两部分：基础网络+金字塔网络，其中基础网络是可以变换的。原始SSD的基础网络是VGG-16的前4层网络，金字塔网络是特征图逐渐变小的简单卷积网络由5部分构成。SSD的具体网络结构请参阅图3。

本实施例采用MobileNetV2网络替换SDD网络架构中的VGG-16，并去掉MobileNetV2网络最后的全局平均池化层、全连接层和Softmax层；将原VGG-16的最后两个全连接层改为卷积层，以此构建所述深度学习神经网络。具体地，使用MobileNetV2网络替换原始SSD网络架构中的VGG-16，从Conv0到Conv13的配置与MobileNetV2模型是完全一致的，只是去掉MobileNetV2最后的全局平均池化、全连接层和Softmax层,用Conv6和Conv7分别替代了原VGG-16的FC6和FC7。MobileNetV2-SSD深度学习神经网络先用MobileNetV2网络提取图像特征输出特征图再用SSD目标检测算法对MobileNetV2网络输出的多个特征图上的信息进行检测。

在一实施例中，为了避免过拟合，可采用指数衰减法设置深度学习神经网络的学习率。

在一实施例中，可将深度学习神经网络的权重进行正则化后，引入到原SSD网络的代价函数中，创建新的代价函数。具体地，可采用L2范数正则化创建新的代价函数，表示为：

其中，C₀为原SSD网络的代价函数，w为权重，λ为正则项的系数。

在一实施例中，采用反向传播对所述深度学习神经网络的权重进行更新，更新公式如下：

其中，C₀为原SSD网络的代价函数，w为权重，λ为正则项的系数，α和β为常系数。

将训练数据集输入搭建好的深度学习神经网络中，根据训练数据集中标注的钢条标签以及深度学习神经网络获取的识别框之间的误差训练神经网络模型，当训练网络通过多次迭代,预测值不断向标签和识别框误差方向进行收敛,然后反向传播根据链式法则将参数更新到每一层中。每次迭代都会根据梯度下降的优化方向,尽可能减少传播误差,最终得到数据集中所有钢条图像最终的目标检测结果。其中，目标检测结果包括钢条的数量、钢条识别框位置坐标等。进一步地，通过测试数据集上目标检测结果的准确率，获取准确率最高的神经网络模型作为冲顶识别模型。

在步骤S02中，通过钢条识别模型识别连续多帧加热炉入口处的实时图像，获取连续多帧图像中钢条识别框的位置，进而获取钢条在进入加热炉入口前后的移动状态，并根据移动状态判断是否出现钢条运输异常：

在一实施例中，可从实时视频流中获取单帧钢条图像作为钢条识别模型的输入，并通过钢条识别模型检测单帧图像中钢条识别框的位置坐标以及实时图像中钢条的数量，并根据钢条的数量和识别框的位置坐标判断钢条的移动状态。具体地，识别钢条数量存在两种状态，当钢条数量为一时，直接通过连续多帧实时图像中当前钢条的钢条识别框获取钢条的移动状态；当钢条数量为二时，通过远离加热炉入口处的钢条对应的识别框获取钢条的移动状态。设当前帧实时图像中只存在一根钢条，钢条还未进入加热炉入口时，通过钢条识别模型获取钢条识别框的坐标x₁、y₁、x₂和y₂，进而根据坐标信息计算出识别框中心点的坐标信息。依此方法，获取下一帧或指定间隔帧的实时图像中，钢条识别框中心点的坐标，根据两中心点坐标的差值判断钢条是移动还是停滞；根据设置的图像采集区域，当图实时图像中出现两根钢条时，则其中一根钢条的一端已进入加热炉的入口，则通过第二根钢条的识别框的中心点坐标在多帧图像中的位置坐标判断钢条的移动状态。

在一实施例中，也可设置识别框中心点位置坐标差的阈值，当预设的多帧图像中，钢条识别框中心点坐标差不大于设定阈值时，判定钢条处于停止状态，否则钢条处于持续运动状态。

当识别出钢条停滞不前时，则判定为异常，触发报警信号，通知相关工作人员及时采取应对措施。

本发明可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

综上所述，本发明一种基于深度学习的加热炉入口异常识别方法，实现无人工参与对工业场景下的加热炉入口异常识别，识别准确率在99％以上，在实际炼钢的工业场景下，效果极佳，在对加热炉入口冲顶异常识别的技术领域有了前所未有的飞跃。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种基于深度学习的加热炉入口异常识别方法，其特征在于，包括：

根据加热炉入口处的钢条的样本图像获取钢条识别模型；

通过所述钢条识别模型识别连续多帧加热炉入口处的实时图像，获取连续多帧图像中钢条识别框的位置，进而获取所述钢条在进入所述加热炉入口前后的移动状态，并根据所述移动状态判断是否出现钢条运输异常。

2.根据权利要求1所述的基于深度学习的加热炉入口异常识别方法，其特征在于，通过所述钢条识别模型获取单帧所述实时图像中钢条的数量以及所述钢条识别框；

当所述钢条数量为一时，直接通过连续多帧实时图像中当前钢条的钢条识别框获取所述钢条的移动状态；

当所述钢条数量为二时，通过远离加热炉入口处的钢条对应的识别框获取所述钢条的移动状态。

3.根据权利要求2所述的基于深度学习的加热炉入口异常识别方法，其特征在于，设置实时图像采集区域，当前一钢条一端进入所述加热炉入口时，后一钢条进入所述实时图像采集区域。

4.根据权利要求1所述的基于深度学习的加热炉入口异常识别方法，其特征在于，通过所述钢条样本图像创建训练数据集和测试数据集；

将所述训练数据集用于训练深度学习神经网络获取所述神经网络模型；

通过所述测试数据集优化所述神经网络模型的参数获取所述冲顶识别模型。

5.根据权利要求4所述的基于深度学习的加热炉入口异常识别方法，其特征在于，在进行模型训练之前，分别对所述训练数据集和所述测试数据集中样本图像进行归一化处理。

6.根据权利要求4所述的基于深度学习的加热炉入口异常识别方法，其特征在于，采用MobileNetV2网络替换SDD网络架构中的VGG-16，并去掉MobileNetV2网络最后的全局平均池化层、全连接层和Softmax层；将原VGG-16的最后两个全连接层改为卷积层，以此构建所述深度学习神经网络。

7.根据权利要求4所述的基于深度学习的加热炉入口异常识别方法，其特征在于，采用指数衰减法设置所述深度学习神经网络的学习率。

8.根据权利要求6所述的基于深度学习的加热炉入口异常识别方法，其特征在于，将所述深度学习神经网络的权重进行正则化后，引入到原SSD网络的代价函数中，创建新的代价函数。

9.根据权利要求8所述的基于深度学习的加热炉入口异常识别方法，其特征在于，可采用L2范数正则化，创建所述新的代价函数，表示为：

其中，C₀为原SSD网络的代价函数，w为权重，λ为正则项的系数。

10.根据权利要求8所述的基于深度学习的加热炉入口异常识别方法，其特征在于，采用反向传播对所述深度学习神经网络的权重进行更新，更新公式如下：

其中，C₀为原SSD网络的代价函数，w为权重，λ为正则项的系数，α和β为常系数。

Images