CN111724338B - 一种转盘异常识别方法、系统、电子设备及介质 - Google Patents

Abstract

本发明提供一种转盘异常识别方法、系统、电子设备及介质，所述的方法包括：采集转盘的图像信息，并对所述图像信息中钢条进行标注，获取数据集；对所述数据集中的图像信息进行归一化处理；提供神经网络，所述神经网络包括SSD网络；将归一化处理后的数据集中的图像信息分别输入所述神经网络进行训练，获取训练模型；通过所述训练模型确定所述钢条在图像信息中位置，并通过所述钢条的位置判断所述转盘是否发生异常。通过识别钢条在图像信息中的位置，可以确定钢条的转动角度，设定阈值，当钢条的转动超过该设定阈值时，则判定钢条发生了异常转动以及判定转盘发生了异常传送，提高了识别效率和效应速度，避免了人工识别存在误差。

Description

一种转盘异常识别方法、系统、电子设备及介质

技术领域

本发明涉及检测技术领域，特别是涉及一种转盘异常识别方法、系统、电子设备及介质。

背景技术

在钢铁冶金领域的冶炼过程中，需要使用转盘对钢材进行传送。在传送钢材的过程中，会出现转盘异常传送钢条的情况，一旦发生转盘异常传送的情况，必须要及时进行处理。目前，采用人工检测的方式容易出现人为观测的误差，而且容易造成响应不及时以及由此引发的安全事故。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种转盘异常识别方法、系统、电子设备及介质，用于解决现有技术中不便于识别转盘异常的问题。

为实现上述目的及其他相关目的，本发明提供一种转盘异常识别方法，包括：采集转盘的图像信息，并对所述图像信息中钢条进行标注，获取数据集；对所述数据集中的图像信息进行归一化处理；提供神经网络，所述神经网络包括SSD网络；将归一化处理后的数据集中的图像信息分别输入所述神经网络进行训练，获取训练模型；通过所述训练模型确定所述钢条在图像信息中位置，并通过所述钢条的位置判断所述转盘是否发生异常。

可选的，对所述数据集中的图像信息进行归一化处理的步骤包括：对所述数据集中的图像信息进行归一化处理的步骤包括：将图像信息的灰度值从0至255归一化为0至1。

可选的，对所述数据集中的图像信息进行归一化处理的数学表达为：

其中，其中xi表示图像像素点灰度值，max(x)表示图像像素灰度值的最大值，max(x)表示为图像像素灰度值的最小值。

可选的，提供神经网络的步骤包括：提供SSD网络，所述SSD网络包括基础网络和金字塔网络；所述基础网络包括MobileNetV2网络。

可选的，所述MobileNetV2网络包括用于增强图像特征的Inverted Residual模块和用于捕捉信息的Linear Bottleneck模块。

可选的，所述Linear Bottleneck模块包括用于增加维度的维度层、用于采样的采样层以及用于降低维度的输出层；维度层通过第一卷积核和激活函数将图像信息维度由k维增加至tk维；采样层通过第二卷积核和激活函数将图像信息进行采样；输出层通过第三卷积核将图像信息进行降低维度，图像信息的维度由tk维降低至k’维。

可选的，在Linear Bottleneck模块的神经网络层中，当卷积核的步长为1时，则将神经网络层的输入连接至输出。

可选的，激活函数的数学表达为：

ReLU_6＝min(max(x,0),6)

可选的，将归一化处理后的数据集中的图像信息分别输入所述神经网络进行训练的步骤还包括：通过指数衰减法设置神经网络学习率，并通过L2正则化对训练模型的参数进行更新。

可选的，L2正则化的数学表达为：

其中，C表示为目标函数，C₀代表原始的代价函数，n是样本的个数，λ是正则项系数，w为正则项与C₀项的比重。

一种转盘异常识别模块，包括：采集模块，用于采集转盘的图像信息，并对所述图像信息中钢条进行标注，获取数据集；预处理模块，用于对所述数据集中的图像信息进行归一化处理；神经网络模块，用于提供神经网络，所述神经网络包括SSD网络；训练模块，用于将归一化处理后的数据集中的图像信息分别输入所述神经网络进行训练，获取训练模型；判定模块，用于通过所述训练模型确定所述钢条在图像信息中位置，并通过所述钢条的位置判断所述转盘是否发生异常。

一种设备，包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行一个或多个所述的方法。

一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得设备执行一个或多个所述的方法。

如上所述，本发明的转盘异常识别方法、系统、电子设备及介质，具有以下有益效果：

通过识别钢条在图像信息中的位置，可以确定钢条的转动角度，进而可以通过钢条的转动角度与钢条的设定阈值进行对比，当钢条的转动超过该设定阈值时，则判定钢条发生了异常转动，进而判定转盘发生了异常传送，提高了识别效率和效应速度，避免了人工识别存在误差，同时避免了时效性低以及由此导致的安全事故。

附图说明

图1显示为本发明实施例的转盘异常识别方法的流程示意图。

图2显示为本发明实施例的MobileNetV2网络的结构示意图。

图3显示为本发明实施例的Linear Bottleneck模块的结构示意图。

图4显示为本发明实施例中Linear Bottleneck模块步长为1时的示意图。

图5显示为本发明实施例中Linear Bottleneck模块步长为2时的示意图。

图6显示为本发明实施例的SSD网络的结构示意图。

图7显示为本发明实施例的激活函数的示意图。

图8显示为本发明实施例的转盘异常识别系统的结构示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。

需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

请参阅图1，本发明实施例提供一种转盘异常识别方法，包括：

S1：采集转盘的图像信息，并对所述图像信息中钢条进行标注，获取数据集，还可以按照一定的比例将数据集分为训练集和测试集，例如，按照1：9，又例如2：8；；

S2：对所述数据集中的图像信息进行归一化处理；

S3：提供神经网络，所述神经网络包括SSD网络；

S4：将归一化处理后的数据集中的图像信息分别输入所述神经网络进行训练，获取训练模型，学习相应的特征，例如在将训练集的图像信息分别输入神经网络，依照钢条相对应的标注有监督地进行识别，提高识别概率，并强化学习钢条所对应的特征，并可通过测试集测试，获取优选的训练模型，将优选的训练模型作为钢条识别的训练模型；

S5：通过所述训练模型确定所述钢条在图像信息中位置，并通过所述钢条的位置判断所述转盘是否发生异常，通过识别钢条在图像信息中的位置，可以确定钢条的转动角度，进而可以通过钢条的转动角度与钢条的设定阈值进行对比，当钢条的转动超过该设定阈值时，则判定钢条发生了异常转动，进而判定转盘发生了异常传送，提高了识别效率和效应速度，避免了人工识别存在误差，同时避免了时效性低以及由此导致的安全事故。

在一些实施过程中，通过步骤S2对数据集中图像信息进行图像归一化处理，将图像信息的灰度值从0到255归一化至0到1。图像归一化在这里采用最大最小值归一化方法，公式如下：

其中，xi表示图像信息的灰度值，max(x)、min(x)分别表示图像信息的灰度值的最大和最小值。

在一些实施过程中，通过步骤S3搭建MobileNetV2-SSD深度学习神经网络，学习相应的钢条特征并进行目标检测。

其中，MobileNetV2网络包括用于增强图像特征的Inverted Residual模块和用于捕捉信息的Linear Bottleneck模块。反转残差Inverted Residual模块主要用来增加图像特征的提取以提高精度，而线性瓶颈Linear Bottleneck模块主要用来避免非线性的激活函数ReLU的信息丢失。MobileNetV2的核心由17个Bottleneck组成，其网络结构如图2所示，其中t为Linear Bottleneck模块内部升维的倍数，c为输出特征的维数，n为重复的次数，s为卷积的步长，k为宽度缩放因子。

Linear Bottleneck模块的具体结构如图3所示。所述Linear Bottleneck模块包括用于增加维度的维度层、用于采样的采样层以及用于降低维度的输出层。首先，在维度层中，维度层通过第一卷积核和激活函数将图像信息维度由k维增加至tk维，例如，输入通过1×1的第一卷积核conv以及激活函数ReLU将维度从k维增加到tk维；之后，在采样层中，采样层通过第二卷积核和激活函数将图像信息进行采样，例如，通过3×3的第二卷积核conv卷积核以及激活函数ReLU可分离卷积对图像进行降采样(步长/stride>1时)，此时特征维度已经为tk维度；最后，输出层通过第三卷积核将图像信息进行降低维度，图像信息的维度由tk维降低至k’维，例如，通过1×1第三卷积核conv(无ReLU)进行降维，维度从tk降低到k’维。

此外，对于Linear Bottleneck模块，在Linear Bottleneck模块的神经网络层中，当卷积核的步长为1时，则将神经网络层的输入连接至输出会使用elementwise的sum将输入和输出特征连接,请参阅图4；当步长为2时，则无shortcut连接输入和输出特征，请参阅图5。

在一些实施过程中，可采用SSD(single-stage)的目标检测算法，利用不同尺度的特征图去预测不同框大小的目标。SSD网络包括基础网络和金字塔网络，其中基础网络是可以变换的，例如，SSD的基础网络是VGG-16的前4层网络，金字塔网络是特征图逐渐变小的简单卷积网络由5部分构成。SSD网络的结构示意图请参阅图6。

又例如，可将MobileNetV2网络替换原始SSD网络架构中的VGG-16，从Conv0到Conv13的配置与MobileNetV2模型相适应，并且去掉MobileNetV2最后的全局平均池化、全连接层和Softmax层,可采用Conv6和Conv7分别替代了原VGG-16的FC6和FC7。在一些实施过程中，利用MobileNetV2-SSD深度学习神经网络先用MobileNetV2网络提取图像特征输出特征图再用SSD目标检测算法对MobileNetV2网络输出的多个特征图上的信息进行检测。

在步骤S4中，对输入的图像信息进行系列数据增强，对该场景下的钢条图片分别进行裁剪，翻转，旋转，亮度，对比度和饱和度的改变。

图像训练过程中，激活函数使用ReLU_6函数，其数学表达为：ReLU_6＝min(max(x,0),6)，函数的结构示意参阅图7。

图像训练过程中，为避免过度拟合，采用指数衰减法设置网络学习率，并采用L2正则化方法进行处理，即L2正则化是指权值向量中各个元素的平方和然后再求平方根，基于L2范数，即在目标函数后面加上参数的L2范数和项，即参数的平方和与参数的积项，数学表达为：

其中，C表示为目标函数，C₀代表原始的代价函数，n是样本的个数，λ是正则项系数，权衡正则项与C₀项的比重，w是权重。

L2正则化中则使用下式对模型参数进行更新:

在本实施例中，图像在目标检测过程中，采用监督式训练，每张钢条图像都有对应的标签和预测框,不仅根据标签和预测框训练模型参数，而且还根据标签和预测框判断最终识别准确率。当训练网络通过多次迭代,预测值不断向标签和预测框误差方向进行收敛,然后反向传播根据链式法则将参数更新到每一层中。每次迭代都会根据梯度下降的优化方向,尽可能减少传播误差,最终得到数据集中所有钢条图像最终的目标检测结果。本发明取在测试集上目标检测准确率最高的模型作为最优模型，在工业场景的实际操作中，首先通过摄像头实时获取图片，将单幅该场景下的钢条图像作为输入，此模型将自动对图像进行处理，识别钢条特征，进行预测，最终输出该钢条图像的目标检测结果。本发明根据上述目标检测模型识别出的钢条坐标位置获得钢条旋转的角度，判断是否发生转盘异常传送。该场景下转盘传送钢条的正常情况为钢条先被水平传送一段时间，然后钢条在转盘上旋转，旋转的角度不断发生变化，最终钢条将停留在旋转90°左右的位置即垂直方向左右的位置，此时钢条识别框的颜色设置为绿色。该场景下转盘传送钢条的异常情况为最终转盘上的钢条位置与垂直方向的偏角大于2°，此时钢条识别框的颜色设置为红色。若钢条旋转角度与90°差值的绝对值大于2°，则为转盘异常传送情况，实现了转盘异常传送的及时报警。

利用本发明设计的基于深度学习的转盘识别方法，实现无人工参与对工业场景下的转盘异常识别，识别准确率在99％以上，在实际炼钢的工业场景下，效果本发明较佳。

请参阅图7提供一种转盘异常识别装置，包括：采集模块10，用于采集转盘的图像信息，并对所述图像信息中钢条进行标注，获取数据集；预处理模块20，用于对所述数据集中的图像信息进行归一化处理；神经网络模块30，用于提供神经网络，所述神经网络包括SSD网络；训练模块40，用于将归一化处理后的数据集中的图像信息分别输入所述神经网络进行训练，获取训练型；判定模块50，用于通过所述训练模型确定所述钢条在图像信息中位置，并通过所述钢条的位置判断所述转盘是否发生异常。

进一步地，对所述数据集中的图像信息进行归一化处理的步骤包括：对所述数据集中的图像信息进行归一化处理的步骤包括：将图像信息的灰度值从0至255归一化为0至1。

进一步地，对所述数据集中的图像信息进行归一化处理的数学表达为：

其中，其中xi表示图像像素点灰度值，max(x)表示图像像素灰度值的最大值，max(x)表示为图像像素灰度值的最小值。

可选的，提供神经网络的步骤包括：提供SSD网络，所述SSD网络包括基础网络和金字塔网络；所述基础网络包括MobileNetV2网络。

可选的，所述MobileNetV2网络包括用于增强图像特征的Inverted Residual模块和用于捕捉信息的Linear Bottleneck模块。

进一步地，所述Linear Bottleneck模块包括用于增加维度的维度层、用于采样的采样层以及用于降低维度的输出层；维度层通过第一卷积核和激活函数将图像信息维度由k维增加至tk维；采样层通过第二卷积核和激活函数将图像信息进行采样；输出层通过第三卷积核将图像信息进行降低维度，图像信息的维度由tk维降低至k’维。

进一步地，在Linear Bottleneck模块的神经网络层中，当卷积核的步长为1时，则将神经网络层的输入连接至输出。

进一步地，激活函数的数学表达为：

ReLU_6＝min(max(x,0),6)

进一步地，将归一化处理后的数据集中的图像信息分别输入所述神经网络进行训练的步骤还包括：通过指数衰减法设置神经网络学习率，并通过L2正则化对训练模型的参数进行更新。

进一步地，L2正则化的数学表达为：

其中，C表示为目标函数，C₀代表原始的代价函数，n是样本的个数，λ是正则项系数，w为正则项与C₀项的比重。

本发明实施例提供一种设备，包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行一个或多个所述的方法。可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (13)

1.一种转盘异常识别方法，其特征在于，包括：

采集转盘的图像信息，并对所述图像信息中钢条进行标注，获取数据集；

对所述数据集中的图像信息进行归一化处理；

提供神经网络，所述神经网络包括SSD网络；

将归一化处理后的数据集中的图像信息分别输入所述神经网络进行训练，获取训练模型；

通过所述训练模型确定所述钢条在图像信息中位置，并通过所述钢条的位置判断所述转盘是否发生异常；

通过所述训练模型确定所述钢条在图像信息中位置，并通过所述钢条的位置判断所述转盘是否发生异常包括，通过所述钢条的位置确定钢条的转动角度，通过钢条的转动角度与钢条的设定阈值进行对比，当钢条的转动超过该设定阈值时，则判定钢条发生了异常转动，进而判定转盘发生了异常传送。

2.根据权利要求1所述的转盘异常识别方法，其特征在于，对所述数据集中的图像信息进行归一化处理的步骤包括：对所述数据集中的图像信息进行归一化处理的步骤包括：将图像信息的灰度值从0至255归一化为0至1。

3.根据权利要求1所述的转盘异常识别方法，其特征在于，对所述数据集中的图像信息进行归一化处理的数学表达为：

其中，其中xi表示图像像素点灰度值，max(x)表示图像像素灰度值的最大值，max(x)表示为图像像素灰度值的最小值。

4.根据权利要求1所述的转盘异常识别方法，其特征在于，提供神经网络的步骤包括：

提供SSD网络，所述SSD网络包括基础网络和金字塔网络；

所述基础网络包括MobileNetV2网络。

5.根据权利要求4所述的转盘异常识别方法，其特征在于，所述MobileNetV2网络包括用于增强图像特征的Inverted Residual模块和用于捕捉信息的Linear Bottleneck模块。

6.根据权利要求5所述的转盘异常识别方法，其特征在于，所述Linear Bottleneck模块包括用于增加维度的维度层、用于采样的采样层以及用于降低维度的输出层；

维度层通过第一卷积核和激活函数将图像信息维度由k维增加至tk维；

采样层通过第二卷积核和激活函数将图像信息进行采样；

输出层通过第三卷积核将图像信息进行降低维度，图像信息的维度由tk维降低至k’维。

7.根据权利要求5或6所述的转盘异常识别方法，其特征在于，在Linear Bottleneck模块的神经网络层中，当卷积核的步长为1时，则将神经网络层的输入连接至输出。

8.根据权利要求6所述的转盘异常识别方法，其特征在于，激活函数的数学表达为：

ReLU_6＝min(max(x,0),6)。

9.根据权利要求1所述的转盘异常识别方法，其特征在于，将归一化处理后的数据集中的图像信息分别输入所述神经网络进行训练的步骤还包括：

通过指数衰减法设置神经网络学习率，并通过L2正则化对训练模型的参数进行更新。

10.根据权利要求9所述的转盘异常识别方法，其特征在于，L2正则化的数学表达为：

其中，C表示为目标函数，C₀代表原始的代价函数，n是样本的个数，λ是正则项系数，w为正则项与C₀项的比重。

11.一种转盘异常识别系统，其特征在于，包括：

采集模块，用于采集转盘的图像信息，并对所述图像信息中钢条进行标注，获取数据集；

预处理模块，用于对所述数据集中的图像信息进行归一化处理；

神经网络模块，用于提供神经网络，所述神经网络包括SSD网络；

训练模块，用于将归一化处理后的数据集中的图像信息分别输入所述神经网络进行训练，获取训练模型；

判定模块，用于通过所述训练模型确定所述钢条在图像信息中位置，并通过所述钢条的位置判断所述转盘是否发生异常；通过所述训练模型确定所述钢条在图像信息中位置，并通过所述钢条的位置判断所述转盘是否发生异常包括，通过所述钢条的位置确定钢条的转动角度，通过钢条的转动角度与钢条的设定阈值进行对比，当钢条的转动超过该设定阈值时，则判定钢条发生了异常转动，进而判定转盘发生了异常传送。

12.一种电子设备，其特征在于，包括：

一个或多个处理器；和

其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行如权利要求1-10中一个或多个所述的方法。

13.一种机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行时，使得设备执行如权利要求1-10中一个或多个所述的方法。

Images