CN111524112B - 追钢识别方法、系统、设备及介质 - Google Patents

追钢识别方法、系统、设备及介质 Download PDF

Info

Publication number
CN111524112B
CN111524112B CN202010304385.6A CN202010304385A CN111524112B CN 111524112 B CN111524112 B CN 111524112B CN 202010304385 A CN202010304385 A CN 202010304385A CN 111524112 B CN111524112 B CN 111524112B
Authority
CN
China
Prior art keywords
steel
steel bar
image
target detection
chasing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010304385.6A
Other languages
English (en)
Other versions
CN111524112A (zh
Inventor
庞殊杨
刘睿
张超杰
芦莎
许怀文
贾鸿盛
毛尚伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CISDI Chongqing Information Technology Co Ltd
Original Assignee
CISDI Chongqing Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CISDI Chongqing Information Technology Co Ltd filed Critical CISDI Chongqing Information Technology Co Ltd
Priority to CN202010304385.6A priority Critical patent/CN111524112B/zh
Publication of CN111524112A publication Critical patent/CN111524112A/zh
Application granted granted Critical
Publication of CN111524112B publication Critical patent/CN111524112B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请提供一种追钢识别方法、系统、设备及介质，该方法包括：获取钢条图像；以所述钢条图像为数据集训练深度学习神经网络得到目标检测模型；利用所述目标检测模型识别待测的所述钢条图像中的钢条特征，所述钢条特征至少包括钢条在对应图像中的位置信息；根据所述钢条的位置信息与所述钢条追钢的阈值条件判断所述钢条图像是否发生追钢。本申请利用机器自动学习钢条特征，依靠机器视觉技术判断钢条追钢，整个判断过程无需人工参与，实现机器全自动识别追钢，相比现有技术，一方面，增强了追钢识别效率；另一方面，提高了追钢识别精度，确保在炼钢过程中钢条追钢及时发现、及时报警。

Description

追钢识别方法、系统、设备及介质
技术领域
本申请涉及钢铁领域内的图像处理技术，特别是涉及一种追钢识别方法、系统、设备及介质，应用于识别钢铁工业场景下钢条追钢的异常情况。
背景技术
在钢铁冶金领域的冶炼过程中，需要对钢材进行传送。在传送钢材的过程中，很容易发生钢条追钢的情况，一旦发生追钢事故(即，钢条之间首尾相追)，必须要及时进行处理，否则影响炼钢质量。
然而，现有钢条追钢一般利用人工判断，往往无法及时有效检测到发生追钢的意外情况，因此，亟需一种能够实时检测到钢条追钢的识别方式，一旦发生异常能够及时报警，提醒操作工人进行处理。
发明内容
鉴于以上所述现有技术的缺点，本申请的目的在于提供一种追钢识别方法、系统、设备及介质，用于解决现有技术中无法智能识别钢条追钢情况，导致识别效率低和精度低的问题。
为实现上述目的及其他相关目的，本申请的第一方面，本申请提供一种追钢识别方法，包括：
获取钢条图像；
以所述钢条图像为数据集训练深度学习神经网络得到目标检测模型；
利用所述目标检测模型识别待测的所述钢条图像中的钢条特征，所述钢条特征至少包括钢条在对应图像中的位置信息；
根据所述钢条的位置信息与所述钢条追钢的阈值条件判断所述钢条图像是否发生追钢。
本申请的第二方面，提供一种追钢识别系统，包括：
图像获取模块，用于获取钢条图像；
模型训练模块，用于以所述钢条图像为数据集训练深度学习神经网络得到目标检测模型；
检测模块，利用所述目标检测模型识别待测的所述钢条图像中的钢条特征，所述钢条特征至少包括钢条在对应图像中的位置信息；
追钢判断模块，用于根据所述钢条的位置信息与所述钢条追钢的阈值条件判断所述钢条图像是否发生追钢。
本申请第三方面提供一种电子设备，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行指令，所述一个或多个处理器执行所述执行指令使得所述电子设备执行以执行如第一方面中任一项所述的追钢识别方法。
本申请的第四方面，提供一种计算机可读存储介质，存储至少一种程序，所述至少一个程序在被调用并执行时实现如第一方面中任一项所述的追钢识别方法。
如上所述，本申请的追钢识别方法、系统、设备及介质，具有以下有益效果：
通过机器自动学习钢条特征，依靠机器视觉技术判断钢条追钢，整个判断过程无需人工参与，实现机器全自动识别追钢，相比现有技术，一方面，增强了追钢识别效率；另一方面，提高了追钢识别精度，确保在炼钢过程中钢条追钢及时发现、及时报警。
附图说明
图1显示为本申请实施例提供的一种追钢识别方法流程图；
图2显示为本申请实施例提供的一种追钢识别方法中目标检测模型的训练流程图；
图3显示为本申请实施例的MobileNetV2网络的结构示意图；
图4显示为本申请实施例的Linear Bottleneck模块的结构示意图；
图5显示为本申请实施例中Linear Bottleneck模块步长为1时的示意图；
图6显示为本申请实施例中Linear Bottleneck模块步长为2时的示意图；
图7显示为本申请实施例的SSD网络的结构示意图；
图8显示为本发明实施例的激活函数的示意图；
图9显示为本申请施例提供的一种追钢识别系统结构框图；
图10显示为本申请施例提供的一种追钢识别系统中模型训练模块结构框图。
具体实施方式
以下由特定的具体实施例说明本申请的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本申请的其他优点及功效。
在下述描述中，参考附图，附图描述了本申请的若干实施例。应当理解，还可使用其他实施例，并且可以在不背离本公开的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变.下面的详细描述不应该被认为是限制性的，并且本申请的实施例的范围仅由公布的专利的权利要求书所限定.这里使用的术语仅是为了描述特定实施例，而并非旨在限制本申请。空间相关的术语，例如“上”、“下”、“左”、“右”、“下面”、“下方”、“下部”、“上方”、“上部”等，可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。
虽然在一些实例中术语第一、第二等在本文中用来描述各种元件，但是这些元件不应当被这些术语限制。这些术语仅用来将一个元件与另一个元件进行区分。例如，第一预设阈值可以被称作第二预设阈值，并且类似地，第二预设阈值可以被称作第一预设阈值，而不脱离各种所描述的实施例的范围。第一预设阈值和预设阈值均是在描述一个阈值，但是除非上下文以其他方式明确指出，否则它们不是同一个预设阈值。相似的情况还包括第一音量与第二音量。
再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示.应当进一步理解，术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加.此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合.因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
技术术语描述、以及涉及的技术问题描述。
请参阅图1，为本申请实施例提供一种追钢识别方法流程图，包括：
步骤S1，获取钢条图像；
其中，可利用摄像头或图像传感器对炼钢中特定场景采集包含钢条的图像，即，钢条图像，也可直接从其他数据库存储的图像或视频调取，在此不做限定。
步骤S2，以所述钢条图像为数据集训练深度学习神经网络得到目标检测模型；
在此，将各种钢条图像作为训练集，使用训练集对深度神经学习网络进行训练，从而得到识别钢条特征的目标检测模型。
步骤S3，利用所述目标检测模型识别待测的所述钢条图像中的钢条特征，所述钢条特征至少包括钢条在对应图像中的位置信息；
其中，将训练好的目标检测模型用于识别待测的钢条图像，从而得到待测钢条图像中的钢条特征；该钢条特征包括钢条图像的中心点的横坐标、纵坐标；
步骤S4，根据所述钢条的位置信息与所述钢条追钢的阈值条件判断所述钢条图像是否发生追钢。
在本实施例中，利用目标检测模型识别钢条在钢条图像中位置信息，通过设定钢条图像追钢的阈值条件，按照阈值条件与钢条的位置信息进行比较，从而依靠机器视觉技术判断钢条是否发生追钢，整个判断过程无需人工参与，实现机器全自动识别追钢，相比现有技术，一方面，增强了追钢识别效率；另一方面，提高了追钢识别精度，确保在炼钢过程中钢条追钢及时发现、及时报警。
请参阅图2，为本申请实施例提供的一种追钢目标检测模型的训练流程图，包括：
步骤S201，标注获取的所述钢条图像得到数据集；
其中，对获取的钢条图像进行标注，得到数据集，按照一定的比例将数据集分为训练集和测试集，例如，按照1：9等。
步骤S202，预处理所述数据集；
进一步，对数据集中图像信息进行图像归一化处理，将图像信息的灰度值从0到255归一化至0到1。图像归一化在这里采用最大最小值归一化方法，公式如下：
Figure GDA0003921201040000041
其中，xi表示图像信息的灰度值，max(x)、min(x)分别表示图像信息的灰度值的最大和最小值。
步骤S203，构建MobileNetV2-SSD深度学习神经网络，结合预处理后的所述数据集训练所述MobileNetV2-SSD深度学习神经网络得到目标检测模型。
其中，所述MobileNetV2-SSD深度学习神经网络包括MobileNetV2网络和SSD网络，其中，所述MobileNetV2网络包括用于提高图像特征精度的反转残差模块(InvertedResidua)和用于防止非线性函数Relu信息丢失的线性瓶颈模块(Linear Bottleneck)，所述SSD网络包括基础网络和金字塔网络，其中基础网络是可以变换的。
具体地，MobileNetV2网络中，反转残差模块主要用来增加图像特征的提取以提高精度，而线性瓶颈模块主要用来避免非线性的激活函数ReLU的信息丢失。MobileNetV2的核心由17个Bottleneck组成，其网络结构如图3所示，其中t为Linear Bottleneck模块内部升维的倍数，c为输出特征的维数，n为重复的次数，s为卷积的步长，k为宽度缩放因子。
请参阅图4，为本申请实施例的MobileNetV2网络的结构示意图，反转残差模块Linear Bottleneck包括用于增加维度的维度层、用于采样的采样层以及用于降低维度的输出层。首先，在维度层中，维度层通过第一卷积核和激活函数将图像信息维度由k维增加至tk维，例如，输入通过1×1的第一卷积核conv以及激活函数ReLU将维度从k维增加到tk维；之后，在采样层中，采样层通过第二卷积核和激活函数将图像信息进行采样，例如，通过3×3的第二卷积核conv卷积核以及激活函数ReLU可分离卷积对图像进行降采样(步长/stride>1时)，此时特征维度已经为tk维度；最后，输出层通过第三卷积核将图像信息进行降低维度，图像信息的维度由tk维降低至k’维，例如，通过1×1第三卷积核conv(无ReLU)进行降维，维度从tk降低到k’维。
此外，对于线性瓶颈模块模块Linear Bottleneck，在线性瓶颈模块模块的神经网络层中，当卷积核的步长为1时，则将神经网络层的输入连接至输出会使用elementwise的sum将输入和输出特征连接,详见图5；当步长为2时，则无shortcut连接输入和输出特征，详见图6。
在一些实施过程中，可采用SSD(single-stage)的目标检测算法，利用不同尺度的特征图去预测不同框大小的目标。SSD网络包括基础网络和金字塔网络，其中基础网络是可以变换的，例如，SSD的基础网络是VGG-16的前4层网络，金字塔网络是特征图逐渐变小的简单卷积网络由5部分构成。SSD网络的结构示意图请参阅图7。
又例如，可将MobileNetV2网络替换原始SSD网络架构中的VGG-16，从Conv0到Conv13的配置与MobileNetV2模型相适应，并且去掉MobileNetV2最后的全局平均池化、全连接层和Softmax层,可采用Conv6和Conv7分别替代了原VGG-16的FC6和FC7。在一些实施过程中，利用MobileNetV2-SSD深度学习神经网络先用MobileNetV2网络提取图像特征输出特征图再用SSD目标检测算法对MobileNetV2网络输出的多个特征图上的信息进行检测。
需要说明的是，在步骤S202中，对输入的图像信息进行系列数据增强，对该场景下的钢条图片分别进行裁剪，翻转，旋转，亮度，对比度和饱和度的改变。
图像训练过程中，激活函数使用ReLU_6函数，其数学表达为：ReLU_6＝min(max(x,0),6)，函数的结构示意参阅图8。
图像训练过程中，为避免过度拟合，采用指数衰减法设置网络学习率，并采用L2正则化方法进行处理，即L2正则化是指权值向量中各个元素的平方和然后再求平方根，基于L2范数，即在目标函数后面加上参数的L2范数和项，即参数的平方和与参数的积项，数学表达为：
Figure GDA0003921201040000061
其中，C表示为目标函数，C0代表原始的代价函数，n是样本的个数，λ是正则项系数，权衡正则项与C0项的比重，w是权重。
L2正则化中则使用下式对模型参数进行更新:
Figure GDA0003921201040000062
在本实施例中，图像在目标检测过程中，采用监督式训练，每张钢条图像都有对应的标签和预测框,不仅根据标签和预测框训练模型参数，而且还根据标签和预测框判断最终识别准确率。当训练网络通过多次迭代,预测值不断向标签和预测框误差方向进行收敛,然后反向传播根据链式法则将参数更新到每一层中。每次迭代都会根据梯度下降的优化方向,尽可能减少传播误差,最终得到数据集中所有钢条图像最终的目标检测结果。本发明取在测试集上目标检测准确率最高的模型作为最优模型，在工业场景的实际操作中，首先通过摄像头实时获取图片，将单幅该场景下的钢条图像作为输入，此模型将自动对图像进行处理，识别钢条特征，进行预测，最终输出该钢条图像的目标检测结果。本发明对工业场景下钢条追钢的阈值条件进行设置，根据模型识别出的钢条坐标位置判断是否发生追钢，具体如下：
第一种条件，当识别到所述钢条图像中钢条数量仅为一条时，所述钢条追钢的阈值条件为所述钢条对应的目标检测框大于输入的钢条图像宽度98％；
第二种条件，当识别到所述钢条图像中钢条数量大于一条时，计算所述钢条图像中每条钢条目标检测框的宽度与中心点的坐标位置，计算两两所述钢条之间的目标检测框的重叠率，所述钢条追钢的阈值条件包括相邻两个钢条的目标检测框重叠率小于10％、两个所述目标检测框中心点的纵坐标之差小于输入的钢条图像高度2％、两个所述目标检测框中心点的横坐标之差大于输入的钢条图像宽度8％以及两个所述目标检测框宽度之和大于输入的钢条图像宽度98％的任意一种。
根据目标检测模型检测的钢条图像中钢条数量确定判断追钢的阈值条件为第一种条件或第二种条件，按照其对应的阈值条件判断该钢条图像中钢条是否发生追钢，并将发生追钢的钢条用特殊颜色的框进行标定，便于工作人员查看，同时，响起相应警报。利用本发明设计的基于深度学习的钢条追钢识别方法，实现无人工参与对工业场景下的转盘异常识别，识别准确率在99％以上，在实际炼钢的工业场景下，效果本发明较佳。
请参阅图9，为本申请施例提供的一种追钢识别系统结构框图，包括：
图像获取模块1，用于获取钢条图像；
模型训练模块2，用于以所述钢条图像为数据集训练深度学习神经网络得到目标检测模型；
检测模块3，利用所述目标检测模型识别待测的所述钢条图像中的钢条特征，所述钢条特征至少包括钢条在对应图像中的位置信息；
追钢判断模块4，用于根据所述钢条的位置信息与所述钢条追钢的阈值条件判断所述钢条图像是否发生追钢。
请参阅图10，为本申请施例提供的一种追钢识别系统中模型训练模块结构框图，其中，模型训练模块包括：
标注单元21，用于标注获取的所述钢条图像得到数据集；
预处理单元22，用于预处理所述数据集；
模型训练单元23，用于构建MobileNetV2-SSD深度学习神经网络，结合预处理后的所述数据集训练所述MobileNetV2-SSD网络深度学习神经网络得到目标检测模型。
进一步，所述预处理所述数据集，包括：
归一化处理所述数据集中钢条图像的灰度值，其中，归一化处理的数学表达式为：
Figure GDA0003921201040000071
其中，其中xi表示图像像素点灰度值，max(x)表示图像像素灰度值的最大值，max(x)表示为图像像素灰度值的最小值。
进一步，所述预处理所述数据集，还包括：
利用裁剪、翻转、旋转、调节亮度、对比度和饱和度对所述数据集中的钢条图像进行系列增强。
进一步，所述MobileNetV2-SSD深度学习神经网络包括MobileNetV2网络和SSD网络，其中，所述MobileNetV2网络包括用于提高图像特征精度的反转残差模块和用于防止非线性函数Relu信息丢失的线性瓶颈模块，所述SSD网络包括基础网络和金字塔网络，其中基础网络是可以变换的。
进一步，所述线性瓶颈模块包括用于增加维度的维度层、用于采样的采样层以及用于降低维度的输出层；
维度层通过第一卷积核和激活函数将图像信息维度由k维增加至tk维，其中，该激活函数的表达式为：
ReLU_6＝min(max(x,0),6)
采样层通过第二卷积核和激活函数将图像信息进行采样；
输出层通过第三卷积核将图像信息进行降低维度，图像信息的维度由tk维降低至k’维。
进一步，在所述线性瓶颈模块神经网络层中，当卷积核的步长为1时，则将神经网络层的输入连接至输出，当卷积核的步长为2时，则利用无shortcut将神经网络层的输入连接至输出。
进一步，所述MobileNetV2-SSD深度学习神经网络包括：利用指数衰减法设置MobileNetV2-SSD深度学习神经网络的学习率，基于L2正则化更新训练模型参数；其中，L2正则化的数学表达式为：
Figure GDA0003921201040000081
Figure GDA0003921201040000082
其中，C表示为目标函数，C0代表原始的代价函数，n是样本的个数，λ是正则项系数，w为正则项与C0项的比重。
进一步，所述钢条追钢的阈值条件包括：
当识别到所述钢条图像中钢条数量仅为一条时，所述钢条追钢的阈值条件为所述钢条对应的目标检测框大于输入的钢条图像宽度98％；
当识别到所述钢条图像中钢条数量大于一条时，计算所述钢条图像中每条钢条目标检测框的宽度与中心点的坐标位置，计算两两所述钢条之间的目标检测框的重叠率，所述钢条追钢的阈值条件包括相邻两个钢条的目标检测框重叠率小于10％、两个所述目标检测框中心点的纵坐标之差小于输入的钢条图像高度2％、两个所述目标检测框中心点的横坐标之差大于输入的钢条图像宽度8％以及两个所述目标检测框宽度之和大于输入的钢条图像宽度98％的任意一种。
由于钢条追钢识别方法与追钢识别系统为一一对应关系，在此追钢识别系统对应的技术细节与技术效果不再赘述，详见上述实施例。
在其他实施例中，其显示为本申请实施例提供一种电子设备的结构示意图。本实施例提供的电子设备主要包括存储器、一个或多个处理器、以及存储于所述存储器中的一个或多个程序，其中，存储器存储执行指令，当计算机设备运行时，处理器与存储器之间通信。
于某些实施方式中，所述处理器还与I/O端口和输入结构可操作地耦接，该I/O端口可使得电子设备能够与各种其他电子设备进行交互，该输入结构可使得用户能够与电子设备进行交互。因此，输入结构可包括按钮、键盘、鼠标、触控板等。此外，电子显示器可包括触摸部件，该触摸部件通过检测对象触摸其屏幕(例如，电子显示器的表面)的发生和/或位置来促进用户输入。
所述处理器可操作地与存储器和/或非易失性存储设备耦接。更具体地，处理器可执行在存储器和/或非易失性存储设备中存储的指令以在计算设备中执行操作，诸如生成图像数据和/或将图像数据传输到电子显示器。如此，处理器可包括一个或多个通用微处理器、一个或多个专用处理器(ASIC)、一个或多个现场可编程逻辑阵列(FPGA)、或它们的任何组合。
所述存储器可包括高速随机存取存储器，并且还可包括非易失性存储器，例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。在某些实施例中，存储器还可以包括远离一个或多个处理器的存储器，例如经由RF电路或外部端口以及通信网络(未示出)访问的网络附加存储器，其中所述通信网络可以是因特网、一个或多个内部网、局域网(LAN)、广域网(WLAN)、存储局域网(SAN)等，或其适当组合。存储器控制器可控制设备的诸如CPU和外设接口之类的其他组件对存储器的访问。
需要说明的是，通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请的部分或全部可借助软件并结合必需的通用硬件平台来实现。所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，还可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请还提供一种计算机可读存储介质，所述存储介质存储有至少一个程序，所述程序在被执行时实现前述的任一所述的追钢识别方法，比如实现前述对应图1图2所描述的钢条追钢识别方法。
基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可包括其上存储有机器可执行指令的一个或多个机器可读介质，这些指令在由诸如计算机、计算机网络或其他电子设备等一个或多个机器执行时可使得该一个或多个机器根据本申请的实施例来执行操作。例如钢条追钢识别方法中的各步骤等。机器可读介质可包括，但不限于，软盘、光盘、CD-ROM(紧致盘-只读存储器)、磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪存、或适于存储机器可执行指令的其他类型的介质/机器可读介质。其中，所述存储介质可位于本地服务器也可位于第三方服务器中，如位于第三方云服务平台中。在此对具体云服务平台不做限制，如阿里云、腾讯云等。本申请可用于众多通用或专用的计算系统环境或配置中。例如：被配置为分布式系统中一个节点的个人计算机、专用服务器计算机、大型计算机等。
另外，任何连接都可以适当地称为计算机可读介质。例如，如果指令是使用同轴电缆、光纤光缆、双绞线、数字订户线(DSL)或者诸如红外线、无线电和微波之类的无线技术，从网站、服务器或其它远程源发送的，则所述同轴电缆、光纤光缆、双绞线、DSL或者诸如红外线、无线电和微波之类的无线技术包括在所述介质的定义中。然而，应当理解的是，计算机可读写存储介质和数据存储介质不包括连接、载波、信号或者其它暂时性介质，而是旨在针对于非暂时性、有形的存储介质。如申请中所使用的磁盘和光盘包括压缩光盘(CD)、激光光盘、光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中，磁盘通常磁性地复制数据，而光盘则用激光来光学地复制数据。
应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
综上所述，本申请通过机器自动学习钢条特征，依靠机器视觉技术判断钢条追钢，整个判断过程无需人工参与，实现机器全自动识别追钢，相比现有技术，一方面，增强了追钢识别效率；另一方面，提高了追钢识别精度，确保在炼钢过程中钢条追钢及时发现、及时报警。所以，本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。

Claims (11)

1.一种追钢识别方法，其特征在于，所述方法包括以下步骤：
获取钢条图像；
以所述钢条图像为数据集训练深度学习神经网络得到目标检测模型；
利用所述目标检测模型识别待测的所述钢条图像中的钢条特征，所述钢条特征至少包括钢条在对应图像中的位置信息；
根据所述钢条的位置信息与所述钢条追钢的阈值条件判断所述钢条图像是否发生追钢；其中，所述钢条追钢的阈值条件包括：
当识别到所述钢条图像中钢条数量仅为一条时，所述钢条追钢的阈值条件为所述钢条对应的目标检测框大于输入的钢条图像宽度98％；
当识别到所述钢条图像中钢条数量大于一条时，计算所述钢条图像中每条钢条目标检测框的宽度与中心点的坐标位置，同时计算两两所述钢条之间的目标检测框的重叠率，所述钢条追钢的阈值条件包括相邻两个钢条的目标检测框重叠率小于10％、两个所述目标检测框中心点的纵坐标之差小于输入的钢条图像高度2％、两个所述目标检测框中心点的横坐标之差大于输入的钢条图像宽度8％以及两个所述目标检测框宽度之和大于输入的钢条图像宽度98％中的任意一种。
2.根据权利要求1所述的追钢识别方法，其特征在于，所述以所述钢条图像为数据集训练深度学习神经网络得到目标检测模型的步骤，包括：
标注获取的所述钢条图像得到数据集；
预处理所述数据集；
构建MobileNetV2-SSD深度学习神经网络，结合预处理后的所述数据集训练所述MobileNetV2-SSD深度学习神经网络得到目标检测模型。
3.根据权利要求2所述的追钢识别方法，其特征在于，所述预处理所述数据集的步骤，包括：
归一化处理所述数据集中钢条图像的灰度值，其中，归一化处理的数学表达式为：
Figure FDA0003921201030000011
其中，其中xi表示图像像素点灰度值，max(x)表示图像像素灰度值的最大值，max(x)表示为图像像素灰度值的最小值。
4.根据权利要求2或3所述的追钢识别方法，其特征在于，所述预处理所述数据集的步骤，还包括：
利用裁剪、翻转、旋转、亮度调节、对比度调节和饱和度调节对所述数据集中的钢条图像进行系列增强。
5.根据权利要求2所述的追钢识别方法，其特征在于，所述MobileNetV2-SSD深度学习神经网络包括MobileNetV2网络和SSD网络，其中，所述MobileNetV2网络包括用于提高图像特征精度的反转残差模块和用于防止非线性函数信息丢失的线性瓶颈模块，所述SSD网络包括基础网络和金字塔网络，其中基础网络是可以变换的。
6.根据权利要求5所述的追钢识别方法，其特征在于，所述线性瓶颈模块包括用于增加维度的维度层、用于采样的采样层以及用于降低维度的输出层；
维度层，利用第一卷积核和激活函数将图像信息维度由k维增加至tk维，其中，该激活函数的表达式为：
ReLU_6＝min(max(x,0),6)
采样层，利用第二卷积核和激活函数将图像信息进行采样；
输出层，利用第三卷积核将图像信息进行降低维度，图像信息的维度由tk维降低至k’维。
7.根据权利要求5或6所述的追钢识别方法，其特征在于，在所述线性瓶颈模块神经网络层中，当卷积核的步长为1时，则将神经网络层的输入连接至输出，当卷积核的步长为2时，则利用无shortcut将神经网络层的输入连接至输出。
8.根据权利要求2所述的追钢识别方法，其特征在于，所述MobileNetV2-SSD深度学习神经网络包括：利用指数衰减法调节MobileNetV2-SSD深度学习神经网络的学习率，基于L2正则化更新训练模型参数；其中，L2正则化的数学表达式为：
Figure FDA0003921201030000021
Figure FDA0003921201030000022
其中，C表示为目标函数，C0代表原始的代价函数，n是样本的个数，λ是正则项系数，w为正则项与C0项的比重。
9.一种追钢识别系统，其特征在于，包括：
图像获取模块，用于获取钢条图像；
模型训练模块，用于以所述钢条图像为数据集训练深度学习神经网络得到目标检测模型；
检测模块，利用所述目标检测模型识别待测的所述钢条图像中的钢条特征，所述钢条特征至少包括钢条在对应图像中的位置信息；
追钢判断模块，用于根据所述钢条的位置信息与所述钢条追钢的阈值条件判断所述钢条图像是否发生追钢；其中，所述钢条追钢的阈值条件包括：
当识别到所述钢条图像中钢条数量仅为一条时，所述钢条追钢的阈值条件为所述钢条对应的目标检测框大于输入的钢条图像宽度98％；
当识别到所述钢条图像中钢条数量大于一条时，计算所述钢条图像中每条钢条目标检测框的宽度与中心点的坐标位置，同时计算两两所述钢条之间的目标检测框的重叠率，所述钢条追钢的阈值条件包括相邻两个钢条的目标检测框重叠率小于10％、两个所述目标检测框中心点的纵坐标之差小于输入的钢条图像高度2％、两个所述目标检测框中心点的横坐标之差大于输入的钢条图像宽度8％以及两个所述目标检测框宽度之和大于输入的钢条图像宽度98％中的任意一种。
10.一种电子设备，其特征在于，所述设备包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行指令，所述一个或多个处理器执行所述执行指令使得所述电子设备执行权利要求1～8任一项所述的追钢识别方法。
11.一种计算机可读存储介质，其特征在于，存储至少一种程序，所述至少一个程序在被调用并执行时实现权利要求1-8中任一项所述的追钢识别方法。
CN202010304385.6A 2020-04-17 2020-04-17 追钢识别方法、系统、设备及介质 Active CN111524112B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010304385.6A CN111524112B (zh) 2020-04-17 2020-04-17 追钢识别方法、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010304385.6A CN111524112B (zh) 2020-04-17 2020-04-17 追钢识别方法、系统、设备及介质

Publications (2)

Publication Number Publication Date
CN111524112A CN111524112A (zh) 2020-08-11
CN111524112B true CN111524112B (zh) 2023-04-07

Family

ID=71902738

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010304385.6A Active CN111524112B (zh) 2020-04-17 2020-04-17 追钢识别方法、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN111524112B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111968103B (zh) * 2020-08-27 2023-05-09 中冶赛迪信息技术(重庆)有限公司 一种钢卷间距检测方法、系统、介质及电子终端
CN112037198B (zh) * 2020-08-31 2023-04-07 中冶赛迪信息技术(重庆)有限公司 一种热轧棒材定支分离检测方法、系统、介质及终端
CN112037197A (zh) * 2020-08-31 2020-12-04 中冶赛迪重庆信息技术有限公司 一种热轧棒材冷剪物料堆积检测方法、系统及介质
CN112037194B (zh) * 2020-08-31 2023-04-07 中冶赛迪信息技术(重庆)有限公司 一种冷床乱钢检测方法、系统、设备及介质
CN112329849A (zh) * 2020-11-04 2021-02-05 中冶赛迪重庆信息技术有限公司 基于机器视觉的废钢料场卸料状态识别方法、介质及终端
CN113591539B (zh) * 2021-06-01 2024-04-16 中国电子科技集团公司第三研究所 一种目标识别方法、装置及可读存储介质
CN113361623B (zh) * 2021-06-22 2024-05-14 南京信息工程大学 一种轻量级cnn结合迁移学习的医学图像分类方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103019150A (zh) * 2012-12-07 2013-04-03 江苏永钢集团有限公司 一种步进梁式加热炉自动出钢控制系统及其控制方法
CN104608799A (zh) * 2014-12-12 2015-05-13 郑州轻工业学院 基于信息融合技术列车轮对踏面损伤在线检测与识别方法
CN105834224A (zh) * 2015-01-12 2016-08-10 宝山钢铁股份有限公司 一种防止热轧层冷辊道追钢的方法
KR101772916B1 (ko) * 2016-12-30 2017-08-31 한양대학교 에리카산학협력단 촬영영상과 인공지능 알고리즘 기반의 균열검출 자동화 프로그램을 이용한 터널 라이닝 표면의 균열 검출 방법 및 시스템
CN109341580A (zh) * 2018-10-30 2019-02-15 中国铁道科学研究院集团有限公司基础设施检测研究所 钢轨廓形的追踪方法、系统及装置
CN110110657A (zh) * 2019-05-07 2019-08-09 中冶赛迪重庆信息技术有限公司 视觉识别危险的预警方法、装置、设备及存储介质
CN110222629A (zh) * 2019-06-03 2019-09-10 中冶赛迪重庆信息技术有限公司 一种钢铁场景下的包号识别方法以及包号识别系统
CN110264466A (zh) * 2019-06-28 2019-09-20 广州市颐创信息科技有限公司 一种基于深度卷积神经网络的钢筋检测方法
CN110414371A (zh) * 2019-07-08 2019-11-05 西南科技大学 一种基于多尺度核卷积神经网络的实时人脸表情识别方法
CN110503112A (zh) * 2019-08-27 2019-11-26 电子科技大学 一种增强特征学习的小目标检测及识别方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103019150A (zh) * 2012-12-07 2013-04-03 江苏永钢集团有限公司 一种步进梁式加热炉自动出钢控制系统及其控制方法
CN104608799A (zh) * 2014-12-12 2015-05-13 郑州轻工业学院 基于信息融合技术列车轮对踏面损伤在线检测与识别方法
CN105834224A (zh) * 2015-01-12 2016-08-10 宝山钢铁股份有限公司 一种防止热轧层冷辊道追钢的方法
KR101772916B1 (ko) * 2016-12-30 2017-08-31 한양대학교 에리카산학협력단 촬영영상과 인공지능 알고리즘 기반의 균열검출 자동화 프로그램을 이용한 터널 라이닝 표면의 균열 검출 방법 및 시스템
CN109341580A (zh) * 2018-10-30 2019-02-15 中国铁道科学研究院集团有限公司基础设施检测研究所 钢轨廓形的追踪方法、系统及装置
CN110110657A (zh) * 2019-05-07 2019-08-09 中冶赛迪重庆信息技术有限公司 视觉识别危险的预警方法、装置、设备及存储介质
CN110222629A (zh) * 2019-06-03 2019-09-10 中冶赛迪重庆信息技术有限公司 一种钢铁场景下的包号识别方法以及包号识别系统
CN110264466A (zh) * 2019-06-28 2019-09-20 广州市颐创信息科技有限公司 一种基于深度卷积神经网络的钢筋检测方法
CN110414371A (zh) * 2019-07-08 2019-11-05 西南科技大学 一种基于多尺度核卷积神经网络的实时人脸表情识别方法
CN110503112A (zh) * 2019-08-27 2019-11-26 电子科技大学 一种增强特征学习的小目标检测及识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
obileNetV2：Inverted Residuals and Linear Bottlenecks;Mark Sandle 等;《arXiv:1801.04381v4》;20190321;1-14 *
基于图像处理的工件表面缺陷检测理论与方法研究;赵君爱;《中国博士学位论文全文数据库 工程科技II辑》;20171115;C029-23 *
实腹式型钢混凝土柱中钢和混凝土的共同工作研究;陈涛;《中国博士学位论文全文数据库 工程科技II辑》;20170315;C038-11 *

Also Published As

Publication number Publication date
CN111524112A (zh) 2020-08-11

Similar Documents

Publication Publication Date Title
CN111524112B (zh) 追钢识别方法、系统、设备及介质
US20230367809A1 (en) Systems and Methods for Geolocation Prediction
CN110598558B (zh) 人群密度估计方法、装置、电子设备及介质
EP2858030A1 (en) Performing a histogram using an array of addressable registers
CN113657390A (zh) 文本检测模型的训练方法和检测文本方法、装置和设备
CN110909712B (zh) 运动目标检测方法、装置、电子设备及存储介质
CN113159147A (zh) 基于神经网络的图像识别方法、装置、电子设备
TW202207077A (zh) 一種文本區域的定位方法及裝置
CN107545263B (zh) 一种物体检测方法及装置
CN111429424B (zh) 一种基于深度学习的加热炉入口异常识别方法
CN112036381B (zh) 视觉跟踪方法、视频监控方法及终端设备
CN112906794A (zh) 一种目标检测方法、装置、存储介质及终端
CN110349138B (zh) 基于实例分割框架的目标物体的检测方法及装置
CN111105017A (zh) 神经网络量化方法、装置及电子设备
CN113762314B (zh) 一种烟火检测方法和装置
CN111524113A (zh) 提升链异常识别方法、系统、设备及介质
CN113469025A (zh) 应用于车路协同的目标检测方法、装置、路侧设备和车辆
CN115861400B (zh) 目标对象检测方法、训练方法、装置以及电子设备
CN112053383A (zh) 一种机器人实时定位的方法及装置
CN113657385B (zh) 一种电子计量装置的数据检测方法、装置及电子设备
CN115063473A (zh) 物体高度的检测方法、装置、计算机设备、存储介质
CN111724338B (zh) 一种转盘异常识别方法、系统、电子设备及介质
CN114677653A (zh) 模型训练方法、车辆关键点检测方法及相应的装置
CN113822144A (zh) 一种目标检测方法、装置、计算机设备和存储介质
CN113298122A (zh) 目标检测方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 401329 No. 5-6, building 2, No. 66, Nongke Avenue, Baishiyi Town, Jiulongpo District, Chongqing

Applicant after: MCC CCID information technology (Chongqing) Co.,Ltd.

Address before: Building 1, No. 11, Huijin Road, North New District, Yubei District, Chongqing

Applicant before: CISDI CHONGQING INFORMATION TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant