CN111524113A - 提升链异常识别方法、系统、设备及介质 - Google Patents
提升链异常识别方法、系统、设备及介质 Download PDFInfo
- Publication number
- CN111524113A CN111524113A CN202010304411.5A CN202010304411A CN111524113A CN 111524113 A CN111524113 A CN 111524113A CN 202010304411 A CN202010304411 A CN 202010304411A CN 111524113 A CN111524113 A CN 111524113A
- Authority
- CN
- China
- Prior art keywords
- lifting chain
- image
- chain
- data set
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000001514 detection method Methods 0.000 claims abstract description 38
- 230000002159 abnormal effect Effects 0.000 claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 27
- 238000013135 deep learning Methods 0.000 claims abstract description 20
- 238000013528 artificial neural network Methods 0.000 claims abstract description 19
- 230000015654 memory Effects 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 17
- 229910000831 Steel Inorganic materials 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 16
- 239000010959 steel Substances 0.000 claims description 16
- 238000003860 storage Methods 0.000 claims description 12
- 230000005856 abnormality Effects 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 3
- 230000005484 gravity Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 5
- 238000009628 steelmaking Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 241000894007 species Species 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009851 ferrous metallurgy Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005098 hot rolling Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Abstract
本申请提供一种提升链异常识别方法、系统、设备及介质，该方法包括：获取提升链图像；以所述提升链图像为数据集训练深度学习神经网络得到目标检测模型；利用所述目标检测模型识别待测的所述提升链图像中的提升链特征，所述提升链特征至少包括提升链在对应图像中的位置信息；根据所述提升链的位置信息是否在感兴趣区域内判断所述提升链图像是否异常。本申请通过提升链位置超出感兴趣区域时，则判断提升链断裂，进行报警；由于基于深度学习的提升链位置识别网络，能够较好地提取输入图像的特征，抗干扰能力强，同时，对该场景状态下的提升链图像能够准确流畅地进行目标检测，实现提升链断裂时的及时报警，效果极佳。
Description
技术领域
本申请涉及钢铁领域内的图像处理技术，特别是涉及一种提升链异常识别方法、系统、设备及介质，用于识别提升链断裂的异常情况。
背景技术
在钢铁冶金领域的热轧过程中，需要对钢材进行传送。在此过程中需要提升链来传输钢材，提升链一旦发生断裂必须要及时进行处理。现有提升链异常识别主要依赖人工目测现状，通过人为判断判断提升链是否异常。
然而，采用人工判断方式不仅会因操作工人经验与水平的差异降低识别准确率，同时，浪费了人力，无法确保效率；另外，采用人工判断无法实时检测到异常情况发生而做出及时报警，提醒操作工人及时处理，更易造成安全事故。因此，亟需一种无需人工参与的智能识别提升链异常的解决方案。
申请内容
鉴于以上所述现有技术的缺点，本申请的目的在于提供一种提升链异常识别方法、系统、设备及介质，用于解决现有提升链异常识别效率低、精准度不高，无法依靠机器智能识别的问题。
为实现上述目的及其他相关目的，本申请的第一方面，本申请提供一种提升链异常识别方法，包括：
获取钢架上的提升链图像；
以所述提升链图像为数据集训练深度学习神经网络得到目标检测模型；
利用所述目标检测模型识别待测的所述提升链图像中的提升链特征，所述提升链特征至少包括提升链在对应图像中的位置信息；
根据所述提升链的位置信息是否在感兴趣区域内判断所述提升链图像是否异常。
本申请的第二方面，提供一种提升链异常识别系统，包括：
图像获取模块，用于获取钢架上的提升链图像；
模型训练模块，用于以所述提升链图像为数据集训练深度学习神经网络得到目标检测模型；
检测模块，利用所述目标检测模型识别待测的所述提升链图像中的提升链特征，所述提升链特征至少包括提升链在对应图像中的位置信息；
判断模块，用于根据所述提升链的位置信息是否在感兴趣区域内判断所述提升链图像是否异常。
本申请第三方面提供一种电子设备，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行指令，所述一个或多个处理器执行所述执行指令使得所述电子设备执行以执行如第一方面中任一项所述的提升链异常识别方法。
本申请的第四方面，提供一种计算机可读存储介质，存储至少一种程序，所述至少一个程序在被调用并执行时实现如第一方面中任一项所述的提升链异常识别方法。
如上所述，本申请的提升链异常识别方法、系统、设备及介质，具有以下有益效果：
通过机器自动学习提升链特征，依靠机器视觉技术判断提升链异常，整个判断过程无需人工参与，实现机器全自动识别提升链异常，相比现有技术，一方面，增强了提升链异常识别效率；另一方面，提高了提升链异常识别精度，确保在炼钢过程中提升链异常时及时发现、及时报警。
附图说明
图1显示为本申请实施例提供的一种提升链异常识别方法流程图；
图2显示为本申请实施例提供的一种提升链异常识别方法中目标检测模型的训练流程图；
图3显示为本申请实施例的Faster RCNN网络的结构示意图；
图4显示为本申请实施例的RPN网络结构示意图；
图5显示为本发明实施例的激活函数的示意图；
图6显示为本申请施例提供的一种提升链异常识别系统结构框图；
图7显示为本申请施例提供的一种提升链异常识别系统中模型训练模块结构框图。
具体实施方式
以下由特定的具体实施例说明本申请的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本申请的其他优点及功效。
在下述描述中，参考附图，附图描述了本申请的若干实施例。应当理解，还可使用其他实施例，并且可以在不背离本公开的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变.下面的详细描述不应该被认为是限制性的，并且本申请的实施例的范围仅由公布的专利的权利要求书所限定.这里使用的术语仅是为了描述特定实施例，而并非旨在限制本申请。空间相关的术语，例如“上”、“下”、“左”、“右”、“下面”、“下方”、“下部”、“上方”、“上部”等，可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。
虽然在一些实例中术语第一、第二等在本文中用来描述各种元件，但是这些元件不应当被这些术语限制。这些术语仅用来将一个元件与另一个元件进行区分。例如，第一预设阈值可以被称作第二预设阈值，并且类似地，第二预设阈值可以被称作第一预设阈值，而不脱离各种所描述的实施例的范围。第一预设阈值和预设阈值均是在描述一个阈值，但是除非上下文以其他方式明确指出，否则它们不是同一个预设阈值。相似的情况还包括第一音量与第二音量。
再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示.应当进一步理解，术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加.此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合.因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
技术术语描述、以及涉及的技术问题描述。
请参阅图1，为本申请实施例提供一种提升链异常识别方法流程图，包括：
步骤S1，获取钢架上的提升链图像；
其中，可利用摄像头或图像传感器对炼钢中特定场景采集钢架上包含提升链的图像，即，提升链图像，例如，通过固定装有提升链的钢架，能够显著提高提升链目标检测效果，也可直接从其他数据库存储的图像或视频调取，在此不做限定。
步骤S2，以所述提升链图像为数据集训练深度学习神经网络得到目标检测模型；
在此，将各种提升链图像作为训练集，使用训练集对深度神经学习网络进行训练，从而得到识别提升链特征的目标检测模型。
步骤S3，利用所述目标检测模型识别待测的所述提升链图像中的提升链特征，所述提升链特征至少包括提升链在对应图像中的位置信息；
其中，将训练好的目标检测模型用于识别待测的提升链图像，从而得到待测提升链图像中的提升链特征；该提升链特征包括升链在对应图像中的位置信息；
步骤S4，根据所述提升链的位置信息是否在感兴趣区域内判断所述提升链图像是否异常。
在本实施例中，利用目标检测模型识别钢架上提升链在提升链图像中位置信息，通过所述提升链的位置信息是否在感兴趣区域内，从而判断提升链是否异常，例如，当所述提升链的位置信息在感兴趣区域内，确定提升链正常；当所述提升链的位置信息在感兴趣区域外，确定提升链异常(断裂)；整个判断过程无需人工参与，实现了自动识别提升链异常，相比现有技术，一方面，增强了提升链异常识别效率；另一方面，提高了提升链异常识别精度，确保在炼钢过程中提升链异常及时发现、及时报警。
请参阅图2，为本申请实施例提供的一种提升链目标检测模型的训练流程图，包括：
步骤S201，标注获取的所述提升链图像得到数据集；
其中，对获取的提升链图像进行标注，得到数据集，按照一定的比例将数据集分为训练集和测试集，例如，按照1：9等。
步骤S202，预处理所述数据集；
进一步，对数据集中图像信息进行图像归一化处理，将图像信息的灰度值从0到255归一化至0到1。图像归一化在这里采用最大最小值归一化方法，公式如下：
其中，xi表示图像信息的灰度值，max(x)、min(x)分别表示图像信息的灰度值的最大和最小值。
步骤S203，构建Fast RCNN深度学习神经网络，结合预处理后的所述数据集训练所述Fast RCNN深度学习神经网络得到目标检测模型。
其中，所述Fast RCNN深度学习神经网络包括用于选用提升链图像特征的Convlayers层，用于生成候选区域框的RPN层，用于输出预设尺寸候选框综合特征图的RoiPooling层，以及用于提高目标检测框精度而对所述候选框特征图进行分类和回归修复的Classifier层。
需要说明的是，Faster RCNN是对Fast RCNN的改进，它通过提出RPN(RegionProposal Networks)网络，主要解决了Fast RCNN候选区域提取耗时的问题，详见图3，为本申请实施例中Fast RCNN的网络结构图，例如，Conv layers层，该层选用特征提取网络，由13个conv层、13个relu层和4个pooling层构成。通过该层后得到输入图片的特征图(feature maps)。
Roi Pooling层，将综合RPN层输出的proposals和Conv layers层输出的featuremaps，得到固定尺寸的proposal feature map。
Classifier层，又称全连接层。该层对proposal feature map进行Softmax分类和bbox回归修复，输出更精确的目标检测框。
所述RPN层利用卷积层生成多个候选区域，对其中一部分候选区域进行裁剪过滤，通过softmax函数判断所述候选区域属于前景或后景从而确定是否为检测目标；将另一部分候选区域用于计算整个候选区域bbox回归偏移量，综合前景候选区域与回归偏移量得到精确的候选框，选择符合规格的候选框输出到下一层。
还需要说明的是，RPN层，Region Proposal Networks网络是用于生成高质量的候选区域框，又可以被理解为一种全卷积网络。详见图4，为本申请实施例提供的RPN网络结构图，其中，RPN网络实际通过卷积层生成多个anchor(候选区域)；将achors分成两支，对一部分achors进行裁剪过滤后,通过Softmax判断achors属于foreground(前景)或者background(后景)，即是检测目标或者不是检测目标；一部分achors用于计算对于anchors的bounding box regression(bbox回归)偏移量；Proposal层综合foreground anchors和bbox回归偏移量获取较精确的proposals(候选框)，同时剔除过小和过大的proposals。最后输出proposals至下一层。
在上述实施例中，需要说明的是，在步骤S202中，对输入的图像信息进行系列数据增强，对该场景下的提升链图像分别进行裁剪，翻转，旋转，亮度，对比度和饱和度的改变，有效避免了提升链图像识别过程中出现的过度拟合问题，从而提高了识别的效率和准确率。
图像训练过程中，激活函数使用ReLU函数，其数学表达为：ReLU函数的结构示意参阅图5。
另外，为了修正候选区域框，采用bbox回归计算偏移量，对候选区域框进行微调。bbox回归使得输入的候选区域框经过映射得到一个跟真实窗口更近的回归窗口。一般用四维向量(x,y,w,h)来表示窗口，分别代表了窗口的中心点坐标、宽和高；用A表示候选区域框(anchor),G表示真实窗口(Ground Truth),G’为回归窗口。bbox回归即为：
给定A＝(Ax,Ay,Aw,Ah)和G＝(Gx,Gy,Gw,Gh)
寻找一种变换F，使得F(Ax,Ay,Aw,Ah)＝(G′x,G′y,G′w,G′h)，其中
(G′x,G′y,G′w,G′h)＝(Gx,Gy,Gw,Gh)
变换F的简单思路为：先做平移，再做放缩。计算过程为：
G′x＝Aw·dx(A)+Ax
G′y＝Ah·dy(A)+Ay
G′w＝Aw·exp(dw(A))
G′h＝Ah·exp(dh(A))
图像训练过程中，为避免过度拟合，采用指数衰减法设置网络学习率，并采用L2正则化方法进行处理，即L2正则化是指权值向量中各个元素的平方和然后再求平方根，基于L2范数，即在目标函数后面加上参数的L2范数和项，即参数的平方和与参数的积项，数学表达为：
其中，C表示为目标函数，C0代表原始的代价函数，n是样本的个数，λ是正则项系数，权衡正则项与C0项的比重，w是权重。另外，采用上述指数衰减法也有效避免了提升链图像识别过程中出现的过度拟合问题，从而提高了识别的效率和准确率。
L2正则化中则使用下式对模型参数进行更新:
在本实施例中，图像在目标检测过程中，采用监督式训练，每张提升链图像都有对应的标签和预测框,不仅根据标签和预测框训练模型参数，而且还根据标签和预测框判断最终识别准确率。当训练网络通过多次迭代,预测值不断向标签和预测框误差方向进行收敛,然后反向传播根据链式法则将参数更新到每一层中。每次迭代都会根据梯度下降的优化方向,尽可能减少传播误差,最终得到数据集中所有提升链图像最终的目标检测结果。
请参阅图6，为本申请施例提供的一种提升链异常识别系统结构框图，包括：
图像获取模块1，用于获取钢架上的提升链图像；
模型训练模块2，用于以所述提升链图像为数据集训练深度学习神经网络得到目标检测模型；
检测模块3，利用所述目标检测模型识别待测的所述提升链图像中的提升链特征，所述提升链特征至少包括提升链在对应图像中的位置信息；
判断模块4，用于根据所述提升链的位置信息是否在感兴趣区域内判断所述提升链图像是否异常。
请参阅图7，为本申请施例提供的一种提升链模型训练模块结构框图，其中，模型训练模块包括：
标注单元21，用于标注获取的所述提升链图像得到数据集；
预处理单元22，用于预处理所述数据集；
模型训练单元23，用于构建Fast RCNN深度学习神经网络，结合预处理后的所述数据集训练所述Fast RCNN深度学习神经网络得到目标检测模型。
进一步，所述预处理所述数据集，包括：
归一化处理所述数据集中提升链图像的灰度值，其中，归一化处理的数学表达式为：
其中，其中xi表示图像像素点灰度值，max(x)表示图像像素灰度值的最大值，max(x)表示为图像像素灰度值的最小值。
进一步，所述预处理所述数据集，还包括：
利用裁剪、翻转、旋转、调节亮度、对比度和饱和度对所述数据集中的提升链图像进行系列增强。
进一步，所述Fast RCNN深度学习神经网络包括用于选用提升链图像特征的Convlayers层，用于生成候选区域框的RPN层，用于输出预设尺寸候选框综合特征图的RoiPooling层，以及用于提高目标检测框精度而对所述候选框特征图进行分类和回归修复的Classifier层。
进一步，所述RPN层利用卷积层生成多个候选区域，对其中一部分候选区域进行裁剪过滤，通过softmax函数判断所述候选区域属于前景或后景从而确定是否为检测目标；将另一部分候选区域用于计算整个候选区域bbox回归偏移量，综合前景候选区域与回归偏移量得到精确的候选框，选择符合规格的候选框输出到下一层。
进一步，所述候选区域采用bbox回归计算偏移量进行微调，将输入的候选区域通过映射得到与真实窗口接近的回归窗口。
进一步，所述Fast RCNN深度学习神经网络利用指数衰减法调节其学习率，基于L2正则化更新训练模型参数；其中，L2正则化的数学表达式为：
式中，C表示为目标函数，C0代表原始的代价函数，n是样本的个数，λ是正则项系数，w为正则项与C0项的比重。
由于钢架上提升链异常识别方法与提升链异常识别系统为一一对应关系，在此提升链异常识别系统对应的技术细节与技术效果不再赘述，详见上述实施例。
在其他实施例中，其显示为本申请实施例提供一种电子设备的结构示意图。本实施例提供的电子设备主要包括存储器、一个或多个处理器、以及存储于所述存储器中的一个或多个程序，其中，存储器存储执行指令，当计算机设备运行时，处理器与存储器之间通信。
于某些实施方式中，所述处理器还与I/O端口和输入结构可操作地耦接，该I/O端口可使得电子设备能够与各种其他电子设备进行交互，该输入结构可使得用户能够与电子设备进行交互。因此，输入结构可包括按钮、键盘、鼠标、触控板等。此外，电子显示器可包括触摸部件，该触摸部件通过检测对象触摸其屏幕(例如，电子显示器的表面)的发生和/或位置来促进用户输入。
所述处理器可操作地与存储器和/或非易失性存储设备耦接。更具体地，处理器可执行在存储器和/或非易失性存储设备中存储的指令以在计算设备中执行操作，诸如生成图像数据和/或将图像数据传输到电子显示器。如此，处理器可包括一个或多个通用微处理器、一个或多个专用处理器(ASIC)、一个或多个现场可编程逻辑阵列(FPGA)、或它们的任何组合。
所述存储器可包括高速随机存取存储器，并且还可包括非易失性存储器，例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。在某些实施例中，存储器还可以包括远离一个或多个处理器的存储器，例如经由RF电路或外部端口以及通信网络(未示出)访问的网络附加存储器，其中所述通信网络可以是因特网、一个或多个内部网、局域网(LAN)、广域网(WLAN)、存储局域网(SAN)等，或其适当组合。存储器控制器可控制设备的诸如CPU和外设接口之类的其他组件对存储器的访问。
需要说明的是，通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请的部分或全部可借助软件并结合必需的通用硬件平台来实现。所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，还可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请还提供一种计算机可读存储介质，所述存储介质存储有至少一个程序，所述程序在被执行时实现前述的任一所述的提升链异常识别方法，比如实现前述对应图1图2所描述的钢架上提升链异常识别方法。
基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可包括其上存储有机器可执行指令的一个或多个机器可读介质，这些指令在由诸如计算机、计算机网络或其他电子设备等一个或多个机器执行时可使得该一个或多个机器根据本申请的实施例来执行操作。例如钢条提升链异常识别方法中的各步骤等。机器可读介质可包括，但不限于，软盘、光盘、CD-ROM(紧致盘-只读存储器)、磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪存、或适于存储机器可执行指令的其他类型的介质/机器可读介质。其中，所述存储介质可位于本地服务器也可位于第三方服务器中，如位于第三方云服务平台中。在此对具体云服务平台不做限制，如阿里云、腾讯云等。本申请可用于众多通用或专用的计算系统环境或配置中。例如：被配置为分布式系统中一个节点的个人计算机、专用服务器计算机、大型计算机等。
另外，任何连接都可以适当地称为计算机可读介质。例如，如果指令是使用同轴电缆、光纤光缆、双绞线、数字订户线(DSL)或者诸如红外线、无线电和微波之类的无线技术，从网站、服务器或其它远程源发送的，则所述同轴电缆、光纤光缆、双绞线、DSL或者诸如红外线、无线电和微波之类的无线技术包括在所述介质的定义中。然而，应当理解的是，计算机可读写存储介质和数据存储介质不包括连接、载波、信号或者其它暂时性介质，而是旨在针对于非暂时性、有形的存储介质。如申请中所使用的磁盘和光盘包括压缩光盘(CD)、激光光盘、光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中，磁盘通常磁性地复制数据，而光盘则用激光来光学地复制数据。
应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
综上所述，通过机器自动学习提升链特征，依靠机器视觉技术判断提升链异常，整个判断过程无需人工参与，实现机器全自动识别提升链异常，相比现有技术，一方面，增强了提升链异常识别效率；另一方面，提高了提升链异常识别精度，确保在炼钢过程中提升链异常时及时发现、及时报警。所以，本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。
Claims (12)
1.一种提升链异常识别方法，其特征在于，所述方法包括以下步骤：
获取钢架上的提升链图像；
以所述提升链图像为数据集训练深度学习神经网络得到目标检测模型；
利用所述目标检测模型识别待测的所述提升链图像中的提升链特征，所述提升链特征至少包括提升链在对应图像中的位置信息；
根据所述提升链的位置信息是否在感兴趣区域内判断所述提升链图像是否异常。
2.根据权利要求1所述的提升链异常识别方法，其特征在于，所述以所述提升链图像为数据集训练深度学习神经网络得到目标检测模型的步骤，包括：
标注获取的所述提升链图像得到数据集；
预处理所述数据集；
构建Fast RCNN深度学习神经网络，结合预处理后的所述数据集训练所述Fast RCNN深度学习神经网络得到目标检测模型。
3.根据权利要求2所述的提升链异常识别方法，其特征在于，所述预处理所述数据集的步骤，包括：
归一化处理所述数据集中提升链图像的灰度值，其中，归一化处理的数学表达式为：
其中，其中xi表示图像像素点灰度值，max(x)表示图像像素灰度值的最大值，max(x)表示为图像像素灰度值的最小值。
4.根据权利要求2或3所述的提升链异常识别方法，其特征在于，所述预处理所述数据集的步骤，还包括：
利用裁剪、翻转、旋转、亮度调节、对比度调节和饱和度调节对所述数据集中的提升链图像进行系列增强。
5.根据权利要求2所述的提升链异常识别方法，其特征在于，所述Fast RCNN深度学习神经网络包括用于选用提升链图像特征的Conv layers层，用于生成候选区域框的RPN层，用于输出预设尺寸候选框综合特征图的RoiPooling层，以及用于提高目标检测框精度而对所述候选框特征图进行分类和回归修复的Classifier层。
6.根据权利要求5所述的提升链异常识别方法，其特征在于，所述RPN层利用卷积层生成多个候选区域，对其中一部分候选区域进行裁剪过滤，通过softmax函数判断所述候选区域属于前景或后景从而确定是否为检测目标；将另一部分候选区域用于计算整个候选区域bbox回归偏移量，综合前景候选区域与回归偏移量得到精确的候选框，选择符合规格的候选框输出到下一层。
7.根据权利要求6所述的提升链异常识别方法，其特征在于，所述候选区域采用bbox回归计算偏移量进行微调，将输入的候选区域通过映射得到与真实窗口接近的回归窗口。
8.根据权利要求2所述的提升链异常识别方法，其特征在于，所述Fast RCNN深度学习神经网络利用指数衰减法调节其学习率，基于L2正则化更新训练模型参数；其中，L2正则化的数学表达式为：
其中，C表示为目标函数，C0代表原始的代价函数，n是样本的个数，λ是正则项系数，w为正则项与C0项的比重。
9.根据权利要求1所述的提升链异常识别方法，其特征在于，所述根据所述提升链的位置信息是否在感兴趣区域内判断所述提升链图像是否异常的步骤，包括：当所述提升链的位置信息在感兴趣区域内，确定提升链正常；当所述提升链的位置信息在感兴趣区域外，确定提升链异常。
10.一种提升链异常识别系统，其特征在于，包括：
图像获取模块，用于获取钢架上的提升链图像；
模型训练模块，用于以所述提升链图像为数据集训练深度学习神经网络得到目标检测模型；
检测模块，利用所述目标检测模型识别待测的所述提升链图像中的提升链特征，所述提升链特征至少包括提升链在对应图像中的位置信息；
判断模块，用于根据所述提升链的位置信息是否在感兴趣区域内判断所述提升链图像是否异常。
11.一种电子设备，其特征在于，所述设备包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行指令，所述一个或多个处理器执行所述执行指令使得所述电子设备执行权利要求1～9任一项所述的提升链异常识别方法。
12.一种计算机可读存储介质，其特征在于，存储至少一种程序，所述至少一个程序在被调用并执行时实现权利要求1-9中任一项所述的提升链异常识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010304411.5A CN111524113A (zh) | 2020-04-17 | 2020-04-17 | 提升链异常识别方法、系统、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010304411.5A CN111524113A (zh) | 2020-04-17 | 2020-04-17 | 提升链异常识别方法、系统、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111524113A true CN111524113A (zh) | 2020-08-11 |
Family
ID=71903094
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010304411.5A Pending CN111524113A (zh) | 2020-04-17 | 2020-04-17 | 提升链异常识别方法、系统、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111524113A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111968104A (zh) * | 2020-08-27 | 2020-11-20 | 中冶赛迪重庆信息技术有限公司 | 一种基于机器视觉的钢卷异常识别方法、系统、设备及介质 |
| CN112053335A (zh) * | 2020-08-31 | 2020-12-08 | 中冶赛迪重庆信息技术有限公司 | 一种热轧棒材重叠检测方法、系统及介质 |
| CN112333155A (zh) * | 2020-10-16 | 2021-02-05 | 济南浪潮数据技术有限公司 | 一种异常流量的检测方法、系统、电子设备及存储介质 |
| CN112329849A (zh) * | 2020-11-04 | 2021-02-05 | 中冶赛迪重庆信息技术有限公司 | 基于机器视觉的废钢料场卸料状态识别方法、介质及终端 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103499584A (zh) * | 2013-10-16 | 2014-01-08 | 北京航空航天大学 | 铁路货车手制动机链条丢失故障的自动检测方法 |
| CN106744117A (zh) * | 2016-12-30 | 2017-05-31 | 天津市日博自动化物流装备有限公司 | 一种用于提升机轿厢的链条断裂检测装置 |
| CN107316295A (zh) * | 2017-07-02 | 2017-11-03 | 苏州大学 | 一种基于深度神经网络的织物瑕疵检测方法 |
| CN108009473A (zh) * | 2017-10-31 | 2018-05-08 | 深圳大学 | 基于目标行为属性视频结构化处理方法、系统及存储装置 |
| CN108075967A (zh) * | 2016-11-10 | 2018-05-25 | 成都华为技术有限公司 | 一种链路选取方法及装置 |
| CN109977780A (zh) * | 2019-02-26 | 2019-07-05 | 广东工业大学 | 一种基于深度学习算法的硅藻的检测与识别方法 |
| US20190304092A1 (en) * | 2018-03-28 | 2019-10-03 | International Business Machines Corporation | Systems and methods for automatic detection of an indication of abnormality in an anatomical image |
| CN110473186A (zh) * | 2019-02-14 | 2019-11-19 | 腾讯科技（深圳）有限公司 | 一种基于医学图像的检测方法、模型训练的方法及装置 |
-
2020
- 2020-04-17 CN CN202010304411.5A patent/CN111524113A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103499584A (zh) * | 2013-10-16 | 2014-01-08 | 北京航空航天大学 | 铁路货车手制动机链条丢失故障的自动检测方法 |
| CN108075967A (zh) * | 2016-11-10 | 2018-05-25 | 成都华为技术有限公司 | 一种链路选取方法及装置 |
| CN106744117A (zh) * | 2016-12-30 | 2017-05-31 | 天津市日博自动化物流装备有限公司 | 一种用于提升机轿厢的链条断裂检测装置 |
| CN107316295A (zh) * | 2017-07-02 | 2017-11-03 | 苏州大学 | 一种基于深度神经网络的织物瑕疵检测方法 |
| CN108009473A (zh) * | 2017-10-31 | 2018-05-08 | 深圳大学 | 基于目标行为属性视频结构化处理方法、系统及存储装置 |
| US20190304092A1 (en) * | 2018-03-28 | 2019-10-03 | International Business Machines Corporation | Systems and methods for automatic detection of an indication of abnormality in an anatomical image |
| CN110473186A (zh) * | 2019-02-14 | 2019-11-19 | 腾讯科技（深圳）有限公司 | 一种基于医学图像的检测方法、模型训练的方法及装置 |
| CN109977780A (zh) * | 2019-02-26 | 2019-07-05 | 广东工业大学 | 一种基于深度学习算法的硅藻的检测与识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| 刘盛亚等: "基于局部结构化特征稀疏编码的手制动机故障检测", 《铁道科学与工程学报》 * |
| 李先冲: "基于图像识别的铝合金机械铰链裂纹检测仿真", 《计算机仿真》 * |
| 林光明等: "全变分2范数有限差分小波域成像测井图像缺陷修复算法", 《合肥工业大学学报(自然科学版)》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111968104A (zh) * | 2020-08-27 | 2020-11-20 | 中冶赛迪重庆信息技术有限公司 | 一种基于机器视觉的钢卷异常识别方法、系统、设备及介质 |
| CN112053335A (zh) * | 2020-08-31 | 2020-12-08 | 中冶赛迪重庆信息技术有限公司 | 一种热轧棒材重叠检测方法、系统及介质 |
| CN112053335B (zh) * | 2020-08-31 | 2023-05-12 | 中冶赛迪信息技术(重庆)有限公司 | 一种热轧棒材重叠检测方法、系统及介质 |
| CN112333155A (zh) * | 2020-10-16 | 2021-02-05 | 济南浪潮数据技术有限公司 | 一种异常流量的检测方法、系统、电子设备及存储介质 |
| CN112333155B (zh) * | 2020-10-16 | 2022-07-22 | 济南浪潮数据技术有限公司 | 一种异常流量的检测方法、系统、电子设备及存储介质 |
| CN112329849A (zh) * | 2020-11-04 | 2021-02-05 | 中冶赛迪重庆信息技术有限公司 | 基于机器视觉的废钢料场卸料状态识别方法、介质及终端 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109584248B (zh) | 基于特征融合和稠密连接网络的红外面目标实例分割方法 | |
| Yang et al. | Automatic pixel‐level crack detection and measurement using fully convolutional network | |
| CN112052787B (zh) | 基于人工智能的目标检测方法、装置及电子设备 | |
| US20220383535A1 (en) | Object Tracking Method and Device, Electronic Device, and Computer-Readable Storage Medium | |
| CN111524113A (zh) | 提升链异常识别方法、系统、设备及介质 | |
| CN110956225B (zh) | 一种违禁品检测方法及系统、一种计算设备及存储介质 | |
| CN110675368B (zh) | 一种融合图像分割与分类的细胞图像语义分割方法 | |
| CN108280455B (zh) | 人体关键点检测方法和装置、电子设备、程序和介质 | |
| CN111524112B (zh) | 追钢识别方法、系统、设备及介质 | |
| CN111833306A (zh) | 缺陷检测方法和用于缺陷检测的模型训练方法 | |
| CN106910204B (zh) | 一种对海面船只自动跟踪识别的方法和系统 | |
| CN111815564B (zh) | 一种检测丝锭的方法、装置及丝锭分拣系统 | |
| CN115861400B (zh) | 目标对象检测方法、训练方法、装置以及电子设备 | |
| CN115797736B (zh) | 目标检测模型的训练和目标检测方法、装置、设备和介质 | |
| CN111242026A (zh) | 一种基于空间层次感知模块和度量学习的遥感图像目标检测方法 | |
| CN115830004A (zh) | 表面缺陷检测方法、装置、计算机设备和存储介质 | |
| EP4323952A1 (en) | Semantically accurate super-resolution generative adversarial networks | |
| CN115100741A (zh) | 一种点云行人距离风险检测方法、系统、设备和介质 | |
| Wang et al. | Feature extraction and segmentation of pavement distress using an improved hybrid task cascade network | |
| CN110795975A (zh) | 人脸误检优化方法及装置 | |
| CN114998387A (zh) | 一种物体距离监测方法、装置、电子设备和存储介质 | |
| CN116309270A (zh) | 一种基于双目图像的输电线路典型缺陷识别方法 | |
| CN112749978B (zh) | 检测方法、装置、设备、存储介质以及程序产品 | |
| CN114067360A (zh) | 一种行人属性检测方法及装置 | |
| Xu | A fusion-based approach to deep-learning and edge-cutting algorithms for identification and color recognition of traffic lights |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 401329 No. 5-6, building 2, No. 66, Nongke Avenue, Baishiyi Town, Jiulongpo District, Chongqing Applicant after: MCC CCID information technology (Chongqing) Co.,Ltd. Address before: Building 1, No. 11, Huijin Road, North New District, Yubei District, Chongqing Applicant before: CISDI CHONGQING INFORMATION TECHNOLOGY Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200811 |
|
| RJ01 | Rejection of invention patent application after publication |