CN116523893B - 一种基于机器视觉的飞钢检测系统及方法 - Google Patents

一种基于机器视觉的飞钢检测系统及方法 Download PDF

Info

Publication number
CN116523893B
CN116523893B CN202310552054.8A CN202310552054A CN116523893B CN 116523893 B CN116523893 B CN 116523893B CN 202310552054 A CN202310552054 A CN 202310552054A CN 116523893 B CN116523893 B CN 116523893B
Authority
CN
China
Prior art keywords
steel
flying
image
real
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310552054.8A
Other languages
English (en)
Other versions
CN116523893A (zh
Inventor
刘祎
张哲�
王予津
赵建伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huayuan Computing Technology Shanghai Co ltd
Original Assignee
Huayuan Computing Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huayuan Computing Technology Shanghai Co ltd filed Critical Huayuan Computing Technology Shanghai Co ltd
Priority to CN202310552054.8A priority Critical patent/CN116523893B/zh
Publication of CN116523893A publication Critical patent/CN116523893A/zh
Application granted granted Critical
Publication of CN116523893B publication Critical patent/CN116523893B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Robotics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于机器视觉的飞钢检测系统及方法，属于自动化测控技术领域，方法包括：针对钢材生产线采集实时视频流图像；以人工标注飞钢图像训练得到GAN模型，并生成飞钢样本图像作为训练数据；计算相邻图像帧之间的像素差异值，并与预设阈值进行比较；利用yolov5检测模型检测实时视频流图像是否存在飞钢特征区域；利用二分类模型检测实时视频流图像或飞钢特征区域中是否存在飞钢；在检测存在飞钢时，控制钢材生产线暂停或减速运行。通过本发明的技术方案，有效提高了钢材飞钢事故的识别分类准确率，减少了因误判导致的生产损失，能够适应不同光线、位置和环境条件下的检测需求，减少了因飞钢事故导致的设备损坏和人员伤害。

Description

一种基于机器视觉的飞钢检测系统及方法
技术领域
本发明涉及自动化测控技术领域，尤其涉及一种基于机器视觉的飞钢检测系统以及一种基于机器视觉的飞钢检测方法。
背景技术
随着现代工业生产的快速发展，越来越多的制造企业开始采用自动化生产线来提高生产效率并减少人力成本。然而，由于机器运转过程中可能存在各种安全隐患，如设备故障、操作失误等，导致生产过程中可能发生意外事故，从而给企业带来巨大的经济损失和人员伤亡风险。特别是在钢铁行业，钢材在生产过程中常常呈高速流动状态，若未能及时检测出飞钢事故，可能进一步加剧安全隐患。
针对这一问题，目前已有一些针对飞钢检测的解决方案，例如传统的图像处理方法、三维形貌检测方法和热成像等。然而，这些方法对光线、摄像机位置和环境影响比较敏感，且准确度较低，难以在实际生产中得到广泛应用。而且，传统的视觉技术受到光线、位置、环境的影响的准确率较低，无法满足自动化操作要求；同时，缺陷数据较少，深度神经网络技术进行识别则存在训练数据量不足、训练样本分布不均衡等潜在问题。此外，由于钢厂温度较高，冷却钢材时会产生大量水雾，对红外线等方式也会形成较大的干扰。
发明内容
针对上述问题，本发明提供了一种基于机器视觉的飞钢检测系统及方法，通过使用yolov5检测模型，有效提高了钢材飞钢事故的识别分类准确率，减少了因误判导致的生产损失，通过采用小样本图像生成和帧间差结合的方法，能够适应不同光线、位置和环境条件下的检测需求，降低了外部环境对检测效果的影响，通过截取多个关键位置小图进一步用神经网络的分类方法，有效解决了钢厂高温环境产生的水雾对红外线等检测方式的干扰，通过对飞钢事故的有效检测和准确识别，减少因飞钢事故导致的设备损坏和人员伤害，降低生产成本和维修费用，保障生产线的正常运转，从而提高生产效率，减少能源消耗和浪费，同时能够应对不同类型的钢材生产线和设备，无需进行大规模改造，节省了安装和部署成本，提高了检测系统的通用性。
为实现上述目的，本发明提供了一种基于机器视觉的飞钢检测系统，包括：图像采集模块、小样本图像生成模块、帧间差计算模块、yolov5检测模块、飞钢分类模块、控制模块和通信模块；
所述图像采集模块的图像采集区域对应所要检测飞钢的钢材生产线，并将采集到的所述钢材生产线的实时视频流图像发送至所述帧间差计算模块、所述yolov5检测模块和所述飞钢分类模块；
所述小样本图像生成模块以所述实时视频流图像中的人工标注飞钢图像作为训练数据训练得到生成对抗网络GAN模型，并将所述实时视频流图像输入所述GAN模型生成的飞钢样本图像作为训练数据；
所述帧间差计算模块计算接收到的实时视频流图像的相邻图像帧之间的像素差异值，将所述像素差异值与预设阈值进行比较并将比较结果发送至所述控制模块；
所述yolov5检测模块利用由所述训练数据预先训练完成的yolov5检测模型检测所述实时视频流图像是否存在飞钢特征区域，将检测结果发送至所述控制模块，并将检测到的所述飞钢特征区域发送至所述飞钢分类模块；
所述飞钢分类模块利用由所述训练数据预先训练完成的二分类模型对所述实时视频流图像或所述飞钢特征区域是否为飞钢，并将检测结果发送至所述控制模块；
所述控制模块在所述帧间差计算模块的比较结果以及所述yolov5检测模块和所述飞钢分类模块的检测结果均可能存在飞钢时，通过所述通信模块向所述钢材生产线发送暂停或减速运行的控制指令。
在上述技术方案中，优选地，所述图像采集模块采用工业相机，并安装LED光源以照亮所述工业相机的图像采集区域。
在上述技术方案中，优选地，所述小样本图像生成模块在训练所述GAN模型过程中，对所述人工标注飞钢图像进行数据增强，以扩充对所述GAN模型的训练数据。
在上述技术方案中，优选地，所述yolov5检测模块根据飞钢检测特征调整所述yolov5检测模型的输入尺寸和锚点大小。
在上述技术方案中，优选地，所述飞钢分类模块以卷积神经网络CNN模型构建所述二分类模型。
在上述技术方案中，优选地，所述通信模块采用以太网通信方式、WiFi通信方式或蓝牙通信方式进行数据通信。
本发明还提出一种基于机器视觉的飞钢检测方法，应用如上述技术方案中任一项公开的基于机器视觉的飞钢检测系统，包括：
针对所要检测飞钢事故的钢材生产线采集实时视频流图像；
以所述实时视频流图像中的人工标注飞钢图像训练得到GAN模型，并将所述实时视频流图像输入所述GAN模型生成的飞钢样本图像作为训练数据；
计算所述实时视频流图像的相邻图像帧之间的像素差异值，并将所述像素差异值与预设阈值进行比较；
利用所述训练数据训练得到yolov5检测模型，利用所述yolov5检测模型检测所述实时视频流图像是否存在飞钢特征区域；
利用所述训练数据训练得到二分类模型，利用所述二分类模型检测所述实时视频流图像或所述飞钢特征区域中是否存在飞钢；
在所述像素差异值超出预设阈值、所述yolov5检测模型检测存在飞钢特征区域且所述二分类模型检测存在飞钢时，控制所述钢材生产线暂停或减速运行。
在上述技术方案中，优选地，以所述实时视频流图像中的人工标注飞钢图像训练所述GAN模型的具体过程包括：
对所述人工标注飞钢图像进行数据增强，所述数据增强包括平移、缩放和旋转；
利用数据增强后的人工标注飞钢图像作为训练数据，训练得到所述GAN模型。
在上述技术方案中，优选地，利用所述yolov5检测模型检测所述实时视频流图像是否存在飞钢特征区域的具体过程包括：
根据飞钢检测特征调整所述yolov5检测模型的输入尺寸和锚点大小；
将所述实时视频流图像输入所述yolov5检测模型，根据输出结果判断所述实时视频流图像中是否存在飞钢特征区域。
在上述技术方案中，优选地，利用所述二分类模型检测所述实时视频流图像或所述飞钢特征区域中是否存在飞钢的具体过程包括：
将所述实时视频流图像或所述yolov5检测模型检测到的所述实时视频流图像中的飞钢特征区域输入所述二分类模型中，其中，所述二分类模型以卷积神经网络CNN模型构建；
根据所述二分类模型的输出结果，判断所述实时视频流图像或所述飞钢特征区域中是否存在飞钢。
与现有技术相比，本发明的有益效果为：
(1)提高准确率：通过使用yolov5检测模型，本发明有效地提高了钢材飞钢事故的识别分类准确率，减少了因误判导致的生产损失；
(2)克服环境影响：采用小样本图像生成和帧间差结合的方法，能够适应不同光线、位置和环境条件下的检测需求，降低了外部环境对检测效果的影响；
(3)解决数据不足问题：通过利用小样本图像生成技术，可以在训练数据量较少的情况下仍然实现高效的模型训练和准确的飞钢检测；
(4)应对温度和水雾干扰：考虑到钢厂高温环境产生的水雾对红外线等检测方式的干扰，通过截取多个关键位置小图进一步用神经网络的分类方法有效应对这一挑战；
(5)提高生产效率：能够实时、准确地检测飞钢事故，有助于及时处理异常情况，保障生产线的正常运转，从而提高生产效率；
(6)降低成本：减少因飞钢事故导致的设备损坏和人员伤害，降低生产成本和维修费用；
(7)节能环保：在实现高效飞钢检测的同时，减少了能源消耗和浪费；通过准确识别飞钢事故，降低了设备损坏和故障停机的风险，从而减少了能源的浪费；此外，对生产线进行实时监控，有助于优化生产过程，降低废料和能源消耗，提高能源利用率；
(8)安全性提升：实时、准确的飞钢检测能力有助于及时发现异常情况，避免钢材飞出机械设备表面造成的人员伤害和设备损坏；通过提前预警和干通过提前预警和干预，有效提高了工作现场的安全性；
(9)提高设备寿命：减少因飞钢事故导致的设备损坏，从而延长设备的使用寿命，减少设备更新换代的频率和成本；
(10)降低维护成本：本发明的高准确率检测能力减少了因误判导致的设备故障维修，降低了维护成本；
(11)适应性强：本发明所采用的方法具有较强的适应性，能够应对不同类型的钢材生产线和设备，提高检测系统的通用性；
(12)便于集成：本发明的检测方法可以与现有生产线和设备进行集成，无需进行大规模改造，节省了安装和部署成本。
附图说明
图1为本发明一种实施例公开的基于机器视觉的飞钢检测系统的检测流程示意图；
图2为本发明一种实施例公开的基于机器视觉的飞钢检测方法的流程示意图。
图中，各组件与附图标记之间的对应关系为：
1.图像采集模块，2.小样本图像生成模块，3.帧间差计算模块，4.yolov5检测模块，5.飞钢分类模块，6.控制模块，7.通信模块。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图对本发明做进一步的详细描述：
如图1所示，根据本发明提供的一种基于机器视觉的飞钢检测系统，包括：图像采集模块1、小样本图像生成模块2、帧间差计算模块3、yolov5检测模块4、飞钢分类模块5、控制模块6和通信模块7；
图像采集模块1的图像采集区域对应所要检测飞钢的钢材生产线，并将采集到的钢材生产线的实时视频流图像发送至帧间差计算模块3、yolov5检测模块4和飞钢分类模块5；
小样本图像生成模块2以实时视频流图像中的人工标注飞钢图像作为训练数据训练得到生成对抗网络GAN模型，并将实时视频流图像输入GAN模型生成的飞钢样本图像作为训练数据；
帧间差计算模块3计算接收到的实时视频流图像的相邻图像帧之间的像素差异值，将像素差异值与预设阈值进行比较并将比较结果发送至控制模块6；
yolov5检测模块4利用由训练数据预先训练完成的yolov5检测模型检测实时视频流图像是否存在飞钢特征区域，将检测结果发送至控制模块6，并将检测到的飞钢特征区域发送至飞钢分类模块5；
飞钢分类模块5利用由训练数据预先训练完成的二分类模型对实时视频流图像或飞钢特征区域是否为飞钢，并将检测结果发送至控制模块6；
控制模块6在帧间差计算模块3的比较结果以及yolov5检测模块4和飞钢分类模块5的检测结果均可能存在飞钢时，通过通信模块7向钢材生产线发送暂停或减速运行的控制指令。
在该实施方式中，通过使用yolov5检测模型，有效提高了钢材飞钢事故的识别分类准确率，减少了因误判导致的生产损失，通过采用小样本图像生成和帧间差结合的方法，能够适应不同光线、位置和环境条件下的检测需求，降低了外部环境对检测效果的影响，通过截取多个关键位置小图进一步用神经网络的分类方法，有效解决了钢厂高温环境产生的水雾对红外线等检测方式的干扰，通过对飞钢事故的有效检测和准确识别，减少因飞钢事故导致的设备损坏和人员伤害，降低生产成本和维修费用，保障生产线的正常运转，从而提高生产效率，减少能源消耗和浪费，同时能够应对不同类型的钢材生产线和设备，无需进行大规模改造，节省了安装和部署成本，提高了检测系统的通用性。
具体地，在该飞钢检测系统中，图像采集模块1用于采集钢材生产线的实时视频流图像，帧间差计算模块3、yolov5检测模块4和飞钢分类模块5分别针对实时视频流图像进行检测和判断，控制模块6根据上述三个模块的检测和判断结果，在上述三模块均判断实时视频流图像中可能存在飞钢时，才控制钢材生产线暂停或减速运行。这样，既能够大大提高飞钢事故的检测准确度，同时也能够尽量避免误检停机导致的生产成本浪费。
在上述实施方式中，优选地，图像采集模块1采用高速、高分辨率特性的工业相机，同时，为适应不同光线、位置和环境条件，安装LED光源以照亮工业相机的图像采集区域，通过调整光源角度和亮度，确保采集到清晰的实时视频流图像。此外，为保护工业相机免受高温、水雾等环境因素的影响，进一步地，为相机设置一个防护罩，以确保其正常工作。
在上述实施方式中，优选地，小样本图像生成模块2在训练GAN模型过程中，对人工标注飞钢图像进行数据增强，如平移、缩放、旋转等数据增强操作，以扩充对GAN模型的训练数据。通过这种方法，提高了检测模型的泛化能力。
在上述实施方式中，优选地，为适应飞钢检测的特点，根据飞钢检测特征，对yolov5检测模块4调整yolov5检测模型的输入尺寸和锚点大小，通过对yolov5模型进行的这种定制优化，使得检测模型在飞钢检测任务上表现出较高的准确率。
在上述实施方式中，优选地，为了在复杂背景的情况下进一步筛选出飞钢事故，防止模型出现误检，飞钢分类模块5以卷积神经网络CNN模型构建二分类模型。在训练过程中，采用带有标签的飞钢图像数据集对该深度学习分类模型进行训练。为提高分类模型的泛化能力，可以采用数据增强技术对训练数据集进行扩充。在训练完成后，利用训练好的CNN模型对检测到的飞钢事故进行分类。
在上述实施方式中，优选地，通信模块7采用以太网通信方式、WiFi通信方式或蓝牙通信方式进行数据通信，以将检测结果发送给上位机或其他监控系统，实现更灵活的数据传输和设备控制。
如图2所示，本发明还提出一种基于机器视觉的飞钢检测方法，应用如上述实施方式中任一项公开的基于机器视觉的飞钢检测系统，包括：
针对所要检测飞钢事故的钢材生产线采集实时视频流图像；
以实时视频流图像中的人工标注飞钢图像训练得到GAN模型，并将实时视频流图像输入GAN模型生成的飞钢样本图像作为训练数据；
计算实时视频流图像的相邻图像帧之间的像素差异值，并将像素差异值与预设阈值进行比较；
利用训练数据训练得到yolov5检测模型，利用yolov5检测模型检测实时视频流图像是否存在飞钢特征区域；
利用训练数据训练得到二分类模型，利用二分类模型检测实时视频流图像或飞钢特征区域中是否存在飞钢；
在像素差异值超出预设阈值、yolov5检测模型检测存在飞钢特征区域且二分类模型检测存在飞钢时，控制钢材生产线暂停或减速运行。
在该实施方式中，通过使用yolov5检测模型，有效提高了钢材飞钢事故的识别分类准确率，减少了因误判导致的生产损失，通过采用小样本图像生成和帧间差结合的方法，能够适应不同光线、位置和环境条件下的检测需求，降低了外部环境对检测效果的影响，通过截取多个关键位置小图进一步用神经网络的分类方法，有效解决了钢厂高温环境产生的水雾对红外线等检测方式的干扰，通过对飞钢事故的有效检测和准确识别，减少了因飞钢事故导致的设备损坏和人员伤害，降低了生产成本和维修费用，保障生产线的正常运转，从而提高生产效率，减少能源消耗和浪费，同时能够应对不同类型的钢材生产线和设备，无需进行大规模改造，节省了安装和部署成本，提高了检测系统的通用性。
具体地，在该飞钢检测方法中，通过帧间差计算、yolov5检测和飞钢分类，分别针对实时视频流图像进行检测和判断，根据上述三种手段的检测和判断结果，在上述三种手段均判断实时视频流图像中可能存在飞钢时，才控制钢材生产线暂停或减速运行。这样，既能够大大提高飞钢事故的检测准确度，同时也能够尽量避免误检停机导致的生产成本浪费。
在上述实施方式中，优选地，以实时视频流图像中的人工标注飞钢图像训练GAN模型的具体过程包括：
对人工标注飞钢图像进行数据增强，数据增强包括平移、缩放和旋转，以扩充对GAN模型的训练数据；
利用数据增强后的人工标注飞钢图像作为训练数据，训练得到GAN模型。通过这种方法，提高了检测模型的泛化能力。
在上述实施方式中，优选地，利用yolov5检测模型检测实时视频流图像是否存在飞钢特征区域的具体过程包括：
根据飞钢检测特征调整yolov5检测模型的输入尺寸和锚点大小；
将实时视频流图像输入yolov5检测模型，根据输出结果判断实时视频流图像中是否存在飞钢特征区域。通过对yolov5模型进行的这种定制优化，使得检测模型在飞钢检测任务上表现出较高的准确率。
在上述实施方式中，优选地，利用二分类模型检测实时视频流图像或飞钢特征区域中是否存在飞钢的具体过程包括：
将实时视频流图像或yolov5检测模型检测到的实时视频流图像中的飞钢特征区域输入二分类模型中，其中，二分类模型以卷积神经网络CNN模型构建；
根据二分类模型的输出结果，判断实时视频流图像或飞钢特征区域中是否存在飞钢。利用该深度学习分类模型，能够在复杂背景的情况下进一步筛选出飞钢事故，防止模型出现误检。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于机器视觉的飞钢检测系统，其特征在于，包括：图像采集模块、小样本图像生成模块、帧间差计算模块、yolov5检测模块、飞钢分类模块、控制模块和通信模块；
所述图像采集模块的图像采集区域对应所要检测飞钢的钢材生产线，并将采集到的所述钢材生产线的实时视频流图像发送至所述帧间差计算模块、所述yolov5检测模块和所述飞钢分类模块；
所述小样本图像生成模块以所述实时视频流图像中的人工标注飞钢图像作为训练数据训练得到生成对抗网络GAN模型，并将所述实时视频流图像输入所述GAN模型生成的飞钢样本图像作为训练数据；
所述帧间差计算模块计算接收到的实时视频流图像的相邻图像帧之间的像素差异值，将所述像素差异值与预设阈值进行比较并将比较结果发送至所述控制模块；
所述yolov5检测模块利用由所述训练数据预先训练完成的yolov5检测模型检测所述实时视频流图像是否存在飞钢特征区域，将检测结果发送至所述控制模块，并将检测到的所述飞钢特征区域发送至所述飞钢分类模块；
所述飞钢分类模块利用由所述训练数据预先训练完成的二分类模型对所述实时视频流图像或所述飞钢特征区域是否为飞钢，并将检测结果发送至所述控制模块；
所述控制模块在所述帧间差计算模块的比较结果以及所述yolov5检测模块和所述飞钢分类模块的检测结果均存在飞钢时，通过所述通信模块向所述钢材生产线发送暂停或减速运行的控制指令。
2.根据权利要求1所述的基于机器视觉的飞钢检测系统，其特征在于，所述图像采集模块采用工业相机，并安装LED光源以照亮所述工业相机的图像采集区域。
3.根据权利要求1所述的基于机器视觉的飞钢检测系统，其特征在于，所述小样本图像生成模块在训练所述GAN模型过程中，对所述人工标注飞钢图像进行数据增强，以扩充对所述GAN模型的训练数据。
4.根据权利要求1所述的基于机器视觉的飞钢检测系统，其特征在于，所述yolov5检测模块根据飞钢检测特征调整所述yolov5检测模型的输入尺寸和锚点大小。
5.根据权利要求1所述的基于机器视觉的飞钢检测系统，其特征在于，所述飞钢分类模块以卷积神经网络CNN模型构建所述二分类模型。
6.根据权利要求1所述的基于机器视觉的飞钢检测系统，其特征在于，所述通信模块采用以太网通信方式、WiFi通信方式或蓝牙通信方式进行数据通信。
7.一种基于机器视觉的飞钢检测方法，其特征在于，应用如权利要求1至6中任一项所述的基于机器视觉的飞钢检测系统，包括：
针对所要检测飞钢事故的钢材生产线采集实时视频流图像；
以所述实时视频流图像中的人工标注飞钢图像训练得到GAN模型，并将所述实时视频流图像输入所述GAN模型生成的飞钢样本图像作为训练数据；
计算所述实时视频流图像的相邻图像帧之间的像素差异值，并将所述像素差异值与预设阈值进行比较；
利用所述训练数据训练得到yolov5检测模型，利用所述yolov5检测模型检测所述实时视频流图像是否存在飞钢特征区域；
利用所述训练数据训练得到二分类模型，利用所述二分类模型检测所述实时视频流图像或所述飞钢特征区域中是否存在飞钢；
在所述像素差异值超出预设阈值、所述yolov5检测模型检测存在飞钢特征区域且所述二分类模型检测存在飞钢时，控制所述钢材生产线暂停或减速运行。
8.根据权利要求7所述的基于机器视觉的飞钢检测方法，其特征在于，以所述实时视频流图像中的人工标注飞钢图像训练所述GAN模型的具体过程包括：
对所述人工标注飞钢图像进行数据增强，所述数据增强包括平移、缩放和旋转；
利用数据增强后的人工标注飞钢图像作为训练数据，训练得到所述GAN模型。
9.根据权利要求7所述的基于机器视觉的飞钢检测方法，其特征在于，利用所述yolov5检测模型检测所述实时视频流图像是否存在飞钢特征区域的具体过程包括：
根据飞钢检测特征调整所述yolov5检测模型的输入尺寸和锚点大小；
将所述实时视频流图像输入所述yolov5检测模型，根据输出结果判断所述实时视频流图像中是否存在飞钢特征区域。
10.根据权利要求7所述的基于机器视觉的飞钢检测方法，其特征在于，利用所述二分类模型检测所述实时视频流图像或所述飞钢特征区域中是否存在飞钢的具体过程包括：
将所述实时视频流图像或所述yolov5检测模型检测到的所述实时视频流图像中的飞钢特征区域输入所述二分类模型中，其中，所述二分类模型以卷积神经网络CNN模型构建；
根据所述二分类模型的输出结果，判断所述实时视频流图像或所述飞钢特征区域中是否存在飞钢。
CN202310552054.8A 2023-05-16 2023-05-16 一种基于机器视觉的飞钢检测系统及方法 Active CN116523893B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310552054.8A CN116523893B (zh) 2023-05-16 2023-05-16 一种基于机器视觉的飞钢检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310552054.8A CN116523893B (zh) 2023-05-16 2023-05-16 一种基于机器视觉的飞钢检测系统及方法

Publications (2)

Publication Number Publication Date
CN116523893A CN116523893A (zh) 2023-08-01
CN116523893B true CN116523893B (zh) 2023-12-26

Family

ID=87394032

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310552054.8A Active CN116523893B (zh) 2023-05-16 2023-05-16 一种基于机器视觉的飞钢检测系统及方法

Country Status (1)

Country Link
CN (1) CN116523893B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117593301B (zh) * 2024-01-18 2024-04-30 深圳市奥斯珂科技有限公司 基于机器视觉的内存条损伤快速检测方法及系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106040752A (zh) * 2016-06-22 2016-10-26 江苏永钢集团有限公司 一种高速线材堆钢的检测系统及判断方法
CN107008961A (zh) * 2016-01-27 2017-08-04 鞍钢股份有限公司 一种防止圆盘剪卡钢的控制方法
CN209407080U (zh) * 2018-12-26 2019-09-20 云南玉溪玉昆钢铁集团有限公司 能减少飞钢发生次数的轧机
CN110280602A (zh) * 2019-07-19 2019-09-27 北京宇轩智能科技有限公司 智能轧钢异常轧制评估系统及处理方法
CN110597165A (zh) * 2019-08-30 2019-12-20 三明学院 一种堆钢监测系统及堆钢监测方法
CN111114516A (zh) * 2019-12-25 2020-05-08 一汽解放汽车有限公司 一种自动紧急制动系统的控制方法、装置和重型商用车
CN111915649A (zh) * 2020-07-27 2020-11-10 北京科技大学 一种遮挡条件下的带钢运动目标跟踪方法
CN114119524A (zh) * 2021-11-17 2022-03-01 中国农业大学 一种改进Faster R-CNN的热轧钢带缺陷检测方法
CN114549406A (zh) * 2022-01-10 2022-05-27 华院计算技术(上海)股份有限公司 热轧线的管理方法、装置及系统、计算设备和存储介质
CN114618887A (zh) * 2022-03-25 2022-06-14 首钢水城钢铁（集团）有限责任公司 冲钢事故监控装置
CN115495627A (zh) * 2022-10-12 2022-12-20 中冶赛迪信息技术(重庆)有限公司 一种轧制规程参数的推荐方法、装置、电子设备及介质
CN116071685A (zh) * 2023-02-28 2023-05-05 国家电投集团重庆合川发电有限公司 一种基于帧间差分法和改进YOLOv4的火电厂烟火检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108242054A (zh) * 2018-01-09 2018-07-03 北京百度网讯科技有限公司 一种钢板缺陷检测方法、装置、设备和服务器

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107008961A (zh) * 2016-01-27 2017-08-04 鞍钢股份有限公司 一种防止圆盘剪卡钢的控制方法
CN106040752A (zh) * 2016-06-22 2016-10-26 江苏永钢集团有限公司 一种高速线材堆钢的检测系统及判断方法
CN209407080U (zh) * 2018-12-26 2019-09-20 云南玉溪玉昆钢铁集团有限公司 能减少飞钢发生次数的轧机
CN110280602A (zh) * 2019-07-19 2019-09-27 北京宇轩智能科技有限公司 智能轧钢异常轧制评估系统及处理方法
CN110597165A (zh) * 2019-08-30 2019-12-20 三明学院 一种堆钢监测系统及堆钢监测方法
CN111114516A (zh) * 2019-12-25 2020-05-08 一汽解放汽车有限公司 一种自动紧急制动系统的控制方法、装置和重型商用车
CN111915649A (zh) * 2020-07-27 2020-11-10 北京科技大学 一种遮挡条件下的带钢运动目标跟踪方法
CN114119524A (zh) * 2021-11-17 2022-03-01 中国农业大学 一种改进Faster R-CNN的热轧钢带缺陷检测方法
CN114549406A (zh) * 2022-01-10 2022-05-27 华院计算技术(上海)股份有限公司 热轧线的管理方法、装置及系统、计算设备和存储介质
CN114618887A (zh) * 2022-03-25 2022-06-14 首钢水城钢铁（集团）有限责任公司 冲钢事故监控装置
CN115495627A (zh) * 2022-10-12 2022-12-20 中冶赛迪信息技术(重庆)有限公司 一种轧制规程参数的推荐方法、装置、电子设备及介质
CN116071685A (zh) * 2023-02-28 2023-05-05 国家电投集团重庆合川发电有限公司 一种基于帧间差分法和改进YOLOv4的火电厂烟火检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Steel Surface Defect Detection Using an Ensemble of Deep Residual Neural Networks;Ihor Konovalenko 等;《Journal of Computing and Information Science in Engineering》;第22卷(第01期);1-7 *
基于颜色阈值分割的棒材轧制过程的堆钢识别研究;翟莹莹 等;《中国机械》(第06期);52-55 *
大型轧机AGC缸内泄漏故障诊断研究;杨哲;《中国优秀硕士学位论文全文数据库工程科技I辑》(第(2019)09期);B022-409 *
棒材堆钢事故图像识别算法研究;柯涵鑫;《中国优秀硕士学位论文全文数据库工程科技I辑》(第(2023)02期);B022-1598 *

Also Published As

Publication number Publication date
CN116523893A (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
CN116523893B (zh) 一种基于机器视觉的飞钢检测系统及方法
CN108845536B (zh) 一种基于视频技术的堆场扬尘实时检测和智能洒水降尘装置及方法
CN202793389U (zh) 一种高铁接触网在线巡检装置
CN107403443B (zh) 一种基于机器视觉的多绳多层缠绕排绳状态在线检测方法及装置
CN109271872A (zh) 一种高压隔离开关分合状态判断与故障诊断装置及方法
CN107909575A (zh) 针对振动筛运行状态的双目视觉在线检测装置及检测方法
CN111289529B (zh) 一种基于ai智能分析的输送皮带撕裂检测系统及检测方法
CN105741291A (zh) 一种高速铁路接触网悬挂装置等电位线故障检测方法
CN113283344A (zh) 一种基于语义分割网络的矿用输送带跑偏检测方法
CN103303337B (zh) 基于图像序列的铁路扣件自适应定位方法及高速探测系统
CN114373245A (zh) 基于数字化电厂的智能巡检系统
CN103116351A (zh) 一种纺织疵布检测摄像头及其检测系统
CN109614946B (zh) 基于图像智能识别技术的火力发电厂输煤系统人员安全防护方法及系统
CN107200274A (zh) 一种基于机器视觉的防集装箱卡车被吊起方法
CN109443542B (zh) 一种基于红外热成像技术的压风机在线监测装置及监测方法
CN116976865B (zh) 基于大数据分析的船舶维修器件调配管理系统
Zhang et al. Belt Deviation Detection System Based on Deep Learning under Complex Working Conditions
CN111573200B (zh) 一种井下皮带转接处堵塞的视觉检测系统及检测方法
CN112702570A (zh) 一种基于多维行为识别的安防管理系统
CN117035669A (zh) 基于人工智能的企业安全生产管理方法及系统
CN202201591U (zh) 电梯检修运行状态自动识别系统
CN102285565A (zh) 电梯检修运行状态自动识别方法
CN114879655B (zh) 煤矿井下传送带智能机器人巡检方法
CN103033520A (zh) 热连铸钢坯表面质量检测方法
CN112285111A (zh) 一种受电弓前碳滑板缺陷检测方法、装置、系统和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant