CN115456963A - 一种基于视觉识别的料场皮带跑偏检测方法及系统 - Google Patents

一种基于视觉识别的料场皮带跑偏检测方法及系统 Download PDF

Info

Publication number
CN115456963A
CN115456963A CN202211026710.2A CN202211026710A CN115456963A CN 115456963 A CN115456963 A CN 115456963A CN 202211026710 A CN202211026710 A CN 202211026710A CN 115456963 A CN115456963 A CN 115456963A
Authority
CN
China
Prior art keywords
belt
target detection
network model
detection network
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211026710.2A
Other languages
English (en)
Inventor
刘礼杰
张超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wisdri Engineering and Research Incorporation Ltd
Original Assignee
Wisdri Engineering and Research Incorporation Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wisdri Engineering and Research Incorporation Ltd filed Critical Wisdri Engineering and Research Incorporation Ltd
Priority to CN202211026710.2A priority Critical patent/CN115456963A/zh
Publication of CN115456963A publication Critical patent/CN115456963A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视觉识别的料场皮带跑偏的检测方法及系统，属于原料场运输技术领域，包括：实时采集皮带运行视频，获取当前帧图像输入到目标检测网络并进行图像处理；将皮带正常运行及跑偏时的图像数据集输入到网络中训练，得到基于神经网络的目标检测网络作为皮带托辊的检测器，对实时采集的皮带运行视频当前帧图像进行目标检测；对当前帧图像检测不到目标托辊报警跑偏时，实时获取画面中皮带边缘位置并计算相较于皮带正常运行时的偏移量；获取目标检测网络对实时皮带运行视频当前帧画面检测结果以及经过图像算法处理后的偏移量，通过报警的方式通知作业人员及时处理。本发明实现了皮带运输状态实时动态检测的自动化与无人化功能。

Description

一种基于视觉识别的料场皮带跑偏检测方法及系统
技术领域
本发明属于原料场运输技术领域，更具体地，涉及一种基于视觉识别的料场皮带跑偏检测方法及系统。
背景技术
在中国煤矿原料是一种非常重要的能源物质，煤矿产业对国民经济的发展起到了重要的促进及推动作用。在矿物及煤粉的运作产业中，皮带运输机是非常重要的运输设备，承担着原料场中输送物料的责任。然而，在一些实际生产环境中，由于长期运行导致皮带老化松弛、受力不均，滚筒托辊黏煤或皮带机振动导致托辊径向跳动等原因，会造成皮带宽度方向上受力不均，发生跑偏现象。当物料运输过程中发生严重皮带跑偏现象时，皮带物料会全部倾泻而出，对生产造成极大的影响和损失，需要紧急停皮带并进行复位维修，同时对倾洒物料进行处理，一定程度上浪费大量人力物力，因此保证皮带正常运行，不造成由于皮带跑偏而引起的严重后果显得尤为重要。
常见的皮带机自平衡矫正器如纠偏器等装置对防止跑偏起到一定程度作用，但并不能完全预防及消除皮带跑偏现象，现场仍然需要操作工根据远程防控监测系统对现场皮带运行情况进行实时监测，针对跑偏严重的皮带进行应急拉停处理。然而依靠操作工长时间对现场场景实时监测，由于现场皮带场景较多，实时传输画面图像多且复杂，人工监视效率低下，长时间监测的带来的疲劳也会引起漏报等。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提出了一种基于视觉识别的料场皮带跑偏检测方法及系统，可以解决料场皮带传输运送物料过程中由人工监测皮带发生严重跑偏情况存在的问题，通过目标检测及传统图像识别的方法对跑偏情况进行实时监测报警，可以提高检测效率并节省人力。
为实现上述目的，按照本发明的一个方面，提供了一种基于视觉识别的料场皮带跑偏检测方法，包括：
实时采集皮带运行视频流中的当前帧图像，将采集到的皮带运行视频流中的当前帧图像输入到目标检测网络模型中，以皮带下托辊作为检测目标，以确定皮带是否跑偏；
在目标检测网络模型计算获取到的结果为皮带跑偏时，对实时采集的皮带运行视频流中的当前帧图像进行处理，实时计算皮带运行过程中的皮带偏移量；
输出报警信息，其中，所述报警信息包括皮带发生跑偏和皮带偏移量。
在一些可选的实施方案中，所述目标检测网络模型的训练方式为：
对皮带运输机正常运行及故障跑偏时的视频图像进行收集，形成皮带跑偏视频图像的历史数据；
将历史数据作为样本，输入到目标检测网络模型中进行训练，得到基于神经网络的深度卷积神经网络模型作为皮带跑偏的目标检测网络模型。
在一些可选的实施方案中，所述对皮带运输机正常运行及故障跑偏时的视频图像进行收集，形成皮带跑偏视频图像的历史数据，包括：
对皮带正常运行及发生偏移时皮带下方托辊进行定位和标定，确定托辊坐标位置；
对获取到的视频图像中的各图像贴上对应的托辊坐标位置和目标类别标签得到标注好的历史数据，其中，目标类别标签反应皮带是否跑偏；
将标注好的历史数据分为训练集和测试集，训练集用于训练目标检测网络模型，获取网络参数，测试集用于测试验证目标检测网络模型的检测效果。
在一些可选的实施方案中，所述将历史数据作为样本，输入到目标检测网络模型中进行训练，得到基于神经网络的深度卷积神经网络模型作为皮带跑偏的目标检测网络模型，包括：
将训练集作为目标检测网络模型的输入，根据需求修改目标检测网络模型的结构并设置训练参数，经训练获得初始的目标检测网络模型；
将测试集作为初始的目标检测网络模型的输入，通过训练好的目标检测网络模型进行计算验证，判断目标类别标签与托辊坐标位置是否与目标检测网络模型的检测输出结果一致，若一致则表明目标检测网络模型检测的结果与实际结果匹配，并对判断结果进行统计，当托辊的匹配准确度大于设定阈值时，确定当前目标检测网络模型为皮带跑偏的目标检测网络模型，当托辊的匹配准确度小于等于设定阈值时，则当前初始的目标检测网络模型不满足条件，继续执行训练操作，直到测试集得到的托辊的匹配准确度满足条件。
在一些可选的实施方案中，所述对实时采集的皮带运行视频流中的当前帧图像进行处理，实时计算皮带运行过程中的皮带偏移量，包括：
将当前帧图像进行二值化处理获取灰度图，针对灰度图中的目标检测区域选定ROI感兴趣域，在ROI感兴趣域内进行皮带边缘轮廓特征提取，对提取的皮带边缘轮廓进行直线拟合，获取皮带边缘上点的位置信息；
通过现场对皮带场景进行标注，获得实际场景中皮带尺寸与图像像素点比例关系，进而得到皮带边缘的实际位置；
将皮带边缘上点的位置信息与正常运行时皮带边缘的实际位置进行差值比较，计算皮带偏移量。
在一些可选的实施方案中，目标检测网络模型由多个卷积层组成，并采用多个残差的跳层连接，并采用多尺度特征、跨尺度特征融合及上采样的方法，加强对小目标检测的精确度，其中，目标置信度损失和目标类别损失采用二值交叉熵损失，预测对象类别使用logistic回归对预测位置进行目标性评分，判断区域为目标的概率值，输出对皮带下方托辊的检测及托辊位置和类别概率。
按照本发明的另一方面，提供了一种基于视觉识别的料场皮带跑偏检测系统，包括：
皮带跑偏图像获取模块，用于实时采集皮带运行视频流中的当前帧图像，将采集到的皮带运行视频流中的当前帧图像输入到目标检测网络模型中，以皮带下托辊作为检测目标，以确定皮带是否跑偏；
图像处理模块，用于在目标检测网络模型计算获取到的结果为皮带跑偏时，对实时采集的皮带运行视频流中的当前帧图像进行处理，实时计算皮带运行过程中的皮带偏移量；
报警模块，用于输出报警信息，其中，所述报警信息包括皮带发生跑偏和皮带偏移量。
在一些可选的实施方案中，所述系统还包括：目标检测网络模块；
所述图像处理模块，还用于对皮带运输机正常运行及故障跑偏时的视频图像进行收集，形成皮带跑偏视频图像的历史数据；
所述目标检测网络模块，用于将历史数据作为样本，输入到目标检测网络模型中进行训练，得到基于神经网络的深度卷积神经网络模型作为皮带跑偏的目标检测网络模型。
在一些可选的实施方案中，所述图像处理模块，用于对皮带正常运行及发生偏移时皮带下方托辊进行定位和标定，确定托辊坐标位置；对获取到的视频图像中的各图像贴上对应的托辊坐标位置和目标类别标签得到标注好的历史数据，其中，目标类别标签反应皮带是否跑偏；将标注好的历史数据分为训练集和测试集，训练集用于训练目标检测网络模型，获取网络参数，测试集用于测试验证目标检测网络模型的检测效果。
在一些可选的实施方案中，所述目标检测网络模块，用于将训练集作为目标检测网络模型的输入，根据需求修改目标检测网络模型的结构并设置训练参数，经训练获得初始的目标检测网络模型；将测试集作为初始的目标检测网络模型的输入，通过训练好的目标检测网络模型进行计算验证，判断目标类别标签与托辊坐标位置是否与目标检测网络模型的检测输出结果一致，若一致则表明目标检测网络模型检测的结果与实际结果匹配，并对判断结果进行统计，当托辊的匹配准确度大于设定阈值时，确定当前目标检测网络模型为皮带跑偏的目标检测网络模型，当托辊的匹配准确度小于等于设定阈值时，则当前初始的目标检测网络模型不满足条件，继续执行训练操作，直到测试集得到的托辊的匹配准确度满足条件。
在一些可选的实施方案中，所述图像处理模块，用于将当前帧图像进行二值化处理获取灰度图，针对灰度图中的目标检测区域选定ROI感兴趣域，在ROI感兴趣域内进行皮带边缘轮廓特征提取，对提取的皮带边缘轮廓进行直线拟合，获取皮带边缘上点的位置信息；通过现场对皮带场景进行标注，获得实际场景中皮带尺寸与图像像素点比例关系，进而得到皮带边缘的实际位置；将皮带边缘上点的位置信息与正常运行时皮带边缘的实际位置进行差值比较，计算皮带偏移量。
在一些可选的实施方案中，目标检测网络模型由多个卷积层组成，并采用多个残差的跳层连接，并采用多尺度特征、跨尺度特征融合及上采样的方法，加强对小目标检测的精确度，其中，目标置信度损失和目标类别损失采用二值交叉熵损失，预测对象类别使用logistic回归对预测位置进行目标性评分，判断区域为目标的概率值，输出对皮带下方托辊的检测及托辊位置和类别概率。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
实时采集皮带运行视频，获取当前帧图像输入到目标检测网络并进行图像处理；通过将皮带正常运行及跑偏时的图像数据集输入到网络中训练，得到基于神经网络的目标检测网络作为皮带托辊的检测器，对实时采集的皮带运行视频当前帧图像进行目标检测；对当前帧图像检测不到目标托辊报警跑偏时，实时获取画面中皮带边缘位置并计算相较于皮带正常运行时的偏移量；获取目标检测网络对实时皮带运行视频当前帧画面检测结果以及经过图像算法处理后的偏移量，通过报警的方式通知作业人员及时处理。本发明实现了皮带运输状态实时动态检测的自动化与无人化功能，可以提高检测效率并节省人力。
附图说明
图1是本发明实施例提供的一种基于视觉识别的料场皮带跑偏检测方法的流程示意图；
图2是本发明实施例提供的一种基于视觉识别的料场皮带跑偏检测系统的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明通过设计一种基于计算机视觉识别技术的皮带跑偏检测方法及系统，使用有较高识别率的目标检测方法，配合传统图像识别技术对跑偏程度进行反馈，一定程度上节省大量的人力，提高工作效率和检测效率。
实施例一
如图1所示是本发明实施例提供的一种基于视觉识别的料场皮带跑偏检测方法的流程示意图，包括：
实时采集皮带运行视频流中的当前帧图像，将采集到的皮带运行视频流中的当前帧图像输入到目标检测网络模型中，以皮带下托辊作为检测目标，以确定皮带是否跑偏；
在目标检测网络模型计算获取到的结果为皮带跑偏时，对实时采集的皮带运行视频流中的当前帧图像进行处理，实时计算皮带运行过程中的皮带偏移量；
输出报警信息，其中，所述报警信息包括皮带发生跑偏和皮带偏移量。
在本实施例中，目标检测网络模型的训练方式为：
对皮带运输机正常运行及故障跑偏时的视频图像进行收集，形成皮带跑偏视频图像的历史数据；
将历史数据作为样本，输入到目标检测网络模型中进行训练，得到基于神经网络的深度卷积神经网络模型作为皮带跑偏的目标检测网络模型。
在本实施例中，对皮带运输机正常运行及故障跑偏时的视频图像进行收集，形成皮带跑偏视频图像的历史数据，包括：
对皮带正常运行及发生偏移时皮带下方托辊进行定位和标定，确定托辊坐标位置；
对获取到的视频图像中的各图像贴上对应的托辊坐标位置和目标类别标签得到标注好的历史数据，其中，目标类别反应皮带是否跑偏；
将标注好的历史数据分为训练集和测试集，训练集用于训练目标检测网络模型，获取网络参数，测试集用于测试验证目标检测网络模型的检测效果。
在本实施例中，将历史数据作为样本，输入到目标检测网络模型中进行训练，得到基于神经网络的深度卷积神经网络模型作为皮带跑偏的目标检测网络模型，包括：
将训练集作为目标检测网络模型的输入，根据需求修改目标检测网络模型的结构并设置训练参数，经训练获得初始的目标检测网络模型；
将测试集作为初始的目标检测网络模型的输入，通过训练好的目标检测网络模型进行计算验证，判断目标类别标签与托辊坐标位置是否与目标检测网络模型的检测输出结果一致，若一致则表明目标检测网络模型检测的结果与实际结果匹配，并对判断结果进行统计，当托辊的匹配准确度大于设定阈值时，确定当前目标检测网络模型为皮带跑偏的目标检测网络模型，当托辊的匹配准确度小于等于设定阈值时，则当前初始的目标检测网络模型不满足条件，继续执行训练操作，直到测试集得到的托辊的匹配准确度满足条件。
在本实施例中，对实时采集的皮带运行视频流中的当前帧图像进行处理，实时计算皮带运行过程中的皮带偏移量，包括：
将当前帧图像进行二值化处理获取灰度图，针对灰度图中的目标检测区域选定ROI感兴趣域，在ROI感兴趣域内进行皮带边缘轮廓特征提取，对提取的皮带边缘轮廓进行直线拟合，获取皮带边缘上点的位置信息；
通过现场对皮带场景进行标注，获得实际场景中皮带尺寸与图像像素点比例关系，进而得到皮带边缘的实际位置；
将皮带边缘上点的位置信息与正常运行时皮带边缘的实际位置进行差值比较，计算皮带偏移量。
在本实施例中，目标检测网络模型由多个卷积层组成，并采用多个残差的跳层连接，并采用多尺度特征、跨尺度特征融合及上采样的方法，加强对小目标检测的精确度，其中，目标置信度损失和目标类别损失采用二值交叉熵损失，预测对象类别使用logistic回归对预测位置进行目标性评分，判断区域为目标的概率值，输出对皮带下方托辊的检测及托辊位置和类别概率。
实施例二
本实施例公开了一种基于视觉识别的料场皮带跑偏检测系统，如图2所示，包括：皮带跑偏图像获取模块、目标检测网络模块、图像处理模块及报警模块；其中：
皮带跑偏图像获取模块，用于对皮带运输机正常运行及故障跑偏时的视频图像进行收集，形成皮带跑偏视频图像的历史数据；还用于实时采集皮带运行视频流中的当前帧图像，将实时采集到的皮带运行视频流中的当前帧图像输入到目标检测网络模型中进行计算；
在本实施例中，皮带跑偏图像获取模块可以为摄像头，位置定位于皮带正上方，皮带跑偏图像获取模块对皮带运行图像进行收集，形成历史数据集的具体方法为：皮带跑偏图像获取模块对皮带正常运行及发生偏移时皮带下方托辊进行定位和标定；对获取到的数据集中的各图像贴上该图像对应的托辊坐标位置信息的标签和目标类别标签，将标注好的数据集分为两类，一类为训练集，用于训练目标检测网络模型，获取网络参数；另一类为测试集，用于测试验证目标检测网络模型的检测效果。
目标检测网络模块，通过将皮带正常运行及故障跑偏时的图像数据作为样本，输入到目标检测网络模型中进行训练，得到基于神经网络的深度卷积神经网络模型作为皮带跑偏的检测器，对实时采集的皮带运行视频中的当前帧图像进行检测，以皮带下托辊作为检测目标，当皮带发生偏移时，会对其中一边托辊进行覆盖，对侧托辊则会大面积裸露，根据检测结果达到对皮带是否发生跑偏进行实时监测的目的；
在本实施例中，目标检测网络模型的训练方法包括：将图像数据集中的训练集部分作为目标检测网络模型的输入，根据需求修改目标检测网络模型结构并设置训练参数，经训练获得初始的目标检测网络模型；将图像数据集中的测试集作为初始的目标检测网络模型的输入，通过训练好的目标检测模型网络进行计算验证，判断标签与位置信息是否与检测输出结果一致并对结果进行统计，当托辊的匹配准确度大于设定阈值时，即确定当前目标检测网络模型为皮带跑偏的目标检测网络模型。目标检测网络模型的训练方法还包括：当匹配准确度小于等于设定阈值时，则当前初始目标检测网络模型不满足条件，还需继续执行上述训练步骤，直到测试集匹配程度满足要求。
在本实施例中，目标检测网络模型由多个卷积层组成，并大量采用残差的跳层连接，具体的，目标检测网络模型中包含53个卷积层，输入图像尺寸为256*256*3，以步长为2的卷积来进行降采样，并采用多尺度特征、跨尺度特征融合及上采样的方法，加强对小目标检测的精确度。
在本实施例中，目标置信度损失和目标类别损失采用二值交叉熵损失(BinaryCross Entropy)，预测对象类别使用logistic回归对预测位置进行目标性评分，判断该区域为目标的概率值，完成对皮带下方托辊的检测及位置和概率输出。
图像处理模块，通过对实时采集的皮带运行视频中的当前帧图像进行处理，实时计算皮带运行过程中的偏移量；
在本实施例中，图像处理模块针对实时获取到的皮带运行视频中的当前帧图像进行处理，处理方法包括：将当前帧图像进行二值化处理获取灰度图，针对目标检测区域选定ROI感兴趣域，在该感兴趣域内进行皮带边缘轮廓特征提取，对提取的皮带边缘轮廓进行直线拟合，获取皮带边缘上点的位置信息。
在本实施例中，通过现场对目标皮带场景进行标注，获得实际场景中目标尺寸与皮带跑偏图像获取模块中图像像素点比例关系，通过数学计算，返回皮带边缘的实际位置，当经过目标检测网络模型计算获取到的结果为跑偏时，将实时的皮带边缘位置与正常运行时的位置进行差值比较，计算偏移量。
报警模块，获取目标检测网络模型对实时采集的皮带运行视频的当前帧图像处理结果以及图像处理模块输出的皮带偏移量，若该帧图像经处理后的检测结果为皮带跑偏，实时通过报警模块通知给相关负责人并提供跑偏程度上的数值分析，保证相关人员能够及时处理。
在本实施例中，报警模块可以为蜂鸣器，当目标检测网络模型检测到实时采集皮带运行视频中的当前帧图像为跑偏时，输出皮带偏移量，并通过蜂鸣器实时报警，通知相关负责人进行跑偏程度确认，并及时处理。
需要指出，根据实施的需要，可将本申请中描述的各个步骤/部件拆分为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件，以实现本发明的目的。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于视觉识别的料场皮带跑偏检测方法，其特征在于，包括：
实时采集皮带运行视频流中的当前帧图像，将采集到的皮带运行视频流中的当前帧图像输入到目标检测网络模型中，以皮带下托辊作为检测目标，以确定皮带是否跑偏；
在目标检测网络模型计算获取到的结果为皮带跑偏时，对实时采集的皮带运行视频流中的当前帧图像进行处理，实时计算皮带运行过程中的皮带偏移量；
输出报警信息，其中，所述报警信息包括皮带发生跑偏和皮带偏移量。
2.根据权利要求1所述的方法，其特征在于，所述目标检测网络模型的训练方式为：
对皮带运输机正常运行及故障跑偏时的视频图像进行收集，形成皮带跑偏视频图像的历史数据；
将历史数据作为样本，输入到目标检测网络模型中进行训练，得到基于神经网络的深度卷积神经网络模型作为皮带跑偏的目标检测网络模型。
3.根据权利要求2所述的方法，其特征在于，所述对皮带运输机正常运行及故障跑偏时的视频图像进行收集，形成皮带跑偏视频图像的历史数据，包括：
对皮带正常运行及发生偏移时皮带下方托辊进行定位和标定，确定托辊坐标位置；
对获取到的视频图像中的各图像贴上对应的托辊坐标位置和目标类别标签得到标注好的历史数据，其中，目标类别标签反应皮带是否跑偏；
将标注好的历史数据分为训练集和测试集，训练集用于训练目标检测网络模型，获取网络参数，测试集用于测试验证目标检测网络模型的检测效果。
4.根据权利要求3所述的方法，其特征在于，所述将历史数据作为样本，输入到目标检测网络模型中进行训练，得到基于神经网络的深度卷积神经网络模型作为皮带跑偏的目标检测网络模型，包括：
将训练集作为目标检测网络模型的输入，根据需求修改目标检测网络模型的结构并设置训练参数，经训练获得初始的目标检测网络模型；
将测试集作为初始的目标检测网络模型的输入，通过训练好的目标检测网络模型进行计算验证，判断目标类别标签与托辊坐标位置是否与目标检测网络模型的检测输出结果一致，若一致则表明目标检测网络模型检测的结果与实际结果匹配，并对判断结果进行统计，当托辊的匹配准确度大于设定阈值时，确定当前目标检测网络模型为皮带跑偏的目标检测网络模型，当托辊的匹配准确度小于等于设定阈值时，则当前初始的目标检测网络模型不满足条件，继续执行训练操作，直到测试集得到的托辊的匹配准确度满足条件。
5.根据权利要求1至4任意一项所述的方法，其特征在于，所述对实时采集的皮带运行视频流中的当前帧图像进行处理，实时计算皮带运行过程中的皮带偏移量，包括：
将当前帧图像进行二值化处理获取灰度图，针对灰度图中的目标检测区域选定ROI感兴趣域，在ROI感兴趣域内进行皮带边缘轮廓特征提取，对提取的皮带边缘轮廓进行直线拟合，获取皮带边缘上点的位置信息；
通过现场对皮带场景进行标注，获得实际场景中皮带尺寸与图像像素点比例关系，进而得到皮带边缘的实际位置；
将皮带边缘上点的位置信息与正常运行时皮带边缘的实际位置进行差值比较，计算皮带偏移量。
6.根据权利要求5所述的方法，其特征在于，目标检测网络模型由多个卷积层组成，并采用多个残差的跳层连接，并采用多尺度特征、跨尺度特征融合及上采样的方法，加强对小目标检测的精确度，其中，目标置信度损失和目标类别损失采用二值交叉熵损失，预测对象类别使用logistic回归对预测位置进行目标性评分，判断区域为目标的概率值，输出对皮带下方托辊的检测及托辊位置和类别概率。
7.一种基于视觉识别的料场皮带跑偏检测系统，其特征在于，包括：
皮带跑偏图像获取模块，用于实时采集皮带运行视频流中的当前帧图像，将采集到的皮带运行视频流中的当前帧图像输入到目标检测网络模型中，以皮带下托辊作为检测目标，以确定皮带是否跑偏；
图像处理模块，用于在目标检测网络模型计算获取到的结果为皮带跑偏时，对实时采集的皮带运行视频流中的当前帧图像进行处理，实时计算皮带运行过程中的皮带偏移量；
报警模块，用于输出报警信息，其中，所述报警信息包括皮带发生跑偏和皮带偏移量。
8.根据权利要求7所述的系统，其特征在于，所述系统还包括：目标检测网络模块；
所述图像处理模块，还用于对皮带运输机正常运行及故障跑偏时的视频图像进行收集，形成皮带跑偏视频图像的历史数据；
所述目标检测网络模块，用于将历史数据作为样本，输入到目标检测网络模型中进行训练，得到基于神经网络的深度卷积神经网络模型作为皮带跑偏的目标检测网络模型。
9.根据权利要求8所述的系统，其特征在于，所述图像处理模块，用于对皮带正常运行及发生偏移时皮带下方托辊进行定位和标定，确定托辊坐标位置；对获取到的视频图像中的各图像贴上对应的托辊坐标位置和目标类别标签得到标注好的历史数据，其中，目标类别标签反应皮带是否跑偏；将标注好的历史数据分为训练集和测试集，训练集用于训练目标检测网络模型，获取网络参数，测试集用于测试验证目标检测网络模型的检测效果。
10.根据权利要求9所述的系统，其特征在于，所述目标检测网络模块，用于将训练集作为目标检测网络模型的输入，根据需求修改目标检测网络模型的结构并设置训练参数，经训练获得初始的目标检测网络模型；将测试集作为初始的目标检测网络模型的输入，通过训练好的目标检测网络模型进行计算验证，判断目标类别标签与托辊坐标位置是否与目标检测网络模型的检测输出结果一致，若一致则表明目标检测网络模型检测的结果与实际结果匹配，并对判断结果进行统计，当托辊的匹配准确度大于设定阈值时，确定当前目标检测网络模型为皮带跑偏的目标检测网络模型，当托辊的匹配准确度小于等于设定阈值时，则当前初始的目标检测网络模型不满足条件，继续执行训练操作，直到测试集得到的托辊的匹配准确度满足条件。
CN202211026710.2A 2022-08-25 2022-08-25 一种基于视觉识别的料场皮带跑偏检测方法及系统 Pending CN115456963A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211026710.2A CN115456963A (zh) 2022-08-25 2022-08-25 一种基于视觉识别的料场皮带跑偏检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211026710.2A CN115456963A (zh) 2022-08-25 2022-08-25 一种基于视觉识别的料场皮带跑偏检测方法及系统

Publications (1)

Publication Number Publication Date
CN115456963A true CN115456963A (zh) 2022-12-09

Family

ID=84298105

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211026710.2A Pending CN115456963A (zh) 2022-08-25 2022-08-25 一种基于视觉识别的料场皮带跑偏检测方法及系统

Country Status (1)

Country Link
CN (1) CN115456963A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116573366A (zh) * 2023-07-07 2023-08-11 江西小马机器人有限公司 基于视觉的皮带跑偏检测方法、系统、设备及存储介质
CN117830416A (zh) * 2024-03-05 2024-04-05 山西戴德测控技术股份有限公司 输送带异常位置定位方法、装置、设备及介质
CN118334475A (zh) * 2024-06-17 2024-07-12 山东仙河药业有限公司 带式输送机异常检测方法、系统及模型训练方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116573366A (zh) * 2023-07-07 2023-08-11 江西小马机器人有限公司 基于视觉的皮带跑偏检测方法、系统、设备及存储介质
CN116573366B (zh) * 2023-07-07 2023-11-21 江西小马机器人有限公司 基于视觉的皮带跑偏检测方法、系统、设备及存储介质
CN117830416A (zh) * 2024-03-05 2024-04-05 山西戴德测控技术股份有限公司 输送带异常位置定位方法、装置、设备及介质
CN117830416B (zh) * 2024-03-05 2024-05-17 山西戴德测控技术股份有限公司 输送带异常位置定位方法、装置、设备及介质
CN118334475A (zh) * 2024-06-17 2024-07-12 山东仙河药业有限公司 带式输送机异常检测方法、系统及模型训练方法

Similar Documents

Publication Publication Date Title
CN115456963A (zh) 一种基于视觉识别的料场皮带跑偏检测方法及系统
CN111144262B (zh) 一种基于监控视频的工序异常检测方法
CN104535356B (zh) 一种基于机器视觉的卷筒钢丝绳排绳故障监测方法及系统
CN108257114A (zh) 一种基于深度学习的输电设备缺陷自动识别方法
CN108107051A (zh) 基于机器视觉的锂电池缺陷检测系统及方法
CN107273802B (zh) 一种铁路列车闸瓦钎环故障的检测方法及装置
CN117557570B (zh) 一种轨道车辆异常检测方法及系统
CN111591715A (zh) 一种皮带纵向撕裂检测方法及装置
CN111881970A (zh) 一种基于深度学习的外破图像智能识别方法
CN115684174A (zh) 一种农产品运输传送带安全运行监测方法
CN115144399B (zh) 一种基于机器视觉的装配质量检测方法及装置
CN113192037A (zh) 一种皮带机监测方法、系统、介质及电子终端
Liu et al. An approach for auto bridge inspection based on climbing robot
CN117723739B (zh) 一种低碳润滑油的质量分析方法及系统
Hashmi et al. Computer-vision based visual inspection and crack detection of railroad tracks
CN117094609B (zh) 一种基于机器视觉的铝型材生产质量智能管理系统
CN117333727A (zh) 一种基于可视化图像处理技术的输送带磨损区域识别分析系统
CN112613476A (zh) 一种基于机器视觉自动检测工人不安全行为的方法
CN115096375B (zh) 基于托辊搬运小车检测的托辊运行状态监测方法和装置
CN116911328A (zh) 一种智能物料识别定位系统及其使用方法
CN116415864A (zh) 基于人工智能的智慧型物流快检机
CN116468373A (zh) 一种基于物联网的电厂设备仓储管理系统
CN115830403A (zh) 一种基于深度学习的自动缺陷分类系统及方法
TW202326114A (zh) 長碼拉鏈的缺陷或瑕疵檢測系統
CN114212483A (zh) 一种基于cv算法的刮板输送机部件故障识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination