CN114419048B - 基于图像处理的输送机在线检测方法及系统 - Google Patents

基于图像处理的输送机在线检测方法及系统 Download PDF

Info

Publication number
CN114419048B
CN114419048B CN202210327689.3A CN202210327689A CN114419048B CN 114419048 B CN114419048 B CN 114419048B CN 202210327689 A CN202210327689 A CN 202210327689A CN 114419048 B CN114419048 B CN 114419048B
Authority
CN
China
Prior art keywords
defect
degree
tearing
conveyor belt
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210327689.3A
Other languages
English (en)
Other versions
CN114419048A (zh
Inventor
郑银龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Hongwo Intelligent Technology Co.,Ltd.
Original Assignee
Qidong Yidatong Automation Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qidong Yidatong Automation Equipment Co ltd filed Critical Qidong Yidatong Automation Equipment Co ltd
Priority to CN202210327689.3A priority Critical patent/CN114419048B/zh
Publication of CN114419048A publication Critical patent/CN114419048A/zh
Application granted granted Critical
Publication of CN114419048B publication Critical patent/CN114419048B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明涉及图像处理技术领域，具体涉及基于图像处理的输送机在线检测方法及系统。包括：在输送机固定区域采集传送带图像并拼接为全局图像；获取全局图像的缺陷区域；根据缺陷区域的形状将其分为撕裂缺陷和磨损缺陷；获取撕裂缺陷的撕裂连通域及其包围框，进而获取撕裂连通域的多重分形谱，利用多重分形谱的变化参数计算撕裂连通域内残留矿物的细粒度，根据细粒度和包围框的大小得到撕裂缺陷的撕裂程度；评估磨损缺陷的磨损程度；并修正磨损程度，得到准确磨损程度；根据准确磨损程度和撕裂程度获取传送带实时的缺陷程度，并预测传送带的未来缺陷程度。本发明实施例能够通过矿物残留对检测结果进行验证，使缺陷结果更准确。

Description

基于图像处理的输送机在线检测方法及系统
技术领域
本发明涉及图像处理技术领域，具体涉及基于图像处理的输送机在线检测方法及系统。
背景技术
带式输送机是运输散状物料的主要设备，当传送工作场景单一的情况下，如运输快递、钢块等，输送机的传送带表面特征明显，很容易获取传送带表面缺陷程度；当场景复杂的情况下，如矿山开采、煤矿开采等情况下，输送机的传送带自身的表面特征并不能完全获取，分析传送带表面缺陷存在困难，而在这些工业领域内，输送机的传送带发生损毁时，会造成巨大的经济损失和安全事故。
目前对传送带的检测仅仅是通过工作人员进行人为检测或通过简单的图像二值化和连通域分析灰度变化进行缺陷评估。不能在复杂工况下获得准确的缺陷检测结果。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种基于图像处理的输送机在线检测方法及系统，所采用的技术方案具体如下：
第一方面，本发明一个实施例提供了一种基于图像处理的输送机在线检测方法，该方法包括以下步骤：
在输送机固定区域采集传送带图像，通过图像拼接获取传送带的全局图像；
对所述全局图像进行灰度化，通过对灰度值的密度聚类获取缺陷区域；根据所述缺陷区域的形状将所述缺陷区域分为撕裂缺陷和磨损缺陷；
获取所述撕裂缺陷的撕裂连通域及其包围框，进而获取所述撕裂连通域的多重分形谱，利用所述多重分形谱的变化参数计算所述撕裂连通域内残留矿物的细粒度，根据所述细粒度和所述包围框的大小得到所述撕裂缺陷的撕裂程度；
根据所述磨损缺陷的磨损面积以及磨损缺陷区域的灰度透明度评估所述磨损缺陷的磨损程度；通过所述磨损缺陷区域实时的矿物变化量以及矿物滑动速度修正所述磨损程度，得到准确磨损程度；
根据所述准确磨损程度和所述撕裂程度获取所述传送带实时的缺陷程度，并利用所述准确磨损程度、所述撕裂程度以及所述缺陷程度预测所述传送带的未来缺陷程度；
所述缺陷程度的获取过程为：
将所有所述磨损缺陷对应的所述准确磨损程度和所有所述撕裂缺陷的撕裂程度加权求和得到所述传送带的所述缺陷程度；
所述未来缺陷程度的预测过程为：
利用所述准确磨损程度、所述撕裂程度以及所述缺陷程度训练预测网络，将实时获取的所述准确磨损程度和所述撕裂程度输入训练完成的预测网络中，输出的预测结果为所述未来缺陷程度。
优选的，在所述全局图像的获取之前，还包括以下步骤：
多次采集所述传送带图像，将所述传送带图像进行去噪处理，然后提高去噪图像的对比度，对处理后的图像进行模糊分析，选取模糊最小的图像作为进行拼接的图像。
优选的，所述缺陷区域的获取步骤包括：
获取所述全局图像的灰度图像，将所述灰度图像中所有像素点进行密度聚类，得到多个聚类类别，将每个聚类类别中的像素点构成一个连通域，获取多个连通域；
在所述灰度图像中选取至少两个所述连通域所在的像素行，根据该像素行的灰度值绘制灰度曲线，以所述灰度曲线中灰度值突变的像素点所在的连通域作为所述缺陷区域。
优选的，所述根据所述缺陷区域的形状将所述缺陷区域区分为撕裂缺陷和磨损缺陷之后，还包括以下步骤：
当所述传送带表面带有条形纹时，获取所述条形纹的方向，根据所述撕裂缺陷的延展方向与所述条形纹的方向的夹角，以及所述撕裂缺陷与最近的条形纹之间的距离判断所述撕裂缺陷是否为所述条形纹。
优选的，所述撕裂程度的获取过程为：
根据所述包围框的面积与所述细粒度计算当前撕裂缺陷对所述传送带的影响程度；利用所述影响程度与所述包围框的尺寸大小获取所述撕裂程度。
优选的，所述准确磨损程度的获取步骤包括：
通过矿物堆积的面积以及所述传送带图像采集时的深度信息计算当前时刻的矿物堆积量，以相邻时刻的矿物堆积量的差值作为所述矿物变化量；
获取磨损缺陷区域的矿物速度，根据所述矿物速度和所述传送带的速度获取速度修正系数；
以所述矿物变化量和所述速度修正系数对所述磨损程度进行修正，得到所述准确磨损程度。
优选的，所述速度修正系数的获取过程为：
当所述矿物速度与所述传送带的速度方向不一致时，以所述矿物速度和所述传送带的速度之和的模长作为所述速度修正系数；当所述矿物速度与所述传送带的速度方向一致时，以两个速度大小的差值作为所述速度修正系数。
第二方面，本发明另一个实施例提供了一种基于图像处理的输送机在线检测系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于图像处理的输送机在线检测方法的步骤。
本发明实施例至少具有如下有益效果：
通过对灰度图像的像素点进行聚类获取缺陷区域，并判断缺陷区域是撕裂缺陷还是磨损缺陷，聚类速度更快，能够有效的排除噪声区域和综合漏检区域。然后对撕裂缺陷进行多重分形谱分析表面纹理得到撕裂程度；利用磨损缺陷表面灰度值计算其透明度获取磨损程度；根据撕裂成都和磨损程度计算缺陷程度，并利用时间卷积网络预测传送带未来的缺陷程度，得到使用年限。通过矿物残留对检测结果进行验证保证缺陷获取更加准确。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例提供的基于图像处理的输送机在线检测方法的步骤流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的基于图像处理的输送机在线检测方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的基于图像处理的输送机在线检测方法及系统的具体方案。
请参阅图1，其示出了本发明一个实施例提供的基于图像处理的输送机在线检测方法的步骤流程图，该方法包括以下步骤：
步骤S001，在输送机固定区域采集传送带图像，通过图像拼接获取传送带的全局图像。
具体的步骤包括：
1.在自主矿机传送带上方设置相机，通过相机多次采集传送带固定区域的RGB-D图像。
为了避免对传送带区域重复采样，根据相机视角下的传送带长度
Figure DEST_PATH_IMAGE002
和匀速运动的传送带的传输速度
Figure DEST_PATH_IMAGE004
，计算传送带走过视角区域所用的时间间隔
Figure DEST_PATH_IMAGE006
。将相机采样间隔调整为
Figure DEST_PATH_IMAGE008
。对每帧图像依次进行编号，直到所有传送带图像采集完毕，再进行二次采样，重复三次，避免因某次采样时传送带抖动造成图像模糊，影响检测结果的准确率。在重复三次采样的图像中，同区域的图像的编号为同一个。
2.将传送带图像进行去噪处理，然后提高去噪图像的对比度，对处理后的图像进行模糊分析，选取模糊最小的图像作为进行拼接的图像。
对采集到的图像进行中值滤波去噪，去除图像中存在的亮暗噪声点，保留图像中完整的细节，避免亮暗点噪声的影响。然后对图像进行直方图均衡化，提高图像的对比度，避免去噪图像因光照不均而产生的分割区域过大过多的现象。然后对同编号的图像利用灰度方差算法获取图像模糊程度，对图像进行模糊分析，选取模糊最小的图像作为当前编号的分析图像。将选取的各分析图像进行拼接，得到传送带的全局图像。
步骤S002，对全局图像进行灰度化，通过对灰度值的密度聚类获取缺陷区域；根据缺陷区域的形状将缺陷区域区分为撕裂缺陷和磨损缺陷。
具体的步骤包括：
1.获取全局图像的灰度图像，将灰度图像中所有像素点进行密度聚类，得到多个聚类类别，将每个聚类类别中的像素点构成一个连通域，获取多个连通域。
将全局图像进行灰度化处理，灰度化处理采用三通道均值来计算，得到灰度图像Gray，减少图像检测的计算复杂度。
选取灰度图像的几何中心点作为初始聚类中心点，以1个像素点的长度为半径进行聚类，比较相邻的灰度差异是否满足
Figure DEST_PATH_IMAGE010
，当满足条件时聚为一类，当聚类像素点的8邻域方向上，至少有一个方向上有满足条件的以满足条件的点作为新的聚类中心继续聚类，已经判断的方向不再重复判断；当不满足条件时，进行初始中心点更新，更新的中心点选取距离初始中心点最近的未聚类的传送带纵向中心位置的像素点。
判断是否满足
Figure 409405DEST_PATH_IMAGE010
时，通过四舍五入的结果判断，即，当
Figure DEST_PATH_IMAGE012
时，满足条件。
然后继续通过新的聚类中心点进行聚类，聚类半径不变，判断条件不变。不满足条件时，进行聚类中心点的更新，一直迭代更新聚类中心点，直到所有像素点聚类完成。
将聚类完成的同类像素点构成一个连通域，对所有连通域进行筛选，将孤立像素点与相邻灰度差异最小的连通区域进行合并，最终得到若干个不同灰度的区域。
2.在灰度图像中选取至少两个连通域所在的像素行，根据该像素行的灰度值绘制灰度曲线，以灰度曲线中灰度值突变的像素点所在的连通域作为缺陷区域。
以各连通域的灰度均值作为对应连通域的灰度值，根据聚类后的所有连通域的位置坐标信息统计所有聚类区域所分布的像素行数，在图像中选取至少两个聚类区域所在的像素行，以从左到右的顺序，曲线的横坐标为像素点，纵坐标为像素点的灰度值，构建灰度曲线。选取曲线中类似于屋顶的区域均值点，作为缺陷区域，得到传送带的所有缺陷区域。
3.对缺陷区域的形状进行识别，当区域近似于条状时，可能为撕裂缺陷，当区域近似于块状时，可能为磨损缺陷。
优选的，当传送带表面带有条形纹时，获取条形纹的方向，根据撕裂缺陷的延展方向与条形纹的方向的夹角，以及撕裂缺陷与最近的条形纹之间的距离判断撕裂缺陷是否为条形纹。
当传送带表面带有条形纹时，撕裂缺陷检测可能受到条形纹的影响，造成误检测。构建撕裂缺陷区域位置评估模型：
Figure DEST_PATH_IMAGE014
，其中，
Figure DEST_PATH_IMAGE016
为撕裂缺陷与最近的条形纹之间的欧式距离，
Figure DEST_PATH_IMAGE018
表示撕裂缺陷的几何中心点的坐标，
Figure DEST_PATH_IMAGE020
表示与其距离最近的条形纹几何中心点坐标，条形纹位置固定，通过先验获取坐标参数；
Figure DEST_PATH_IMAGE022
表示撕裂区域和条形纹区域的主成分方向向量之间夹角的正弦值，夹角正弦值和欧式距离越大，说明当前缺陷越有可能属于撕裂缺陷。
设定位置评估阈值
Figure DEST_PATH_IMAGE024
，当
Figure DEST_PATH_IMAGE026
时，确定为撕裂缺陷。
作为一个示例，本发明实施例中位置评估阈值
Figure 14961DEST_PATH_IMAGE024
的取值为0.6。
主成分方向向量的获取方法为：通过撕裂缺陷的像素点的灰度分布进行主成分分析，选取Top1的主成分方向作为撕裂缺陷方向向量，主成分方向就是撕裂缺陷的延展方向，通过延展方向与条形纹方向计算方向向量夹角
Figure DEST_PATH_IMAGE028
的正弦值。
判断当前的撕裂缺陷是否为条形纹，能够排除条形纹造成的矿物残留误识别为撕裂缺陷的情况，考虑了纹理的细节方向和动态特征，使评估方法泛化能力更好。
步骤S003，获取撕裂缺陷的撕裂连通域及其包围框，进而获取撕裂连通域的多重分形谱，利用多重分形谱的变化参数计算撕裂连通域内残留矿物的细粒度，根据细粒度和包围框的大小得到撕裂缺陷的撕裂程度。
具体的步骤包括：
1.获取撕裂缺陷的撕裂连通域及其包围框。
通过上述的边缘检测算法获取撕裂区域的外部边缘轮廓，利用边缘轮廓拟合得到撕裂区域的连通域。通过撕裂区域的连通域的最外侧边界点的位置坐标，得到撕裂区域的包围框，包围框的长
Figure DEST_PATH_IMAGE030
通过左右最外侧边界点的欧式距离获得，宽
Figure DEST_PATH_IMAGE032
通过上下最外侧边界点的欧氏距离获得。然后，通过先验知识获取矿物的灰度特征，
Figure DEST_PATH_IMAGE034
，通过灰度阈值分割，即阈值
Figure DEST_PATH_IMAGE036
，获取撕裂区域的连通域内矿物间的边缘分布，作为撕裂连通域。
2.获取撕裂连通域的细粒度。
获取灰度阈值分割后的撕裂连通域图像的多重分形谱，通过多重分形谱的变化参数实现撕裂连通域内矿物表面的纹理分析，多重分形谱常用的参数有：分形谱宽度
Figure DEST_PATH_IMAGE038
，和子集的分形维数差值
Figure DEST_PATH_IMAGE040
。其中，
Figure DEST_PATH_IMAGE042
表示奇异强度，表征撕裂区域内矿物分布纹理的波动性和不均匀程度；
Figure DEST_PATH_IMAGE044
表征撕裂区域内矿物表面的尖锐程度，两个参数能够反映撕裂区域的整体空隙率和粗糙程度。多重分形谱仅利用其参数进行表征。通过上述的多重分形谱的两个参数
Figure DEST_PATH_IMAGE046
和
Figure DEST_PATH_IMAGE048
，构建撕裂区域内矿物残留物的细粒度评估模型
Figure DEST_PATH_IMAGE050
。
3.根据包围框的面积与细粒度计算当前撕裂缺陷对传送带的影响程度；利用影响程度与包围框的尺寸大小获取撕裂程度。
进一步的，通过矿物残留物的大小表征撕裂程度，当撕裂区域内矿物残留物的细粒度
Figure DEST_PATH_IMAGE052
较大，对撕裂区域的撕裂影响程度较小，相反，当撕裂区域内矿物残留物的细粒度
Figure 672994DEST_PATH_IMAGE052
较小，对撕裂区域的撕裂影响程度越大。根据矿物的细粒度和撕裂连通域之间的形状特征，得到撕裂缺陷对传送带的影响程度
Figure DEST_PATH_IMAGE054
。
通过矿物残留量
Figure DEST_PATH_IMAGE056
、残留矿物的形态和残留矿物的位置坐标对撕裂缺陷进行评估，最终得到撕裂程度
Figure DEST_PATH_IMAGE058
。其中，
Figure DEST_PATH_IMAGE060
，表示包围框较长的一边。
步骤S004，根据磨损缺陷的磨损面积以及磨损缺陷区域的灰度透明度评估磨损缺陷的磨损程度；通过磨损缺陷区域实时的矿物变化量以及矿物滑动速度修正磨损程度，得到准确磨损程度。
具体的步骤包括：
1.根据磨损缺陷的磨损面积以及磨损缺陷区域的灰度透明度评估磨损缺陷的磨损程度。
通过对缺陷区域的像素点数量求和得到缺陷区域的面积
Figure DEST_PATH_IMAGE062
，然后根据聚类得到的不同缺陷块的灰度均值
Figure DEST_PATH_IMAGE064
，m表示缺陷区域的像素点总数量，得到该区域的灰度透明度
Figure DEST_PATH_IMAGE066
。根据缺陷区域的面积和灰度透明度来评估缺陷区域的磨损程度
Figure DEST_PATH_IMAGE068
。
2.通过磨损缺陷区域实时的矿物变化量以及矿物滑动速度修正磨损程度，得到准确磨损程度。
2.1通过矿物堆积的面积以及传送带图像采集时的深度信息计算当前时刻的矿物堆积量，以相邻时刻的矿物堆积量的差值作为矿物变化量。
在传送带运动的过程中，使用相机对拍摄区域进行视频监控，对传送带的磨损区域的初始位置坐标在传送带拼接的全图上进行标记，根据视频的动态特征与全图上的图像特征进行匹配，保证当前检测的磨损区域上的矿物堆积量能够在动态视频中能够连续对比矿物堆积变化量差异。
统计上述识别的磨损区域上运输的矿物的滑动状态，并获取时序状态下的磨损区域的矿物变化量
Figure DEST_PATH_IMAGE070
，其中
Figure DEST_PATH_IMAGE072
表示第j个磨损区域当前时刻的矿物堆积量，
Figure DEST_PATH_IMAGE074
表示第j个磨损区域上一时刻的矿物堆积量。
矿物堆积量
Figure DEST_PATH_IMAGE076
的获取方法为：通过图像获取当前矿物堆积区域预设时间段内的深度信息序列
Figure DEST_PATH_IMAGE078
，根据传送带纵向方向上，深度信息的变化，得到矿物在该区域的堆积深度平面。进一步的，根据磨损区域的面积和堆积深度估计当前区域的矿物堆积量
Figure DEST_PATH_IMAGE080
。
2.2获取磨损缺陷区域的矿物速度，根据矿物速度和传送带的速度获取速度修正系数。
相机设置在传送带高处，传送带静止检测结束后，在下一次传送带工作的过程中，进行动态特征分析。传送带越向高处传送，需要保持稳定不动的摩擦力越大，当磨损程度过大时，因传送带表面光滑，造成矿物滑动。
通过稀疏光流法来实现对矿物的滑动检测，通过光流信息得到矿物的光流速度
Figure DEST_PATH_IMAGE082
和光流方向
Figure DEST_PATH_IMAGE084
。
当矿物速度与传送带的速度方向不一致时，以矿物速度和传送带的速度之和的模长作为速度修正系数；当矿物速度与传送带的速度方向一致时，以两个速度大小的差值作为速度修正系数。
通过判断光流方向
Figure DEST_PATH_IMAGE086
和传送带运动方向
Figure DEST_PATH_IMAGE088
是否一致，不一致直接判断为滑动，修正参数
Figure DEST_PATH_IMAGE090
；一致的情况下计算光流速度
Figure DEST_PATH_IMAGE092
与实际传送带速度
Figure 396816DEST_PATH_IMAGE004
大小的差值
Figure DEST_PATH_IMAGE094
作为磨损程度的修正参数
Figure DEST_PATH_IMAGE096
。
2.3以矿物变化量和速度修正系数对磨损程度进行修正，得到准确磨损程度
Figure DEST_PATH_IMAGE098
。
Figure DEST_PATH_IMAGE100
其中，
Figure DEST_PATH_IMAGE102
和
Figure DEST_PATH_IMAGE104
都作为修正系数对磨损程度进行修正，均需要归一化。
步骤S005，根据准确磨损程度和撕裂程度获取传送带实时的缺陷程度，并利用准确磨损程度、撕裂程度以及缺陷程度预测传送带的未来缺陷程度。
具体的步骤包括：
1.将所有磨损缺陷对应的准确磨损程度和所有撕裂缺陷的撕裂程度加权求和得到传送带的缺陷程度
Figure DEST_PATH_IMAGE106
。
Figure DEST_PATH_IMAGE108
其中，
Figure DEST_PATH_IMAGE110
表示磨损缺陷区域的权重，
Figure DEST_PATH_IMAGE112
表示撕裂缺陷区域的权重，
Figure DEST_PATH_IMAGE114
；J表示磨损缺陷区域的数量，N表示撕裂缺陷区域的数量。
作为一个示例，本发明实施例中
Figure 202400DEST_PATH_IMAGE110
取值为0.4，
Figure 962545DEST_PATH_IMAGE112
取值为0.6。
2.利用准确磨损程度、撕裂程度以及缺陷程度训练预测网络，将实时获取的准确磨损程度和撕裂程度输入训练完成的预测网络中，输出的预测结果为未来缺陷程度。
本发明实施例中预测网络采用时间卷积网络（TCN），在其他实施例中也可以采用LSTM，BLSTM，GRU等能够达到相同效果的神经网络来实现。
本发明实施例的预测网络基于长度为3年的特征序列来预测未来的1个月内的传送带的未来缺陷程度，进而得到传送带的使用年限。
首先将传送带的准确磨损程度
Figure 682108DEST_PATH_IMAGE098
、撕裂程度
Figure DEST_PATH_IMAGE116
、缺陷程度
Figure 477414DEST_PATH_IMAGE106
三个特征输入TCN网络中，并将其进行归一化，调整到统一的区间；输入向量形状为[B,N,3]，B为网络输入的batchsize，N为某一时段采集的数据序列长度，如每一个月采集一次，要基于历史长度为36个月的特征序列，来判断传送带的使用寿命，则N=36；经过TCN网络进行特征提取，再通过全连接FC输出，最终预测出未来的1月内传送带的未来缺陷程度，输出向量形状为[B,3]。损失函数为均方差损失函数。通过输出的未来缺陷程度判断传送带使用年限，进行工程预警，当传送带达到预测使用年限时，及时更换传送带，从而更好地提高工程效率。
综上所述，本发明实施例在输送机固定区域采集传送带图像，通过图像拼接获取传送带的全局图像；对全局图像进行灰度化，通过对灰度值的密度聚类获取缺陷区域；根据缺陷区域的形状将缺陷区域区分为撕裂缺陷和磨损缺陷；获取撕裂缺陷的撕裂连通域及其包围框，进而获取撕裂连通域的多重分形谱，利用多重分形谱的变化参数计算撕裂连通域内残留矿物的细粒度，根据细粒度和包围框的大小得到撕裂缺陷的撕裂程度；根据磨损缺陷的磨损面积以及磨损缺陷区域的灰度透明度评估磨损缺陷的磨损程度；通过磨损缺陷区域实时的矿物变化量以及矿物滑动速度修正磨损程度，得到准确磨损程度；根据准确磨损程度和撕裂程度获取传送带实时的缺陷程度，并利用准确磨损程度、撕裂程度以及缺陷程度预测传送带的未来缺陷程度。本发明实施例能够通过矿物残留对检测结果进行验证，使缺陷结果更准确。
本发明实施例还提出了一种基于图像处理的输送机在线检测系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。由于基于图像处理的输送机在线检测方法在上述给出了详细描述，不再赘述。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.基于图像处理的输送机在线检测方法，其特征在于，该方法包括以下步骤：
在输送机固定区域采集传送带图像，通过图像拼接获取传送带的全局图像；
对所述全局图像进行灰度化，通过对灰度值的密度聚类获取缺陷区域；根据所述缺陷区域的形状将所述缺陷区域分为撕裂缺陷和磨损缺陷；
获取所述撕裂缺陷的撕裂连通域及其包围框，进而获取所述撕裂连通域的多重分形谱，利用所述多重分形谱的变化参数计算所述撕裂连通域内残留矿物的细粒度，根据所述细粒度和所述包围框的大小得到所述撕裂缺陷的撕裂程度；
根据所述磨损缺陷的磨损面积以及磨损缺陷区域的灰度透明度评估所述磨损缺陷的磨损程度；通过所述磨损缺陷区域实时的矿物变化量以及矿物滑动速度修正所述磨损程度，得到准确磨损程度；
根据所述准确磨损程度和所述撕裂程度获取所述传送带实时的缺陷程度，并利用所述准确磨损程度、所述撕裂程度以及所述缺陷程度预测所述传送带的未来缺陷程度；
所述缺陷程度的获取过程为：
将所有所述磨损缺陷对应的所述准确磨损程度和所有所述撕裂缺陷的撕裂程度加权求和得到所述传送带的所述缺陷程度；
所述未来缺陷程度的预测过程为：
利用所述准确磨损程度、所述撕裂程度以及所述缺陷程度训练预测网络，将实时获取的所述准确磨损程度和所述撕裂程度输入训练完成的预测网络中，输出的预测结果为所述未来缺陷程度。
2.根据权利要求1所述的方法，其特征在于，在所述全局图像的获取之前，还包括以下步骤：
多次采集所述传送带图像，将所述传送带图像进行去噪处理，然后提高去噪图像的对比度，对处理后的图像进行模糊分析，选取模糊最小的图像作为进行拼接的图像。
3.根据权利要求1所述的方法，其特征在于，所述缺陷区域的获取步骤包括：
获取所述全局图像的灰度图像，将所述灰度图像中所有像素点进行密度聚类，得到多个聚类类别，将每个聚类类别中的像素点构成一个连通域，获取多个连通域；
在所述灰度图像中选取至少两个所述连通域所在的像素行，根据该像素行的灰度值绘制灰度曲线，以所述灰度曲线中灰度值突变的像素点所在的连通域作为所述缺陷区域。
4.根据权利要求1所述的方法，其特征在于，所述根据所述缺陷区域的形状将所述缺陷区域区分为撕裂缺陷和磨损缺陷之后，还包括以下步骤：
当所述传送带表面带有条形纹时，获取所述条形纹的方向，根据所述撕裂缺陷的延展方向与所述条形纹的方向的夹角，以及所述撕裂缺陷与最近的条形纹之间的距离判断所述撕裂缺陷是否为所述条形纹。
5.根据权利要求1所述的方法，其特征在于，所述撕裂程度的获取过程为：
根据所述包围框的面积与所述细粒度计算当前撕裂缺陷对所述传送带的影响程度；利用所述影响程度与所述包围框的尺寸大小获取所述撕裂程度。
6.根据权利要求1所述的方法，其特征在于，所述准确磨损程度的获取步骤包括：
通过矿物堆积的面积以及所述传送带图像采集时的深度信息计算当前时刻的矿物堆积量，以相邻时刻的矿物堆积量的差值作为所述矿物变化量；
获取磨损缺陷区域的矿物速度，根据所述矿物速度和所述传送带的速度获取速度修正系数；
以所述矿物变化量和所述速度修正系数对所述磨损程度进行修正，得到所述准确磨损程度。
7.根据权利要求6所述的方法，其特征在于，所述速度修正系数的获取过程为：
当所述矿物速度与所述传送带的速度方向不一致时，以所述矿物速度和所述传送带的速度之和的模长作为所述速度修正系数；当所述矿物速度与所述传送带的速度方向一致时，以两个速度大小的差值作为所述速度修正系数。
8.基于图像处理的输送机在线检测系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1~7任意一项所述方法的步骤。
CN202210327689.3A 2022-03-31 2022-03-31 基于图像处理的输送机在线检测方法及系统 Active CN114419048B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210327689.3A CN114419048B (zh) 2022-03-31 2022-03-31 基于图像处理的输送机在线检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210327689.3A CN114419048B (zh) 2022-03-31 2022-03-31 基于图像处理的输送机在线检测方法及系统

Publications (2)

Publication Number Publication Date
CN114419048A CN114419048A (zh) 2022-04-29
CN114419048B true CN114419048B (zh) 2022-06-07

Family

ID=81262952

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210327689.3A Active CN114419048B (zh) 2022-03-31 2022-03-31 基于图像处理的输送机在线检测方法及系统

Country Status (1)

Country Link
CN (1) CN114419048B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117152180B (zh) * 2023-10-31 2024-01-26 山东克莱蒙特新材料科技有限公司 基于人工智能的矿物铸件缺陷检测方法
CN117333727A (zh) * 2023-12-01 2024-01-02 山东瀚邦胶带有限公司 一种基于可视化图像处理技术的输送带磨损区域识别分析系统
CN117585399B (zh) * 2024-01-19 2024-04-09 汶上义桥煤矿有限责任公司 基于图像处理的煤矿传送带撕裂检测方法
CN117671607B (zh) * 2024-02-01 2024-04-26 宝鸡杭叉工程机械有限责任公司 基于计算机视觉的带式输送机异常实时检测方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112581423A (zh) * 2020-09-29 2021-03-30 宁波大学 一种基于神经网络的汽车表面缺陷的快速检测方法
CN113658136B (zh) * 2021-08-17 2023-10-13 燕山大学 一种基于深度学习的传送带缺陷检测方法
CN113538429B (zh) * 2021-09-16 2021-11-26 海门市创睿机械有限公司 基于图像处理的机械零件表面缺陷检测方法
CN113724258B (zh) * 2021-11-02 2022-02-08 山东中都机器有限公司 一种基于图像处理的传送带撕裂检测方法及系统

Also Published As

Publication number Publication date
CN114419048A (zh) 2022-04-29

Similar Documents

Publication Publication Date Title
CN114419048B (zh) 基于图像处理的输送机在线检测方法及系统
CN114937055B (zh) 基于人工智能的图像自适应分割方法与系统
CN115457041B (zh) 一种道路质量识别检测方法
CN111047555A (zh) 基于图像处理技术的矿石图像粒度检测算法
CN107437243B (zh) 基于x光图像的轮胎杂质检测方法及装置
CN114820773B (zh) 基于计算机视觉的筒仓运输车辆车厢位置检测方法
CN114219805B (zh) 一种玻璃缺陷智能检测方法
CN116012384A (zh) 一种整芯阻燃输送带表面缺陷检测方法
CN115797354B (zh) 用于检测激光焊接焊缝外观缺陷的方法
CN112241574B (zh) 基于图像纹理信息的带式输送机托辊状态测控方法和装置
CN115311267B (zh) 一种格纹织物异常检测方法
CN114782330B (zh) 基于人工智能的炉排异常检测方法及系统
CN114926407A (zh) 一种基于深度学习的钢材表面缺陷检测系统
CN118134062B (zh) 数控机床铸件质量追踪系统
CN116665011A (zh) 一种基于机器视觉的煤矿带式输送机煤流异物识别方法
CN114612403B (zh) 一种上料皮带破损缺陷智能检测方法及系统
CN116523923A (zh) 一种电池外壳缺陷识别方法
CN115063620A (zh) 一种基于比特分层罗茨风机轴承磨损检测方法
CN107516315A (zh) 一种基于机器视觉的掘进机出渣监测方法
CN115797914B (zh) 冶金起重机小车轨道表面缺陷检测系统
CN107024416A (zh) 结合相似性和不连续性的准圆形颗粒平均尺寸检测方法
CN115988175A (zh) 一种基于机器视觉的售货机料道监控系统
CN114821165A (zh) 一种轨道检测图像采集分析方法
CN114548250A (zh) 一种基于数据分析的手机外观检测方法及装置
CN118314126B (zh) 一种基于图像处理的矿用油液在线污染检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220926

Address after: West Fuhai Road and South Haiyan Road, Tongzhou Bay River-Sea Linkage Development Demonstration Zone, Nantong City, Jiangsu Province 226000

Patentee after: Jiangsu Hongwo Intelligent Technology Co.,Ltd.

Address before: 226200 Huilong town Yuelong East Road, Qidong City, Nantong City, Jiangsu Province

Patentee before: QIDONG YIDATONG AUTOMATION EQUIPMENT CO.,LTD.

TR01 Transfer of patent right