CN116993679A - 一种基于目标检测的伸缩机皮带磨损检测方法 - Google Patents

一种基于目标检测的伸缩机皮带磨损检测方法 Download PDF

Info

Publication number
CN116993679A
CN116993679A CN202310813099.6A CN202310813099A CN116993679A CN 116993679 A CN116993679 A CN 116993679A CN 202310813099 A CN202310813099 A CN 202310813099A CN 116993679 A CN116993679 A CN 116993679A
Authority
CN
China
Prior art keywords
belt
image
abrasion
telescopic machine
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310813099.6A
Other languages
English (en)
Other versions
CN116993679B (zh
Inventor
胥昕炜
钱起斌
尚彬
孙知信
孙哲
赵学健
胡冰
徐玉华
汪胡青
宫婧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhu Hede Transmission Technology Co ltd
Original Assignee
Wuhu Hede Transmission Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhu Hede Transmission Technology Co ltd filed Critical Wuhu Hede Transmission Technology Co ltd
Priority to CN202310813099.6A priority Critical patent/CN116993679B/zh
Publication of CN116993679A publication Critical patent/CN116993679A/zh
Application granted granted Critical
Publication of CN116993679B publication Critical patent/CN116993679B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于目标检测的伸缩机皮带磨损检测方法，包括采集伸缩机皮带表面磨损图像；对图像进行预处理，得到磨损皮带图像；构建样本数据集，对磨损皮带图像中的磨损类型进行标注并作为标签，以磨损皮带图像以及对应的标签构建磨损皮带的样本数据集；基于YOLOv7网络模型的主干特征提取网络进行改进，加入CBAM注意力机制，之后利用所述图像预处理中获得的样本数据集对改进的YOLOv7网络模型进行训练；缺陷检测，采集待检测的伸缩机皮带图像，并按照所述采集图像数据的预处理方式进行预处理，得到待检测皮带图像，将其输入到皮带磨损检测模型中进行磨损检测。本发明有益效果：能够较为准确的对磨损皮带表面图像进行检测识别，提高了效率。

Description

一种基于目标检测的伸缩机皮带磨损检测方法
技术领域
本发明属于产品缺陷检测领域，涉及一种伸缩机皮带磨损检测的技术，更具体地，涉及一种基于目标检测的伸缩机皮带磨损检测方法。
背景技术
伸缩机目前广泛应用于物流仓储转运以及其他各类生产活动中，然而伸缩机皮带在运行过程中容易受外力影响产生各类磨损，不仅影响皮带的使用寿命，也会影响机器部件的正常运作。因此，需要对伸缩机皮带进行磨损检测。而传统的人工检测难以在皮带快速运行时捕捉到磨损缺陷，同时很容易忽略隐藏的细微破损，造成漏检，更不能对皮带磨损进行预测。
近年来机器视觉技术发展迅速，基于机器视觉的检测技术被越来越广泛的应用与生产生活中。而现有的伸缩机皮带磨损检测技术利用可见光图像破损边缘检测法通过可见光相机采集皮带图片，通过边缘检测算法提取裂纹信息，使用svm支持向量机进行有监督的机器学习完成破损皮带图像的分类。该方式虽然具有非接触、智能化程度高的优点，但传统的边缘检测算法很难从二维皮带图像中辨别带有深度信息的裂痕，检测精度有限。但此方法中，检测过程中对检测网络本身的依赖度较高，因此难以适应实际生产过程中缺陷的多变性以及不同环境下皮带磨损检测的需求，此外，传统的诸如此类的深度学习网络模型大多计算量庞大，也存在缺陷检测无法高效进行的弊端。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于上述和/或现有的传统皮带检测方法中存在的问题，提出了本发明。
因此，本发明所要解决的问题在于当前利用传统深度学习网络进行皮带磨损检测的方法检测模式单一，而且对深度学习网络依赖度高，难以适应实际生产环节中出现的缺陷多变性及生产环境不定的问题。
为解决上述技术问题，本发明提供如下技术方案：一种基于目标检测的伸缩机皮带磨损检测方法，其包括，
采集伸缩机皮带表面磨损图像；
对图像进行预处理，得到磨损皮带图像；
对磨损皮带图像中的磨损类型进行标注并作为标签，以磨损皮带图像以及对应的标签构建磨损皮带的样本数据集；
模型构建，基于YOLOv7网络模型的主干特征提取网络进行改进，加入CBAM注意力机制，利用图像预处理中获得的样本数据集对改进的YOLOv7网络模型进行训练；
采集待检测的伸缩机皮带图像，并按照所述采集图像数据的预处理方式进行预处理，得到待检测皮带图像，将侍检测皮带图像输入到皮带磨损检测模型中进行磨损检测。
作为本发明所述一种基于目标检测的伸缩机皮带磨损检测方法的一种优选方案，其中：所述采集图像数据包括，
首先采用具备速度感应能力和调节能力并搭配速度传感器的工业相机，用于收集传送带图像的相机安装在传送带装载点附近，并以与传送带成45度角安装在上传送带和下传送带之间，为了防止相似图片重复训练导致模型性能降低采用单个采集区域的第一帧与最后一帧，即单次抓拍次数为2；
采集区域设置为以0.5米为长度，皮带宽度w作为采集区域的宽度，则单次采集的图像区域面积为0.5*w，当皮带运行速度提高时，待采集区域通过的速度提高，抓怕间隔则应降低，当运行速度降低时，待采集区域通过速度变缓，抓怕间隔则提高；
为了防止在皮带运行过快时且相机的曝光时间设置过长，图像产生拖影，给定一个最大曝光时间T＝N*R/V＝(1/100)/100，其中N为可接受的拖影像素个数，R为系统分辨率，单位1/100(mm/pixel)。
作为本发明所述一种基于目标检测的伸缩机皮带磨损检测方法的一种优选方案，其中：所述采集图像数据的补光流程包括，
首先，利用红外线摄像头对被拍摄物体进行拍摄，记录下其红外反射率信息，其次，利用计算机算法对红外图像进行处理，根据反射率信息生成一个光线矩阵，记录下每个像素点对应的反射率和光线照射方向；
然后根据生成的光线矩阵，利用计算机生成一组控制LED灯的指令序列，控制LED灯依次照射被拍摄物体，根据每个像素点的反射率信息和照射方向，调节LED灯的亮度和照射角度，实现精准的补光效果；
最后，对拍摄图像进行后期处理，根据照射时的指令序列和反射率信息，计算出每个像素点的真实亮度值，从而得到一张高质量的补光图像。
作为本发明所述一种基于目标检测的伸缩机皮带磨损检测方法的一种优选方案，其中：所述对图像进行预处理包括，为了提高图像的质量和可辨识度，更好的显示图像的有用信息，需要对图像进行预处理，本专利采用改进的双边滤波器进行降噪处理，
原双边滤波公式如下
i，j表示计算的这一个像素点的位置，k，l为周围像素位置，g(i，j)为卷积后得到的像素值，f(k，l)周围像素值，这里主要受影响的是w(i，j，k，l)；
权重系数w(i，j，k，l)取决于定义域核如下
将两者相乘后就会产生依赖于数据的双边滤波权重函数如下
当用双边滤波对图像进行过滤时--不仅是空间的接近性，还有灰度的相性，通过两者的非线性组合得到一个平滑的图像，其表达式如下所示：
其中，是过滤后的图像；Mx,y代表以(x,y)为中心的一组(2N+1)×(2N+1)空间邻域像素；/>代表Mx,y的中心点像素值，I(i,j)代表Mx,y中(i,j)处的像素值；ωr(i,j)是空间接近系数；ω(i，j)是灰度相似系数；δs和δr是滤波器参数，
权重系数由空间接近系数和灰度相似系数共同控制，空间接近系数随着像素和中心像素的空间位置的增加而减少，灰度相似系数随着，灰度值差的减少而增加的两个像素，同时参与加权的像素数量增加，图像变得模糊，但边缘特征得以保持，因此，双边滤波在去噪的同时保护了图像的边缘，考虑到皮带磨损图像边缘粗糙，噪声点较多，不够光滑的问题引入了T(x，y)^2对窗口内灰度相似性补偿进行改进，根据窗口中相似点的数量设置补偿函数，如果放置在О处的窗口像素数小于窗口像素数的1/3，则设置T(x，y)^2＝0；否则，设置T(x，y)^2＝Mean-I(x，y)；Mean是过滤窗口中像素的均值；如下式所示：
ωr(i,j)是灰度相似系数，(x,y)是模板窗口中心点坐标，(i,j)是其他点坐标，求得的是像素值之间的差的平方，δr是滤波器参数，控制灰度相似性的权重衰减程度，T(x,y)2＝Mean-I(x，y)是设置的补偿函数；其中Mean是过滤窗口中像素的均值；I(x，y)是输出图像的每个位置的像素值。
作为本发明所述一种基于目标检测的伸缩机皮带磨损检测方法的一种优选方案，其中：所述构建样本数据集包括，
对扩大后数据集中图像的缺陷类型进行标注，形成标签，构建样本数据集；将样本数据集分为训练集和测试集；
首先，对数据集中的样本进行聚类操作，采用K-means聚类算法，通过聚类操作，将数据集中的样本划分为若干个类别；
其次，根据聚类结果，将每个类别中的样本分别分配到训练集和测试集中，具体来说，可以将每个类别中的60％样本分配到训练集中，另一部分40％样本分配到测试集中，以保证训练集和测试集中的样本分布尽可能相似。
作为本发明所述一种基于目标检测的伸缩机皮带磨损检测方法的一种优选方案，其中：所述模型构建包括，
在head和backbone的连接处，嵌入注意力机制CBAM，所述CBAM模块包含两个独立的子模块，分别为通道注意力模块CAM和空间注意力模块SAM，其中CAM模块对输入的特征图进行通道上的处理，SAM模块对输入的特征图进行空间上的处理，通道注意力在前，空间注意力在后，特征图输入后，先进入通道注意力，基于特征图的宽、高进行GAP、GMP，然后经过MLP得到通道的注意力权重，这里为了防止采用Sigmoid函数导致随着神经网络层的增加，往往会导致梯度消失，大大降低模型的训练效果，因此，这里考虑引进基于改进均值漂移算法的自然数激活函数，命名为MeanshiftNNAF激活函数，其公式定义如下：
其中，Rh是以x为球心点，h为半径的高维球区域；k是Rh范围内参数点的个数；xi是在Rh范围内的具体的参数点；即在t状态下求得的偏移均值；
具体思想，当x大于等于时，函数输出为x；否则输出以它为中心不断迭代求解密度中心，直到收敛，计算所有数据点的密度中心，作为聚类簇的中心，将所有数据点根据距离分配到不同的聚类簇中，MeanshiftNNAF激活函数可以利用均值漂移算法有效解决在/>时不连续导致的梯度消失或者梯度爆炸问题。
作为本发明所述一种基于目标检测的伸缩机皮带磨损检测方法的一种优选方案，其中：为了获得在空间维度的注意力特征，经通道注意力输出的特征图同样基于特征图的宽度和高度进行全局最大池化和全局平均池化，将特征维度由H×W转变成1×1，接着经过卷积核为7×7的卷积和MeanshiftNNAF激活函数后降低特征图的维度，然后在经过一次卷积后提升为原来的维度，最后将经过MeanshiftNNAF激活函数标准化处理后的特征图与通道注意力输出的特征图进行合并，从而在空间和通道两个维度上完成对特征图的重标定，考虑到1个7*7卷积核的复杂度是49M，而三个3*3叠加的复杂度是27M，且两者效果相同，因此这里考虑用3个3*3小卷积叠加来替换原本的7*7卷积核，并且采用随机池化Stochastic-pooling替代最大池化，
其中，Ms表示权重系数，f表示卷积操作，σ表示上述建立的MeanshiftNNAF激活函数，AvgPool(F)表示平均池化操作，Stochastic-Pool(F)表示随机池化操作，表示平均池化后得到的特征图，/>表示随即池化后得到的特征图，表示对新特征图进行3*3的卷积操作，然后通过MeanshiftNNAF激活函数处理得到最终的特征图Ms(F)。
作为本发明所述一种基于目标检测的伸缩机皮带磨损检测方法的一种优选方案，其中：所述缺陷检测包括，
首先根据历史图像数据得到皮带老化趋势数据以及皮带工作强度，连续工作时间、单位时间内启动次数以及运载物品质量峰值与均值，基于老化趋势数据构建纹理预测模型；
接着，利用改进的YOLOv7伸缩机皮带磨损检测方法进行检测，与老化趋势模型的预测值进行对比分析确定当前皮带状态；
最后，若皮带当前状态好于预期，则将当前状态输入历史数据，更新老化趋势模型；若不如预期，则停止工作，提示维修或者更换。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上所述方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上所述方法的步骤。
本发明有益效果为：以YOLOv7网络为基础，加入了CBAM注意力机制模块并改进了图像预处理过程中的滤波算法，能够较为准确的对磨损皮带表面图像进行检测识别；
此外，根据实际需求对激活函数加以改进，不仅解决了不连续处梯度消失的问题，也提高了网络模型的性能，更擅于处理皮带快速运行下的磨损检测。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为实施例1中一种基于目标检测的伸缩机皮带磨损检测方法的流程图。
图2为实施例2中一种基于目标检测的伸缩机皮带磨损检测方法的改进滤波算法流程图。
图3为实施例2中一种基于目标检测的伸缩机皮带磨损检测方法的MeanshiftNNAF激活函数流程图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
实施例1
参照图1，为本发明第一个实施例，该实施例提供了一种基于目标检测的伸缩机皮带磨损检测方法，包括，
第一步，首先采用具备速度感应能力和调节能力(搭配速度传感器)的工业相机，用于收集传送带图像的相机安装在传送带装载点附近，并以与传送带成45度角安装在上传送带和下传送带之间。由于各种相机帧率较高，为了防止相似图片重复训练导致模型性能降低，因此这里考虑采用单个采集区域的第一帧与最后一帧，即单次抓拍次数为2。采集区域设置为以0.5米为长度，皮带宽度w作为采集区域的宽度，则单次采集的图像区域面积为0.5*w。当皮带运行速度提高时，待采集区域通过速度提高，抓怕间隔则应降低，当运行速度降低时，待采集区域通过速度变缓，抓怕间隔则提高。这里防止在皮带运行过快时且相机的曝光时间设置过长，图像产生拖影，给定一个最大曝光时间T＝N*R/V＝(1/100)/100，其中，N为可接受的拖影像素个数，R为系统分辨率，单位1/100(mm/pixel)。
第二步，针对环境光变化可能影响图片质量的问题，提出一种基于红外摄像技术、计算机算法和LED灯控制技术的补光方法；首先，利用红外线摄像头对被拍摄物体进行拍摄，记录下其红外反射率信息。其次，利用计算机算法对红外图像进行处理，根据反射率信息生成一个光线矩阵，记录下每个像素点对应的反射率和光线照射方向。然后根据生成的光线矩阵，利用计算机生成一组控制LED灯的指令序列，控制LED灯依次照射被拍摄物体，根据每个像素点的反射率信息和照射方向，调节LED灯的亮度和照射角度，实现精准的补光效果。最后，对拍摄图像进行后期处理，根据照射时的指令序列和反射率信息，计算出每个像素点的真实亮度值，从而得到一张高质量的补光图像。
第三步，对图像进行预处理，得到磨损皮带图像；，采用改进的双边滤波算法，根据窗口内像素灰度的相似性重新改进了补偿功能。同时对图像进行随机旋转，反转等操作
第四步，构建样本数据集∶对扩大后数据集中图像的缺陷类型进行标注，形成标签，构建样本数据集；将样本数据集分为训练集和测试集。具体是采用Labellmg工具对皮带磨损图像进行磨损类型和磨损位置标记，获得与图像样本一一对应的xml文件，作为数据集。
第五步，模型构建，基于YOLOv7网络模型的主干特征提取网络进行改
进，加入CBAM注意力机制，之后利用步骤S2中获得的样本数据集对改进的YOLOv7网络模型进行训练，具体内容包括：在head和backbone的连接处。嵌入注意力机制CBAM，所述CBAM模块包含两个独立的子模块，分别为通道注意力模块CAM和空间注意力模块SAM，其中CAM模块对输入的特征图进行通道上的处理，SAM模块对输入的特征图进行空间上的处理。通道注意力在前，空间注意力在后，特征图输入后，先进入通道注意力，基于特征图的宽、高进行GAP、GMP，然后经过MLP得到通道的注意力权重，然后通过MeanshiftNNAF激活函数获得归一化注意力权重，最后通过乘法逐通道加权到原始输入特征图上，完成通道注意力对原始特征的重新标定。
第六步，缺陷检测，采集待检测的伸缩机皮带图像，并按照步骤S1的预处理方式进行预处理，得到待检测皮带图像，将侍检测皮带图像输入到皮带磨损检测模型中进行磨损检测。首先，根据历史图像数据得到皮带老化趋势数据以及皮带工作强度(连续工作时间、单位时间内启动次数以及运载物品质量峰值与均值)，基于老化趋势数据构建纹理预测模型。接着，利用改进的YOLOv7伸缩机皮带磨损检测方法进行检测，与老化趋势模型的预测值进行对比分析确定当前皮带状态。最后，若皮带当前状态好于预期，则将当前状态输入历史数据，更新老化趋势模型；若不如预期，则停止工作，提示维修或者更换。
实施例2
参照图2或图3，为本发明第二个实施例，其不同于第一个实施例的是：还包括，如图2所示，本图将具体描述图2的步骤：
第一步，当用双边滤波对图像进行过滤时不仅是空间的接近性，还有灰度的相似性通过两者的非线性组合得到一个平滑的图像。
第二步，权重系数由空间接近系数和灰度相似系数共同控制，空间接近
系数随着像素和中心像素的空间位置的增加而减少，灰度相似系数随着，灰度值差的减少而增加的两个像素。考虑到皮带磨损图像边缘粗糙，噪声点较多，不够光滑的问题引入了T(x，y)^2对窗口内灰度相似性补偿进行改进，根据窗口中相似点的数量设置补偿函数。
如图3所示，本图将具体描述图3的步骤：
第一步，设定初始中心，Rh为求球心，h为半径球形区域
第二步，计算区域内所有向量xi的均值，得到一个偏移均值
第三步，将中心点移动到均值位置并重复移动，以它为中心不断迭代求
解密度中心，直到收敛。计算所有数据点的密度中心，作为聚类簇的中心。将所有数据点根据距离分配到不同的聚类簇中。
最后，将上述均值漂移算法中得到的密度中心作为自然数激活函数的参数，当x大于等于时，函数输出为x；否则输出/>
实施例3
本发明的一个实施例，其不同于前两个实施例的是：所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)、便携式计算机盘盒(磁装置)、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编辑只读存储器(EPROM或闪速存储器)、光纤装置以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种基于目标检测的伸缩机皮带磨损检测方法，其特征在于：包括，
采集伸缩机皮带表面磨损图像；
对图像进行预处理，得到磨损皮带图像；
对磨损皮带图像中的磨损类型进行标注并作为标签，以磨损皮带图像以及对应的标签构建磨损皮带的样本数据集；
模型构建，基于YOLOv7网络模型的主干特征提取网络进行改进，加入CBAM注意力机制，利用图像预处理中获得的样本数据集对改进的YOLOv7网络模型进行训练；
采集待检测的伸缩机皮带图像，并按照所述采集图像数据的预处理方式进行预处理，得到待检测皮带图像，将侍检测皮带图像输入到皮带磨损检测模型中进行磨损检测。
2.如权利要求1所述的一种基于目标检测的伸缩机皮带磨损检测方法，其特征在于：所述采集图像数据包括，
首先采用具备速度感应能力和调节能力并搭配速度传感器的工业相机，用于收集传送带图像的相机安装在传送带装载点附近，并以与传送带成45度角安装在上传送带和下传送带之间，为了防止相似图片重复训练导致模型性能降低采用单个采集区域的第一帧与最后一帧，即单次抓拍次数为2；
采集区域设置为以0.5米为长度，皮带宽度w作为采集区域的宽度，则单次采集的图像区域面积为0.5*w，当皮带运行速度提高时，待采集区域通过的速度提高，抓怕间隔则应降低，当运行速度降低时，待采集区域通过速度变缓，抓怕间隔则提高；
为了防止在皮带运行过快时且相机的曝光时间设置过长，图像产生拖影，给定一个最大曝光时间T＝N*R/V＝(1/100)/100，其中N为可接受的拖影像素个数，R为系统分辨率，单位1/100(mm/pixel)。
3.如权利要求1或2所述的一种基于目标检测的伸缩机皮带磨损检测方法，其特征在于：所述采集图像数据的补光流程包括，
首先，利用红外线摄像头对被拍摄物体进行拍摄，记录下其红外反射率信息，其次，利用计算机算法对红外图像进行处理，根据反射率信息生成一个光线矩阵，记录下每个像素点对应的反射率和光线照射方向；
然后根据生成的光线矩阵，利用计算机生成一组控制LED灯的指令序列，控制LED灯依次照射被拍摄物体，根据每个像素点的反射率信息和照射方向，调节LED灯的亮度和照射角度，实现精准的补光效果；
最后，对拍摄图像进行后期处理，根据照射时的指令序列和反射率信息，计算出每个像素点的真实亮度值，从而得到一张高质量的补光图像。
4.如权利要求3所述的一种基于目标检测的伸缩机皮带磨损检测方法，其特征在于：所述对图像进行预处理包括，为了提高图像的质量和可辨识度，更好的显示图像的有用信息，需要对图像进行预处理，本专利采用改进的双边滤波器进行降噪处理，
原双边滤波公式如下
i，j表示计算的这一个像素点的位置，k，l为周围像素位置，g(i，j)为卷积后得到的像素值，f(k，l)周围像素值，这里主要受影响的是w(i，j，k，l)；
权重系数w(i，j，k，l)取决于定义域核如下
将两者相乘后就会产生依赖于数据的双边滤波权重函数如下
当用双边滤波对图像进行过滤时--不仅是空间的接近性，还有灰度的相似性，通过两者的非线性组合得到一个平滑的图像，其表达式如下所示：
其中，是过滤后的图像；Mx,y代表以(x,y)为中心的一组(2N+1)×(2N+1)空间邻域像素；/>代表Mx,y的中心点像素值，I(i,j)代表Mx,y中(i,j)处的像素值；ωr(i,j)是空间接近系数；ω(i，j)是灰度相似系数；δs和δr是滤波器参数，
权重系数由空间接近系数和灰度相似系数共同控制，空间接近系数随着像素和中心像素的空间位置的增加而减少，灰度相似系数随着，灰度值差的减少而增加的两个像素，同时参与加权的像素数量增加，图像变得模糊，但边缘特征得以保持，因此，双边滤波在去噪的同时保护了图像的边缘，考虑到皮带磨损图像边缘粗糙，噪声点较多，不够光滑的问题引入了T(x，y)^2对窗口内灰度相似性补偿进行改进，根据窗口中相似点的数量设置补偿函数，如果放置在О处的窗口像素数小于窗口像素数的1/3，则设置T(x，y)^2＝0；否则，设置T(x，y)^2＝Mean-I(x，y)；Mean是过滤窗口中像素的均值；如下式所示：
ωr(i,j)是灰度相似系数，(x,y)是模板窗口中心点坐标，(i,j)是其他点坐标，求得的是像素值之间的差的平方，δr是滤波器参数，控制灰度相似性的权重衰减程度，T(x,y)2＝Mean-I(x，y)是设置的补偿函数；其中Mean是过滤窗口中像素的均值；I(x，y)是输出图像的每个位置的像素值。
5.如权利要求1、2和4任一所述的一种基于目标检测的伸缩机皮带磨损检测方法，其特征在于：所述构建样本数据集包括，
对扩大后数据集中图像的缺陷类型进行标注，形成标签，构建样本数据集；将样本数据集分为训练集和测试集；
首先，对数据集中的样本进行聚类操作，采用K-means聚类算法，通过聚类操作，将数据集中的样本划分为若干个类别；
其次，根据聚类结果，将每个类别中的样本分别分配到训练集和测试集中，具体来说，可以将每个类别中的60％样本分配到训练集中，另一部分40％样本分配到测试集中，以保证训练集和测试集中的样本分布尽可能相似。
6.如权利要求1所述的一种基于目标检测的伸缩机皮带磨损检测方法，其特征在于：所述模型构建包括，
在head和backbone的连接处，嵌入注意力机制CBAM，所述CBAM模块包含两个独立的子模块，分别为通道注意力模块CAM和空间注意力模块SAM，其中CAM模块对输入的特征图进行通道上的处理，SAM模块对输入的特征图进行空间上的处理，通道注意力在前，空间注意力在后，特征图输入后，先进入通道注意力，基于特征图的宽、高进行GAP、GMP，然后经过MLP得到通道的注意力权重，这里为了防止采用Sigmoid函数导致随着神经网络层的增加，往往会导致梯度消失，大大降低模型的训练效果，因此，这里考虑引进基于改进均值漂移算法的自然数激活函数，命名为MeanshiftNNAF激活函数，其公式定义如下：
其中，Rh是以x为球心点，h为半径的高维球区域；k是Rh范围内参数点的个数；xi是在Rh范围内的具体的参数点；即在t状态下求得的偏移均值；
具体思想，当x大于等于时，函数输出为x；否则输出以它为中心不断迭代求解密度中心，直到收敛，计算所有数据点的密度中心，作为聚类簇的中心，将所有数据点根据距离分配到不同的聚类簇中，MeanshiftNNAF激活函数可以利用均值漂移算法有效解决在/>时不连续导致的梯度消失或者梯度爆炸问题。
7.如权利要求6所述的一种基于目标检测的伸缩机皮带磨损检测方法，其特征在于：为了获得在空间维度的注意力特征，经通道注意力输出的特征图同样基于特征图的宽度和高度进行全局最大池化和全局平均池化，将特征维度由H×W转变成1×1，接着经过卷积核为7×7的卷积和MeanshiftNNAF激活函数后降低特征图的维度，然后在经过一次卷积后提升为原来的维度，最后将经过MeanshiftNNAF激活函数标准化处理后的特征图与通道注意力输出的特征图进行合并，从而在空间和通道两个维度上完成对特征图的重标定，考虑到1个7*7卷积核的复杂度是49M，而三个3*3叠加的复杂度是27M，且两者效果相同，因此这里考虑用3个3*3小卷积叠加来替换原本的7*7卷积核，并且采用随机池化Stochastic-pooling替代最大池化，
其中，Ms表示权重系数，f表示卷积操作，σ表示上述建立的MeanshiftNNAF激活函数，AvgPool(F)表示平均池化操作，Stochastic-Pool(F)表示随机池化操作，表示平均池化后得到的特征图，/>表示随即池化后得到的特征图，表示对新特征图进行3*3的卷积操作，然后通过MeanshiftNNAF激活函数处理得到最终的特征图Ms(F)。
8.如权利要求1所述的一种基于目标检测的伸缩机皮带磨损检测方法，其特征在于：所述缺陷检测包括，
首先根据历史图像数据得到皮带老化趋势数据以及皮带工作强度，连续工作时间、单位时间内启动次数以及运载物品质量峰值与均值，基于老化趋势数据构建纹理预测模型；
接着，利用改进的YOLOv7伸缩机皮带磨损检测方法进行检测，与老化趋势模型的预测值进行对比分析确定当前皮带状态；
最后，若皮带当前状态好于预期，则将当前状态输入历史数据，更新老化趋势模型；若不如预期，则停止工作，提示维修或者更换。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于：所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
CN202310813099.6A 2023-06-30 2023-06-30 一种基于目标检测的伸缩机皮带磨损检测方法 Active CN116993679B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310813099.6A CN116993679B (zh) 2023-06-30 2023-06-30 一种基于目标检测的伸缩机皮带磨损检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310813099.6A CN116993679B (zh) 2023-06-30 2023-06-30 一种基于目标检测的伸缩机皮带磨损检测方法

Publications (2)

Publication Number Publication Date
CN116993679A true CN116993679A (zh) 2023-11-03
CN116993679B CN116993679B (zh) 2024-04-30

Family

ID=88527513

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310813099.6A Active CN116993679B (zh) 2023-06-30 2023-06-30 一种基于目标检测的伸缩机皮带磨损检测方法

Country Status (1)

Country Link
CN (1) CN116993679B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117422696A (zh) * 2023-11-08 2024-01-19 河北工程大学 基于改进YOLOv8-EfficientNet的皮带磨损状态检测方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101499129A (zh) * 2008-01-30 2009-08-05 中国科学院自动化研究所 远距离虹膜识别系统及方法
WO2013168618A1 (ja) * 2012-05-09 2013-11-14 株式会社日立国際電気 画像処理装置及び画像処理方法
CN111260626A (zh) * 2020-01-15 2020-06-09 佛山科学技术学院 一种基于深度学习的工件磨损检测方法及系统
WO2021115159A1 (zh) * 2019-12-09 2021-06-17 中兴通讯股份有限公司 文字识别网络模型训练方法、文字识别方法、装置、终端及其计算机存储介质
CN113096806A (zh) * 2021-04-15 2021-07-09 王小娟 基于医学影像算法和区块链的疾病预测系统
WO2022165722A1 (zh) * 2021-02-04 2022-08-11 华为技术有限公司 单目深度估计方法、装置及设备
CN115471871A (zh) * 2022-09-22 2022-12-13 四川农业大学 一种基于目标检测和分类网络的麻鸭性别分类识别方法
CN115731164A (zh) * 2022-09-14 2023-03-03 常州大学 基于改进YOLOv7的绝缘子缺陷检测方法
CN115830140A (zh) * 2022-12-12 2023-03-21 中国人民解放军海军工程大学 一种海上近程光电监控方法、系统、介质、设备及终端
CN116110042A (zh) * 2023-02-15 2023-05-12 山西农业大学 一种基于YOLOv7的CBAM注意力机制番茄检测方法
CN116228740A (zh) * 2023-04-07 2023-06-06 河海大学 一种基于改进YOLOv5的小样本芯片外观缺陷检测方法及检测系统
CN116342596A (zh) * 2023-05-29 2023-06-27 云南电网有限责任公司 一种基于YOLOv5改进的变电站设备螺母缺陷识别检测方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101499129A (zh) * 2008-01-30 2009-08-05 中国科学院自动化研究所 远距离虹膜识别系统及方法
WO2013168618A1 (ja) * 2012-05-09 2013-11-14 株式会社日立国際電気 画像処理装置及び画像処理方法
WO2021115159A1 (zh) * 2019-12-09 2021-06-17 中兴通讯股份有限公司 文字识别网络模型训练方法、文字识别方法、装置、终端及其计算机存储介质
CN111260626A (zh) * 2020-01-15 2020-06-09 佛山科学技术学院 一种基于深度学习的工件磨损检测方法及系统
WO2022165722A1 (zh) * 2021-02-04 2022-08-11 华为技术有限公司 单目深度估计方法、装置及设备
CN113096806A (zh) * 2021-04-15 2021-07-09 王小娟 基于医学影像算法和区块链的疾病预测系统
CN115731164A (zh) * 2022-09-14 2023-03-03 常州大学 基于改进YOLOv7的绝缘子缺陷检测方法
CN115471871A (zh) * 2022-09-22 2022-12-13 四川农业大学 一种基于目标检测和分类网络的麻鸭性别分类识别方法
CN115830140A (zh) * 2022-12-12 2023-03-21 中国人民解放军海军工程大学 一种海上近程光电监控方法、系统、介质、设备及终端
CN116110042A (zh) * 2023-02-15 2023-05-12 山西农业大学 一种基于YOLOv7的CBAM注意力机制番茄检测方法
CN116228740A (zh) * 2023-04-07 2023-06-06 河海大学 一种基于改进YOLOv5的小样本芯片外观缺陷检测方法及检测系统
CN116342596A (zh) * 2023-05-29 2023-06-27 云南电网有限责任公司 一种基于YOLOv5改进的变电站设备螺母缺陷识别检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
沙伟燕，王博，徐玉华，吴波: "基于PLC的高压电气驱动控制可靠性研究", 微型电脑应用, vol. 39, no. 4, 20 April 2023 (2023-04-20) *
许嘉瑞: "基于深度学习的轨道列车钢轨表面缺陷检测系统设计", 中国优秀硕士学位论文全文数据库, 18 June 2023 (2023-06-18) *
许嘉瑞: "基于深度学习的轨道列车钢轨表面缺陷检测系统设计", 基于深度学习的轨道列车钢轨表面缺陷检测系统设计, 18 June 2023 (2023-06-18) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117422696A (zh) * 2023-11-08 2024-01-19 河北工程大学 基于改进YOLOv8-EfficientNet的皮带磨损状态检测方法

Also Published As

Publication number Publication date
CN116993679B (zh) 2024-04-30

Similar Documents

Publication Publication Date Title
CN113592845A (zh) 一种电池涂布的缺陷检测方法及装置、存储介质
CN110570393B (zh) 一种基于机器视觉的手机玻璃盖板视窗区缺陷检测方法
CN108765412B (zh) 一种带钢表面缺陷分类方法
Xue-Wu et al. A vision inspection system for the surface defects of strongly reflected metal based on multi-class SVM
CN107437243B (zh) 基于x光图像的轮胎杂质检测方法及装置
Li et al. Automatic crack detection and measurement of concrete structure using convolutional encoder-decoder network
WO2018165753A1 (en) Structure defect detection using machine learning algorithms
Zheng et al. Defect inspection in tire radiographic image using concise semantic segmentation
US9846929B2 (en) Fast density estimation method for defect inspection application
CN107564002A (zh) 塑料管表面缺陷检测方法、系统及计算机可读存储介质
CN110555467B (zh) 一种基于模型迁移的工业数据分类方法
CN103593670A (zh) 一种基于在线序列极限学习机的铜板带表面缺陷检测方法
CN109840483B (zh) 一种滑坡裂缝检测与识别的方法及装置
CN116993679B (zh) 一种基于目标检测的伸缩机皮带磨损检测方法
CN111126505B (zh) 一种基于深度学习的路面裂缝快速识别方法
CN106651774A (zh) 一种车牌超分辨率模型重建方法及装置
JP2024020622A (ja) 可変拡散板を利用した光学システム
Xiang et al. Metal stamping character recognition algorithm based on multi-directional illumination image fusion enhancement technology
CN116664565A (zh) 一种光伏太阳能电池片的隐裂检测方法及系统
CN112541884A (zh) 缺陷检测方法及设备、计算机可读存储介质
Araar et al. Traffic sign recognition using a synthetic data training approach
Sun et al. Unsupervised surface defect detection of aluminum sheets with combined bright-field and dark-field illumination
Yang et al. Crack identification of automobile steering knuckle fluorescent penetrant inspection based on deep convolutional generative adversarial networks data enhancement
CN116934762B (zh) 锂电池极片表面缺陷的检测系统及方法
Zhang et al. Attention mechanism and texture contextual information for steel plate defects detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant