CN113658136A - 一种基于深度学习的传送带缺陷检测方法 - Google Patents
一种基于深度学习的传送带缺陷检测方法 Download PDFInfo
- Publication number
- CN113658136A CN113658136A CN202110942647.6A CN202110942647A CN113658136A CN 113658136 A CN113658136 A CN 113658136A CN 202110942647 A CN202110942647 A CN 202110942647A CN 113658136 A CN113658136 A CN 113658136A
- Authority
- CN
- China
- Prior art keywords
- conveyor belt
- defect
- detection
- deep learning
- confidence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 105
- 238000001514 detection method Methods 0.000 title claims abstract description 69
- 238000013135 deep learning Methods 0.000 title claims abstract description 33
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 27
- 238000004458 analytical method Methods 0.000 claims abstract description 8
- 238000009825 accumulation Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 23
- 238000000034 method Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 claims description 6
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 238000006386 neutralization reaction Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 210000004027 cell Anatomy 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 229910000831 Steel Inorganic materials 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 239000004677 Nylon Substances 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000003245 coal Substances 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 229920001778 nylon Polymers 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Quality & Reliability (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的传送带缺陷检测方法，包括以下步骤：A1：采用一字线激光扩大传送带缺陷特征，高清工业相机采集视频数据；A2：模拟撕裂积累深度学习所需数据集，为深度学习算法积累数据集；A3：激光条纹中心线偏移分析算法检测传送带跑偏缺陷；A4：采用Yolov4深度学习算法判断传送带撕裂缺陷；A5：通过相邻帧判断策略确认缺陷；A6：当确认发生缺陷后，发出报警并连锁传送带停机，同时存储真实或误报撕裂图片，扩充深度学习数据集，进行不断学习。
Description
技术领域
本发明涉及工业视觉技术领域，尤其涉及的是一种基于深度学习的传送带缺陷检测方法。
背景技术
传送带输送机是港口和发电厂等环境装卸过程中的主要运输工具，传送带造价昂贵。煤炭运输过程中井石、细杆状物等尖锐物体可能会穿透传送带卡在托辊上，在运动过程中造成传送带撕裂。此外，由于传送带工作时间过长，因受力不均导致表面磨损较大，出现划伤，破孔，若长时间不注意，也会导致撕裂事故的发生。有时传送带还可能因运动过程中位置跑偏发生与托辊间的严重磨损，因这些传送带缺陷而导致生产停止的状况，不仅降低了生产效率，还威胁着操作人员的安全。
几种比较成熟的传送带缺陷检测装置例如电磁式感应检测器、撕裂压力检测器、漏料检测器、超声波检测器、防撕裂斗、跑偏开关检测器和棒性检测器等等，均需要对整条传送带进行改造成本较高，检测方法单一，一般只能检测同种缺陷，例如跑偏开关检测器只能检测传送带跑偏情况，漏料检测器对于不发生漏料的传送带缺陷问题则没有检测能力。
发明内容
本发明所要解决的技术问题是针对现有技术的不足提供一种基于深度学习的传送带缺陷检测方法。
本发明的技术方案如下：
一种基于深度学习的传送带缺陷检测方法，包括以下步骤：
A1：采用一字线激光扩大传送带缺陷特征，高清工业相机采集视频数据；
当皮带表面发生撕裂等缺陷时，线激光条纹经撕裂位置的调制反映到图像上是一条含有局部跳跃畸变或者是存在断点等特征的光条纹图像，通过对提取得到的光条特征进行分析，实现对皮带表面各种缺陷特征的检测；
A2：模拟撕裂积累深度学习所需数据集，为深度学习算法积累数据集；
A3：激光条纹中心线偏移分析算法检测传送带跑偏缺陷；
跑偏特征反映到图像上就是整条激光条纹在图像中的位置发生了一定的偏移；对跑偏的检测是通过统计光条中心像素点缺失总数来完成的，设定一阈值K，当检测图像中光条中心像素点缺失总数超过K时，可以判定为皮带发生了跑偏；
A4：采用Yolov4深度学习算法判断传送带撕裂缺陷；
A5：通过相邻帧判断策略确认缺陷；
当设备接受到数据以后，得到疑似传送带缺陷坐标信息，与下一帧数据的疑似传送带缺陷坐标进行比较，两者的间距依据分辨率和视场大小比例转化，如果超出设定阈值，则认为两张相邻连续图像不存在同一传送带缺陷，不作为分级报警依据；
式中xa,xb,ya,yb——两张相邻连续图像传送带缺陷坐标，
Z——相邻帧间疑似传送带缺陷距离；
A6：当确认发生缺陷后，发出报警并连锁传送带停机，同时存储真实或误报撕裂图片，扩充深度学习数据集，进行不断学习。
所述的基于深度学习的传送带缺陷检测方法，所述步骤A4中，在YOLOv4中，输入图片被调整为608*608，然后融合FPN思想，进行多尺度检测，输出三个检测层，这三个检测层将图片分别划分为19*19，38*38和76*76；然后每个网格预测3个边界框，每个边界框包含5个元素：(x,y,w,h,confidence)；其中，x和y指相应单元格的偏移量，w和h为边界框以整张图片为基准归一化后的宽度和高度。confidence指框置信度得分，反映了一个框内包含有检测目标的可能性以及检测框的准确程度；置信度的计算方式为：
其中Pr(Obiect)为框内有检测目标的概率，既有检测目标，则Pr(Obiect)为1，没有则为0；
为预测框和真实物体边界框的交并比(Intersection Over Union，IOU)。当得到框的定位置信度之后，便使用非极大值抑制(Non-Maximum Suppression，NMS)算法，留下置信得分较高的预测框；接下来计算每个预测框的类别置信度得分，其计算方法为公式(2)，Pr(classi|Obiect)其中为网格预测第i类目标的置信概率；
Pr(classi|Obiect)*confidence(2)
YOLOv4的损失函数由边界框回归框损失CIOU函数、置信度损失和分类损失三部分组成，其中CIOU损失函数定义为：
其中IOU为检测框b和groundtruthbgt的交并比，ρ2为b与bgt中心点之间的欧几里得距离，C为b与bgt最小外接矩的对角线的长度，wgt、hgt、w、h分别为bgt和b的宽和高；
置信度Lconloss函数采用交叉熵，分为两部分：obj(有目标)和noobj(无目标)，其中noobj的loss还增加了权重系数lambda，这是为了减少noobj计算部分的贡献权重；
其中s*s为网格的个数，B为候选框数，
表示：第i个网格的第j个anchor box是否负责这个object，
则表示不负责；
和C为置信度参数，其中前者为真实值，由gridcell的bounding box有没有负责预测某个对象决定的，如果负责则为1，否则为0；
分类loss损失函数也采用交叉熵，当第i个网格的第j个anchor box负责某一个真实目标时，那么这个anchor box所产生的bounding box才会去计算分类损失函数；
其中和为分类概率，前者表示真实值，当第i个网格的第j个anchor box负责某一个真实目标时，那么这个anchor box所产生的bounding box才会去计算分类损失函数。
所述的基于深度学习的传送带缺陷检测方法，所述步骤A5中，相邻帧判断策略同时应用于传送带跑偏检测，在传送带启动或停止过程中，电机加速运转，传送带上下抖动幅度过大，会使多帧图片边缘异常，激光条缺失。对单一图片进行缺陷检测误差过大，经过相邻帧判断策略可减少此类误报现象。
采用上述方案，本发明以工厂，港口中传送带的缺陷检测为背景，应用线激光辅助放大传送带缺陷特征，进行传送带缺陷的实时检测分析。
附图说明
图1为传送带缺陷检测设备现场布置图；
图2为本发明方法的流程图；
图3中传送带无缺陷，激光线平滑完整；
图4中传送带存在缺陷，激光线存在断点；
图5中传送带存在缺陷，激光线存在跳跃畸变；
图6为YOLOv4结构图；
具体实施方式
以下结合具体实施例，对本发明进行详细说明。
如图1所示，基于深度学习的传送带缺陷检测系统，包括两组传送带缺陷检测装置、现场控制器和服务器，服务器设置在中控室；在传送带的三个相邻的托辊之间安装两组传送带缺陷检测装置，分别进行传送带左半边和右半边的缺陷检测，避免了由传送带凹度过大导致的工业相机拍摄不全或者边缘不清晰等情况。现场设备通过航空插头走网线与多芯线到现场控制器，由现场控制器控制设备自清洁装置的开关以及转速调节。现场控制器和中控室的服务器由光纤传输数据，数据统一在中控服务器上进行处理，发生紧急报警时可联动PLC对传送带进行急停等操作。
传送带缺陷检测装置包括高清工业相机和红光一字激光器，高清工业相机用于实时采集传送带表面的“一”字线激光光条，红光一字线激光器发出红色一字线激光，并将一字线激光投射在传送带表面，用于扩大传送带缺陷特征，辅助后期服务器进行缺陷判断。“一”字线激光光条投射到皮带底表面上时，光条形状及光强会受到皮带表面的深度变化及撕裂位置的调制而发生畸变。经无撕裂事故的皮带表面调制的线激光条纹反映到图像上是一条光滑无断裂的光条纹图像，当皮带表面发生撕裂等缺陷时，线激光条纹经撕裂位置的调制反映到图像上是一条含有局部跳跃畸变或者是存在断点等特征的光条纹图像。
如图2所示，高清工业相机采集到的数据通过光纤传输到控制室的服务器中进行集中处理，服务器包括激光条纹中心线偏移分析模块、Yolov4深度学习模块和相邻帧判断缺陷策略模块；Yolov4深度学习模块用于判断传送带撕裂缺陷；激光条纹中心线偏移分析模块用于完成对皮带跑偏情况的检测；相邻帧判断缺陷策略模块用于判断缺陷威胁性。
前期在实验环境下模拟了多种传送带缺陷，且在多种不同光照，烟尘环境下进行多次模拟，积累了数万张传送带有缺陷时以及无缺陷时的图片作为数据集，用于深度学习算法前期使用。同时在后期应用检测时，实时保存各种真实缺陷图片，用于深度学习算法的不断学习不断更新，提高准确率。在此算法下判断的传送带缺陷图片，还要再经过相邻帧判断策略判断缺陷威胁性。只有相邻多帧同时判断拥有缺陷才会判断缺陷威胁性过大，例如传送带纵撕情况，此时程序发出报警，并连锁PLC进行停机，防止损失扩大。
一.采用一字线激光扩大传送带缺陷特征，高清工业相机采集视频数据
“一”字线激光光条投射到皮带底表面上时，光条形状及光强会受到皮带表面的深度变化及撕裂位置的调制而发生畸变。经无撕裂事故的皮带表面调制的线激光条纹反映到图像上是一条光滑无断裂的光条纹图像，如图3所示。当皮带表面发生撕裂等缺陷时，线激光条纹经撕裂位置的调制反映到图像上是一条含有局部跳跃畸变或者是存在断点等特征的光条纹图像，如图4、图5所示。通过对提取得到的光条特征进行分析，实现对皮带表面各种缺陷特征的检测。通过一字线激光，将检测的“面”的特征简化为“线”的特征，需要分析的数据大大减少，检测速率更快。
二.模拟撕裂积累深度学习所需数据集，为深度学习算法积累数据集。
第一个阶段是根据以往经验进行深度学习算法研究，在实验室内搭建仿真实验平台，积累传送带模拟缺陷数据，拍摄不同角度不同光强不同缺陷的运行视频，积累足够的数据进行深度学习。机身长度为6米，传送带总长15米，最快速度约1米/秒，传送带带表面模拟撕裂长度为50厘米，宽度最宽处不到1厘米，撕裂处皮带无重叠等明显形变。
第二阶段为现场仿真检测，有了第一阶段的经验和数据，修正了算法中出现的各种问题。同时积极在一条装船机皮带传送带上进行了简单的现场环境测试。安装设备拍摄了大量真实传送带缺陷图片扩充数据集进行学习，通过此次测试进一步优化了算法结构。
第三阶段为实际应用阶段，在某电厂皮带撕裂与跑偏检测项目中，安装设备进行传送带缺陷的检测，同时积累现场拍摄的各种真实缺陷情况，实时存储进数据库，定期进行算法的优化升级。
三.激光条纹中心线偏移分析算法检测传送带跑偏缺陷
激光条纹中心线偏移分析算法用于完成对皮带跑偏情况的检测。皮带跑偏容易造成比较严重的撕裂事故，对跑偏情况的检测对防止发生撕裂事故有重要意义。
当相机安装固定之后，激光条纹在图像中的位置是基本固定的，受机械震动的影响，光条在整幅图像中的位置存在轻微的偏移，但对检测结果基本无影响。固定的拍摄位置使得获取的图像覆盖的皮带底面区域及光条在整幅图像中的位置基本上是相同的。
皮带跑偏的主要特征就是皮带两测边缘位置发生偏移，即一侧变宽，另一侧变窄，打破了正常情况下两侧对称、等宽的状态。一旦皮带跑偏，跑偏特征反映到图像上就是整条激光条纹在图像中的位置发生了一定的偏移，检测跑偏容易实现。
对跑偏的检测是通过统计光条中心像素点缺失总数来完成的，设定一阈值K，当检测图像中光条中心像素点缺失总数超过K时，可以判定为皮带发生了跑偏。
四.采用Yolov4深度学习算法判断传送带撕裂缺陷
在讨论YOLOv4算法之前需要先了解卷积神经网络，卷积神经网络是一种多层的监督学习神经网络，由卷积层，降采样层，全连接层组成。每一层有多个特征图，每个特征图通过一种卷积滤波器提取输入的一种特征，每个特征图有多个神经元。这个多层网络中间(隐含层)的卷积层和池采样层是实现卷积神经网络特征提取功能的核心模块。该网络模型通过采用梯度下降法最小化损失函数对网络中的权重参数逐层反向调节，通过频繁的迭代训练提高网络的精度。卷积神经网络的低隐层是由卷积层和最大池采样层交替组成，高层是全连接层对应传统多层感知器的隐含层和逻辑回归分类器。第一个全连接层的输入是由卷积层和子采样层进行特征提取得到的特征图像。最后一层输出层是一个分类器，可以采用逻辑回归，Softmax回归甚至是支持向量机对输入图像进行分类。输入图像统计和滤波器进行卷积之后，提取该局部特征，一旦该局部特征被提取出来之后，它与其他特征的位置关系也随之确定下来了，每个神经元的输入和前一层的局部感受野相连，每个特征提取层都紧跟一个用来求局部平均与二次提取的计算层，也叫特征映射层，网络的每个计算层由多个特征映射平面组成，平面上所有的神经元的权重相等。通常将输入层到隐藏层的映射称为一个特征映射，也就是通过卷积层得到特征提取层，经过pooling之后得到特征映射层。
简而言之，卷积神经网络通过网络的正向传播学习输入数据的特征，利用这些特征输出正向输出结果，然后通过正向输出结果与实际结果之间的差值(loss值)进行反向梯度运算，不断更新正向传播学习到的特征权重，直到正向输出结果与实际结果无限接近。这样，卷积神经网络构造了输入数据与输出结果之间的映像关系。
YOLO算法的具体操作是首先将输入图片的尺寸调整为固定大小，然后将其划分为S*S的格子，每个格子负责对落入其中的目标进行检测，一次性预测所有格子所含目标的边界框、边界框定位置信度、以及所有类别概率向量。
图6为YOLOv4的结果图，在YOLOv4中，输入图片被调整为608*608，然后融合FPN思想，进行多尺度检测，输出三个检测层，这三个检测层将图片分别划分为19*19，38*38和76*76。然后每个网格预测3个边界框，每个边界框包含5个元素：(x,y,w,h,confidence)。其中，x和y指相应单元格的偏移量，w和h为边界框以整张图片为基准归一化后的宽度和高度。confidence指框置信度得分，反映了一个框内包含有检测目标的可能性以及检测框的准确程度。置信度的计算方式为：
其中Pr(Obiect)为框内有检测目标的概率，既有检测目标，则Pr(Obiect)为1，没有则为0；
为预测框和真实物体边界框的交并比(Intersection Over Union，IOU)。当得到框的定位置信度之后，便使用非极大值抑制(Non-Maximum Suppression，NMS)算法，留下置信得分较高的预测框。接下来计算每个预测框的类别置信度得分，其计算方法为公式(2)，Pr(classi|Obiect)其中为网格预测第i类目标的置信概率。
Pr(classi|Obiect)*confidence(2)
YOLOv4的损失函数由边界框回归框损失CIOU函数、置信度损失和分类损失三部分组成，其中CIOU损失函数定义为：
其中IOU为检测框b和groundtruthbgt的交并比，ρ2为b与bgt中心点之间的欧几里得距离，C为b与bgt最小外接矩的对角线的长度，wgt、hgt、w、h分别为bgt和b的宽和高。
置信度Lconloss函数采用交叉熵，分为两部分：obj(有目标)和noobj(无目标)，其中noobj的loss还增加了权重系数lambda，这是为了减少noobj计算部分的贡献权重。
其中s*s为网格的个数，B为候选框数，
表示：第i个网格的第j个anchor box是否负责这个object，
则表示不负责。
和C为置信度参数，其中前者为真实值，由gridcell的bounding box有没有负责预测某个对象决定的，如果负责则为1，否则为0。
分类loss损失函数也采用交叉熵，当第i个网格的第j个anchor box负责某一个真实目标时，那么这个anchor box所产生的bounding box才会去计算分类损失函数。
其中和为分类概率，前者表示真实值，当第i个网格的第j个anchor box负责某一个真实目标时，那么这个anchor box所产生的bounding box才会去计算分类损失函数。
五.通过相邻帧判断策略确认缺陷
传送带工作环境复杂，本身托辊支架等机械设备和物资中锋利物体在运输过程中很可能对传送带产生划痕，但并未撕裂或者造成穿透，浅划痕往往单独存在，分布较广，无连续性，并且不会影响安全生产；日常维护过程中发现皮带某一部分有潜在发生撕裂的可能，会对这段皮带进行修剪，并且用钢条重新连接固定和硫化，经过处理的传送带明显与最初传送带特征存在区别；某些传送带厂家会在皮带上烫印公司商标作为推广。如果缺陷检测设备单独依据单帧图片进行分析，在遇到上述情形的检测数据会造成大量误识别，同时由于传送带运行速度很快，上述情形中的误识别情形不会在连续相邻多帧图片中同时出现，所以设计相邻帧激光条纹判断算法规避这些误识别数据产生的影响，提高检测精度。
相邻帧判断策略的主要思路在于目前大部分传送带所使用的皮带为宽幅皮带(一般为2米)，内部贯穿尼龙绳或者钢丝绳，以达到提高张力，增强承载能力的作用，所以当传送带发生真正撕裂的时候，其撕裂位置水平方向变化不大，同时又由于皮带机高速运转，上述的误识别情形不会发生在连续多帧图片之内。当设备接受到数据以后，得到疑似传送带缺陷坐标信息，与下一帧数据的疑似传送带缺陷坐标进行比较(公式如下)，两者的间距依据分辨率和视场大小比例转化，如果超出设定阈值，则认为两张相邻连续图像不存在同一传送带缺陷，不作为分级报警依据。
式中xa,xb,ya,yb——两张相邻连续图像传送带缺陷坐标，
Z——相邻帧间疑似传送带缺陷距离。
皮带撕裂检测设备采集设备(高清工业相机)的分辨率为1600*1200，视场大小近似为1200*900(单位mm)，比例近似为0.75mm/pix。通过对大量的实际缺陷数据和误识别数据进行离线特征提取和分析，根据经验设定阈值，同一纵向缺陷坐标变化不会超过100pix(75mm)，故当相邻帧间疑似传送带缺陷距离超过这一设定阈值，即认为当前帧的缺陷数据与上一帧缺陷数据相距较远，不构成相邻帧判断依据。
同理，相邻帧判断策略同时应用于传送带跑偏检测。在传送带启动或停止过程中，电机加速运转，传送带上下抖动幅度过大，会使多帧图片边缘异常，激光条缺失。对单一图片进行缺陷检测误差过大，经过相邻帧判断策略可减少此类误报现象。
六、当确认发生缺陷后，发出报警并连锁传送带停机，同时存储真实或误报撕裂图片，扩充深度学习数据集，进行不断学习。
七、检测算法实测
经过现场实测，传送带缺陷检测系统可精准定位传送带缺陷的发生，对于传送带穿透撕裂、传送带撕裂并覆盖(不透光)、传送带跑偏等均有辨别报警能力，漏报率小于1％，经过采取一字线激光扩大传送带缺陷特征，深度学习检测不再因红色一字线激光外的目标干扰而产生误报，传送带缺陷误报情况明显降低。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (3)
1.一种基于深度学习的传送带缺陷检测方法，其特征在于，包括以下步骤：
A1：采用一字线激光扩大传送带缺陷特征，高清工业相机采集视频数据；
当皮带表面发生撕裂等缺陷时，线激光条纹经撕裂位置的调制反映到图像上是一条含有局部跳跃畸变或者是存在断点等特征的光条纹图像，通过对提取得到的光条特征进行分析，实现对皮带表面各种缺陷特征的检测；
A2：模拟撕裂积累深度学习所需数据集，为深度学习算法积累数据集；
A3：激光条纹中心线偏移分析算法检测传送带跑偏缺陷；
跑偏特征反映到图像上就是整条激光条纹在图像中的位置发生了一定的偏移；对跑偏的检测是通过统计光条中心像素点缺失总数来完成的，设定一阈值K，当检测图像中光条中心像素点缺失总数超过K时，判定为皮带发生了跑偏；
A4：采用Yolov4深度学习算法判断传送带撕裂缺陷；
A5：通过相邻帧判断策略确认缺陷；
当设备接受到数据以后，得到疑似传送带缺陷坐标信息，与下一帧数据的疑似传送带缺陷坐标进行比较，两者的间距依据分辨率和视场大小比例转化，如果超出设定阈值，则认为两张相邻连续图像不存在同一传送带缺陷，不作为分级报警依据；
式中xa,xb,ya,yb——两张相邻连续图像传送带缺陷坐标，
Z——相邻帧间疑似传送带缺陷距离；
A6：当确认发生缺陷后，发出报警并连锁传送带停机，同时存储真实或误报撕裂图片，扩充深度学习数据集，进行不断学习。
2.根据权利要求1所述的基于深度学习的传送带缺陷检测方法，其特征在于，所述步骤A4中，在YOLOv4中，输入图片被调整为608*608，然后融合FPN思想，进行多尺度检测，输出三个检测层，这三个检测层将图片分别划分为19*19，38*38和76*76；然后每个网格预测3个边界框，每个边界框包含5个元素：(x,y,w,h,confidence)；其中，x和y指相应单元格的偏移量，w和h为边界框以整张图片为基准归一化后的宽度和高度；confidence指框置信度得分，反映了一个框内包含有检测目标的可能性以及检测框的准确程度；置信度的计算方式为：
其中Pr(Obiect)为框内有检测目标的概率，既有检测目标，则Pr(Obiect)为1，没有则为0；
为预测框和真实物体边界框的交并比(Intersection Over Union，IOU)。当得到框的定位置信度之后，便使用非极大值抑制(Non-Maximum Suppression，NMS)算法，留下置信得分较高的预测框；接下来计算每个预测框的类别置信度得分，其计算方法为公式(2)，Pr(classi|Obiect)其中为网格预测第i类目标的置信概率；
Pr(classi|Obiect)*confidence (2)
YOLOv4的损失函数由边界框回归框损失CIOU函数、置信度损失和分类损失三部分组成，其中CIOU损失函数定义为：
其中IOU为检测框b和groundtruthbgt的交并比，ρ2为b与bgt中心点之间的欧几里得距离，C为b与bgt最小外接矩的对角线的长度，wgt、hgt、w、h分别为bgt和b的宽和高；
置信度Lconloss函数采用交叉熵，分为两部分：obj(有目标)和noobj(无目标)，其中noobj的loss还增加了权重系数lambda，这是为了减少noobj计算部分的贡献权重；
其中s*s为网格的个数，B为候选框数，
表示：第i个网格的第j个anchor box是否负责这个object，
则表示不负责；
和C为置信度参数，其中前者为真实值，由grid cell的bounding box有没有负责预测某个对象决定的，如果负责则为1，否则为0；
分类loss损失函数也采用交叉熵，当第i个网格的第j个anchor box负责某一个真实目标时，那么这个anchor box所产生的bounding box才会去计算分类损失函数；
其中和为分类概率，前者表示真实值，当第i个网格的第j个anchor box负责某一个真实目标时，那么这个anchor box所产生的bounding box才会去计算分类损失函数。
3.根据权利要求1所述的基于深度学习的传送带缺陷检测方法，其特征在于，所述步骤A5中，相邻帧判断策略同时应用于传送带跑偏检测，在传送带启动或停止过程中，电机加速运转，传送带上下抖动幅度过大，会使多帧图片边缘异常，激光条缺失；对单一图片进行缺陷检测误差过大，经过相邻帧判断策略可减少此类误报现象。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110942647.6A CN113658136B (zh) | 2021-08-17 | 2021-08-17 | 一种基于深度学习的传送带缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110942647.6A CN113658136B (zh) | 2021-08-17 | 2021-08-17 | 一种基于深度学习的传送带缺陷检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113658136A true CN113658136A (zh) | 2021-11-16 |
| CN113658136B CN113658136B (zh) | 2023-10-13 |
Family
ID=78479930
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110942647.6A Active CN113658136B (zh) | 2021-08-17 | 2021-08-17 | 一种基于深度学习的传送带缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113658136B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113989286A (zh) * | 2021-12-29 | 2022-01-28 | 深圳江行联加智能科技有限公司 | 深度学习的皮带撕裂度量方法、装置、设备及存储介质 |
| CN114155494A (zh) * | 2022-02-10 | 2022-03-08 | 力博重工科技股份有限公司 | 一种基于深度学习的带式输送机输送带跑偏监测方法 |
| CN114359246A (zh) * | 2022-01-10 | 2022-04-15 | 南京中远通科技有限公司 | 输送机皮带检测方法、装置、系统、电子设备及介质 |
| CN114419048A (zh) * | 2022-03-31 | 2022-04-29 | 启东亦大通自动化设备有限公司 | 基于图像处理的输送机在线检测方法及系统 |
| CN115847412A (zh) * | 2022-12-06 | 2023-03-28 | 秦皇岛燕大滨沅科技发展有限公司 | 一种基于分离框的异轨堆、取料机防碰撞运动规划方法 |
| CN116309565A (zh) * | 2023-05-17 | 2023-06-23 | 山东晨光胶带有限公司 | 基于计算机视觉的高强传送带跑偏检测方法 |
| CN116385954A (zh) * | 2023-02-15 | 2023-07-04 | 江苏方天电力技术有限公司 | 一种高精度输电线路异常检测方法及系统 |
| CN117456292A (zh) * | 2023-12-26 | 2024-01-26 | 浙江晶盛机电股份有限公司 | 蓝宝石缺陷检测方法、装置、电子装置和存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105692122A (zh) * | 2016-04-19 | 2016-06-22 | 南京工程学院 | 一种基于激光线的输送带纵向撕裂检测方法 |
| CN110171691A (zh) * | 2019-06-20 | 2019-08-27 | 天津市三特电子有限公司 | 带式传输机皮带撕裂状态检测方法及检测系统 |
| US20190287235A1 (en) * | 2018-03-14 | 2019-09-19 | Omron Corporation | Defect inspection device, defect inspection method, and computer readable recording medium |
| CN111661590A (zh) * | 2020-06-08 | 2020-09-15 | 天地（常州）自动化股份有限公司 | 矿用带式输送机输送带撕裂损伤检测方法 |
| CN111717617A (zh) * | 2020-08-11 | 2020-09-29 | 南京毫末科技有限公司 | 一种激光辅助传送带撕裂检测装置及方法 |
| CN111754466A (zh) * | 2020-06-08 | 2020-10-09 | 西安电子科技大学 | 传输机皮带损伤状况的智能检测方法 |
-
2021
- 2021-08-17 CN CN202110942647.6A patent/CN113658136B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105692122A (zh) * | 2016-04-19 | 2016-06-22 | 南京工程学院 | 一种基于激光线的输送带纵向撕裂检测方法 |
| US20190287235A1 (en) * | 2018-03-14 | 2019-09-19 | Omron Corporation | Defect inspection device, defect inspection method, and computer readable recording medium |
| CN110171691A (zh) * | 2019-06-20 | 2019-08-27 | 天津市三特电子有限公司 | 带式传输机皮带撕裂状态检测方法及检测系统 |
| CN111661590A (zh) * | 2020-06-08 | 2020-09-15 | 天地（常州）自动化股份有限公司 | 矿用带式输送机输送带撕裂损伤检测方法 |
| CN111754466A (zh) * | 2020-06-08 | 2020-10-09 | 西安电子科技大学 | 传输机皮带损伤状况的智能检测方法 |
| CN111717617A (zh) * | 2020-08-11 | 2020-09-29 | 南京毫末科技有限公司 | 一种激光辅助传送带撕裂检测装置及方法 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113989286A (zh) * | 2021-12-29 | 2022-01-28 | 深圳江行联加智能科技有限公司 | 深度学习的皮带撕裂度量方法、装置、设备及存储介质 |
| CN114359246A (zh) * | 2022-01-10 | 2022-04-15 | 南京中远通科技有限公司 | 输送机皮带检测方法、装置、系统、电子设备及介质 |
| CN114359246B (zh) * | 2022-01-10 | 2023-03-10 | 南京中远通科技有限公司 | 输送机皮带检测方法、装置、系统、电子设备及介质 |
| CN114155494A (zh) * | 2022-02-10 | 2022-03-08 | 力博重工科技股份有限公司 | 一种基于深度学习的带式输送机输送带跑偏监测方法 |
| CN114419048A (zh) * | 2022-03-31 | 2022-04-29 | 启东亦大通自动化设备有限公司 | 基于图像处理的输送机在线检测方法及系统 |
| CN115847412A (zh) * | 2022-12-06 | 2023-03-28 | 秦皇岛燕大滨沅科技发展有限公司 | 一种基于分离框的异轨堆、取料机防碰撞运动规划方法 |
| CN115847412B (zh) * | 2022-12-06 | 2023-09-19 | 秦皇岛燕大滨沅科技发展有限公司 | 一种基于分离框的异轨堆、取料机防碰撞运动规划方法 |
| CN116385954A (zh) * | 2023-02-15 | 2023-07-04 | 江苏方天电力技术有限公司 | 一种高精度输电线路异常检测方法及系统 |
| CN116309565A (zh) * | 2023-05-17 | 2023-06-23 | 山东晨光胶带有限公司 | 基于计算机视觉的高强传送带跑偏检测方法 |
| CN117456292A (zh) * | 2023-12-26 | 2024-01-26 | 浙江晶盛机电股份有限公司 | 蓝宝石缺陷检测方法、装置、电子装置和存储介质 |
| CN117456292B (zh) * | 2023-12-26 | 2024-04-19 | 浙江晶盛机电股份有限公司 | 蓝宝石缺陷检测方法、装置、电子装置和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113658136B (zh) | 2023-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113658136B (zh) | 一种基于深度学习的传送带缺陷检测方法 | |
| CN109230351B (zh) | 一种皮带输送机运行异常的识别方法 | |
| CN111862083B (zh) | 一种基于视觉-电磁检测的钢丝绳状态综合监测系统及方法 | |
| CN114359246B (zh) | 输送机皮带检测方法、装置、系统、电子设备及介质 | |
| CN106990109B (zh) | 一种基于多摄像头判定的井下皮带异物检测系统及方法 | |
| CN111832415A (zh) | 一种用于集装箱吊装作业的卡车安全智能保护系统 | |
| CN112330607A (zh) | 基于图像识别技术的煤矸识别方法、装置及系统 | |
| CN115240075B (zh) | 电力视觉多粒度预训练大模型的构建与训练方法 | |
| CN112200225A (zh) | 基于深度卷积神经网络的钢轨伤损b显图像识别方法 | |
| CN115082849B (zh) | 基于深度学习的模板支架安全智能监测方法 | |
| CN114926733A (zh) | 一种改进区域卷积神经网络的传送带撕裂检测方法 | |
| CN113297885A (zh) | 基于卷积神经网络的皮带机表面状态检测方法及装置 | |
| CN110015553A (zh) | 基于视频分析的运输皮带系统异物检测保护方法 | |
| CN113260854A (zh) | 学习完成模型的生成方法、学习完成模型、表面缺陷检测方法、钢材的制造方法、合格与否判定方法、等级判定方法、表面缺陷判定程序、合格与否判定程序、判定系统及钢材的制造设备 | |
| CN114803386B (zh) | 基于双目线激光相机的输送带纵向撕裂检测系统及方法 | |
| CN113095160B (zh) | 基于人工智能和5g的电力系统人员安全行为识别方法及系统 | |
| CN112418253B (zh) | 基于深度学习的撒砂管松脱故障图像识别方法及系统 | |
| WO2023245984A1 (zh) | 基于线缆巡检机器人的架空线检测方法和系统 | |
| CN112801072B (zh) | 一种基于计算机视觉的电梯非平层开门故障识别装置及方法 | |
| CN114037973A (zh) | 一种基于图像处理的交通信号灯故障检测方法 | |
| CN112801071A (zh) | 一种基于深度学习的电梯非同步开门识别系统及方法 | |
| KR20220147925A (ko) | 낙탄을 검출할 수 있는 영상감지시스템 | |
| KR101010136B1 (ko) | 에이치티엠 기반의 지능형 품질판단 방법 | |
| CN110309838A (zh) | 基于指数变换的视频检测区物体轮廓检测预处理方法 | |
| CN110781758A (zh) | 一种受电弓结构异常动态视频监测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 066099 No. 438, west section of Hebei Street, Qinhuangdao City, Hebei Province Patentee after: Yanshan University Country or region after: China Patentee after: Binyuan Guoke (Qinhuangdao) Intelligent Technology Co.,Ltd. Address before: 066099 No. 438, west section of Hebei Street, Qinhuangdao City, Hebei Province Patentee before: Yanshan University Country or region before: China Patentee before: QINHUANGDAO YANDA BINYUAN TECHNOLOGY DEVELOPMENT Co.,Ltd. |