CN110930357A - 一种基于深度学习的在役钢丝绳表面缺陷检测方法与系统 - Google Patents
一种基于深度学习的在役钢丝绳表面缺陷检测方法与系统 Download PDFInfo
- Publication number
- CN110930357A CN110930357A CN201910986814.XA CN201910986814A CN110930357A CN 110930357 A CN110930357 A CN 110930357A CN 201910986814 A CN201910986814 A CN 201910986814A CN 110930357 A CN110930357 A CN 110930357A
- Authority
- CN
- China
- Prior art keywords
- steel wire
- wire rope
- image
- deep learning
- cnn
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 229910000831 Steel Inorganic materials 0.000 title claims abstract description 113
- 239000010959 steel Substances 0.000 title claims abstract description 113
- 230000007547 defect Effects 0.000 title claims abstract description 47
- 238000001514 detection method Methods 0.000 title claims abstract description 37
- 238000013135 deep learning Methods 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000003745 diagnosis Methods 0.000 claims abstract description 19
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 32
- 238000000605 extraction Methods 0.000 claims description 15
- 238000010586 diagram Methods 0.000 claims description 14
- 230000007797 corrosion Effects 0.000 claims description 10
- 238000005260 corrosion Methods 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 10
- 238000004140 cleaning Methods 0.000 claims description 8
- 238000005520 cutting process Methods 0.000 claims description 7
- 230000001788 irregular Effects 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 6
- 238000005286 illumination Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000003708 edge detection Methods 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000011897 real-time detection Methods 0.000 claims description 3
- 238000012790 confirmation Methods 0.000 claims description 2
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims description 2
- 238000012546 transfer Methods 0.000 claims description 2
- JLYXXMFPNIAWKQ-UHFFFAOYSA-N γ Benzene hexachloride Chemical compound ClC1C(Cl)C(Cl)C(Cl)C(Cl)C1Cl JLYXXMFPNIAWKQ-UHFFFAOYSA-N 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 abstract description 4
- 238000005299 abrasion Methods 0.000 abstract description 3
- 238000007689 inspection Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/60—Rotation of a whole image or part thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
Abstract
本发明公开了一种基于深度学习的在役钢丝绳表面缺陷检测方法与系统，属于机械零部件损伤监测与诊断领域，包括图像采集、原始图像数据规范化预处理、建立分类器和在线智能诊断四个步骤；本发明提出了在钢丝绳表面图像采集前进行污垢自动清除，以减少对缺陷识别的影响；本发明克服了钢丝绳位姿不正和图像背景信息的影响，可提高算法的工作环境适应性和鲁棒性；所提出的WR‑CNN算法能够达到99％的诊断精度，且只消耗8ms/样本，可满足实时性的要求；可一定程度上实时发现钢丝绳断丝、磨损损伤，并可在此基础上扩展缺陷类型，以检测更多类型缺陷，克服了人工巡检的效率低、检测周期长和无法及时发现的问题。
Description
技术领域
本发明属于机械零部件损伤监测与诊断领域，尤其涉及一种基于深度学习的在役钢丝绳表面缺陷检测方法与系统。
背景技术
钢丝绳作为矿井提升机、工程起重机、索道、电梯等复杂机械系统的重要承载部件，其健康状况直接关系到使用者的生命和财产安全。所以对钢丝绳的健康状况进行实时的监测和诊断显得十分重要。通过视觉方法检测钢丝绳表面状况是一种直观、有效的方法。
目前采用的机器视觉方法主要存在以下问题：1)现有的研究多默认为获取的钢丝绳图像数据规范，即钢丝绳位姿正常，而实际中由于工作环境和监测对象的影响，所获取的钢丝绳图像不一定位于图像正中间且不一定处于水平或垂直状态；所获取的图像含有大量背景信息，从而造成不必要的计算，同时诊断结果受到背景信息的影响。2)现有诊断方法需人工选择和提取特征，机器学习从原始数据中不能生成有辨别能力的特征；同时，缺陷样本的数量不足以训练一个健壮的分类器。
随着人工智能的快速发展，结合适当的图像预处理，深度学习可作为一种解决上述问题的高效方法。深度学习作为一种先进的端对端方法，可自适应的从原始信号中学习特征的深层次表达，可避免复杂的人工特征提取过程。自从2006年深度学习的提出，深度学习已被广泛应用于文字识别、语音识别、图像识别等领域。在机械损伤检测与诊断领域，一些深度学习算法也已经被逐渐利用，取得了较传统算法更好的结果。
鉴于传统方法的局限性以及深度学习的优势，本发明将深度学习方法引入到钢丝绳表面缺陷的监测当中，对保障钢丝绳的可靠性和安全性意义重大。
发明内容
本发明针对上述不足提供了一种基于图像处理和深度学习的钢丝绳表面缺陷智能检测方法与系统，融合机器视觉技术、图像处理方法和深度学习算法，以高效地检测和识别钢丝绳表面缺陷。
本发明采用如下技术方案：
一种基于深度学习的在役钢丝绳表面缺陷检测方法，包括图像采集、原始图像数据规范化预处理、建立分类器和在线智能诊断四个步骤，具体步骤如下：
步骤1，图像采集：对运行中的钢丝绳图像进行周向采集，记录下每张图像中钢丝绳在全绳中的位置；
步骤2，原始图像数据规范化预处理；具体如下，
步骤2.1，位姿调整：采用边缘检测和形态学方法实现钢丝绳图像分割，利用霍夫变换实现边界识别，计算其边界斜率，将图像进行旋转；
步骤2.2，ROI提取：对图像进行垂直灰度投影，得到垂直灰度分布图；根据钢丝绳直径大小，结合灰度积分公式，计算灰度积分值最小的区间，并将其切割出来，切割为等长度的子图，从而建立起满足训练和测试用的钢丝绳表面状态大数据集；
步骤3，建立分类器：对传统的CNN即LeNet-5进行改进，包括其结构和参数，命名为WR-CNN，然后设置分类器WR-CNN的结构和参数；
步骤4，在线智能诊断：在得到集成算法模型后，配置检测系统的软硬件，实现钢丝绳表面缺陷在线实时检测，并根据检测结果作出合理预警。
作为本发明一种基于深度学习的在役钢丝绳表面缺陷检测方法的进一步优选方案，在步骤2.1中，位姿调整为不规范钢丝绳位姿调整过程，其具体过程如下：
步骤A.同态高斯滤波：建立同态滤波器Hhf(u,v)＝(γH-γL)[cH(u,v)]+γL，其中H(u,v)＝exp[-(D(u,v)/D0)2n]，设置公式中的参数γH,γL,c,n,D0，其中，H(u,v)为传递函数，D0为截至频率，
u和v分别为图像中像素点坐标x和y进行傅里叶变换后对应的量，n为阶数，常数c用于控制坡度的锐利度，它在γH和γL之间过渡，其中γL<1且γH>1；对图像I进行滤波，得到滤波后的图像I1；
步骤B.纹理检测：设置Sobel的阈值g，根据公式
计算梯度图像G(x,y)，与阈值进行比较，忽略小于阈值的边缘，得到二值纹理图像I2；其中，
式中，f(x+i,y+j)为偏离点(x,y)的点(x+i,y+j)的灰度值，ax(i,j)和ay(i,j)分别是x方向和y方向上的Sobel边缘算子；
步骤C.边界确认：设置结构元素B1，进行膨胀运算，得到膨胀图像I3；进行孔洞填充运算，得到填充图像I4；设置结构元素B2，连续两次腐蚀运算，得到腐蚀图像I5；
步骤D.姿态旋转：进行霍夫变换，寻找峰值，提取直线段，直线段为设置线段合并阈值和检测的直线断的最小长度，找到钢丝绳边界直线，得到钢丝绳边界图像I6；接着计算边界的斜率，根据斜率对滤波图像I1进行旋转；完成旋转后，得到旋转图像J。
作为本发明一种基于深度学习的在役钢丝绳表面缺陷检测方法的进一步优选方案，在步骤A至步骤D中，将参数设置为：γH＝2.2,γL＝0.25,c＝2,n＝1,D0＝50；g＝0.5·g′g′为自适应阈值；膨胀运算中，对于线性结构元素B1，元素长度为3，角度为0度和90度；腐蚀运算中，对于菱形结构元素B2，结构元素原点到顶点距离为1；寻找的峰值数目设为4，在Hough矩阵中寻找前4个大于Hough矩阵中最大值0.3倍的峰值；线段合并阈值设为50，检测直线段的最小长度设为70；图像旋转时，根据斜率值反向旋转。
作为本发明一种基于深度学习的在役钢丝绳表面缺陷检测方法的进一步优选方案，在步骤2.2中，ROI提取为不规范钢丝绳ROI提取过程；具体过程如下：
步骤2.11，对钢丝绳位姿进行调整后，从调整完位姿的图J(x,y)中提取有价值的钢丝绳区域图片R(x,y)，即ROI区域；
步骤2.12，设图像J(x,y)的长为W，宽为H，(x,y)为坐标，输入图像J(x,y)第x列的平均灰度值计算为
则图像J在垂直方向的投影为G＝[g(1),g(2),...g(W)]；
步骤2.13，设钢丝绳的宽度为Wr，则沿x轴的投影曲线中每个宽度的灰度积分S(b)为
步骤2.14，当b使S(b)满足argminS(b)时，b即为钢丝绳在x轴方向上的起点位置，b+Wr则为终点位置，则位于x轴方向的区间[b,b+Wr]中的图为ROI区域R(x,y)；
步骤2.15，将R(x,y)剪切出来后，再分割为等长度的子图，即可建立其用于训练和测试数据集。
作为本发明一种基于深度学习的在役钢丝绳表面缺陷检测方法的进一步优选方案，在步骤2中，通过对实际和实验室中钢丝绳图像的采集和数据增强，建立2000张不同的健康钢丝绳、2000张不同的断丝钢丝绳和2000张不同的磨损钢丝绳的图像数据集；对图像进行灰度化，以减少光照的影响，通过插值运算将图像缩放到32×32或64×64大小，以作为网络模型的输入。
作为本发明一种基于深度学习的在役钢丝绳表面缺陷检测方法的进一步优选方案，在步骤3中，建立深度卷积神经网络结构，输入的二维数据的尺寸为64×64；在第一个隐含层中，卷积层包含32个过滤器，卷积核尺寸为5×5，池化层的池化尺寸为2×2；第二至第四隐含层采用了不同个数的过滤器，采用了相同的卷积核大小和池化核大小；全连接层的神经元个数分别为2560和768；输出层的节点为3，等于样本类型的数量。
作为本发明一种基于深度学习的在役钢丝绳表面缺陷检测方法的进一步优选方案，在步骤3中，设置所提出算法与其他对比算法的配置，将输出层统一设为3个节点；SVM、KNN、ANN是在本数据集上，采用智能优化算法得到的较好结构和配置。
作为本发明一种基于深度学习的在役钢丝绳表面缺陷检测方法的进一步优选方案，在步骤3中，比较所提出算法与其他算法的性能，建立满足要求的WR-CNN分类器；Letnet-5和Large CNN对各类别都有一定的误识别，而WR-CNN误识别率较小，准确性较高；WR-CNN可以精确的、快速的从经过位姿调整和ROI提取的预处理图像中识别钢丝绳表面缺陷状态。
一种钢丝绳表面缺陷智能检测系统，包括
污垢清洗模块，配置钢丝绳表面污垢清洗装置，用于清洗污垢；
图像采集模块，根据光照条件，配置相关的光源，采用1-4个高速相机拍取钢丝绳表面的图像，用于掌握钢丝绳的单向/周向状态信息；
诊断与预警模块；将所采集的图像实时传输到含已训练好的深度网络集成模型WR-CNN的上位机中，上位机根据诊断结果作出进一步的预警。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
1)本发明提出了在钢丝绳表面图像采集前进行污垢自动清除，以减少对缺陷识别的影响；
2)本发明克服了钢丝绳位姿不正和图像背景信息的影响，可提高算法的工作环境适应性和鲁棒性；
3)所提出的WR-CNN算法能够达到99％的诊断精度，且只消耗8ms/样本，可满足实时性的要求；可一定程度上实时发现钢丝绳断丝、磨损损伤，并可在此基础上扩展缺陷类型，以检测更多类型缺陷，克服了人工巡检的效率低、检测周期长和无法及时发现的问题。
附图说明
图1为本发明的基于深度学习的钢丝绳表面缺陷智能检测方法流程图；
图2为本发明的不规范钢丝绳位姿调整过程图，其中，(a)原始图I，(b)滤波图I1，(c)纹理提取图I2，(d)膨胀运算图I3，(e)填充运算图I4，(f)腐蚀运算图I5，(g)边界识别图I6，(h)几何旋转图J；
图3为本发明的不规范钢丝绳ROI(感兴趣区域)提取过程图；
图4为本发明的所建立钢丝绳缺陷数据集部分样本图；其中，(a)健康钢丝绳，(b)断丝钢丝绳，(c)磨损钢丝绳；
图5为本发明的深度卷积神经网络结构图；
图6为本发明的所提出算法与其他对比算法的配置；
图7为本发明所提出算法及其他算法的性能比较结果；
图8为本发明钢丝绳表面缺陷智能检测系统架构图。
具体实施方式
为使本发明实施例的目的和技术方案更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围：
如图1所示，为本发明的基于深度学习的在役钢丝绳表面缺陷智能检测方法，包括图像采集、数据预处理、分类器建立和在线智能诊断几个步骤。具体步骤如下：
1)图像采集：对运行中的钢丝绳图像进行周向采集(采集前根据实际情况确定是否清洗钢丝绳表面污垢)，记录下每张图像中钢丝绳在全绳中的位置，以便于后期预警时提供位置信息。采集包括健康、断丝、磨损状态的钢丝绳表面图像若干张。
2)对原始图像进行规范化预处理。2.1)位姿调整：采用边缘检测和形态学方法实现钢丝绳图像分割，然后利用霍夫变换实现边界识别，计算其边界斜率，然后将图像进行旋转；2.2)ROI提取：对图像进行垂直灰度投影，得到垂直灰度分布图。根据钢丝绳直径大小，结合灰度积分公式，计算灰度积分值最小的区间，并将其切割出来，然后切割为等长度的子图，从而建立起满足训练和测试用的钢丝绳表面状态大数据集。
3)建立分类器：对传统的CNN即LeNet-5进行改进，包括其结构和参数，命名为WR-CNN，然后设置分类器WR-CNN的结构和参数；
4)在线智能诊断：在得到集成算法模型后，配置检测系统的软硬件，实现钢丝绳表面缺陷在线实时检测，并根据检测结果作出合理预警。
如图2所示，为不规范钢丝绳位姿调整过程。其具体过程如下：
A.同态高斯滤波。建立同态滤波器Hhf(u,v)＝(γH-γL)[cH(u,v)]+γL，其中Hl(u,v)＝exp[-(D(u,v)/D0)2n]，设置公式中的参数γH,γL,c,n,D0。对图像I进行滤波，得到滤波后的图像I1。
B.纹理检测。设置Sobel的阈值g，然后根据公式
计算梯度图像G(x,y)，与阈值进行比较，忽略小于阈值的边缘，得到二值纹理图像I2。
C.边界确认。设置结构元素B1，进行膨胀运算，得到膨胀图像I3；进行孔洞填充运算，得到填充图像I4；设置结构元素B2，连续两次腐蚀运算，得到腐蚀图像I5。
D.姿态旋转。进行霍夫变换，寻找峰值(设置峰值数)，然后提取直线段(设置线段合并阈值和检测的直线断的最小长度)，找到钢丝绳边界直线，得到钢丝绳边界图像I6；接着计算边界的斜率，根据斜率对滤波图像I1进行旋转。完成旋转后，得到旋转图像J。
其中，算法中的参数需要根据试验效果进行确定，包括同态高斯滤波参数，边缘检测算子阈值、膨胀参数、腐蚀参数、霍夫变换参数等。针对本实例，经过多次试验，将参数设置为：γH＝2.2,γL＝0.25,c＝2,n＝1,D0＝50；g＝0.5·g′(g′为自适应阈值)；膨胀运算中，对于线性结构元素B1，元素长度为3，角度为0度和90度；腐蚀运算中，对于菱形结构元素B2，结构元素原点到顶点距离为1；寻找的峰值数目设为4，在Hough矩阵中寻找前4个大于Hough矩阵中最大值0.3倍的峰值；线段合并阈值设为50，检测直线段的最小长度设为70；图像旋转时，根据斜率值反向旋转。
如图3所示，为不规范钢丝绳ROI提取过程。对钢丝绳位姿进行调整后，从调整完位姿的图J(x,y)中提取有价值的钢丝绳区域图片R(x,y)，即ROI区域。设图像J(x,y)的长为W，宽为H，(x,y)为坐标。输入图像J(x,y)第x列的平均灰度值计算为
则图像J在垂直方向的投影为G＝[g(1),g(2),...g(W)]。设钢丝绳的宽度为Wr，则沿x轴的投影曲线中每个宽度的灰度积分S(b)为
当b使S(b)满足argminS(b)时(因为灰度图中，黑色为0，白色为255，且背景为白色)，b即为钢丝绳在x轴方向上的起点位置，b+Wr则为终点位置，则位于x轴方向的区间[b,b+Wr]中的图为ROI区域R(x,y)。将R(x,y)剪切出来后，再分割为等长度的子图，即可建立其用于训练和测试数据集。
如图4所示，为所建立钢丝绳数据集部分样本图。通过对实际和实验室中钢丝绳图像的采集和数据增强，建立了2000张不同的健康钢丝绳、2000张不同的断丝钢丝绳和2000张不同的磨损钢丝绳的图像数据集。每种状态能够尽可能的涵盖所有的样本空间。首先对图像进行灰度化，以减少光照的影响，然后通过插值运算将图像缩放到32×32或64×64大小，以作为网络模型的输入。
如图5所示，为本发明的深度卷积神经网络结构。在网络中，输入的二维数据的尺寸为64×64。在第一个隐含层中，卷积层包含32个过滤器，卷积核尺寸为5×5，池化层的池化尺寸为2×2。第二至第四隐含层采用了不同个数的过滤器，采用了相同的卷积核大小和池化核大小。全连接层的神经元个数分别为2560和768。输出层的节点为3，等于样本类型的数量。
如图6所示，为本发明的所提出算法与其他对比算法的配置。本实例中，LeNet-5、Light CNN直接采用图6中输入层、卷积层、池化层和全连接层的配置，将输出层统一设为3个节点；SVM、KNN、ANN是在本数据集上，采用智能优化算法得到的较好结构和配置。
如图7所示，为本发明所提出算法与其他算法的性能比较结果。从结果可以看出，深度学习方法在各类别缺陷的识别上效果相近，而机器学习算法对各类别缺陷的识别差别较大，说明深度网络在本实例上的区分能力更好；深度学习方法中，Letnet-5和Large CNN对各类别都有一定的误识别，而提出的WR-CNN误识别率较小，说明了所提出算法在本实例上具有较高的准确性。所提出的WR-CNN可以精确的、快速的从经过位姿调整和ROI提取的预处理图像中识别钢丝绳表面缺陷状态。
如图8所示，为本发明钢丝绳表面缺陷智能检测系统架构。钢丝绳表面缺陷智能检测系统包括污垢清洗模块、图像采集模块和诊断与预警模块。根据实际情况，配置钢丝绳表面污垢清洗装置；根据光照条件，配置相关的光源，并采用1-4个高速相机拍取钢丝绳表面的图像，以掌握钢丝绳的单向/周向状态信息；然后将所采集的图像实时传输到含已训练好的深度网络集成模型WR-CNN的上位机中，上位机根据诊断结果作出进一步的预警。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (9)
1.一种基于深度学习的在役钢丝绳表面缺陷检测方法，包括图像采集、原始图像数据规范化预处理、建立分类器和在线智能诊断四个步骤，具体步骤如下：
步骤1，图像采集：对运行中的钢丝绳图像进行周向采集，记录下每张图像中钢丝绳在全绳中的位置；
步骤2，原始图像数据规范化预处理；具体如下，
步骤2.1，位姿调整：采用边缘检测和形态学方法实现钢丝绳图像分割，利用霍夫变换实现边界识别，计算其边界斜率，将图像进行旋转；
步骤2.2，ROI提取：对图像进行垂直灰度投影，得到垂直灰度分布图；根据钢丝绳直径大小，结合灰度积分公式，计算灰度积分值最小的区间，并将其切割出来，切割为等长度的子图，从而建立起满足训练和测试用的钢丝绳表面状态大数据集；
步骤3，建立分类器：对传统的CNN即LeNet-5进行改进，包括其结构和参数，命名为WR-CNN，然后设置分类器WR-CNN的结构和参数；
步骤4，在线智能诊断：在得到集成算法模型后，配置检测系统的软硬件，实现钢丝绳表面缺陷在线实时检测，并根据检测结果作出合理预警。
2.根据权利要求1所述的一种基于深度学习的在役钢丝绳表面缺陷检测方法，其特征在于：在步骤2.1中，位姿调整为不规范钢丝绳位姿调整过程，其具体过程如下：
步骤A.同态高斯滤波：建立同态滤波器Hhf(u,v)＝(γH-γL)[cH(u,v)]+γL，其中Hl(u,v)＝exp[-(D(u,v)/D0)2n]，设置公式中的参数γH,γL,c,n,D0，其中，H(u,v)为传递函数，D0为截至频率，
u和v分别为图像中像素点坐标x和y进行傅里叶变换后对应的量，n为阶数，常数c用于控制坡度的锐利度，它在γH和γL之间过渡，其中γL<1且γH>1；对图像I进行滤波，得到滤波后的图像I1；
步骤B.纹理检测：设置Sobel的阈值g，根据公式
计算梯度图像G(x,y)，与阈值进行比较，忽略小于阈值的边缘，得到二值纹理图像I2；其中，
式中，f(x+i,y+j)为偏离点(x,y)的点(x+i,y+j)的灰度值，ax(i,j)和ay(i,j)分别是x方向和y方向上的Sobel边缘算子；
步骤C.边界确认：设置结构元素B1，进行膨胀运算，得到膨胀图像I3；进行孔洞填充运算，得到填充图像I4；设置结构元素B2，连续两次腐蚀运算，得到腐蚀图像I5；
步骤D.姿态旋转：进行霍夫变换，寻找峰值，提取直线段，直线段为设置线段合并阈值和检测的直线断的最小长度，找到钢丝绳边界直线，得到钢丝绳边界图像I6；接着计算边界的斜率，根据斜率对滤波图像I1进行旋转；完成旋转后，得到旋转图像J。
3.根据权利要求2所述的一种基于深度学习的在役钢丝绳表面缺陷检测方法，其特征在于：在步骤A至步骤D中，将参数设置为：γH＝2.2,γL＝0.25,c＝2,n＝1,D0＝50；g＝0.5·g′g′为自适应阈值；膨胀运算中，对于线性结构元素B1，元素长度为3，角度为0度和90度；腐蚀运算中，对于菱形结构元素B2，结构元素原点到顶点距离为1；寻找的峰值数目设为4，在Hough矩阵中寻找前4个大于Hough矩阵中最大值0.3倍的峰值；线段合并阈值设为50，检测直线段的最小长度设为70；图像旋转时，根据斜率值反向旋转。
4.根据权利要求1所述的一种基于深度学习的在役钢丝绳表面缺陷检测方法，其特征在于：在步骤2.2中，ROI提取为不规范钢丝绳ROI提取过程；具体过程如下：
步骤2.11，对钢丝绳位姿进行调整后，从调整完位姿的图J(x,y)中提取有价值的钢丝绳区域图片R(x,y)，即ROI区域；
步骤2.12，设图像J(x,y)的长为W，宽为H，(x,y)为坐标，输入图像J(x,y)第x列的平均灰度值计算为
则图像J在垂直方向的投影为G＝[g(1),g(2),...g(W)]；
步骤2.13，设钢丝绳的宽度为Wr，则沿x轴的投影曲线中每个宽度的灰度积分S(b)为
步骤2.14，当b使S(b)满足argminS(b)时，b即为钢丝绳在x轴方向上的起点位置，b+Wr则为终点位置，则位于x轴方向的区间[b,b+Wr]中的图为ROI区域R(x,y)；
步骤2.15，将R(x,y)剪切出来后，再分割为等长度的子图，即可建立其用于训练和测试数据集。
5.根据权利要求1所述的一种基于深度学习的在役钢丝绳表面缺陷检测方法，其特征在于：在步骤2中，通过对实际和实验室中钢丝绳图像的采集和数据增强，建立2000张不同的健康钢丝绳、2000张不同的断丝钢丝绳和2000张不同的磨损钢丝绳的图像数据集；对图像进行灰度化，以减少光照的影响，通过插值运算将图像缩放到32×32或64×64大小，以作为网络模型的输入。
6.根据权利要求1所述的一种基于深度学习的在役钢丝绳表面缺陷检测方法，其特征在于：在步骤3中，建立深度卷积神经网络结构，输入的二维数据的尺寸为64×64；在第一个隐含层中，卷积层包含32个过滤器，卷积核尺寸为5×5，池化层的池化尺寸为2×2；第二至第四隐含层采用了不同个数的过滤器，采用了相同的卷积核大小和池化核大小；全连接层的神经元个数分别为2560和768；输出层的节点为3，等于样本类型的数量。
7.根据权利要求1所述的一种基于深度学习的在役钢丝绳表面缺陷检测方法，其特征在于：在步骤3中，设置所提出算法与其他对比算法的配置，将输出层统一设为3个节点；SVM、KNN、ANN是在本数据集上，采用智能优化算法得到的较好结构和配置。
8.根据权利要求1所述的一种基于深度学习的在役钢丝绳表面缺陷检测方法，其特征在于：在步骤3中，比较所提出算法与其他算法的性能，建立满足要求的WR-CNN分类器；Letnet-5和Large CNN对各类别都有一定的误识别，而WR-CNN误识别率较小，准确性较高；WR-CNN可以精确的、快速的从经过位姿调整和ROI提取的预处理图像中识别钢丝绳表面缺陷状态。
9.一种基于权利要求1至8任一项所述的钢丝绳表面缺陷智能检测系统，其特征在于：包括
污垢清洗模块，配置钢丝绳表面污垢清洗装置，用于清洗污垢；
图像采集模块，根据光照条件，配置相关的光源，采用1-4个高速相机拍取钢丝绳表面的图像，用于掌握钢丝绳的单向/周向状态信息；
诊断与预警模块；将所采集的图像实时传输到含已训练好的深度网络集成模型WR-CNN的上位机中，上位机根据诊断结果作出进一步的预警。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910986814.XA CN110930357B (zh) | 2019-10-17 | 2019-10-17 | 一种基于深度学习的在役钢丝绳表面缺陷检测方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910986814.XA CN110930357B (zh) | 2019-10-17 | 2019-10-17 | 一种基于深度学习的在役钢丝绳表面缺陷检测方法与系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110930357A true CN110930357A (zh) | 2020-03-27 |
| CN110930357B CN110930357B (zh) | 2023-11-14 |
Family
ID=69849102
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910986814.XA Active CN110930357B (zh) | 2019-10-17 | 2019-10-17 | 一种基于深度学习的在役钢丝绳表面缺陷检测方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110930357B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111623868A (zh) * | 2020-05-12 | 2020-09-04 | 西南交通大学 | 用于钢轨波磨识别的卷积神经网络构建方法 |
| CN112070728A (zh) * | 2020-08-24 | 2020-12-11 | 西安理工大学 | 基于目标检测算法的钢绳表面缺陷识别方法 |
| CN112945972A (zh) * | 2021-01-29 | 2021-06-11 | 徐州科瑞矿业科技有限公司 | 一种基于机器视觉的钢丝绳状态检测装置及方法 |
| CN113567451A (zh) * | 2021-07-23 | 2021-10-29 | 江苏电力信息技术有限公司 | 一种电缆线缺陷检测以及直径测量方法 |
| CN113744270A (zh) * | 2021-11-05 | 2021-12-03 | 南京市特种设备安全监督检验研究院 | 起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法 |
| CN114873398A (zh) * | 2022-05-05 | 2022-08-09 | 深圳市富菱楼宇科技有限公司 | 一种电梯钢丝绳监测方法及系统 |
| CN115028095A (zh) * | 2022-08-11 | 2022-09-09 | 杭州未名信科科技有限公司 | 一种用于塔吊维护保养的智能机器人及智能塔吊 |
| CN115187597A (zh) * | 2022-09-09 | 2022-10-14 | 南通市昊逸阁纺织品有限公司 | 一种纺织品缺陷检测方法 |
| CN116119535A (zh) * | 2023-04-17 | 2023-05-16 | 河南省黄河防爆起重机有限公司 | 一种桥门式起重机钢丝绳检测装置 |
| CN117237357A (zh) * | 2023-11-15 | 2023-12-15 | 上海杰臻电气技术有限公司 | 一种基于机器视觉的钢丝绳在线监测系统和方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109859170A (zh) * | 2019-01-04 | 2019-06-07 | 中国矿业大学 | 一种基于lbp特征的钢丝绳表面损伤智能监测方法及系统 |
| CN110231395A (zh) * | 2019-06-30 | 2019-09-13 | 华中科技大学 | 一种钢丝绳断丝损伤识别方法及系统 |
-
2019
- 2019-10-17 CN CN201910986814.XA patent/CN110930357B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109859170A (zh) * | 2019-01-04 | 2019-06-07 | 中国矿业大学 | 一种基于lbp特征的钢丝绳表面损伤智能监测方法及系统 |
| CN110231395A (zh) * | 2019-06-30 | 2019-09-13 | 华中科技大学 | 一种钢丝绳断丝损伤识别方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 官鑫 等: "图像处理技术在钢轨表面缺陷检测和分类中的应用" * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111623868A (zh) * | 2020-05-12 | 2020-09-04 | 西南交通大学 | 用于钢轨波磨识别的卷积神经网络构建方法 |
| CN112070728A (zh) * | 2020-08-24 | 2020-12-11 | 西安理工大学 | 基于目标检测算法的钢绳表面缺陷识别方法 |
| CN112070728B (zh) * | 2020-08-24 | 2022-04-22 | 西安理工大学 | 基于目标检测算法的钢绳表面缺陷识别方法 |
| CN112945972B (zh) * | 2021-01-29 | 2022-04-15 | 徐州科瑞矿业科技有限公司 | 一种基于机器视觉的钢丝绳状态检测装置及方法 |
| CN112945972A (zh) * | 2021-01-29 | 2021-06-11 | 徐州科瑞矿业科技有限公司 | 一种基于机器视觉的钢丝绳状态检测装置及方法 |
| CN113567451A (zh) * | 2021-07-23 | 2021-10-29 | 江苏电力信息技术有限公司 | 一种电缆线缺陷检测以及直径测量方法 |
| CN113744270A (zh) * | 2021-11-05 | 2021-12-03 | 南京市特种设备安全监督检验研究院 | 起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法 |
| CN114873398A (zh) * | 2022-05-05 | 2022-08-09 | 深圳市富菱楼宇科技有限公司 | 一种电梯钢丝绳监测方法及系统 |
| CN115028095A (zh) * | 2022-08-11 | 2022-09-09 | 杭州未名信科科技有限公司 | 一种用于塔吊维护保养的智能机器人及智能塔吊 |
| CN115187597A (zh) * | 2022-09-09 | 2022-10-14 | 南通市昊逸阁纺织品有限公司 | 一种纺织品缺陷检测方法 |
| CN116119535A (zh) * | 2023-04-17 | 2023-05-16 | 河南省黄河防爆起重机有限公司 | 一种桥门式起重机钢丝绳检测装置 |
| CN116119535B (zh) * | 2023-04-17 | 2023-06-20 | 河南省黄河防爆起重机有限公司 | 一种桥门式起重机钢丝绳检测装置 |
| CN117237357A (zh) * | 2023-11-15 | 2023-12-15 | 上海杰臻电气技术有限公司 | 一种基于机器视觉的钢丝绳在线监测系统和方法 |
| CN117237357B (zh) * | 2023-11-15 | 2024-01-30 | 上海杰臻电气技术有限公司 | 一种基于机器视觉的钢丝绳在线监测系统和方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110930357B (zh) | 2023-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110930357A (zh) | 一种基于深度学习的在役钢丝绳表面缺陷检测方法与系统 | |
| WO2018107939A1 (zh) | 一种基于边缘完备度的图像分割最优识别方法 | |
| CN107437243B (zh) | 基于x光图像的轮胎杂质检测方法及装置 | |
| CN104112269B (zh) | 一种基于机器视觉的太阳能电池激光刻线参数检测方法及系统 | |
| CN109816644A (zh) | 一种基于多角度光源影像的轴承缺陷自动检测系统 | |
| Schmugge et al. | Detection of cracks in nuclear power plant using spatial-temporal grouping of local patches | |
| US20220120664A1 (en) | Systems and methods for autofocus and automated cell count using artificial intelligence | |
| CN112837290B (zh) | 一种基于种子填充算法的裂缝图像自动识别方法 | |
| CN101957325A (zh) | 基于变电站巡检机器人变电站设备外观异常识别方法 | |
| CN105139386A (zh) | 一种快速自动检测电气接插件焊点不合格品的图像处理方法 | |
| CN109376740A (zh) | 一种基于视频的水尺读数检测方法 | |
| CN109859170B (zh) | 一种基于lbp特征的钢丝绳表面损伤智能监测方法及系统 | |
| CN111127429A (zh) | 基于自训练深度神经网络的水利系统管螺纹缺陷检测方法 | |
| CN115131348B (zh) | 一种纺织品表面缺陷的检测方法及系统 | |
| CN111275705A (zh) | 智能验布方法、装置、电子设备及存储介质 | |
| CN111476804A (zh) | 托辊图像高效分割方法、装置、设备及存储介质 | |
| Zhao et al. | Research on detection method for the leakage of underwater pipeline by YOLOv3 | |
| CN116152483A (zh) | 一种基于轮廓几何约束的锚钻孔轮廓提取方法及系统 | |
| Kähler et al. | Anomaly detection for industrial surface inspection: Application in maintenance of aircraft components | |
| CN113435460A (zh) | 一种亮晶颗粒灰岩图像的识别方法 | |
| CN109544513A (zh) | 一种钢管端面缺陷提取识别的方法 | |
| CN117330582A (zh) | 一种高分子pe薄膜表面晶点检测系统 | |
| CN117036259A (zh) | 一种基于深度学习的金属板材表面缺陷检测方法 | |
| CN116990381A (zh) | 刮板机的故障确定方法、装置和刮板机故障确定系统 | |
| CN114463258B (zh) | 一种基于深度学习技术的机车车辆闸片磨耗检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |