CN116843626A - 一种基于多特征融合的机器视觉钢丝绳表面缺陷检测方法 - Google Patents
一种基于多特征融合的机器视觉钢丝绳表面缺陷检测方法 Download PDFInfo
- Publication number
- CN116843626A CN116843626A CN202310677478.7A CN202310677478A CN116843626A CN 116843626 A CN116843626 A CN 116843626A CN 202310677478 A CN202310677478 A CN 202310677478A CN 116843626 A CN116843626 A CN 116843626A
- Authority
- CN
- China
- Prior art keywords
- wire rope
- steel wire
- image
- features
- lbp
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 229910000831 Steel Inorganic materials 0.000 title claims abstract description 110
- 239000010959 steel Substances 0.000 title claims abstract description 110
- 230000007547 defect Effects 0.000 title claims abstract description 43
- 238000001514 detection method Methods 0.000 title claims abstract description 29
- 230000004927 fusion Effects 0.000 title claims abstract description 21
- 238000013135 deep learning Methods 0.000 claims abstract description 23
- 238000010801 machine learning Methods 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 14
- 238000000605 extraction Methods 0.000 claims description 46
- 238000000034 method Methods 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000005299 abrasion Methods 0.000 claims description 5
- 210000002569 neuron Anatomy 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 5
- 230000001629 suppression Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000004660 morphological change Effects 0.000 claims description 3
- 238000013526 transfer learning Methods 0.000 claims description 3
- 230000036541 health Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000002405 diagnostic procedure Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/54—Extraction of image or video features relating to texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Abstract
本发明公开了一种基于多特征融合的机器视觉钢丝绳表面缺陷检测方法，包括收集钢丝绳表面的BGR图像，并规范化处理钢丝绳表面图像数据，建立图像数据集；将图像数据集进行纹理特征提取和深度学习特征提取，并将提取的纹理特征和深度学习特征进行拼接，得到拼接钢丝绳特征；建立机器学习分类器，将每张钢丝绳表面图像的拼接钢丝绳特征输入机器学习分类器中进行分类训练，直至达到最大迭代次数，完成对机器学习分类器的训练；将待缺陷检测的钢丝绳表面图像输入训练好的机器学习分类器中，得到钢丝绳表面缺陷检测结果。本发明机器视觉钢丝绳表面缺陷检测方法能够高效准确地识别钢丝绳表面的健康状态。
Description
技术领域
本发明涉及机械零部件缺陷检测技术领域，具体地，涉及一种基于多特征融合的机器视觉钢丝绳表面缺陷检测方法。
背景技术
钢丝绳在机械、建筑、运输等领域广泛使用，具有高强度、高耐久、抗拉、抗磨损等优点，然而，由于长期使用和外界环境的影响，钢丝绳容易出现各种缺陷，如断丝、磨损等，这些缺陷会导致钢丝绳失去原有的力学性能和安全性能，甚至可能引发严重事故。因此，钢丝绳缺陷检测技术显得非常重要。
传统的钢丝绳缺陷检测方法主要依靠人工目测，存在着效率低、准确性差、易出错等缺点。随着计算机视觉技术的发展，基于机器视觉的钢丝绳缺陷检测方法逐渐成为研究热点，然而，目前的基于机器视觉的钢丝绳缺陷检测方法仍然存在一些问题：
1、获取的钢丝绳图像包含大量背景噪声，且钢丝绳在工作时的位姿实时变化，导致难以获取规范化图像；
2、无论是基于深度学习的诊断方法还是基于机器学习的诊断方法都难以充分提取钢丝绳表面的有效特征。
发明内容
针对现有技术中存在的问题，本发明提供了一种基于多特征融合的机器视觉钢丝绳表面缺陷检测方法，通过多特征融合技术提取并融合钢丝绳表面图像特征，以高效的规范化处理钢丝绳表面图像信息并检测其表面健康状态，提高了缺陷检测准确性和效率。
为实现上述目的，本发明采用如下技术方案：一种基于多特征融合的机器视觉钢丝绳表面缺陷检测方法，具体包括以下步骤：
步骤S1、收集钢丝绳表面的BGR图像，并规范化处理钢丝绳表面图像数据，建立图像数据集；
步骤S2、将图像数据集进行纹理特征提取和深度学习特征提取，并将提取的纹理特征和深度学习特征进行拼接，得到拼接钢丝绳特征；所述纹理特征包括改进的LBP纹理特征和灰度共生矩阵GLCM纹理特征；
步骤S3、建立机器学习分类器，再次将每张钢丝绳表面图像的拼接钢丝绳特征输入机器学习分类器中进行分类训练，直至达到最大迭代次数，完成对机器学习分类器的训练；
步骤S4、将待缺陷检测的钢丝绳表面图像进行规范化处理并提取纹理特征提取和深度学习特征后，将拼接的钢丝绳特征输入训练好的机器学习分类器中，得到钢丝绳表面缺陷检测结果。
进一步地，步骤S1包括如下子步骤：
步骤S1.1、将每一张钢丝绳表面的BGR图像转化为灰度图，对灰度图进行高斯滤波处理，得到滤波图像，使用Sobel算子计算滤波图像的梯度幅值和方向：
其中，Gx(x,y)和Gy(x,y)分别为滤波图像在x和y方向上的梯度值，G(x,y)表示滤波图像的梯度幅值，θ表示滤波图像的梯度方向；
步骤S1.2、使用非极大值抑制算法处理步骤S1.1所得到的滤波图像的梯度幅值，再通过双阈值算法确定真正的边缘像素，其中双边阈值高阈值Tmax＝150、低阈值Tmin＝50，得到二值化图像；
步骤S1.3、将二值化图像通过形态学变化确定边界，采用闭运算，kenel大小为5*5；
步骤S1.4、将边界内的像素点坐标(x,y)以旋转角度b旋转，得到旋转后的像素点坐标(x′,y′)：
x′＝xcos(b)-ysin(b)
y′＝xsin(b)+ycos(b)
步骤S1.5、从旋转后的像素点坐标中寻找面积最小的矩形边界对应的四个顶点坐标(minx，miny)，(maxx，miny)，(minx，maxy)，(maxx，maxy)；
步骤S1.6、将旋转后的像素点坐标继续旋转角度b，重复步骤S1.5，直至旋转角度达到180°，将面积最小的矩形边界对应的四个顶点坐标映射到BGR图像中；
步骤S1.7、根据映射到BGR图像中的最小矩形边界的四个顶点进行透视变换，获取透视图像：
u＝(h1x+h2y+h3)/(h7x+h8y+h9)
v＝(h4x+h5y+h6)/(h7x+h8y+h9)
其中，(x,y)为映射到BGR图像中的最小矩形边界的四个顶点坐标，(u,v)为透视变换后对应的点坐标,h1-h9为由透视变换矩阵计算出来的九个参数；
步骤S1.8、将透视图像的两端分别截掉长度得到规范化图像；其中，w表示钢丝绳在钢丝绳表面图像中的宽度，/>表示钢丝绳表面图像中钢丝绳与图像x坐标轴的倾斜角，/>(x1,y1)表示最小矩形的四个顶点中xi+yi值的最小点，(x2,y2)表示最小矩形的四个顶点中yi-xi值的最小点；
步骤S1.9、将规范化图像通过线性插值的方式缩放至228*228大小，并给每个规范化图像打上标签，标签种类为断丝、磨损和正常三类，得到图像数据集。
进一步地，步骤S2中深度学习特征的提取过程为：将图像数据集输入训练好的ResNet18端对端特征提取网络中，提取出深度学习特征。
进一步地，所述ResNet18端对端特征提取网络的训练过程为：采用迁移学习的方式初始化ResNet18端对端特征提取网络的参数，并修改ResNet18端对端特征提取网络中全连接层最后一层的神经元数量为10，将带有标签的钢丝绳表面图像作为ResNet18端对端特征提取网络的输入，通过交叉熵损失函数训练ResNet18端对端特征提取网络；
所述交叉熵损失函数具体为：
其中，N为钢丝绳表面缺陷的类别数，n为N的索引，pn钢丝绳表面图像对应的第n个类别的真实概率，qn为钢丝绳表面图像对应的第n个类别的预测概率。
进一步地，步骤S2中改进的LBP纹理特征SD-LBP的提取过程为：
A、对图像数据集中的每一张规范化的钢丝绳表面图像采取区域分割的思想将原始的LBP窗口由3×3的变为9×9，再依次将9×9窗口划分为9个3×3的子窗口，获取邻域窗口的平均灰度值和不同条件下中心窗口值it，
所述中心窗口值it的获取过程为：
其中，M是3×3子窗口中9个像素的中位数，f为经实验得到的最佳阈值，σ为9个3×3子窗口的平均灰度值标准差，为第i个3×3子窗口的平均灰度值，/>为9个3×3子窗口的平均灰度值；/>为中心窗口的平均灰度值，a和b是非中心子窗口中8个子窗口平均灰度值的最大值和最小值；
B、根据获取的邻域窗口的平均灰度值和不同条件下中心窗口值it计算改进的LBP纹理特征SD-LBP：
其中，p为邻域索引，S()为符号函数，
C、通过步骤A-B遍历规范化的钢丝绳表面图像，得到规范化的钢丝绳表面图像的改进的LBP纹理特征SD-LBP；
D、将改进的LBP纹理特征SD-LBP经过统计直方图得到SD-LBP特征向量，其维度为256*1，经过PCA降维，降维后的特征维度为40*1。
进一步地，步骤S2中灰度共生矩阵GLCM纹理特征的提取过程为：对图像数据集中的每一张规范化的钢丝绳表面图像采用距离d＝(1，3，5)、方向θ＝(0，45，90，135)、灰度等级L＝16，选取对比度、角二阶矩阵、熵和均匀性四种灰度共生矩阵GLCM纹理特征，且每张规范化的钢丝绳表面图像的灰度共生矩阵GLCM纹理特征长度为48的特征向量。
进一步地，所述拼接钢丝绳特征的拼接顺序为深度学习特征、改进的LBP纹理特征SD-LBP、灰度共生矩阵GLCM纹理特征。
进一步地，所述机器学习分类器采用SVM，SVM的核函数参数γ为0.01，惩罚系数C为10。
与现有技术相比，本发明具有以下有益效果：
1.本发明基于多特征融合的机器视觉钢丝绳表面缺陷检测方法通过对钢丝绳表面图像进行轮廓检测及最小矩形边界提取、透视变换、无效区域去除，快速捕捉钢丝绳在图像上的位置，并避免背景信息的干扰；
2、本发明基于多特征融合的机器视觉钢丝绳表面缺陷检测方法改进了传统的LBP纹理特征提取方法，通过连接中心像素与邻域像素，增强了中心像素的鲁棒性，并采用区域分割的思想平滑了区域内像素值，抑制了噪声对纹理特征提取的影响；
3.本发明基于多特征融合的机器视觉钢丝绳表面缺陷检测方法采用多特征融合技术，将深度学习特征与纹理特征拼接融合，提高了机器学习分类器的特征提取能力和特征表征能力，从而更好的检测钢丝绳表面的健康状态。
附图说明
图1为本发明基于多特征融合的机器视觉钢丝绳表面缺陷检测方法的流程图；
图2为本发明轮廓检测及最小矩形边界提取流程图；
图3为本发明改进的LBP纹理特征提取中区域分割示意图。
具体实施方式
下面将结合附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的具体实施方式仅仅是本发明一部分，而不是全部。基于本发明中的具体实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1为本发明基于多特征融合的机器视觉钢丝绳表面缺陷检测方法的流程图，该机器视觉钢丝绳表面缺陷检测方法具体包括以下步骤：
步骤S1、收集钢丝绳表面的BGR图像，并规范化处理钢丝绳表面图像数据，建立图像数据集；由于钢丝绳在工作状态下位姿不断变化，通过规范化处理钢丝绳表面图像数据，调整钢丝绳的位姿并去除背景部分，达到图像去噪和减小计算量的目的；如图2，具体包括如下子步骤：
步骤S1.1、将每一张钢丝绳表面的BGR图像转化为灰度图，对灰度图进行高斯滤波处理，得到滤波图像，使用Sobel算子计算滤波图像的梯度幅值和方向：
其中，Gx(x,y)和Gy(x,y)分别为滤波图像在x和y方向上的梯度值，G(x,y)表示滤波图像的梯度幅值，θ表示滤波图像的梯度方向；
步骤S1.2、为了滤除噪声或颜色变化引起的小的梯度值，使用非极大值抑制算法处理步骤S1.1所得到的滤波图像的梯度幅值，再通过双阈值算法确定真正的边缘像素，其中双边阈值高阈值Tmax＝150、低阈值Tmin＝50，得到二值化图像；
步骤S1.3、将二值化图像通过形态学变化确定边界，采用闭运算，kenel大小为5*5；
步骤S1.4、将边界内的像素点坐标(x,y)以旋转角度b旋转，得到旋转后的像素点坐标(x′,y′)：
x′＝xcos(b)-ysin(b)
y′＝xsin(b)+ycos(b)
步骤S1.5、从旋转后的像素点坐标中寻找面积最小的矩形边界对应的四个顶点坐标(minx，miny)，(maxx，miny)，(minx，maxy)，(maxx，maxy)；
步骤S1.6、将旋转后的像素点坐标继续旋转角度b，重复步骤S1.5，直至旋转角度达到180°，将面积最小的矩形边界对应的四个顶点坐标映射到BGR图像中；通过钢丝绳的位姿调整，寻找最小的矩形边界，实现边界的精确筛选；
步骤S1.7、根据映射到BGR图像中的最小矩形边界的四个顶点进行透视变换，获取透视图像：
u＝(h1x+h2y+h3)/(h7x+h8y+h9)
v＝(h4x+h5y+h6)/(h7x+h8y+h9)
其中，(x,y)为映射到BGR图像中的最小矩形边界的四个顶点坐标，(u,v)为透视变换后对应的点坐标,h1-h9为由透视变换矩阵计算出来的九个参数；
步骤S1.8、由于透视变换会截取图像区域外的无效区域，将透视图像的两端分别截掉长度去除无效区域，得到规范化图像；其中，w表示钢丝绳在钢丝绳表面图像中的宽度，/>表示钢丝绳表面图像中钢丝绳与图像x坐标轴的倾斜角，/>(x1,y1)表示最小矩形的四个顶点中xi+yi值的最小点，(x2,y2)表示最小矩形的四个顶点中yi-xi值的最小点；该方法去除了透视变换后产生的无效区域，提高了图像的质量的同时减小了后续机器学习分类器的数据处理量，且根据钢丝绳位姿动态裁剪无效区域，有效去除了无效区域的同时又最大程度的保留了钢丝绳的有效部分，从而保证机器学习分类器的识别精度。
步骤S1.9、将规范化图像通过线性插值的方式缩放至228*228大小，并给每个规范化图像打上标签，标签种类为断丝、磨损和正常三类，得到图像数据集。
步骤S2、将图像数据集进行纹理特征提取和深度学习特征提取，并将提取的纹理特征和深度学习特征进行拼接，得到拼接钢丝绳特征；本发明中纹理特征包括改进的LBP纹理特征和灰度共生矩阵GLCM纹理特征，具有高泛化性，能对图像完整性和准确性的进行描述；拼接钢丝绳特征的拼接顺序为深度学习特征、改进的LBP纹理特征SD-LBP、灰度共生矩阵GLCM纹理特征。
本发明中深度学习特征的提取过程为：将图像数据集输入训练好的ResNet18端对端特征提取网络中，提取出深度学习特征；ResNet18端对端特征提取网络的训练过程为：采用迁移学习的方式初始化ResNet18端对端特征提取网络的参数，并修改ResNet18端对端特征提取网络中全连接层最后一层的神经元数量为10，将带有标签的钢丝绳表面图像作为ResNet18端对端特征提取网络的输入，通过交叉熵损失函数训练ResNet18端对端特征提取网络；若ResNet18端对端特征提取网络中全连接层最后一层的神经元数量过多，会带来较多无关的信息，增大噪声；若ResNet18端对端特征提取网络中全连接层最后一层的神经元数量过少，会影响深度学习特征的提取精度。
本发明中交叉熵损失函数具体为：
其中，N为钢丝绳表面缺陷的类别数，n为N的索引，pn钢丝绳表面图像对应的第n个类别的真实概率，qn为钢丝绳表面图像对应的第n个类别的预测概率。
本发明中改进的LBP纹理特征SD-LBP的提取过程为：
A、如图3，对图像数据集中的每一张规范化的钢丝绳表面图像采取区域分割的思想将原始的LBP窗口由3×3的变为9×9，再依次将9×9窗口划分为9个3×3的子窗口，获取邻域窗口的平均灰度值和不同条件下中心窗口值it，
本发明中中心窗口值it的获取过程为：
其中，M是3×3子窗口中9个像素的中位数，f为经实验得到的最佳阈值，σ为9个3×3子窗口的平均灰度值标准差，为第i个3×3子窗口的平均灰度值，/>为9个3×3子窗口的平均灰度值；/>为中心窗口的平均灰度值，a和b是非中心子窗口中8个子窗口平均灰度值的最大值和最小值；
B、根据获取的邻域窗口的平均灰度值和不同条件下中心窗口值it计算改进的LBP纹理特征SD-LBP：
其中，p为邻域索引，S()为符号函数，
C、通过步骤A-B遍历规范化的钢丝绳表面图像，得到规范化的钢丝绳表面图像的改进的LBP纹理特征SD-LBP；
D、将改进的LBP纹理特征SD-LBP经过统计直方图得到SD-LBP特征向量，相较于原始LBP纹理特征，SD-LBP具有抑制噪声敏感性和加强中心像素值的鲁棒性的优势。传统的LBP特征提取算法对噪声比较敏感，且仅限于3×3的小范围内进行纹理特征采样。然而，钢丝绳表面缺陷的纹理特征通常比较复杂，不是由单个3×3区域组成的，往往覆盖面积较大。因此SD-LBP算法采取区域分割的思想，扩展了SD-LBP纹理特征提取算法的感知范围，抑制了局部噪声点突变的影响，弥补了LBP采样范围小的缺点。此外，在选取中心像素值时，SD-LBP算法将中心点像素与领域点像素关联起来，提高了中心像素值的鲁棒性。SD-LBP特征向量的维度为256*1，经过PCA降维，降维后的特征维度为40*1。
本发明中灰度共生矩阵GLCM纹理特征的提取过程为：对图像数据集中的每一张规范化的钢丝绳表面图像采用距离d＝(1，3，5)、方向θ＝(0，45，90，135)、灰度等级L＝16，选取对比度、角二阶矩阵、熵和均匀性四种灰度共生矩阵GLCM纹理特征，且每张规范化的钢丝绳表面图像的灰度共生矩阵GLCM纹理特征长度为48的特征向量。
步骤S3、建立机器学习分类器，再次将每张钢丝绳表面图像的拼接钢丝绳特征输入机器学习分类器中进行分类训练，直至达到最大迭代次数，完成对机器学习分类器的训练；机器学习分类器采用SVM，SVM的核函数参数γ为0.01，惩罚系数C为10。
步骤S4、将待缺陷检测的钢丝绳表面图像进行规范化处理并提取纹理特征提取和深度学习特征后，将拼接的钢丝绳特征输入训练好的机器学习分类器中，得到钢丝绳表面缺陷检测结果。
本发明对通过图像规范化处理去除了采集到的钢丝绳表面图像上存在的背景噪声，并建立了规范化钢丝绳表面缺陷数据集，通过去除背景噪声，可以使算法更加专注于钢丝绳表面的真实缺陷，提高后续缺陷检测算法的准确性；通过SD-LBP纹理特征提取算法抑制了噪声的敏感性且加强了中心像素值的鲁棒性，这种特征提取算法的选择有助于提高缺陷检测算法的准确性和鲁棒性；最后通过多特征融合方法提高特征向量对图像完整性和准确性的描述，通过融合多个特征来源，可以综合利用它们的优势，增强缺陷检测算法的性能。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施方式，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。
Claims (8)
1.一种基于多特征融合的机器视觉钢丝绳表面缺陷检测方法，其特征在于，具体包括以下步骤：
步骤S1、收集钢丝绳表面的BGR图像，并规范化处理钢丝绳表面图像数据，建立图像数据集；
步骤S2、将图像数据集进行纹理特征提取和深度学习特征提取，并将提取的纹理特征和深度学习特征进行拼接，得到拼接钢丝绳特征；所述纹理特征包括改进的LBP纹理特征和灰度共生矩阵GLCM纹理特征；
步骤S3、建立机器学习分类器，将每张钢丝绳表面图像的拼接钢丝绳特征输入机器学习分类器中进行分类训练，直至达到最大迭代次数，完成对机器学习分类器的训练；
步骤S4、将待缺陷检测的钢丝绳表面图像进行规范化处理并提取纹理特征提取和深度学习特征后，再次将拼接的钢丝绳特征输入训练好的机器学习分类器中，得到钢丝绳表面缺陷检测结果。
2.根据权利要求1所述的一种基于多特征融合的机器视觉钢丝绳表面缺陷检测方法，其特征在于，步骤S1包括如下子步骤：
步骤S1.1、将每一张钢丝绳表面的BGR图像转化为灰度图，对灰度图进行高斯滤波处理，得到滤波图像，使用Sobel算子计算滤波图像的梯度幅值和方向：
其中，Gx(x,y)和Gy(x,y)分别为滤波图像在x和y方向上的梯度值，G(x,y)表示滤波图像的梯度幅值，θ表示滤波图像的梯度方向；
步骤S1.2、使用非极大值抑制算法处理步骤S1.1所得到的滤波图像的梯度幅值，再通过双阈值算法确定真正的边缘像素，其中双边阈值高阈值Tmax＝150、低阈值Tmin＝50，得到二值化图像；
步骤S1.3、将二值化图像通过形态学变化确定边界，采用闭运算，kenel大小为5*5；
步骤S1.4、将边界内的像素点坐标(x,y)以旋转角度b旋转，得到旋转后的像素点坐标(x′,y′)：
x′＝xcos(b)-ysin(b)
y′＝xsin(b)+ycos(b)
步骤S1.5、从旋转后的像素点坐标中寻找面积最小的矩形边界对应的四个顶点坐标(minx，miny)，(maxx，miny)，(minx，maxy)，(maxx，maxy)；
步骤S1.6、将旋转后的像素点坐标继续旋转角度b，重复步骤S1.5，直至旋转角度达到180°，将面积最小的矩形边界对应的四个顶点坐标映射到BGR图像中；
步骤S1.7、根据映射到BGR图像中的最小矩形边界的四个顶点进行透视变换，获取透视图像：
u＝(h1x+h2y+h3)/(h7x+h8y+h9)
v＝(h4x+h5y+h6)/(h7x+h8y+h9)
其中，(x,y)为映射到BGR图像中的最小矩形边界的四个顶点坐标，(u,v)为透视变换后对应的点坐标,h1-h9为由透视变换矩阵计算出来的九个参数；
步骤S1.8、将透视图像的两端分别截掉长度得到规范化图像；其中，w表示钢丝绳在钢丝绳表面图像中的宽度，/>表示钢丝绳表面图像中钢丝绳与图像x坐标轴的倾斜角，/>(x1,y1)表示最小矩形的四个顶点中xi+yi值的最小点，(x2,y2)表示最小矩形的四个顶点中yi-xi值的最小点；
步骤S1.9、将规范化图像通过线性插值的方式缩放至228*228大小，并给每个规范化图像打上标签，标签种类为断丝、磨损和正常三类，得到图像数据集。
3.根据权利要求1所述的一种基于多特征融合的机器视觉钢丝绳表面缺陷检测方法，其特征在于，步骤S2中深度学习特征的提取过程为：将图像数据集输入训练好的ResNet18端对端特征提取网络中，提取出深度学习特征。
4.根据权利要求3所述的一种基于多特征融合的机器视觉钢丝绳表面缺陷检测方法，其特征在于，所述ResNet18端对端特征提取网络的训练过程为：采用迁移学习的方式初始化ResNet18端对端特征提取网络的参数，并修改ResNet18端对端特征提取网络中全连接层最后一层的神经元数量为10，将带有标签的钢丝绳表面图像作为ResNet18端对端特征提取网络的输入，通过交叉熵损失函数训练ResNet18端对端特征提取网络；
所述交叉熵损失函数具体为：
其中，N为钢丝绳表面缺陷的类别数，n为N的索引，pn钢丝绳表面图像对应的第n个类别的真实概率，qn为钢丝绳表面图像对应的第n个类别的预测概率。
5.根据权利1所述的一种基于多特征融合的机器视觉钢丝绳表面缺陷检测方法，其特征在于，步骤S2中改进的LBP纹理特征SD-LBP的提取过程为：
A、对图像数据集中的每一张规范化的钢丝绳表面图像采取区域分割的思想将原始的LBP窗口由3×3的变为9×9，再依次将9×9窗口划分为9个3×3的子窗口，获取邻域窗口的平均灰度值和不同条件下中心窗口值it，
所述中心窗口值it的获取过程为：
其中，M是3×3子窗口中9个像素的中位数，f为经实验得到的最佳阈值，σ为9个3×3子窗口的平均灰度值标准差，为第i个3×3子窗口的平均灰度值，/>为9个3×3子窗口的平均灰度值；/>为中心窗口的平均灰度值，a和b是非中心子窗口中8个子窗口平均灰度值的最大值和最小值；
B、根据获取的邻域窗口的平均灰度值和不同条件下中心窗口值it计算改进的LBP纹理特征SD-LBP：
其中，p为邻域索引，S()为符号函数，
C、通过步骤A-B遍历规范化的钢丝绳表面图像，得到规范化的钢丝绳表面图像的改进的LBP纹理特征SD-LBP；
D、将改进的LBP纹理特征SD-LBP经过统计直方图得到SD-LBP特征向量，其维度为256*1，经过PCA降维，降维后的特征维度为40*1。
6.根据权利要求1所述的一种基于多特征融合的机器视觉钢丝绳表面缺陷检测方法，其特征在于，步骤S2中灰度共生矩阵GLCM纹理特征的提取过程为：对图像数据集中的每一张规范化的钢丝绳表面图像采用距离d＝(1，3，5)、方向θ＝(0，45，90，135)、灰度等级L＝16，选取对比度、角二阶矩阵、熵和均匀性四种灰度共生矩阵GLCM纹理特征，且每张规范化的钢丝绳表面图像的灰度共生矩阵GLCM纹理特征长度为48的特征向量。
7.根据权利要求1所述的一种基于多特征融合的机器视觉钢丝绳表面缺陷检测方法，其特征在于，所述拼接钢丝绳特征的拼接顺序为深度学习特征、改进的LBP纹理特征SD-LBP、灰度共生矩阵GLCM纹理特征。
8.根据权利要求1所述的一种基于多特征融合的机器视觉钢丝绳表面缺陷检测方法，其特征在于，所述机器学习分类器采用SVM，SVM的核函数参数γ为0.01，惩罚系数C为10。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310677478.7A CN116843626A (zh) | 2023-06-08 | 2023-06-08 | 一种基于多特征融合的机器视觉钢丝绳表面缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310677478.7A CN116843626A (zh) | 2023-06-08 | 2023-06-08 | 一种基于多特征融合的机器视觉钢丝绳表面缺陷检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116843626A true CN116843626A (zh) | 2023-10-03 |
Family
ID=88159094
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310677478.7A Pending CN116843626A (zh) | 2023-06-08 | 2023-06-08 | 一种基于多特征融合的机器视觉钢丝绳表面缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116843626A (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106203433A (zh) * | 2016-07-13 | 2016-12-07 | 西安电子科技大学 | 一种车辆监控图像中车牌位置自动提取并透视校正的方法 |
| CN108764150A (zh) * | 2018-05-29 | 2018-11-06 | 杭州视氪科技有限公司 | 一种用于斑马线型人行横道检测的盲人辅助眼镜 |
| CN110110697A (zh) * | 2019-05-17 | 2019-08-09 | 山东省计算中心（国家超级计算济南中心） | 基于方向矫正的多指纹分割提取方法、系统、设备及介质 |
| CN112257607A (zh) * | 2020-10-23 | 2021-01-22 | 合肥工业大学 | 一种处理流水线上采集的手机图像畸变的矫正方法 |
| CN114020155A (zh) * | 2021-11-05 | 2022-02-08 | 沈阳飞机设计研究所扬州协同创新研究院有限公司 | 一种基于眼动仪的高精度视线定位方法 |
| CN114092499A (zh) * | 2021-12-02 | 2022-02-25 | 上海健麾信息技术股份有限公司 | 一种药盒分割方法 |
| CN114155202A (zh) * | 2021-11-11 | 2022-03-08 | 南昌大学第一附属医院 | 基于特征融合和迁移学习的甲状腺结节超声图像分类方法 |
| CN115147341A (zh) * | 2021-09-13 | 2022-10-04 | 重庆科技学院 | 一种基于生物视觉启发的织物表面缺陷分类深度网络方法 |
| CN115457559A (zh) * | 2022-08-19 | 2022-12-09 | 上海通办信息服务有限公司 | 一种将文本及证照类图片智能摆正的方法、装置和设备 |
| CN115565011A (zh) * | 2022-10-19 | 2023-01-03 | 河南理工大学 | 基于特征融合的钢丝绳表面缺陷识别方法 |
-
2023
- 2023-06-08 CN CN202310677478.7A patent/CN116843626A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106203433A (zh) * | 2016-07-13 | 2016-12-07 | 西安电子科技大学 | 一种车辆监控图像中车牌位置自动提取并透视校正的方法 |
| CN108764150A (zh) * | 2018-05-29 | 2018-11-06 | 杭州视氪科技有限公司 | 一种用于斑马线型人行横道检测的盲人辅助眼镜 |
| CN110110697A (zh) * | 2019-05-17 | 2019-08-09 | 山东省计算中心（国家超级计算济南中心） | 基于方向矫正的多指纹分割提取方法、系统、设备及介质 |
| CN112257607A (zh) * | 2020-10-23 | 2021-01-22 | 合肥工业大学 | 一种处理流水线上采集的手机图像畸变的矫正方法 |
| CN115147341A (zh) * | 2021-09-13 | 2022-10-04 | 重庆科技学院 | 一种基于生物视觉启发的织物表面缺陷分类深度网络方法 |
| CN114020155A (zh) * | 2021-11-05 | 2022-02-08 | 沈阳飞机设计研究所扬州协同创新研究院有限公司 | 一种基于眼动仪的高精度视线定位方法 |
| CN114155202A (zh) * | 2021-11-11 | 2022-03-08 | 南昌大学第一附属医院 | 基于特征融合和迁移学习的甲状腺结节超声图像分类方法 |
| CN114092499A (zh) * | 2021-12-02 | 2022-02-25 | 上海健麾信息技术股份有限公司 | 一种药盒分割方法 |
| CN115457559A (zh) * | 2022-08-19 | 2022-12-09 | 上海通办信息服务有限公司 | 一种将文本及证照类图片智能摆正的方法、装置和设备 |
| CN115565011A (zh) * | 2022-10-19 | 2023-01-03 | 河南理工大学 | 基于特征融合的钢丝绳表面缺陷识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| ZHANG G, ET AL.: "Convolutional autoencoder-based flaw detection for steel wire ropes", 《SENSORS》, pages 1 - 12 * |
| ZHOU P, ET AL.: "A hybrid data-driven method for wire rope surface defect detection", 《IEEE SENSORS JOURNAL》, pages 8297 - 8306 * |
| 迟剑宁 等: "融合深度网络和浅层纹理特征的甲状腺结节癌变超声图像诊断", 《中国图象图形学报》, vol. 23, no. 10, pages 1582 - 1593 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114418957B (zh) | 基于机器人视觉的全局和局部二值模式图像裂缝分割方法 | |
| CN110021024B (zh) | 一种基于lbp和链码技术的图像分割方法 | |
| WO2018107939A1 (zh) | 一种基于边缘完备度的图像分割最优识别方法 | |
| CN108562589B (zh) | 一种对磁路材料表面缺陷进行检测的方法 | |
| CN113592845A (zh) | 一种电池涂布的缺陷检测方法及装置、存储介质 | |
| CN110349207B (zh) | 一种复杂环境下的视觉定位方法 | |
| Oskoei et al. | A survey on edge detection methods | |
| CN108830832A (zh) | 一种基于机器视觉的塑料筒表面缺陷检测算法 | |
| CN111582294A (zh) | 一种构建用于表面缺陷检测的卷积神经网络模型的方法及其利用 | |
| CN114549981A (zh) | 一种基于深度学习的智能巡检指针式仪表识别及读数方法 | |
| CN115984284A (zh) | 一种用于船舶维护的x射线船体焊缝图像检测方法 | |
| CN114693610A (zh) | 一种基于机器视觉的焊缝表面缺陷检测方法、设备及介质 | |
| JP3830998B2 (ja) | 罫線除去方法及びこれを用いた文字認識装置 | |
| CN113516619B (zh) | 一种基于图像处理技术的产品表面瑕疵识别方法 | |
| CN112734729B (zh) | 适用于夜间补光条件的水尺水位线图像检测方法、装置及存储介质 | |
| Wu et al. | Image segmentation | |
| CN112233116A (zh) | 基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法 | |
| CN112991283A (zh) | 基于超像素的柔性ic基板线宽检测方法、介质和设备 | |
| CN116152115B (zh) | 基于计算机视觉的垃圾图像去噪处理方法 | |
| CN113435452A (zh) | 一种基于改进ctpn算法的电气设备铭牌文本检测方法 | |
| CN113240623A (zh) | 一种路面病害检测方法及装置 | |
| CN110348307B (zh) | 一种起重机金属结构攀爬机器人的路径边缘识别方法及系统 | |
| CN115457017A (zh) | 一种导线缺陷检测方法、装置、计算机设备及存储介质 | |
| CN107808165B (zh) | 一种基于susan角点检测的红外图像匹配方法 | |
| Ham et al. | Recognition of raised characters for automatic classification of rubber tires |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |