CN115565011A - 基于特征融合的钢丝绳表面缺陷识别方法 - Google Patents

基于特征融合的钢丝绳表面缺陷识别方法 Download PDF

Info

Publication number
CN115565011A
CN115565011A CN202211279593.0A CN202211279593A CN115565011A CN 115565011 A CN115565011 A CN 115565011A CN 202211279593 A CN202211279593 A CN 202211279593A CN 115565011 A CN115565011 A CN 115565011A
Authority
CN
China
Prior art keywords
steel wire
image
lbp
wire rope
window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211279593.0A
Other languages
English (en)
Inventor
刘群坡
刘尚争
宋阳
高如新
苏波
魏萍
花岛直彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University of Technology
Original Assignee
Henan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University of Technology filed Critical Henan University of Technology
Priority to CN202211279593.0A priority Critical patent/CN115565011A/zh
Publication of CN115565011A publication Critical patent/CN115565011A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明涉及钢丝绳表面缺陷识别技术领域的基于特征融合的钢丝绳表面缺陷识别方法，步骤为：将钢丝绳缺陷图像进行灰度化，对图像分块处理，采用基于图像分块的中心多尺度局部二值模式改进传统的LBP算法，提取分块后的图像纹理特征信息，基于得到的图像纹理特征实施PCA降维，最后通过GLCM提取图像全局纹理特征与降维后的图像纹理特征进行特征融合；通过SVM分类器进行钢丝绳表面缺陷识别和分类。本发明解决了传统局部二值模式(LBP)易受到中心像素和噪声影响无法准确识别钢丝绳表面缺陷的问题，对钢丝绳表面缺陷的整体识别率可达97.5％，相比其他算法至少提高了5％左右，可以有效识别钢丝绳表面的各种缺陷。

Description

基于特征融合的钢丝绳表面缺陷识别方法
技术领域
本发明属于钢丝绳表面缺陷识别技术领域，具体涉及基于特征融合的钢丝绳表面缺陷识别方法。
背景技术
钢丝绳广泛应用于各种行业，如煤矿立井提升装置、电梯、缆车索道等，但钢丝绳在长期使用过程中会出现断丝、变形、缺股等缺陷。其健康状况严重影响设备生产和人的生命安全，因此对钢丝绳无损检测的研究具有非常重要的价值和意义。如今对钢丝绳无损检测出现了各种方法，如电磁方法、射线方法、超声波方法、声发射方法、机器视觉方法等技术，大部分技术仍处在理论和实验阶段，仍然缺乏一个权威、合理的方法来指明未来可能研究的方向，目前对钢丝绳的检测主要靠肉眼观察和手捋摸的方式进行。
随着图像处理技术的发展，Ojala等提出一种描述局部纹理特征算法即局部二值模式(Local binary pattern，LBP)，该方法在纹理分类、人脸识别领域受到广泛的关注。Zhao等人通过数字图像处理技术对钢丝绳图像进行增强，然后通过积分投影的方法获取油井钢丝绳的连续信息，最后放入BP神经网络进行缺陷判断，该方法能够基本满足工业生产要求。Zhou等人利用等价局部二进制模式提取钢丝绳纹理特征，放入三种机器学习算法进行比较研究。Jiang和Dong等人提出一种CPICS-LBP和HOG特征融合的钢丝绳检测方法，该方法可以有效的提高对钢丝绳纹理特征描述。Huang和Yang等人通过钢丝绳表面缺陷在不同的区域灰度、灰度发布、灰度波动特征实现对钢丝绳缺陷分类。Zhang等人利用时域和空域灰度相似度，构建实时空间灰度样本集，对钢丝绳表面缺陷进行检测。Liu和Qin等人通过主成分分析和BP神经网络对钢丝绳断丝数目进行具体检测，较好的解决了钢丝绳断丝数目问题。Dai和Zhao等人提出一种OTSU和Hough变换结合的高光谱图像断丝识别方法，该方法通过钢丝绳直径像素来判断钢丝绳断丝情况。Li等人基于模板匹配的方法来检测钢丝绳磨损状况，然后计算磨损区域来评估钢丝绳磨损严重程度，可以直观的了解电梯钢丝绳磨损情况。Zhou等人提出一种基于纹理特征和优化支持向量机的混合数据驱动方法，该方法在果蝇优化算法中加入惯性权重函数实现全局与局部搜索的平衡，可以有效的提高钢丝绳表面缺陷识别。Wu和Sun提出一种JLBP纹理分类方法，该方法在保持传统的LBP特性基础上通过多尺度融合提高对宏观纹理的描述。Leila和Mehrez等人结合局部和全局特征将小波变换特征和改进的LTP相融合，大幅提高了成功率和计算效率。
尽管上述方法在钢丝绳无损检测上已经取得进一步成果，但这些方法还存在智能化程度较低，多依赖传统图像处理来解决。钢丝绳缺陷种类和数据量较少，导致模型的泛化能力和鲁棒性弱。算法上，忽略中心像素的重要性，致使遗漏图像局部细节特征和未能充分利用图像全局特征，并且算法的识别准确度和鲁棒性有待进一步提高。
发明内容
本发明的目的是提出一种基于特征融合的钢丝绳表面缺陷识别方法，以解决传统局部二值模式(LBP)易受到中心像素和噪声影响无法准确识别钢丝绳表面缺陷的问题。
为达到上述目的，本发明是按照以下技术方案实施的：
基于特征融合的钢丝绳表面缺陷识别方法，包括以下步骤：
S1，预处理：将钢丝绳缺陷图像进行灰度化；
S2，特征提取和融合：对图像分块处理，采用基于图像分块的中心多尺度局部二值模式改进传统的LBP算法，得到ISCM-LBP算法，用ISCM-LBP算法提取分块后的图像纹理特征信息，基于得到的图像纹理特征实施PCA降维，最后通过GLCM(即灰度共生矩阵)提取图像全局纹理特征与降维后的图像纹理特征进行特征融合；
S3，识别和分类：通过SVM分类器进行钢丝绳表面缺陷识别和分类。
进一步地，步骤S2包括：
S21，将图像分块和多尺度引入局部二值模式算法中，来提高细节特征描述和减弱噪声的影响；
S22，使用标准差的方式将中心像素与邻域像素相联系，重新定义中心像素阈值的选择，来增强中心像素鲁棒性和邻域像素的作用。
再进一步地，所述步骤S21中，采用多尺度局部二值模式中区域灰度平均值的方法，来抑制噪声和加大纹理特征值范围提取，从而弥补LBP采样范围小的局限性。
传统的LBP算法首先由Ojala等人于1996年提出，使用3*3的窗口，对图像进行逐行扫描，利用中心窗口和邻域窗口的大小关系，按照顺时针方向进行二进制编码，最终转化为十进制作为该窗口的LBP值。
传统LBP的公式如下所示：
Figure BDA0003898128870000031
Figure BDA0003898128870000032
其中，(xc,yc)为3*3窗口中心像素点，ic表示中心窗口的灰度值，iP表示邻域窗口的灰度值，S(x)是一个符号函数。
原始的多尺度局部二值模式(MB-LBP)由Liao等人首次提出，其基本原理是：在传统的LBP使用3×3窗口下，每个窗口包含n×n大小的子窗口，统计每个窗口的平均灰度值，最后通过邻域窗口平均灰度值与中心窗口平均灰度值进行比较，大于中心窗口平均灰度值，则设为1，否则为0。将0和1按照一定顺序串联成二进制编码，转成十进制就是MB-LBP值，MB-LBP公式如下所示：
Figure BDA0003898128870000033
Figure BDA0003898128870000034
其中，
Figure BDA0003898128870000035
表示中心窗口平均灰度值，
Figure BDA0003898128870000036
表示八个邻域窗口平均灰度值。S(x)是一个符号函数。
为了进一步提升传统LBP算法对钢丝绳表面缺陷的识别准确率，本申请从以下三个角度进行改进：
首先，为了提取更多有效钢丝绳表面缺陷纹理特征，对图像进行分块化处理，可以更好的把握对图像每一块细节信息的描述。其次，传统的LBP特征提取算法对噪声敏感且纹理特征采样范围局限在3×3的小区域内，大部分钢丝绳表面缺陷纹理特征复杂并非由单个3×3区域构成，往往覆盖更大区域。因此，采用多尺度局部二值模式中区域灰度平均值的方法，来抑制噪声和加大纹理特征范围提取，从而弥补LBP采样范围小的局限性。最后，传统的LBP和绝大多数改进的LBP算法直接以中心窗口像素作为阈值，没有任何增强中心像素鲁棒性和考虑与邻域像素之间的联系，当中心像素过大或过小时容易遗漏细节特征，因此，使用标准差的方式将中心像素与8邻域像素相联系，重新定义中心像素阈值的选择，来增强中心像素鲁棒性和邻域像素的作用。
结合以上三点提出了ISCM-LBP算法，具体操作如下：
(1)构造3×3的窗口，对每个窗口分成n×n大小的子窗口，然后计算每个窗口包含子窗口的平均灰度值，最后计算3×3窗口中9个像素的标准差S，其公式为：
Figure BDA0003898128870000041
式中：
Figure BDA0003898128870000042
为3×3窗口包含子窗口的平均灰度值，
Figure BDA0003898128870000043
为3×3窗口的平均值；
(2)设置限定阈值f，判断σ是否大于阈值f，若σ≥f，将3×3窗口中9个像素的中位数作为阈值it，再用公式(1)计算LBP值；若σ<f，计算3×3窗口中9个像素值的最大值a和最小值b，将
Figure BDA0003898128870000044
作为阈值，计算得到MMB-LBP值，公式如下所示：
Figure BDA0003898128870000045
Figure BDA0003898128870000046
Figure BDA0003898128870000047
式中：
Figure BDA0003898128870000048
为邻域窗口平均灰度值，it为不同情况下的阈值，
Figure BDA0003898128870000049
为中心像素平均灰度值，a和b分别为3×3窗口邻域8个像素值的最大值和最小值，σ为3×3窗口中9个像素的标准差，m为3×3窗口中9个像素的中位数，经过多次实验，限定阈值f为80时识别率较高，S(x)是一个符号函数。
(3)对图像进行m×m的分块，计算每一块中ISCM-LBP值，得到每一块ISCM-LBP特征统计直方图，按空间顺序排列成一行形成ISCM-LBP特征值。
灰度共生矩阵(GLCM)首先由Haralick等人于1973年提出，主要统计图像中两个像素点同时出现的概率P(i,j,d,θ)。本申请中GLCM参数设置为：θ取值0°、45°、90°、135°四个方向，相隔距离d＝1，灰度级为L＝16。
GLCM的公式如下所示：
P(i,j,d,θ)＝#{(x1,y1),(x2,y2)∈M*N|f(x1,y1)＝i,f(x2,y2)＝j} (9)
式中：#{X}集合X中元素个数，d为两个像素点之间距离，θ为两个像素点连线与坐标轴正方向的夹角，(x1,y1)和(x2,y2)为图像在θ方向间隔为d的两个像素点，x2＝x1+d*cosθ，y2＝y1+d*sinθ。
传统的GLCM一般不作为图像的纹理特征，Haralick等人从灰度共生矩阵中获得14种不同的统计特征，本申请从14种统计特征中选取以下4种主要的全局统计特征：
(1)角二阶矩(Angular second moment，ASM)，主要反映图像均匀性，公式为：
Figure BDA0003898128870000051
(2)对比度(Contrast，CON)，主要反映图像纹理的清晰度，公式为：
Figure BDA0003898128870000052
(3)相关性(Correlation，COR)，反映图像纹理的一致性，公式为：
Figure BDA0003898128870000053
(4)逆差距(Inverse differential moment，IDM)，主要描述图像纹理的粗糙度，公式为：
Figure BDA0003898128870000061
基于图像分块的中心多尺度局部二值模式(ISCM-LBP)过于注重提取图像局部的纹理细节特征，未能充分利用图像的全局纹理特征，缺乏对图像完整性和准确性的描述。全局特征描述整个图像，局部特征描述一小群像素，全局和局部特征融合可以显著提高分类识别率。
作为对上述方案的进一步改进，本申请将GLCM和ISCM-LBP进行特征融合，特征融合存在一个权重关键点，不同的权重对分类器识别率有很大影响，本申请采用的是串联特征融合，在SVM分类器中有较好的识别率效果。具体流程如下：
特征融合形成方法如下：
LBP:y1＝(a0,a1,…a79) (14)
GLCM:y2＝(b0,b1,…,b15) (15)
融合后的特征Z为：
Z＝{y1,y2} (16)
本申请的发明思路是，将图像分块和多尺度引入局部二值模式算法中，提高图像细节描述和抑制噪声敏感问题，其次将中心像素与邻域像素联系起来，增强中心像素鲁棒性，提升传统LBP算法对钢丝绳表面缺陷的识别准确率。为了进一步提高图像完整性描述，将图像分块的中心多尺度局部二值模式算法进行PCA降维后与灰度共生矩阵特征融合补充图像全局信息，最后通过SVM分类器进行钢丝绳表面缺陷识别，从而提高钢丝绳表面缺陷的分类识别率。
与现有技术相比，本申请的有益效果是：
解决了传统局部二值模式(LBP)易受到中心像素和噪声影响无法准确识别钢丝绳表面缺陷的问题，本申请对钢丝绳表面缺陷的整体识别率可达97.5％，相比其他算法至少提高了5％左右，可以有效识别钢丝绳表面的各种缺陷。
附图说明
图1为实施例中钢丝绳的对比分析图；
图2实施例中本发明的识别框架图；
图3为实施例中原始的MB-LBP实现过程图；
图4为实施例中GLCM的原理图；
图5为实施例中所采集的钢丝绳的4种状态统计表；
图6为实施例中PCA解释方差曲线和不同特征维数结果图；
图7为实施例中不同核函数对比图；
图8为实施例中钢丝绳缺陷样本在子窗口大小为3到21时的ISCM-LBP纹理特征图；
图9为实施例中图像分块和子窗口大小的识别率及模式识别时间图；
图10为实施例中不同算法在钢丝绳数据集上识别准确率对比表；
图11为实施例中不同算法特征提取时间对比表；
图12为实施例中不同算法模式识别时间对比表；
图13为实施例中不同特征融合算法识别率和时间损耗对比图；
图14为实施例中不同算法在钢丝绳表面缺陷识别的混淆矩阵对比图；
图15为实施例中不同算法的预测精度对比表。
具体实施方式
下面结合本发明实施例中的附图以及具体实施例对本发明进行清楚地描述，在此处的描述仅仅用来解释本发明，但并不作为对本发明的限定。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
实施例
本实施例中，以直径为13mm的8×10、14mm的6×19、22mm的18×7钢丝绳为研究对象。图1显示了钢丝绳最常见的4种状态，即完好(IN)、缺股(MS)、断丝(BW)、变形(DE)以及钢丝绳4种状态的灰度图像和改进的LBP纹理特征图像。
本实施例提出的基于特征融合的钢丝绳表面缺陷识别方法，其识别框架如图2所示，具体包括以下步骤：
S1，预处理：将钢丝绳缺陷图像进行灰度化；
S2，特征提取和融合：对图像分块处理，采用基于图像分块的中心多尺度局部二值模式改进传统的LBP算法，得到ISCM-LBP算法，用ISCM-LBP算法提取分块后的图像纹理特征信息，基于得到的图像纹理特征实施PCA降维，最后通过GLCM提取图像全局纹理特征与降维后的图像纹理特征进行特征融合；
S3，识别和分类：通过SVM分类器进行钢丝绳表面缺陷识别和分类。
其中，步骤S2包括：
S21，将图像分块和多尺度引入局部二值模式算法中，来提高细节特征描述和减弱噪声的影响；
S22，使用标准差的方式将中心像素与邻域像素相联系，重新定义中心像素阈值的选择，来增强中心像素鲁棒性和邻域像素的作用。
所述步骤S21中，采用多尺度局部二值模式中区域灰度平均值的方法，来抑制噪声和加大纹理特征值范围提取，从而弥补LBP采样范围小的局限性。
传统的LBP算法首先由Ojala等人于1996年提出，使用3*3的窗口，对图像进行逐行扫描，利用中心窗口和邻域窗口的大小关系，按照顺时针方向进行二进制编码，最终转化为十进制作为该窗口的LBP值。
传统LBP的公式如下所示：
Figure BDA0003898128870000081
Figure BDA0003898128870000082
其中，(xc,yc)为3*3窗口中心像素点，ic表示中心窗口的灰度值，iP表示邻域窗口的灰度值，S(x)是一个符号函数。
原始的多尺度局部二值模式(MB-LBP)由Liao等人首次提出，其基本原理是：在传统的LBP使用3×3窗口下，每个窗口包含n×n大小的子窗口，统计每个窗口的平均灰度值，最后通过邻域窗口平均灰度值与中心窗口平均灰度值进行比较，大于中心窗口平均灰度值，则设为1，否则为0。将0和1按照一定顺序串联成二进制编码，转成十进制就是MB-LBP值，原始的MB-LBP实现过程如图3所示。MB-LBP公式如下所示：
Figure BDA0003898128870000083
Figure BDA0003898128870000084
其中，
Figure BDA0003898128870000085
表示中心窗口平均灰度值，
Figure BDA0003898128870000086
表示八个邻域窗口平均灰度值。S(x)是一个符号函数。
为了进一步提升传统LBP算法对钢丝绳表面缺陷的识别准确率，本申请从以下三个角度进行改进：
首先，为了提取更多有效钢丝绳表面缺陷纹理特征，对图像进行分块化处理，可以更好的把握对图像每一块细节信息的描述。其次，传统的LBP特征提取算法对噪声敏感且纹理特征采样范围局限在3×3的小区域内，大部分钢丝绳表面缺陷纹理特征复杂并非由单个3×3区域构成，往往覆盖更大区域。因此，采用多尺度局部二值模式中区域灰度平均值的方法，来抑制噪声和加大纹理特征范围提取，从而弥补LBP采样范围小的局限性。最后，传统的LBP和绝大多数改进的LBP算法直接以中心窗口像素作为阈值，没有任何增强中心像素鲁棒性和考虑与邻域像素之间的联系，当中心像素过大或过小时容易遗漏细节特征，因此，使用标准差的方式将中心像素与8邻域像素相联系，重新定义中心像素阈值的选择，来增强中心像素鲁棒性和邻域像素的作用。
本申请结合以上三点提出了ISCM-LBP算法，具体操作如下：
(1)构造3×3的窗口，对每个窗口分成n×n大小的子窗口，然后计算每个窗口包含子窗口的平均灰度值，最后计算3×3窗口中9个像素的标准差S，其公式为：
Figure BDA0003898128870000091
式中：
Figure BDA0003898128870000092
为3×3窗口包含子窗口的平均灰度值，
Figure BDA0003898128870000093
为3×3窗口的平均值；
(2)设置限定阈值f，判断σ是否大于阈值f，若σ≥f，将3×3窗口中9个像素的中位数作为阈值it，再用公式(1)计算LBP值；若σ<f，计算3×3窗口中9个像素值的最大值a和最小值b，将
Figure BDA0003898128870000094
作为阈值，计算得到MMB-LBP值，公式如下所示：
Figure BDA0003898128870000095
Figure BDA0003898128870000101
Figure BDA0003898128870000102
式中：
Figure BDA0003898128870000103
为邻域窗口平均灰度值，it为不同情况下的阈值，
Figure BDA0003898128870000104
为中心像素平均灰度值，a和b分别为3×3窗口邻域8个像素值的最大值和最小值，σ为3×3窗口中9个像素的标准差，m为3×3窗口中9个像素的中位数，经过多次实验，限定阈值f为80时识别率较高，S(x)是一个符号函数。
(3)对图像进行m×m的分块，计算每一块中ISCM-LBP值，得到每一块ISCM-LBP特征统计直方图，按空间顺序排列成一行形成ISCM-LBP特征值。
灰度共生矩阵(GLCM)首先由Haralick等人于1973年提出，主要统计图像中两个像素点同时出现的概率P(i,j,d,θ)。GLCM的原理如图4所示，选择一对像素(2，2)，其中左侧灰度值矩阵有4个灰度级，右侧灰度共生矩阵为4*4，方向θ＝0°，相隔距离d＝1为例，原图像(2，2)共出现3次，GLCM值设置为3。本申请中GLCM参数设置为：θ取值0°、45°、90°、135°四个方向，相隔距离d＝1，灰度级为L＝16。
GLCM的公式如下所示：
P(i,j,d,θ)＝#{(x1,y1),(x2,y2)∈M*N|f(x1,y1)＝i,f(x2,y2)＝j} (9)
式中：#{X}集合X中元素个数，d为两个像素点之间距离，θ为两个像素点连线与坐标轴正方向的夹角，(x1,y1)和(x2,y2)为图像在θ方向间隔为d的两个像素点，x2＝x1+d*cosθ，y2＝y1+d*sinθ。
传统的GLCM一般不作为图像的纹理特征，Haralick等人从灰度共生矩阵中获得14种不同的统计特征，本申请从14种统计特征中选取以下4种主要的全局统计特征：
(1)角二阶矩(Angular second moment，ASM)，主要反映图像均匀性，公式为：
Figure BDA0003898128870000111
(2)对比度(Contrast，CON)，主要反映图像纹理的清晰度，公式为：
Figure BDA0003898128870000112
(3)相关性(Correlation，COR)，反映图像纹理的一致性，公式为：
Figure BDA0003898128870000113
(4)逆差距(Inverse differential moment，IDM)，主要描述图像纹理的粗糙度，公式为：
Figure BDA0003898128870000114
基于图像分块的中心多尺度局部二值模式(ISCM-LBP)过于注重提取图像局部的纹理细节特征，未能充分利用图像的全局纹理特征，缺乏对图像完整性和准确性的描述。全局特征描述整个图像，局部特征描述一小群像素，全局和局部特征融合可以显著提高分类识别率。
作为对上述方案的进一步改进，本申请将GLCM和ISCM-LBP进行特征融合，特征融合存在一个权重关键点，不同的权重对分类器识别率有很大影响，本申请采用的是串联特征融合，在SVM分类器中有较好的识别率效果。具体流程如下：
特征融合形成方法如下：
LBP:y1＝(a0,a1,…a79) (14)
GLCM:y2＝(b0,b1,…,b15) (15)
融合后的特征Z为：
Z＝{y1,y2} (16)
本申请的发明思路是，将图像分块和多尺度引入局部二值模式算法中，提高图像细节描述和抑制噪声敏感问题，其次将中心像素与邻域像素联系起来，增强中心像素鲁棒性，提升传统LBP算法对钢丝绳表面缺陷的识别准确率。为了进一步提高图像完整性描述，将图像分块的中心多尺度局部二值模式算法进行PCA降维后与灰度共生矩阵特征融合补充图像全局信息，最后通过SVM分类器进行钢丝绳表面缺陷识别，从而提高钢丝绳表面缺陷的分类识别率。
本申请的具体实施及应用
1、实验数据集及配置
从工业现场和实验室采集240张不同的完好钢丝绳图像、300张不同的缺股钢丝绳图像、200张不同的断丝钢丝绳图像和260张不同的变形钢丝绳图像，创建一个共1000张图像的钢丝绳图像数据集，如图5中示出了所采集的钢丝绳的4种状态。需要注意的是，采集的钢丝绳表面缺陷图像在数量、位置和形状上是随机的且在自然光照环境中采集的图像。从该数据集中随机选取60％图像作为训练集，剩余40％图像作为测试集，进行钢丝绳状态识别实验。实验采用的配置为：计算机的处理器为英特尔Core i5-9300HF@2.40GHZ四核，内存16GB，操作系统Windows10，实验运行在python3.7下。
2、PCA特征降维
图6显示了PCA解释方差曲线和不同特征维数结果。可以看出，在特征维数为20维的时候，能够提取97.5％的信息，在特征维数为100维的时候，可以提取99％的信息。本申请将原始2304维数据特征降维到20至100维之间，能够看出，随着特征维数的增加，模式识别时间也随之增加，特征维数在80维的时候识别率达到最高且往后维数增加识别率不再提高，此时的模式识别时间为0.0729秒，虽然相比于20维特征时模式识别时间增加了0.018秒，但识别率却有很大的提升，提高了7.75％。综合对比，通过PCA将2304维数据特征，降维至80维，能够有效提高钢丝绳表面缺陷识别时间。
3、支持向量机中核函数的选择
支持向量机中不同核函数的选择，对钢丝绳表面缺陷识别会产生很大影响。对多项式(Poly)、线性(Linear)和高斯径向基(Rbf)三种不同核函数进行识别率和模式识别时间实验对比，如图7所示。可以看出，高斯径向基核函数在识别率和模式识别时间上都是最优的，而线性核函数在识别率上和高斯径向基核函数差不多，但模式识别时间相对较长。多项式核函数在模式识别时间上和高斯径向基相近，而识别率却相对较低。因此，本申请选取高斯径向基核函数。
4、不同分块和子窗口大小实验
不同子窗口大小得到的ISCM-LBP纹理特征图也不相同。图8为钢丝绳缺陷样本在子窗口大小为3到21时的ISCM-LBP纹理特征图，从中可以看出不同子窗口大小所提取到的纹理特征图有一定的差异性。子窗口大小用n表示，其中n＝3为传统的LBP纹理算法。
图8显示了不同图像分块大小m和不同子窗口选择n对ISCM-LBP识别性能影响。可以明显看出，图像分块m＝1增加到m＝3时，各子窗口选择下ISCM-LBP的识别率有明显提升，可能因为分块数的增加对图像细节信息的描述更加细致，但随着分块数不断增加，ISCM-LBP的识别性能趋于饱和甚至出现下降的趋势，可能过于对图像细节信息的描述导致带来很多细节上的干扰。其次，图9显示了不同图像分块大小m和不同子窗口选择n对ISCM-LBP模式识别时间影响，随着图像分块数的增加，模式识别时间也不断上升，在图像分块m＝1增加到m＝3时，模式识别时间上升缓慢并且都在1秒以内，当图像分块数超过3时，模式识别时间大幅提高，最高达到10秒左右，模式识别时间提升了近10倍，可能因为随着图像分块数和子窗口数的不断增加，钢丝绳表面纹理特征计算量也呈几何增长，导致模式识别时间大幅上升。因此，本文选择图像分块m＝3和子窗口n＝9，识别率和模式识别时间处于最佳状态。
5、本申请与其他单一算法的对比
为了证明本申请算法的有效性，在所建立的钢丝绳表面缺陷数据集上进行纹理缺陷识别实验，对比了9种纹理特征提取算法：局部二值模式(LBP)、扩展局部二值模式(Extended LBP)、等价局部二值模式(Uniform Pattern LBP)、旋转不变局部二值模式(Rotation Invariant LBP)、局部三值模式(LTP)、局部定向模式(LDP)、局部最优模式(LOOP)、多尺度局部二值模式(MB-LBP)和灰度共生矩阵(GLCM)。
图10对不同算法识别率进行了对比。能够看到，传统的LBP对噪声敏感，中心像素鲁棒性低，导致识别率低。Uniform Pattern LBP特征统计性加大，但容易丢失很多细节信息。Rotation Invariant LBP识别率较低，可能是描述能力较弱，且角度空间采样较稀薄，容易遗漏纹理特征。LTP可以减少噪声的影响，但LTP选取固定阈值不适合钢丝绳纹理图像。LDP在特征提取方面不是很充分，识别效果不稳定。MB-LBP能够较好的抑制噪声和提取大尺度信息，但容易遗漏局部细节特征。GLCM识别率差，可能是算法在提取全局整体信息较好，容易忽略局部细节特征。综合对比，本申请提出的ISCM-LBP算法在所建立的钢丝绳数据集上表现出优异的识别性能。
图9显示了不同算法的运行时间对比。可以看出，特征值模式低的算法模式识别时间普遍也越低，说明纹理特征计算量也对应较少，其余算法模式识别时间都相差0.1秒左右。等价模式和旋转不变算法模式识别时间较短但特征提取时间相对较长，其余算法特征提取时间都在1秒左右。本申请提出的ISCM-LBP算法在模式识别时间和特征提取时间都处在适中的水平，GLCM在模式识别时间和特征提取时间分别为0.064秒和0.005秒，是所有算法中耗时最低的，但其整体识别率也最低，因此不采用。综合图9和图10，本申请的ISCM-LBP算法在识别率和运行时间上都有不错的表现，能为钢丝绳表面缺陷提供缺陷识别和预测功能。
图11对不同算法特征提取时间进行了对比，可以看出Extended LBP，UniformPattern LBP和Rotation Invariant LBP特征提取时间明显高于其他纹理特征提取算法，可能因为三种算法在特征提取上略微复杂，算法简洁性不高。相反GLCM在特征提取时间上远低于其他算法，但其识别率在所有算法中也是最低的，因此不采用。本申请的ISCM-LBP算法在特征提取时间上处于适中水平。
图12对不同算法模式识别时间进行对比，能够看到Uniform Pattern LBP，Rotation Invariant LBP和GLCM模式识别时间显著低于其他算法，因为三种算法的特征值模式较少，提取的纹理特征也就最少，所以纹理计算量低于其他算法。本申请的ISCM-LBP在模式识别时间上与其他算法相比处于中等水平。
综上可以得出，ISCM-LBP在特征提取时间和模式识别时间上与其余算法损耗时间上相接近，而识别率显著高于其他算法，因此本申请的ISCM-LBP能为钢丝绳表面缺陷提供很好的识别和预测功能。
6、不同特征融合算法对比
图13中示出了时间损耗代表模式识别与特征提取的时间总和，可以看出原始的LBP和GLCM特征融合算法时间损耗为2.5秒，整体的识别率为94％；而MB-LBP和GLCM特征融合算法在多消耗0.38秒的时间情况下整体识别率只提高了1.25％。本申请的ISCM-LBP和GLCM特征融合算法时间损耗为1.56秒，整体缺陷识别率为97.5％，时间损耗在经过PCA特征降维后减少了大量冗余信息减少了1秒左右，识别率也增加了3.5％。综上所述，本申请提出的ISCM-LBP+GLCM方法在钢丝绳表面缺陷检测中具有优异的识别性能。
为了更全面的知道本申请提出的算法与其他算法在钢丝绳表面缺陷每一类的识别效果，图14和图15展示了各算法在钢丝绳表面缺陷识别的混淆矩阵和每一类识别率，可以看出MS识别率最高，在4种算法中基本没有出现误分类。IN在LBP和MB-LBP误识别率很高，可能因为IN与DE在钢丝绳表面纹理上很相似。本文提出的ISCM-LBP算法相较于前两种算法在IN和DE这两种状态识别上有了很高的提升，但没有达到预期的效果。因此，本申请通过ISCM-LBP算法与GLCM算法特征融合的方式，融合了图像纹理缺陷的全局信息，对图像的描述更加全面准确，在缺陷识别性能上有了进一步的提升。从图中可以看出，相比之前提出的算法，融合过后的算法在IN和DE这两类识别率上有了进一步的提升，但BW缺陷误识别增加了，可能由于增加了全局信息导致降低细节特征的判断。结果表明，该方法在钢丝绳每类表面缺陷和整体识别率上有了明显提升，满足识别要求。
以上所述仅为本发明的优选实施方式，但本发明的保护范围并不局限于上述实施例。应当指出，在本技术领域范围内，不脱离本发明技术思路的情况下，对本发明所做的简单润饰、改进、替代、简化和组合，都应包含在本发明的保护范围之内。

Claims (6)

1.基于特征融合的钢丝绳表面缺陷识别方法，其特征在于，包括以下步骤：
S1，预处理：将钢丝绳缺陷图像进行灰度化；
S2，特征提取和融合：对图像分块处理，采用基于图像分块的中心多尺度局部二值模式改进传统的LBP算法，得到ISCM-LBP算法，用ISCM-LBP算法提取分块后的图像纹理特征信息，基于得到的图像纹理特征实施PCA降维，最后通过GLCM提取图像全局纹理特征与降维后的图像纹理特征进行特征融合；
S3，识别和分类：通过SVM分类器进行钢丝绳表面缺陷识别和分类。
2.根据权利要求1所述的基于特征融合的钢丝绳表面缺陷识别方法，其特征在于，步骤S2包括：
S21，将图像分块和多尺度引入局部二值模式算法中，来提高细节特征描述和减弱噪声的影响；
S22，使用标准差的方式将中心像素与邻域像素相联系，重新定义中心像素阈值的选择，来增强中心像素鲁棒性和邻域像素的作用。
3.根据权利要求2所述的基于特征融合的钢丝绳表面缺陷识别方法，其特征在于，所述步骤S21中，采用多尺度局部二值模式中区域灰度平均值的方法，来抑制噪声和加大纹理特征值范围提取，从而弥补LBP采样范围小的局限性。
4.根据权利要求3所述的基于特征融合的钢丝绳表面缺陷识别方法，其特征在于，所述ISCM-LBP算法包括以下步骤：
(1)构造3×3的窗口，对每个窗口分成n×n大小的子窗口，然后计算每个窗口包含子窗口的平均灰度值，最后计算3×3窗口中9个像素的标准差σ，其公式为：
Figure FDA0003898128860000011
式中：
Figure FDA0003898128860000012
为3×3窗口包含子窗口的平均灰度值，
Figure FDA0003898128860000013
为3×3窗口的平均值；
(2)设置限定阈值f，判断σ是否大于阈值f，若σ≥f，将3×3窗口中9个像素的中位数作为阈值it，计算LBP值；若σ<f，计算3×3窗口中9个像素值的最大值a和最小值b，将
Figure FDA0003898128860000021
作为阈值，计算得到MMB-LBP值，公式如下所示：
Figure FDA0003898128860000022
Figure FDA0003898128860000023
Figure FDA0003898128860000024
式中：
Figure FDA0003898128860000025
为邻域窗口平均灰度值，it为不同情况下的阈值，
Figure FDA0003898128860000026
为中心像素平均灰度值，a和b分别为3×3窗口邻域8个像素值的最大值和最小值，σ为3×3窗口中9个像素的标准差，m为3×3窗口中9个像素的中位数，S(x)是一个符号函数；
(3)对图像进行m×m的分块，计算每一块中ISCM-LBP值，得到每一块ISCM-LBP特征统计直方图，按空间顺序排列成一行形成ISCM-LBP特征值。
5.根据权利要求4所述的基于特征融合的钢丝绳表面缺陷识别方法，其特征在于，所述GLCM的公式为：
P(i,j,d,θ)＝#{(x1,y1),(x2,y2)∈M*N|f(x1,y1)＝i,f(x2,y2)＝j}
式中：P(i,j,d,θ)为图像中两个像素点同时出现的概率，#{X}集合X中元素个数，d为两个像素点之间距离，θ为两个像素点连线与坐标轴正方向的夹角，(x1,y1)和(x2,y2)为图像在θ方向间隔为d的两个像素点，x2＝x1+d*cosθ，y2＝y1+d*sinθ，其中θ取值0°、45°、90°、135°四个方向，相隔距离d＝1，灰度级为L＝16；
选取角二阶矩、对比度、相关性和逆差距四种主要的全局统计特征，采用串联方式进行特征融合，特征融合形成方法如下：
LBP:y1＝(a0,a1,…a79)
GLCM:y2＝(b0,b1,…,b15)
融合后的特征Z为：
Z＝{y1,y2}。
6.根据权利要求4或5所述的基于特征融合的钢丝绳表面缺陷识别方法，其特征在于，所述限定阈值f的值取80。
CN202211279593.0A 2022-10-19 2022-10-19 基于特征融合的钢丝绳表面缺陷识别方法 Pending CN115565011A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211279593.0A CN115565011A (zh) 2022-10-19 2022-10-19 基于特征融合的钢丝绳表面缺陷识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211279593.0A CN115565011A (zh) 2022-10-19 2022-10-19 基于特征融合的钢丝绳表面缺陷识别方法

Publications (1)

Publication Number Publication Date
CN115565011A true CN115565011A (zh) 2023-01-03

Family

ID=84767444

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211279593.0A Pending CN115565011A (zh) 2022-10-19 2022-10-19 基于特征融合的钢丝绳表面缺陷识别方法

Country Status (1)

Country Link
CN (1) CN115565011A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116740056A (zh) * 2023-08-10 2023-09-12 梁山水泊胶带股份有限公司 用于整芯高花纹输送带涂覆层的缺陷检测方法
CN116843626A (zh) * 2023-06-08 2023-10-03 江苏苏港智能装备产业创新中心有限公司 一种基于多特征融合的机器视觉钢丝绳表面缺陷检测方法
CN117237397A (zh) * 2023-07-13 2023-12-15 天翼爱音乐文化科技有限公司 基于特征融合的人像分割方法、系统、设备及存储介质
CN117237397B (zh) * 2023-07-13 2024-05-28 天翼爱音乐文化科技有限公司 基于特征融合的人像分割方法、系统、设备及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116843626A (zh) * 2023-06-08 2023-10-03 江苏苏港智能装备产业创新中心有限公司 一种基于多特征融合的机器视觉钢丝绳表面缺陷检测方法
CN117237397A (zh) * 2023-07-13 2023-12-15 天翼爱音乐文化科技有限公司 基于特征融合的人像分割方法、系统、设备及存储介质
CN117237397B (zh) * 2023-07-13 2024-05-28 天翼爱音乐文化科技有限公司 基于特征融合的人像分割方法、系统、设备及存储介质
CN116740056A (zh) * 2023-08-10 2023-09-12 梁山水泊胶带股份有限公司 用于整芯高花纹输送带涂覆层的缺陷检测方法
CN116740056B (zh) * 2023-08-10 2023-11-07 梁山水泊胶带股份有限公司 用于整芯高花纹输送带涂覆层的缺陷检测方法

Similar Documents

Publication Publication Date Title
CN115565011A (zh) 基于特征融合的钢丝绳表面缺陷识别方法
CN111368683B (zh) 基于模约束CenterFace的人脸图像特征提取方法及人脸识别方法
CN111126482B (zh) 一种基于多分类器级联模型的遥感影像自动分类方法
CN110163278B (zh) 一种基于图像识别的火焰稳定性监测方法
CN115294140B (zh) 一种五金零件缺陷检测方法及系统
CN116611748B (zh) 一种钛合金家具生产质量监控系统
CN105069447B (zh) 一种人脸表情的识别方法
CN109325507B (zh) 结合超像素显著性特征与hog特征图像分类方法和系统
CN108520215B (zh) 基于多尺度联合特征编码器的单样本人脸识别方法
CN112861635A (zh) 一种基于深度学习的火灾及烟雾实时检测方法
CN109801305B (zh) 基于深度胶囊网络的sar图像变化检测方法
CN110826408B (zh) 一种分区域特征提取人脸识别方法
CN109241870B (zh) 基于步态识别的煤矿井下人员身份识别方法
CN110188646B (zh) 基于梯度方向直方图与局部二值模式融合的人耳识别方法
Liu et al. Wire rope defect identification based on ISCM-LBP and GLCM features
CN115439405A (zh) 一种钢板表面缺陷的分类方法
Ahmed et al. Facial feature representation with directional ternary pattern (DTP): Application to gender classification
CN112434712B (zh) 一种基于尺度和角度自适应选取的局部二值模式纹理图像特征提取方法及系统
CN109241886B (zh) 基于olbp与pca的人脸识别方法和系统
CN110489587B (zh) 局部梯度方向三值模式的轮胎痕迹图像特征提取方法
Fradi et al. A new multiclass SVM algorithm and its application to crowd density analysis using LBP features
Lv et al. Cotton appearance grade classification based on machine learning
Liu et al. Wavelet-energy-weighted local binary pattern analysis for tire tread pattern classification
CN110516523A (zh) 移动视频巡检中危险区域行人检测方法
CN112037193A (zh) 一种电力线路特征标记方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination