CN116660286A - 基于图像分割的线束剥头测量与缺陷检测方法及系统 - Google Patents

基于图像分割的线束剥头测量与缺陷检测方法及系统 Download PDF

Info

Publication number
CN116660286A
CN116660286A CN202310448152.7A CN202310448152A CN116660286A CN 116660286 A CN116660286 A CN 116660286A CN 202310448152 A CN202310448152 A CN 202310448152A CN 116660286 A CN116660286 A CN 116660286A
Authority
CN
China
Prior art keywords
wire harness
image
detection
edge
peeling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310448152.7A
Other languages
English (en)
Inventor
王西超
蔡猛
李保江
陈国初
王海燕
赵淑阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Dianji University
Original Assignee
Shanghai Dianji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Dianji University filed Critical Shanghai Dianji University
Priority to CN202310448152.7A priority Critical patent/CN116660286A/zh
Publication of CN116660286A publication Critical patent/CN116660286A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/952—Inspecting the exterior surface of cylindrical bodies or wires
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0106—General arrangement of respective parts
    • G01N2021/0112—Apparatus in one mechanical, optical or electronic block
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Immunology (AREA)
  • Artificial Intelligence (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于图像分割进行线束剥头测量和缺陷检测的方法及系统，主要技术使用改进后的YOLOX算法对新能源汽车上的线束剥头进行框取，接着使用改进后的Sobel边缘检测算子和改进后的U‑Net图像分割网络实现对剥头散开、导体刮出、绝缘体未拉脱等缺陷的检测和长度测量。通过使用YOLOX和实图像分割算法的组合，本发明可以在像素级别对线束剥头进行测量和缺陷检测，从而实现更加精确和高效的线束剥头质量控制。本发方案提高了新能源汽车上的线束剥头检测的准确性、通用性和处理速度，实现了更少的人工干预和更好的可解释性。

Description

基于图像分割的线束剥头测量与缺陷检测方法及系统
技术领域
本发明属于深度学习和图像处理技术领域，具体涉及的是一种基于图像分割的线束剥头测量与缺陷检测方法及系统。
背景技术
线束检测是新能源汽车电子行业生产流程中不可或缺的一部分，其目的是检测线束剥头的质量，减少缺陷率，提高生产效率和产品质量。线束剥头缺陷检测是线束生产中的一个重要环节。近年来，随着计算机视觉技术的发展，越来越多的研究关注如何使用计算机视觉技术来自动化新能源汽车上的线束剥头缺陷检测。新能源汽车线束剥头检测是指对新能源汽车电气线束中的剥头进行检测，以确保其质量和可靠性。线束剥头是连接线束和设备的关键部件，如果存在缺陷或不良，则会导致电气设备工作异常或损坏，严重时甚至可能引发事故。因此，对线束剥头进行检测具有重要意义。
当前线束检测研究的主要方向包括以下几个方面：基于图像处理和机器学习的线束检测方法。该方法主要利用图像处理技术，如边缘检测、形态学操作等，提取线束的特征，并使用机器学习算法进行分类和检测。这种方法简单易行，但对于复杂的线束结构和缺陷类型效果可能不佳。基于深度学习的线束检测方法。该方法主要利用深度神经网络对新能源汽车上的线束剥头图像进行处理和分析，能够学习到更复杂的特征表达。其中，基于卷积神经网络(CNN)的方法是目前主流的线束检测方法之一，可以通过端到端的训练过程实现自动化检测。同时，也有一些研究利用生成对抗网络(GAN)等方法增强数据集，提高检测性能。基于实例分割的线束检测方法。该方法可以通过对线束中的不同部分进行定位和分类，进一步提高检测准确率。其中，基于Mask R-CNN的实例分割方法应用较为广泛。基于图像处理和机器学习的新能源汽车线束剥头缺陷检测方法已经成为主流。该方法主要是利用图像处理技术，如边缘检测、形态学操作等，提取线束剥头的特征，并使用机器学习算法，如支持向量机(SVM)、人工神经网络(ANN)等，进行分类和缺陷检测。近年来，深度学习技术在线束剥头缺陷检测中的应用越来越广泛。尤其是基于实例分割的方法，可以有效地定位和分类线束剥头的不同部分，并检测其中的缺陷。另外，一些新兴的技术，如3D扫描和点云处理等，也在线束剥头缺陷检测中得到了应用。
总的来说，当前新能源汽车线束剥头检测研究中，基于深度学习和实例分割的方法是研究热点，已经在实际生产中得到广泛应用。未来的研究方向可能会更加关注多模态数据的融合和算法可解释性的提高，以便更好地适应实际生产环境的需求。
目前来看，上述技术仍然有一些不足之处。由于缺少新能源汽车线束剥头缺陷数据集，目前的数据集是有限的，无法涵盖所有缺陷类型和线束结构。这会对模型的训练和检测性能造成影响。目前大多数线束缺陷检测方法需要进行图像处理和特征提取等多个步骤，导致处理速度较慢。在新能源汽车的实际生产中，需要快速而准确地检测线束剥头的缺陷。目前的线束缺陷检测方法通常是针对特定线束结构和缺陷类型进行设计的，缺乏通用性。此外，目前的线束缺陷检测方法仍然需要人工标注和纠错，这会增加成本和时间，并且容易出现人为错误。由于深度学习等方法往往是黑盒模型，难以解释模型的决策过程和错误原因，这会限制模型在实际生产中的应用。
发明内容
针对现有的新能源汽车线束剥头检测技术存在的缺陷和问题，本发明提供一种基于图像分割的线束剥头测量与缺陷检测方法及系统，以解决传统线束缺陷检测方法存在的数据集缺乏、处理速度慢、通用性不足、人工干预多、模型解释性差等问题。
本发明解决其技术问题所采用的方案是：一种基于图像分割的线束剥头测量与缺陷检测方法，使用改进后的YOLOX目标检测网络对剥头进行检测，改进Sobel边缘检测算子和U-Net图像分割网络，对线束剥头的长度测量和缺陷检测，步骤如下。
第一步：对采集的图像进行预处理，包括将RGB图像进行灰度处理、图像去噪、增强和灰度化处理，以提高线束剥头结构和缺陷的辨识度，提高边缘检测和分割的准确性。
第二步：使用改进后的YOLOX小目标检测模型对剥头进行目标检测。在训练过程中，对模型迭代优化以提高检测准确率和速度。使用测试集对训练好的模型进行评估，检查检测精度和速度，并对模型进行优化，如调整超参数、增加数据集、改进算法等。将训练后的具有权重文件YOLOX小目标检测模型应用于实际线束剥头检测中，并进行实时检测和反馈。同时，对模型进行维护和更新，以保持其稳定性和准确性。
第三步：使用改经后的Sobel边缘检测算子对线束剥头图像进行边缘检测，得到线束剥头的边缘轮廓，改经后的Sobel边缘检测包括如下步骤。
(1)对灰度图像进行高斯滤波，采用高斯滤波器对图像进行平滑滤波可以减少噪声，使得边缘检测结果更加准确，高斯函数的公式为：
式(1)中，x、y分别为当前点与目标点之间的水平和垂直距离，σ为标准差。
对式(1)高斯滤波器与原线束剥头图像进行卷积，公式为：
G(x，y)＝f(x，y)*H(x，y) (2)；
式(2)中，f(x,y)为原剥头图像，G(x,y)为卷积后的剥头图像。
(2)对滤波后的图像应用Sobel算子，分别对图像进行水平和垂直方向的差分，Sobel算子用于检测图像中的边缘：
式(3)中，I表示输入灰度图像；第一个矩阵是水平方向上的Sobel算子，第二个矩阵是垂直方向上的Sobel算子，两个矩阵分别与输入线束剥头的灰度图像进行卷积，得到水平和垂直方向上的差分结果，然后，这两个结果可以通过平方和开方的方式获得边缘强度，公式如下：
E＝sqrt(Gx2+Gy2) (4)；
式(4)中，E表示边缘强度，Gx和Gy分别是水平和垂直方向上的差分结果。
(3)非极大值抑制，即在局部邻域内比较像素的梯度幅值，保留梯度最大的像素作为边缘像素，将其他像素的幅值置为零。
(4)用双阈值算法进行边缘检测；将梯度幅值分成两个阈值，将大于高阈值的像素点标记为强边缘，小于低阈值的像素点标记为非边缘，介于两个阈值之间的像素点标记为弱边缘，然后将弱边缘与强边缘相连的部分标记为边缘，对于标记为弱边缘的像素点，如果其周围的8个像素中存在任意一个被标记为强边缘，则将该像素点标记为边缘，否则将其标记为非边缘。
第四步：图像分割，即将边缘检测得到的线束剥头边缘轮廓输入到U-Net图像分割网络中，进行线束的分割，得到线束区域的掩膜。
第五步：线束长度测量，即通过分割得到的线束掩膜计算线束的长度。
第六步：缺陷检测，即将线束掩膜与原始图像进行相减，得到缺陷区域的掩膜；使用特征提取算法中的图像滤波对缺陷区域进行进一步处理，提取出具体的缺陷信息。
其中，所述的U-Net图像分割为改进后的U-Net图像分割，在对线束剥头进行图像分割时，将边缘检测得到的线束剥头边缘轮廓输入到U-Net图像分割网络中进行线束分割，步骤如下。
(1)准备数据集：准备带有线束剥头的图像以及相应的掩膜，掩膜中线束剥头区域为1，其余区域为0。
(2)数据预处理：将上一步边缘检测得到的线束剥头边缘轮廓转换为二值掩膜，其中线束剥头边缘的区域为1，其余区域为0；同时，需要对输入图像和掩膜进行统一的尺寸处理，以便于输入到U-Net网络中。
(3)定义U-Net网络：利用编码器提取图像的特征，利用解码器将特征映射回原始图像的尺寸，同时通过skip connection将编码器和解码器的特征图结合起来，包括根据具体的线束剥头的检测需求进行网络结构的调整和优化。
(4)训练U-Net网络：使用准备好的数据集对U-Net网络进行训练，以得到适合线束分割的模型，在训练过程中，需要选择合适的损失函数和优化器，并设置合理的学习率和批次大小的超参数。
(5)进行线束分割：使用训练好的U-Net模型对边缘检测得到的线束剥头边缘轮廓进行分割，得到线束区域的掩膜，包括采用滑动窗口或全卷积方法对输入图像进行分割，得到分割结果。
(6)后处理：对分割结果进行后处理，去除小的噪点、填充空洞和进行形态学操作，以得到更加准确的线束分割结果。
进一步地，图像数据预处理过程中，采用公式(1)作为增强函数:
式(5)中，yH(m，n)是NSCT分解的高频子带系数，|yH(m)|max是其对应的m行系数绝对值的最大值，(M,N)是待增强图像的大小，且满足1<m<M，1<n<N，采用|yH(m)|max/|yH(m，n)|对灰度动态模型进行系数调节，实现对图像灰度级的动态范围的扩展。
采用NSCT分解图像时，大幅度系数对应有用信号，小幅度系数对应噪声，将比阈值大的系数当成信号被增强，而比阈值小的系数当成噪声抑制，其关系为：
式(6)中，y′(m，n)是增强后的高频子带系数，阈值 σ为噪声方差，4/3是调节因子。
进一步地，图像增强过程包括：采用NSCT分解接触网图像；利用公式(5)获得非线性增强函数；利用公式(6)处理yH(m，n)来获得增强后系数y′(m，n)；利用低频信号yL(m，n)和增强后系数y′(m，n)进行NSCT逆变换，获得增强后图像。
进一步地，非极大值抑制过程中，梯度幅值非极大值抑制的步骤：
(1)计算每个像素点的梯度幅值和方向；
(2)确定像素点的梯度方向后，将其转化为四个可能的方向之一：0°、45°、90°和135°；
(3)对于每个像素点在梯度方向上的两个相邻像素点，比较当前像素点的梯度幅值与这两个相邻像素点的幅值，若当前像素点的幅值最大，则保留该像素点，否则将其幅值置为零；
(4)对于图像边缘的像素点，将边缘像素的幅值置为零；
(5)重复步骤(3)和(4)，对图像中的每个像素点进行处理，以得到一个经过非极大值抑制处理的图像。
进一步地，对线束剥头进行测量是通过分割得到的线束掩膜计算线束的长度，对线束进行测量，具体的方法和步骤如下：
(1)将线束掩膜转换为二值图像，将线束区域设为前景(白色)，非线束区域设为背景(黑色)。
(2)对前面步骤所得到的二值图像进行轮廓检测，得到线束的边界轮廓。
(3)对轮廓进行点集拟合，将轮廓上的点集拟合成一条直线，得到线束的近似拟合线。
(4)计算线束的长度：对于第(3)步中的点集拟合，使用最小二乘法进行拟合，最小二乘法是一种通过最小化拟合误差的方法，将轮廓上的点集拟合成一条直线，拟合的直线方程为：
y＝kx+b (7)；
式(7)中，k为斜率，b为截距；通过最小二乘法可以求出k和b的值，从而得到线束的拟合直线。
对于第四步中的长度计算，利用直线段长度公式进行计算，即：
L＝sqrt((x2-x1)^2+(y2-y1)^2) (8)；
式(8)中，(x1,y1)和(x2,y2)为直线的两个端点坐标，通过计算拟合直线的长度得到线束的长度，当线束存在弯曲等情况时，对线束的边界轮廓进行分段，然后对每一段进行拟合和长度计算，最后将所有段的长度加起来，得到线束的总长度。
进一步地，对线束剥头进行缺陷检测包括如下内容：在将线束掩膜与原始图像相减后，得到缺陷区域的掩膜；对于缺陷区域的进一步处理，使用形态学操作和图像滤波算法进行特征提取，包括对二值图像进行腐蚀、膨胀、开操作和闭操作处理；在线束剥头的缺陷检测中，利用腐蚀操作用来去除二值图像中的小孔洞或者细小的边缘分支，使得边缘更加精细，提取出缺陷区域的具体缺陷信息。
进一步地，对线束剥头进行缺陷检测包括如下步骤：
(1)定义结构元素，包括矩形、圆形或者其他形状，结构元素的大小和形状取决于需要处理的缺陷大小和形状；
(2)将结构元素放在缺陷掩膜上，对每个像素进行判断；如果结构元素内的所有像素都是前景(白色)，则该像素不变；如果结构元素内存在背景(黑色)像素，则将该像素置为背景；
(3)重复以上步骤，直到所有像素都被处理完毕，最终得到的结果是腐蚀后的缺陷掩膜信息。
进一步地，用双阈值算法进行边缘检测的公式如下：
设输入图像为I(x，y)，其梯度幅值为G(x，y)，高阈值为Thigh，低阈值为Tlow，则双阈值算法的公式为：
式(9)中，强边缘strong edge、非边缘non-edge和弱边缘weak edge分别用不同的颜色表示，对于标记为弱边缘的像素点，继续使用非极大值抑制和连通性分析方法进一步处理，以得到更加准确的边缘检测结果。
一种基于图像分割的线束剥头测量与缺陷检测系统，包括GPU的计算机和高精度相机，高精度相机用于采集线束剥头的图像信息，GPU的计算机用于获取来自于高精度相机的图像信息，GPU的计算机同于运行上述方法对图像信息进行处理和检测。
本发方案解决了传统新能源汽车上的线束缺陷检测方法存在的数据集缺乏、处理速度慢、通用性不足、人工干预多、模型解释性差等问题。提高了对线束剥头测量和缺陷检测的准确性、通用性和处理速度，实现了更少的人工干预和更好的可解释性。此外，实例分割能够对缺陷进行像素级别的定位和分割，能够更精确地检测出线束剥头的缺陷，有效地提高了线束缺陷检测的性能。
附图说明
图1是基于NSCT的图像增强方法框架图；
图2是基于NSCT图像增强之后的线束剥头结果示意图；
图3是ECA-Net注意力模块的网络结构图；
图4是添加ECA-Net注意力模块的YOLOX网络结构示意图；
图5是使用U-Net图像分割网络对线束剥头进行图像分割的结果示意图；
图6是线束测量与缺陷检测系统硬件搭建平台示意图；
图7是线束测量与缺陷检测系统流程图。
图中标号：1.高精度相机，2.环形光源，3.线束剥头，4.外触发滑动导轨，5.背光源，6.光源控制器，7.PLC外触发控制器，8.带GPU的计算机。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
本实施例采用一种基于图像分割的线束剥头测量与缺陷检测方法，主要技术创新方面使用改进后的YOLOX目标检测算法对线束剥头进行目标检测，接着使用改进后的Sobel边缘检测算子和改进后的U-Net图像分割网络实现对线束剥头的长度测量和缺陷检测，如图6所示，主要步骤如下。
数据预处理：对采集的图像进行预处理，包括图像去噪、增强和灰度化等处理，以提高线束剥头结构和缺陷的辨识度，从而提高边缘检测和分割的准确性。
目标检测：使用改进后的YOLOX小目标检测模型对剥头进行检测。对模型进行评估，检查检测精度和速度，并对模型进行优化以提高检测准确率和速度。将改进后的YOLOX模型应用于实际线束剥头检测中，并进行实时检测和反馈。同时，对模型进行维护和更新，以保持其稳定性和准确性。
边缘检测：使用改经后的Sobel边缘检测算子对线束剥头图像进行边缘检测，得到线束剥头的边缘轮廓。
图像分割：将边缘检测得到的线束剥头边缘轮廓输入到改进后的U-Net图像分割网络中，进行线束的分割，得到线束区域的掩膜。
线束长度测量：通过分割得到的线束掩膜计算线束的长度。
缺陷检测：将线束掩膜与原始图像进行相减，得到缺陷区域的掩膜。使用一些特征提取算法中的图像滤波对缺陷区域进行进一步处理，提取出具体的缺陷信息。
其中，边缘检测可以较好地提取出线束剥头的轮廓信息，而图像分割可以将线束剥头分割出来，并检测出缺陷信息，两者相结合可以得到比较准确的测量和检测结果。
本实施例具体内容如下：
I.该系统硬件部分包括搭载python运行环境的GPU服务器、高精度相机模块、环形光源和PLC控制系统等工具。
II.采集线束剥头的图像：
使用硬件为海康工业相机、DHK-R12030环形光源、双通道的光源控制器、PLC控制器和带GPU的笔记本电脑。在设置好固定高度和位置的条件下，从上方拍摄线束的图片。在服务器上使用Python调用OpenCV储存相机所拍摄的图像。
III.对采集到的图像进行预处理：
在线束剥头图像采集的过程中，大多数图像都具有清晰度高、对比度强等特点，因此不需要进行图像增强处理。但是，由于受到图像拍摄条件和光照度不均匀等因素的影响，一些线束剥头图像存在对比度低、分辨率低、灰度范围窄以及线束剥头轮廓和细节模糊不清、被掩盖等问题。尽管这类图像的数量不多，但如果不增强这些图像，将会直接影响线束剥头图像的分割和缺陷检测的精度。这可能会导致对线束剥头的漏检误检等问题，从而对设备的安全运行产生负面影响。因此，有必要对这些低对比度的线束剥头图像进行增强，以实现对线束剥头的精准测量和缺陷检测。通过增强这些图像，我们可以提高线束剥头图像的质量，从而更准确地检测和定位线束剥头的缺陷，保障设备的安全运行。
这里我们采用的是由非下采样金字塔(Nonsub Sampled Pyramid，NSP)和非下采样方向滤波器组(Nonsub sampled Directional Filter Banks，NSDFB)构成的NSCT图像增强算法。
如图1所示，图像增强过程中，为了能突出图像中的特定目标，增强函数的选择至关重要。正弦灰度变换函数通过调整曲线参数来实现灰度变换，进而达到图像增强的目的。考虑到低频子带的正负符号问题，采用公式(1)作为增强函数:
式中，yH(m，n)是NSCT分解的高频子带系数，|yH(m)|max是其对应的m行系数绝对值的最大值。(M,N)是待增强图像的大小，且满足1<m<M，1<n<N。采用|yH(m)|max/|yH(m，n)|对灰度动态模型进行系数调节，实现对图像灰度级的动态范围的扩展。
采用NSCT分解图像时，大幅度系数对应有用信号，小幅度系数对应噪声。因此，比阈值大的系数当成信号被增强，而比阈值小的系数当成噪声抑制，其关系为：
y′(m，n)是增强后的高频子带系数，阈值σ为噪声方差，4/3是调节因子。具体地，图像增强过程如下所示。
采用NSCT分解接触网图像。
利用公式(1)获得非线性增强函数。
利用公式(2)处理yH(m，n)来获得增强后系数y′(m，n)。
利用低频信号yL(m，n)和增强后系数y′(m，n)进行NSCT逆变换，获得增强后图像。如图2所示。
线束剥头的图像增强方法中，增强函数将很大程度上决定图像的增强质量。此外，NSCT中的滤波器组合也将直接决定图像增强效果。不同的滤波器组合，将会对线束剥头图像的增强效果产生较大的影响。NSCT变换是基于一组四个滤波器的过滤器组合，这四个滤波器是高通滤波器、水平方向的低通滤波器、垂直方向的低通滤波器和对角方向的低通滤波器。二维双通道非下采样滤波器组的设计是NSCT的核心，该系统选择的2-D滤波器满足Bezout恒等式或者完美重构(PR)条件，如公式(3)所示：
其中，D0～DP-1表示各个分解滤波器，R0～RP-1表示相对应的重构滤波器，l是L阶段的索引。
IV.改进YOLOX目标检测算法对线束剥头进行目标检测：
通过修改网络结构，增加了网络的深度和宽度，增加感受野的大小，改善了模型对小目标的检测能力。
在YOLOX的基础模型上增加卷积层并且引入注意力机制，提高网络对小目标的响应能力。本发明使用添加ECA-Net注意力机制模块的YOLOX网络。ECA-Net注意力机制模块直接在全局平均池化层之后使用1x1卷积层，去除了全连接层，避免了维度缩减，并有效捕获了跨通道交互。并且ECA只涉及少数参数就能达到很好的效果。ECA-Net通过一维卷积来完成跨通道间的信息交互，卷积核的大小通过一个函数来自适应变化，使得通道数较大的层可以更多地进行跨通道交互。如图4是改进后的的YOLOX网络结构，在block层添加注意力模块来减少参数量的计算，提高运行效率。本发明选择的注意力模块为ECA-Module如图3所示，在经过SE的全局均值池化后，ECA-Module会考虑每个通道及其k个近邻，通过一维卷积快速完成通道权重的计算。K就代表了在一个通道权重的计算过程中参与的近邻数目，k的数目很明显会影响ECA计算的效率和有效性。ECA-NET的自适应函数为：
其中γ＝2，b＝1 (4)
ECANet首先将输入特征图经过全局平均池化，特征图从[h,w,c]的矩阵变成[1,1,c]的向量，再计算得到自适应的一维卷积核大小kernel_size，然后将kernel_size用于一维卷积中，得到对于特征图的每个通道的权重，最后将归一化权重和原输入特征图逐通道相乘，生成加权后的特征图。
通过多尺度检测来提高模型对小目标的检测能力，在YOLOX中使用多个不同大小的anchorbox并且使用FPN等多尺度特征融合方法。使用后处理方法来进一步提高小目标的检测能力，使用非极大值抑制(NMS)的不同阈值、引入低阈值过滤器等方法来过滤掉一些误检的目标。并且对于线束剥头的检测，还需要根据具体场景进行调整和优化，例如设置不同的anchorbox大小、调整训练时的学习率和batch size等。
V.对线束剥头进行边缘检测：
使用改进后的Sobel算子边缘检测算法。因为图片已经经过预处理，所以第一步将RGB图像进行灰度转换在这一步不需要。下面是边缘检测的详细步骤。
第一步是对灰度图像进行高斯滤波，采用高斯滤波器对图像进行平滑滤波可以减少噪声，使得边缘检测结果更加准确，高斯函数的公式为：
注：式中：x、y分别为当前点与目标点之间的水平和垂直距离；σ为标准差。
对式(5)高斯滤波器与原线束剥头图像进行卷积，公式为：
G(x，y)＝f(x，y)*H(x，ｙ) (6)；
注：式中：f(x,y)为原剥头图像，G(x,y)为卷积后的剥头图像。
第二步是对滤波后的图像应用Sobel算子，分别对图像进行水平和垂直方向的差分，Sobel算子可以用于检测图像中的边缘：
其中，I表示输入灰度图像。第一个矩阵是水平方向上的Sobel算子，第二个矩阵是垂直方向上的Sobel算子。两个矩阵分别与输入线束剥头的灰度图像进行卷积，得到水平和垂直方向上的差分结果。然后，这两个结果可以通过平方和开方的方式获得边缘强度。公式如下：
E＝sqrt(Gx2+Gy2) (8)；
其中，E表示边缘强度，Gx和Gy分别是水平和垂直方向上的差分结果。
第三步是非极大值抑制:梯度幅值非极大值抑制是一种经典的边缘检测算法，用于抑制噪声和不必要的边缘信息，使边缘更加细化和精确。其主要思想是在局部邻域内比较像素的梯度幅值，保留梯度最大的像素作为边缘像素，将其他像素的幅值置为零。下面是梯度幅值非极大值抑制的具体实现步骤。
计算每个像素点的梯度幅值和方向。在进行非极大值抑制之前，需要先计算每个像素点的梯度幅值和方向。前面已经使用Sobel算子来计算梯度。
确定像素点的梯度方向后，将其转化为四个可能的方向之一：0°、45°、90°和135°。
对于每个像素点，考虑其在梯度方向上的两个相邻像素点。比较当前像素点的梯度幅值与这两个相邻像素点的幅值，若当前像素点的幅值最大，则保留该像素点，否则将其幅值置为零。
对于图像边缘的像素点，由于其至少只有一个相邻像素在图像内，所以无法比较两个相邻像素点的梯度幅值。在这种情况下，通常将边缘像素的幅值置为零，以避免误判。
重复步骤3和4，对图像中的每个像素点进行处理，以得到一个经过非极大值抑制处理的图像。
第四步是用双阈值算法进行边缘检测。将梯度幅值分成两个阈值，将大于高阈值的像素点标记为强边缘，小于低阈值的像素点标记为非边缘，介于两个阈值之间的像素点标记为弱边缘，然后将弱边缘与强边缘相连的部分标记为边缘。在这一步已经通过前面的步骤得到了合适的高阈值和低阈值。接着对每个像素点的梯度幅值进行如下分类：
如果梯度幅值大于高阈值，则将该像素点标记为强边缘。如果梯度幅值小于低阈值，则将该像素点标记为非边缘。如果梯度幅值介于低阈值和高阈值之间，则将该像素点标记为弱边缘。对于标记为弱边缘的像素点，如果其周围的8个像素中存在任意一个被标记为强边缘，则将该像素点标记为边缘，否则将其标记为非边缘。公式如下。
设输入图像为I(x，y)，其梯度幅值为G(x，y)，高阈值为Thigh，低阈值为Tlow。则双阈值算法的公式为：
其中，强边缘、非边缘和弱边缘分别用不同的颜色表示。对于标记为弱边缘的像素点，我们继续使用非极大值抑制和连通性分析等方法进一步处理，以得到更加准确的边缘检测结果。
VI.对线束剥头进行图像分割：
将边缘检测得到的线束剥头边缘轮廓输入到U-Net图像分割网络中进行线束分割，可以得到更加准确的线束区域掩膜，从而提高线束识别和检测的准确率和效率。图5显示了使用U-Net图像分割网络对输入的线束剥头边缘轮廓进行线束分割之后的图像。详细步骤如下。
准备数据集：准备带有线束剥头的图像以及相应的掩膜，掩膜中线束剥头区域为1，其余区域为0。
数据预处理：将上一步边缘检测得到的线束剥头边缘轮廓转换为二值掩膜，其中线束剥头边缘的区域为1，其余区域为0。同时，需要对输入图像和掩膜进行统一的尺寸处理，以便于输入到U-Net网络中。
定义U-Net网络：U-Net是一种常用的图像分割网络，其结构包括编码器和解码器两部分。编码器用于提取图像的特征，解码器用于将特征映射回原始图像的尺寸，同时通过skip connection将编码器和解码器的特征图结合起来。可以根据具体的线束剥头的检测需求进行网络结构的调整和优化。
训练U-Net网络：使用准备好的数据集对U-Net网络进行训练，以得到适合线束分割的模型。在训练过程中，需要选择合适的损失函数和优化器，并设置合理的学习率和批次大小等超参数。
进行线束分割：使用训练好的U-Net模型对边缘检测得到的线束剥头边缘轮廓进行分割，得到线束区域的掩膜。可以采用滑动窗口或全卷积等方法对输入图像进行分割，得到分割结果。
后处理：对分割结果进行后处理，去除小的噪点、填充空洞、进行形态学操作等，以得到更加准确的线束分割结果。
VII.对线束剥头进行测量：
通过分割得到的线束掩膜计算线束的长度。在得到线束的掩膜之后，可以通过计算线束的长度来对线束剥头进行测量。具体的方法和步骤如下：
将线束掩膜转换为二值图像，将线束区域设为前景(白色)，非线束区域设为背景(黑色)。
对前面步骤所得到的二值图像进行轮廓检测，得到线束的边界轮廓。
对轮廓进行点集拟合，将轮廓上的点集拟合成一条直线，得到线束的近似拟合线。
计算线束剥头的长度：在这一步骤是通过直线的长度来近似计算线束的长度。具体来说，对于第三步中的点集拟合，可以使用最小二乘法进行拟合。最小二乘法是一种通过最小化拟合误差的方法，将轮廓上的点集拟合成一条直线。拟合的直线方程为：
y＝kx+b (10)；
其中，k为斜率，b为截距。通过最小二乘法可以求出k和b的值，从而得到线束的拟合直线。
对于第四步中的长度计算，利用直线段长度公式进行计算，即：
L＝sqrt((x2-x1)^2+(y2-y1)^2) (11)；
其中，(x1,y1)和(x2,y2)为直线的两个端点坐标。通过计算拟合直线的长度，就可以得到线束的长度。然而在实际测量线束剥头的过程中，也有些特殊的情况，比如由于线束可能会存在弯曲等情况，因此需要将线束分段进行测量，得到线束的总长度。具体来说，可以对线束的边界轮廓进行分段，然后对每一段进行拟合和长度计算，最后将所有段的长度加起来，得到线束的总长度。
VIII.对线束剥头进行缺陷检测：
在将线束掩膜与原始图像相减后，得到缺陷区域的掩膜。对于缺陷区域的进一步处理，可以使用形态学操作和图像滤波等算法进行特征提取。这里我们用的是形态学操作，这是一种基于集合论的图像处理方法，可以对前面得到的二值图像进行腐蚀、膨胀、开操作、闭操作等处理。在线束剥头的缺陷检测中，腐蚀操作可以用来去除二值图像中的小孔洞或者细小的边缘分支，使得边缘更加精细，从而实现对缺陷区域的特征提取，提取出具体的缺陷信息。下面是具体实现步骤：
(1)定义结构元素，可以是矩形、圆形或者其他形状。结构元素的大小和形状取决于需要处理的缺陷大小和形状。
(2)将结构元素放在缺陷掩膜上，对每个像素进行判断：
如果结构元素内的所有像素都是前景(白色)，则该像素不变；
如果结构元素内存在背景(黑色)像素，则将该像素置为背景。
(3)重复以上步骤，直到所有像素都被处理完毕。最终得到的结果是腐蚀后的缺陷掩膜信息。
上述实施例中的线束剥头测量与缺陷检测系统共涉及了图像增强技术、目标检测技术、图像边缘检测技术、线束剥头测量技术和线束剥头缺陷检测技术等。
目标检测技术使用的是添加了ECA-Net注意力模块的YOLOX算法，克服了传统的目标检测算法对小目标检测不够精准的问题。
边缘检测使用的是改进后的Sobel算子，克服了传统的边缘检测算法可能会产生一些边缘断裂、噪声点等问题，检测出了较为准确的边缘轮廓，为后续的图像分割、缺陷检测等算法提供准确的边缘信息。
图像分割使用的是改进后的U-Net网络，克服了传统的图像分割算法存在的边界模糊、缺陷区域分割不准确等问题。可以准确地分割出线束区域，对线束结构复杂、边缘模糊的情况也能处理得较好，可以提供准确的线束掩膜，为后续的线束长度测量、缺陷检测等算法提供准确的线束区域信息。
线束长度测量技术克服了传统的线束长度测量方法可能需要进行多次测量、复杂的计算，测量结果还可能存在一定误差的问题。可以准确地测量线束的长度，可以用于判断线束的质量是否符合要求。
缺陷检测使用的是形态学操作方法，通过相减的方式可以准确地得到缺陷区域的掩膜，使用形态学操作的特征提取算法提取出缺陷信息，准确地检测出线束剥头的缺陷。克服了传统的缺陷检测算法可能存在噪声点、缺陷区域检测不准确等问题。
另外，应用上述方法的一种检测系统硬件搭建平台的如图6所示，在基座的一侧竖向固定有支架，基座含有内腔，基座表面为透明平台，基座内腔中安装有背光源5，透明平台上固定有外触发滑动导轨4及平移驱动机构，在该外触发滑动导轨的轨道上安装有线束剥头3，平移驱动机构用于驱动所述线束剥头3移动或转动，PLC外触发控制器7用于控制所述平移驱动机构动作，在支架的中部安装有滑套并能沿支架升降滑动，滑套安装有锁丝，滑套9一侧横向固定有动悬臂，该动悬臂的末端固定有环形光源2，光源控制器6用于控制背光,5和环形光源的亮度，在支架的上侧固定有定悬臂，定悬臂的末端安装有高精度相机1，高精度相机1位于环形官员2的正上，线束剥头3位于环形光源2的正下方。带GPU的计算机8用于采集来自于高精度相机1的图像信息，并执行上述方法，提高了线束缺陷检测的准确性、通用性和处理速度，实现了更少的人工干预和更好的可解释性目的。

Claims (10)

1.一种基于图像分割的线束剥头测量与缺陷检测方法，其特征在于，使用改进后的YOLOX对新能源汽车上的剥头进行框取，以实现对剥头散开、导体刮出、绝缘体未拉脱等缺陷的检测，接着使用改进后的Sobel边缘检测算子和U-Net图像分割网络，对线束剥头的长度测量和缺陷检测，步骤如下：
第一步：对采集的图像进行预处理，包括将RGB图像进行灰度处理、图像去噪、增强和灰度化处理，以提高线束剥头结构和缺陷的辨识度，提高目标检测的精准度，提高边缘检测和分割的准确性；
第二步：对剥头进行目标检测，使用改进后的YOLOX小目标检测模型进行训练，在训练过程中，指定数据集路径、批处理大小和学习率等参数，并进行迭代优化以提高检测准确率和速度，使用测试集对训练好的模型进行评估，检查检测精度和速度，并对模型进行优化，调整模型超参数、增加数据集和改进算法等，将训练后的具有权重文件YOLOX小目标检测模型应用于实际线束剥头检测中，并进行实时检测和反馈，同时，对模型进行维护和更新，以保持其稳定性和准确性；
第三步：使用改进后的Sobel边缘检测算子对线束剥头图像进行边缘检测，得到线束剥头的边缘轮廓，改进后的Sobel边缘检测包括如下步骤：
(1)对灰度图像进行高斯滤波，采用高斯滤波器对图像进行平滑滤波可以减少噪声，使得边缘检测结果更加准确，高斯函数的公式为：
式(1)中，x、y分别为当前点与目标点之间的水平和垂直距离，σ为标准差；
对式(1)高斯滤波器与原线束剥头图像进行卷积，公式为：
G(x，y)＝f(x，y)*H(x，y) (2)
式(2)中，f(x,y)为原剥头图像，G(x,y)为卷积后的剥头图像；
(2)对滤波后的图像应用Sobel算子，分别对图像进行水平和垂直方向的差分，Sobel算子用于检测图像中的边缘：
式(3)中，I表示输入灰度图像；第一个矩阵是水平方向上的Sobel算子，第二个矩阵是垂直方向上的Sobel算子，两个矩阵分别与输入线束剥头的灰度图像进行卷积，得到水平和垂直方向上的差分结果，然后，这两个结果可以通过平方和开方的方式获得边缘强度，公式如下：
E＝sqrt(Gx2+Gy2) (4)
式(4)中，E表示边缘强度，Gx和Gy分别是水平和垂直方向上的差分结果；
(3)非极大值抑制，即在局部邻域内比较像素的梯度幅值，保留梯度最大的像素作为边缘像素，将其他像素的幅值置为零；
(4)用双阈值算法进行边缘检测；将梯度幅值分成两个阈值，将大于高阈值的像素点标记为强边缘，小于低阈值的像素点标记为非边缘，介于两个阈值之间的像素点标记为弱边缘，然后将弱边缘与强边缘相连的部分标记为边缘，对于标记为弱边缘的像素点，如果其周围的8个像素中存在任意一个被标记为强边缘，则将该像素点标记为边缘，否则将其标记为非边缘；
第四步：图像分割，即将边缘检测得到的线束剥头边缘轮廓输入到U-Net图像分割网络中，进行线束的分割，得到线束区域的掩膜；
第五步：线束剥头长度测量，即通过分割得到的线束掩膜计算线束的长度；
第六步：剥头缺陷检测，即将线束掩膜与原始图像进行相减，得到缺陷区域的掩膜；使用特征提取算法中的图像滤波对缺陷区域进行进一步处理，提取出具体的缺陷信息。
2.根据权利要求1所述的基于图像分割的线束剥头测量与缺陷检测方法，其特征在于，所述的YOLOX目标检测算法是改进后的目标检测算法，其通过修改网络结构，增加了网络的深度和宽度，增加感受野的大小，改善了模型对剥头之类的小目标的检测能力。对YOLOX算法进行改进的具体方法如下：
(1)添加高效通道注意力模块ECA-NET，该模块在全局平均池化层之后使用1x1卷积层，去除了全连接层。避免了维度缩减，并有效捕获了跨通道交互；
(2)在block层添加注意力模块来减少参数量的计算，提高运行效率；
(3)在经过SE的全局均值池化后，ECA-Net会考虑每个通道及其k个近邻，通过一维卷积快速完成通道权重的计算。K就代表了在一个通道权重的计算过程中参与的近邻数目，k的数目很明显会影响ECA计算的效率和有效性。ECA-NET的自适应函数为：
(4)ECA-Net将输入特征图经过全局平均池化，特征图从[h,w,c]的矩阵变成[1,1,c]的向量，再计算得到自适应的一维卷积核大小kernelsize，然后将kernelsize用于一维卷积中，得到对于特征图的每个通道的权重，最后将归一化权重和原输入特征图逐通道相乘，生成加权后的特征图；
(5)在YOLOX中使用多个不同大小的anchorbox并且使用FPN多尺度特征融合方法；
(6)使用后处理方法来进一步提高小目标的检测能力；
(7)使用非极大值抑制(NMS)的不同阈值、引入低阈值过滤器等方法来过滤掉一些误检的目标。并且对于线束剥头的检测，根据具体场景进行调整和优化，设置不同的anchorbox大小、调整训练时的学习率和batchsize。
3.根据权利要求1所述的基于图像分割的线束剥头测量与缺陷检测方法，其特征在于，所述的U-Net图像分割为改进后的U-Net图像分割，在对线束剥头进行图像分割时，将边缘检测得到的线束剥头边缘轮廓输入到U-Net图像分割网络中进行线束分割，步骤如下：
(1)准备数据集：准备带有线束剥头的图像以及相应的掩膜，掩膜中线束剥头区域为1，其余区域为0；
(2)数据预处理：将上一步边缘检测得到的线束剥头边缘轮廓转换为二值掩膜，其中线束剥头边缘的区域为1，其余区域为0；同时，需要对输入图像和掩膜进行统一的尺寸处理，以便于输入到U-Net网络中；
(3)定义U-Net网络：利用编码器提取图像的特征，利用解码器将特征映射回原始图像的尺寸，同时通过skipconnection将编码器和解码器的特征图结合起来，包括根据具体的线束剥头的检测需求进行网络结构的调整和优化；
(4)训练U-Net网络：使用准备好的数据集对U-Net网络进行训练，以得到适合线束分割的模型，在训练过程中，需要选择合适的损失函数和优化器，并设置合理的学习率和批次大小的超参数；
(5)进行线束分割：使用训练好的U-Net模型对边缘检测得到的线束剥头边缘轮廓进行分割，得到线束区域的掩膜，包括采用滑动窗口或全卷积方法对输入图像进行分割，得到分割结果；
(6)后处理：对分割结果进行后处理，去除小的噪点、填充空洞和进行形态学操作，以得到更加准确的线束分割结果。
4.根据权利要求1所述的基于图像分割的线束剥头测量与缺陷检测方法，其特征在于，图像数据预处理过程中，采用公式(6)作为增强函数:
式(6)中，yH(m，n)是NSCT分解的高频子带系数，|yH(m)|max是其对应的m行系数绝对值的最大值，(M,N)是待增强图像的大小，且满足1<m<M，1<n<N，采用|yH(m)|max/|yH(m，n)|对灰度动态模型进行系数调节，实现对图像灰度级的动态范围的扩展；
采用NSCT分解图像时，大幅度系数对应有用信号，小幅度系数对应噪声，将比阈值大的系数当成信号被增强，而比阈值小的系数当成噪声抑制，其关系为：
式(7)中，y′(m，n)是增强后的高频子带系数，阈值th＝4σσ为噪声方差，4/3是调节因子。
5.根据权利要求4所述的基于图像分割的线束剥头测量与缺陷检测方法，其特征在于，图像增强过程包括：采用NSCT分解接触网图像；利用公式(6)获得非线性增强函数；利用公式(7)处理yH(m，n)来获得增强后系数y′(m，n)；利用低频信号yL(m，n)和增强后系数y′(m，n)进行NSCT逆变换，获得增强后图像。
6.根据权利要求1所述的基于图像分割的线束剥头测量与缺陷检测方法，其特征在于，非极大值抑制过程中，梯度幅值非极大值抑制的步骤：
(1)计算每个像素点的梯度幅值和方向；
(2)确定像素点的梯度方向后，将其转化为四个可能的方向之一：0°、45°、90°和135°；
(3)对于每个像素点在梯度方向上的两个相邻像素点，比较当前像素点的梯度幅值与这两个相邻像素点的幅值，若当前像素点的幅值最大，则保留该像素点，否则将其幅值置为零；
(4)对于图像边缘的像素点，将边缘像素的幅值置为零；
(5)重复步骤(3)和(4)，对图像中的每个像素点进行处理，以得到一个经过非极大值抑制处理的图像。
7.根据权利要求1所述的基于图像分割的线束剥头测量与缺陷检测方法，其特征在于，对线束剥头进行测量是通过分割得到的线束掩膜计算线束的长度，对线束进行测量，具体的方法和步骤如下：
(1)将线束掩膜转换为二值图像，将线束区域设为前景(白色)，非线束区域设为背景(黑色)；
(2)对前面步骤所得到的二值图像进行轮廓检测，得到线束的边界轮廓；
(3)对轮廓进行点集拟合，将轮廓上的点集拟合成一条直线，得到线束的近似拟合线；
(4)计算线束的长度：对于第(3)步中的点集拟合，使用最小二乘法进行拟合，最小二乘法是一种通过最小化拟合误差的方法，将轮廓上的点集拟合成一条直线，拟合的直线方程为：
y＝kx+b (8)
式(7)中，k为斜率，b为截距；通过最小二乘法可以求出k和b的值，从而得到线束的拟合直线；
对于第四步中的长度计算，利用直线段长度公式进行计算，即：
L＝sqrt((x2-x1)^2+(y2-y1)^2) (9)
式(9)中，(x1,y1)和(x2,y2)为直线的两个端点坐标，通过计算拟合直线的长度得到线束的长度，当线束存在弯曲等情况时，对线束的边界轮廓进行分段，然后对每一段进行拟合和长度计算，最后将所有段的长度加起来，得到线束的总长度。
8.根据权利要求1所述的基于图像分割的线束剥头测量与缺陷检测方法，其特征在于，对线束剥头进行缺陷检测包括如下内容：在将线束掩膜与原始图像相减后，得到缺陷区域的掩膜；对于缺陷区域的进一步处理，使用形态学操作和图像滤波算法进行特征提取，包括对二值图像进行腐蚀、膨胀、开操作和闭操作处理；在线束剥头的缺陷检测中，利用腐蚀操作用来去除二值图像中的小孔洞或者细小的边缘分支，使得边缘更加精细，提取出缺陷区域的具体缺陷信息，其中，对线束剥头进行缺陷检测包括如下步骤：
(1)定义结构元素，包括矩形、圆形或者其他形状，结构元素的大小和形状取决于需要处理的缺陷大小和形状；
(2)将结构元素放在缺陷掩膜上，对每个像素进行判断；如果结构元素内的所有像素都是前景(白色)，则该像素不变；如果结构元素内存在背景(黑色)像素，则将该像素置为背景；
(3)重复以上步骤，直到所有像素都被处理完毕，最终得到的结果是腐蚀后的缺陷掩膜信息。
9.根据权利要求1所述的基于图像分割的线束剥头测量与缺陷检测方法，其特征在于，用双阈值算法进行边缘检测的公式如下：
设输入图像为I(x，y)，其梯度幅值为G(x，y)，高阈值为Thigh，低阈值为Tlow，则双阈值算法的公式为：
式(10)中，强边缘strong edge、非边缘non-edge和弱边缘weak edge分别用不同的颜色表示，对于标记为弱边缘的像素点，继续使用非极大值抑制和连通性分析方法进一步处理，以得到更加准确的边缘检测结果。
10.一种基于图像分割的线束剥头测量与缺陷检测系统，其特征在于，包括GPU的计算机和高精度相机，高精度相机用于采集线束剥头的图像信息，GPU的计算机用于获取来自于高精度相机的图像信息，GPU的计算机同于运行上述权利要求1-9任一项方法对图像信息进行处理和检测。
CN202310448152.7A 2023-04-24 2023-04-24 基于图像分割的线束剥头测量与缺陷检测方法及系统 Pending CN116660286A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310448152.7A CN116660286A (zh) 2023-04-24 2023-04-24 基于图像分割的线束剥头测量与缺陷检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310448152.7A CN116660286A (zh) 2023-04-24 2023-04-24 基于图像分割的线束剥头测量与缺陷检测方法及系统

Publications (1)

Publication Number Publication Date
CN116660286A true CN116660286A (zh) 2023-08-29

Family

ID=87710766

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310448152.7A Pending CN116660286A (zh) 2023-04-24 2023-04-24 基于图像分割的线束剥头测量与缺陷检测方法及系统

Country Status (1)

Country Link
CN (1) CN116660286A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116843687A (zh) * 2023-09-01 2023-10-03 山东东方智光网络通信有限公司 一种通信光缆表面瑕疵检测方法及装置
CN116883401A (zh) * 2023-09-07 2023-10-13 天津市生华厚德科技有限公司 一种工业产品生产质量检测系统
CN117036359A (zh) * 2023-10-10 2023-11-10 成都中轨轨道设备有限公司 一种基于双目机器视觉的接触网几何参数测量方法
CN117994318A (zh) * 2024-04-07 2024-05-07 山东瑞福锂业有限公司 一种矿石传送过程中的粒度检测方法及系统
CN117994318B (zh) * 2024-04-07 2024-06-07 山东瑞福锂业有限公司 一种矿石传送过程中的粒度检测方法及系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116843687A (zh) * 2023-09-01 2023-10-03 山东东方智光网络通信有限公司 一种通信光缆表面瑕疵检测方法及装置
CN116883401A (zh) * 2023-09-07 2023-10-13 天津市生华厚德科技有限公司 一种工业产品生产质量检测系统
CN116883401B (zh) * 2023-09-07 2023-11-10 天津市生华厚德科技有限公司 一种工业产品生产质量检测系统
CN117036359A (zh) * 2023-10-10 2023-11-10 成都中轨轨道设备有限公司 一种基于双目机器视觉的接触网几何参数测量方法
CN117036359B (zh) * 2023-10-10 2023-12-08 成都中轨轨道设备有限公司 一种基于双目机器视觉的接触网几何参数测量方法
CN117994318A (zh) * 2024-04-07 2024-05-07 山东瑞福锂业有限公司 一种矿石传送过程中的粒度检测方法及系统
CN117994318B (zh) * 2024-04-07 2024-06-07 山东瑞福锂业有限公司 一种矿石传送过程中的粒度检测方法及系统

Similar Documents

Publication Publication Date Title
CN111310558B (zh) 一种基于深度学习和图像处理法的路面病害智能提取方法
CN114757949B (zh) 基于计算机视觉的电线电缆缺陷检测方法及系统
CN111145161B (zh) 一种路面裂缝数字图像处理和识别的方法
CN116660286A (zh) 基于图像分割的线束剥头测量与缺陷检测方法及系统
CN106683075B (zh) 一种输电线杆塔横担处螺栓缺陷检测方法
CN107808378B (zh) 基于垂直纵横线轮廓特征的复杂结构铸件潜在缺陷检测方法
CN111260616A (zh) 一种基于Canny算子二维阈值分割优化的绝缘子裂纹检测方法
CN110930390B (zh) 基于半监督深度学习的芯片管脚缺失检测方法
CN113498528A (zh) 图像缺陷确定方法与装置、电子设备及存储介质
CN109472788B (zh) 一种飞机铆钉表面的伤痕检测方法
CN114118144A (zh) 抗干扰的航空遥感图像阴影精准检测方法
CN116630813B (zh) 一种公路路面施工质量智能检测系统
CN115115642A (zh) 基于图像处理的带钢结疤缺陷检测方法
CN108734704B (zh) 基于灰度方差归一化的输电导线断股检测方法
CN113592782A (zh) 一种复合材料碳纤维芯棒x射线图像缺陷提取方法及系统
CN114037691A (zh) 一种基于图像处理的碳纤维板裂纹检测方法
CN113971669A (zh) 应用于管道损伤识别的三维检测系统
CN117094975A (zh) 钢铁表面缺陷检测方法、装置及电子设备
CN111667473A (zh) 基于改进Canny算法的绝缘子憎水性等级判断方法
CN107886493B (zh) 一种输电线路的导线分股缺陷检测方法
CN114332081A (zh) 基于图像处理的纺织品表面异常判定方法
CN115797314B (zh) 零件表面缺陷检测方法、系统、设备及存储介质
Li et al. A study of crack detection algorithm
CN115564705B (zh) 用于精密标准件的毛刺检测精度增强方法及系统
CN112418241A (zh) 一种基于红外成像技术的电力设备识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination