CN110458798B - 基于关键点检测的防振锤缺陷视觉检测方法、系统及介质 - Google Patents

基于关键点检测的防振锤缺陷视觉检测方法、系统及介质 Download PDF

Info

Publication number
CN110458798B
CN110458798B CN201910537663.XA CN201910537663A CN110458798B CN 110458798 B CN110458798 B CN 110458798B CN 201910537663 A CN201910537663 A CN 201910537663A CN 110458798 B CN110458798 B CN 110458798B
Authority
CN
China
Prior art keywords
damper
image
transmission line
neural network
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910537663.XA
Other languages
English (en)
Other versions
CN110458798A (zh
Inventor
张迪
樊绍胜
刘又维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha University of Science and Technology
Original Assignee
Changsha University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha University of Science and Technology filed Critical Changsha University of Science and Technology
Priority to CN201910537663.XA priority Critical patent/CN110458798B/zh
Publication of CN110458798A publication Critical patent/CN110458798A/zh
Application granted granted Critical
Publication of CN110458798B publication Critical patent/CN110458798B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515—Objects of complex shape, e.g. examined with use of a surface follower device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Analytical Chemistry (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Chemical & Material Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)

Abstract

本发明公开了一种基于关键点检测的防振锤缺陷视觉检测方法、系统及介质，本发明基于关键点检测的防振锤缺陷视觉检测方法包括输入包含防振锤的输电线路图像，基于输电线路图像检测防振锤目标得到防振锤边界框的宽度和高度，并检测防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值，根据防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值判断防振锤是否出现锤头缺失、锤头松动和形变的缺陷，完成对防振锤缺陷的检测。本发明能够在不同尺度、不同光照强度下准确地识别出输电线路上的防振锤并检测出多类型的防振锤缺陷，具有准确度高、泛化性好的优点，可广泛应用于输电线路巡检作业。

Description

基于关键点检测的防振锤缺陷视觉检测方法、系统及介质
技术领域
本发明涉及输电线路防振锤的故障检测技术，具体涉及一种基于关键点检测的防振锤缺陷视觉检测方法、系统及介质。
背景技术
我国架空输电线路所处地理环境复杂，长期暴露在自然环境中，容易受到恶劣气候和外力的影响，线路故障频繁发生。为了保障电力系统的安全稳定运行，避免因输电线路各部件故障而带来的安全隐患，定期对输电线路巡检是十分有必要的。输电线路上的防振锤主要是为了减少输电导线因风力扯起振动而设计的。架空输电线路杆塔较高，档距较长，风力作用导致导线发生振动。导线振动对导线的悬挂点极为不利，由于多次长久的振动，导线因周期性的拗折而发生破损或断股，因此在输电线路上悬挂导线线夹附近的位置安装一定数量的防振锤，在导线发生振动时，防振锤也随着上下运动，产生一个与导线振动不同步甚至相反的作用力，吸收、减弱导线振动的能量，从而减少导线的振幅。而若线路上的防振锤出现锤头缺失、锤头松动和防振锤形变等缺陷，将导致防振锤结构上的不对称，容易出现防振锤偏离的情况，从而使防振锤失去有效的防振作用。而传统的人工巡检耗时耗力且不可靠，无人机或机器人巡检目前尚不能自动检测，因此，采用计算机视觉技术对输电线路图像进行识别与定位，进而实现防振锤缺陷的自动检测很有必要。
目前对于输电线路防振锤缺陷的检测研究只停留在输电线路上防振锤的识别与定位，关于其缺陷的研究比较少。而防振锤的识别方法主要是以传统图像技术和传统的机器学习。文献“基于随机Hough变换的OPGW防振锤识别”将输电线路图像转换到霍夫空间，并通过约束导线的倾斜角识别输电导线，约束防振锤两侧锤头的圆弧所在圆的半径与圆心坐标，实现输电线路上的防振锤检测。文献“基于类Haar特征与级联AdaBoost算法的防振锤识别”将类Haar特征与级联Adaboost算法应用于输电线路防振锤的识别，由于机器学习具有一定泛化性，该方法虽然一定程度上解决了单一类型防振锤的识别问题，但存在如下缺陷：传统的图像技术由于需要人工设计特征算子，而防振锤种类多，其在输电线路上的背景较复杂，容易受到光照和异物遮挡的影响。人工设计的特征无法全面的表达防振锤的特征信息，这导致在识别防振锤时容易出现误检和漏检的情况。而传统的机器学习算法对采集的样本图像要求较高，提取的特征较为单一，无法学习到防振锤的高层特征，以至于不能达到较好的泛化性，不适用于实际的输电线路巡检作业中。同时这些方法没有对防振锤缺陷检测做出研究。
发明内容
本发明要解决的技术问题：针对现有技术的上述问题，提供一种基于关键点检测的防振锤缺陷视觉检测方法、系统及介质，本发明能够在不同尺度、不同光照强度下准确地识别出输电线路上的防振锤并检测出多类型的防振锤缺陷，具有准确度高、泛化性好的优点，可广泛应用于输电线路巡检作业。
为了解决上述技术问题，本发明采用的技术方案为：
一种基于关键点检测的防振锤缺陷视觉检测方法，实施步骤包括：
1)输入包含防振锤的输电线路图像；
2)基于输电线路图像检测防振锤目标得到防振锤边界框的宽度和高度，并检测防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值；
3)根据防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值判断防振锤是否出现锤头缺失、锤头松动和形变的缺陷，完成对防振锤缺陷的检测。
优选地，步骤3)中判断防振锤是否出现锤头缺失、锤头松动和防振锤形变的缺陷的详细步骤包括：
3.1)判断左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值，如果任意一个关键点的存在状态值为0，则判定防振锤出现锤头缺失的缺陷，结束；否则，跳转下一步；
3.2)计算左侧顶点和右侧顶点的x坐标之和、两倍线夹体中点的x坐标之间的差值作为第一差值，并判断该第一差值与防振锤边界框宽度的比值大于第一预设阈值是否成立，如果成立则判定防振锤出现锤头松动的缺陷；计算左侧顶点和右侧顶点两者的y坐标的差值作为第二差值，并判断该第二差值与防振锤边界框高度的比值大于第二预设阈值是否成立，如果成立则判定防振锤出现形变的缺陷。
优选地，步骤2)的详细步骤包括：
2.1)将输电线路图像调整至第一目标尺寸；
2.2)将调整至第一目标尺寸的输电线路图像输入预先完成训练的第一神经网络模型，从而得到含有防振锤目标标注的输电线路图像，所述第一神经网络模型被预先训练建立了输入输电线路图像、标注防振锤目标之间的功能映射关系；
2.3)从含有防振锤目标标注的输电线路图像中裁剪出防振锤目标图像，将防振锤目标图像调整至第二目标尺寸；
2.4)根据防振锤目标图像确定防振锤边界框的宽度和高度；
2.5)将调整至第二目标尺寸的防振锤目标图像输入预先完成训练的第二神经网络模型，从而得到防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值，所述第二神经网络模型被预先训练建立了输入输电线路图像、标注防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值之间的功能映射关系。
优选地，步骤2.2)中的第一神经网络模型为基于YOLO V3算法深度卷积神经网络模型，所述深度卷积神经网络模型通过在输入图像上划分网络栅格，并由物体中心所在的栅格预测该目标的位置，所述深度卷积神经网络模型采用第53层卷积层的Dark-net 53网络结构作为特征提取器，所述深度卷积神经网络模型的网络结构对输入图像共做了五次降采样，且通过三种不同尺寸的特征图上进行特征图融合预测。
优选地，步骤2.4)中的第二神经网络模型为基于Mobilenet v2算法的全卷积神经网络模型，所述全卷积神经网络模型采用RMSE损失函数。
优选地，步骤2)之前还包括训练第一神经网络模型、第二神经网络模型的步骤，详细步骤包括：
S1)采集输电线路图像，筛选出包含防振锤的图像，并对图像进行增强，将输电线路图像调整至第一目标尺寸；
S2)利用目标检测标注工具标注出输电线路图像中防振锤的位置信息，并生成对应的标注数据文件，将图像数据文件及其对应的标注数据文件制作成输电线路图像数据集，并将输电线路图像数据集划分为训练集、验证集和测试集；
S3)建立第一神经网络模型并利用训练集、验证集和测试集进行训练、验证和测试完成第一神经网络模型的训练，使得第一神经网络模型被训练建立了输入输电线路图像、标注防振锤目标之间的功能映射关系，并得到含有训练集、验证集和测试集各项数据样本对应的防振锤目标标注的输电线路图像；
S4)从训练集、验证集和测试集的含有防振锤目标标注的输电线路图像中裁剪出防振锤目标图像，将防振锤目标图像调整至第二目标尺寸；根据防振锤目标图像确定防振锤边界框的宽度和高度；
S5)建立第二神经网络模型并利用训练集、验证集和测试集的防振锤目标图像进行训练、验证和测试完成第二神经网络模型的训练，使得第二神经网络模型被训练建立了输入输电线路图像、标注防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值之间的功能映射关系。
优选地，步骤S1)采集输电线路图像时，包括在不同光照强度、不同尺度、不同遮挡程度下采集输电线路图像。
优选地，步骤S1)中对图像进行增强包括对图像进行图片随机水平垂直翻转、图片随机旋转、图片随机水平上下平移、图片随机缩小放大中的至少一种。
本发明还提供一种基于关键点检测的防振锤缺陷视觉检测系统，包括计算机设备，该计算机设备被编程或配置以执行所述基于关键点检测的防振锤缺陷视觉检测方法的步骤，或该计算机设备的存储介质上存储有被编程或配置以执行所述基于关键点检测的防振锤缺陷视觉检测方法的计算机程序。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质上存储有被编程或配置以执行所述基于关键点检测的防振锤缺陷视觉检测方法的计算机程序。
和现有技术相比，本发明具有下述优点：本发明针对输入包含防振锤的输电线路图像；基于输电线路图像检测防振锤目标得到防振锤边界框的宽度和高度，并检测防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值；根据防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值判断防振锤是否出现锤头缺失、锤头松动和形变的缺陷，完成对防振锤缺陷的检测。能够在不同尺度、不同光照强度下准确地识别出输电线路上的防振锤并检测出多类型的防振锤缺陷，具有准确度高、泛化性好的优点，可广泛应用于输电线路巡检作业。
附图说明
图1为本发明实施例方法的基本流程示意图。
图2为本发明实施例方法可确定的四种检测结果。
图3为本发明实施例方法的详细流程示意图。
具体实施方式
如图1所示，本实施例基于关键点检测的防振锤缺陷视觉检测方法的实施步骤包括：
1)输入包含防振锤的输电线路图像；
2)基于输电线路图像检测防振锤目标得到防振锤边界框的宽度和高度，并检测防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值；
3)根据防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值判断防振锤是否出现锤头缺失、锤头松动和形变的缺陷，完成对防振锤缺陷的检测。参见图2，其中图2(a)为正常的防振锤示意图，图2(b)为锤头缺失的缺陷示意图，图2(c)为锤头松动的缺陷示意图，图2(d)为形变的缺陷示意图。
本实施例中，步骤3)中判断防振锤是否出现锤头缺失、锤头松动和防振锤形变的缺陷的详细步骤包括：
3.1)判断左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值，如果任意一个关键点的存在状态值为0，则判定防振锤出现锤头缺失的缺陷，结束；否则，跳转下一步；
3.2)计算左侧顶点和右侧顶点的x坐标之和、两倍线夹体中点的x坐标之间的差值作为第一差值，并判断该第一差值与防振锤边界框宽度的比值大于第一预设阈值是否成立，如果成立则判定防振锤出现锤头松动的缺陷；计算左侧顶点和右侧顶点两者的y坐标的差值作为第二差值，并判断该第二差值与防振锤边界框高度的比值大于第二预设阈值是否成立，如果成立则判定防振锤出现形变的缺陷。
本实施例中防振锤边界框的宽度记为w、高度记为h，防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值分别记为(x1,y1,v1)、(x2,y2,v2)、(x3,y3,v3)，其中(x1,y1)表示左侧顶点的坐标，v1表示左侧顶点的存在状态值(0或1)，第一预设阈值取值为0.10，第二预设阈值取值为0.20，因此如图3所示，步骤3)中判断防振锤是否出现锤头缺失、锤头松动和防振锤形变的缺陷的步骤实例为：
如果v1～v3任意一个为0，则判定防振锤出现锤头缺失的缺陷；
如果|x1+x2-2*x3|÷w≧0.10，则判断该防振锤出现锤头松动的缺陷；
如果|y1-y2|÷h≧0.20，则判断该防振锤出现发生形变的缺陷。
毫无疑问，上述第一预设阈值、第二预设阈值可以根据需要设定其大小。
如图1所示，本实施例步骤2)的详细步骤包括：
2.1)将输电线路图像调整至第一目标尺寸；
2.2)将调整至第一目标尺寸的输电线路图像输入预先完成训练的第一神经网络模型，从而得到含有防振锤目标标注的输电线路图像，所述第一神经网络模型被预先训练建立了输入输电线路图像、标注防振锤目标之间的功能映射关系；
2.3)从含有防振锤目标标注的输电线路图像中裁剪出防振锤目标图像，将防振锤目标图像调整至第二目标尺寸；
2.4)根据防振锤目标图像确定防振锤边界框的宽度和高度；
2.5)将调整至第二目标尺寸的防振锤目标图像输入预先完成训练的第二神经网络模型，从而得到防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值，所述第二神经网络模型被预先训练建立了输入输电线路图像、标注防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值之间的功能映射关系。
本实施例中，步骤2.2)中的第一神经网络模型为基于YOLO V3算法深度卷积神经网络模型，深度卷积神经网络模型通过在输入图像上划分网络栅格，并由物体中心所在的栅格预测该目标的位置，所述深度卷积神经网络模型采用第53层卷积层的Dark-net 53网络结构作为特征提取器，所述深度卷积神经网络模型的网络结构对输入图像共做了五次降采样，且通过三种不同尺寸的特征图上进行特征图融合预测。本实施例中，基于YOLO V3算法深度卷积神经网络模型利用tensorflow深度学习框架搭建，搭建后需要设置神经网络的训练参数，并下载YOLO V3的预训练权重文件用于迁移训练学习，保存最优的防振锤检测模型以备后用(训练、使用)。YOLO V3算法是将整张输入图像经过卷积神经网络进行特征提取，输入层接受输入图像后将图像大小调整至第一目标尺寸(416×416)，然后通过卷积层、批归一化层和激活层组成的卷积单元进行特征提取，不断学习防振锤的特征信息。在整个主体网络结构中，输入图像进行了五次降采样，YOLO V3在52×52、26×26和13×13的特征图上进行特征图的融合与预测，其中大尺寸的特征图用于检测小目标，小尺寸的特征图用于检测大目标，以此可以识别出不同尺寸的防振锤，训练的优化算法为Adam优化算法，批量样本训练数为32，初始学习率为0.001。通过对数据集中防振锤样本的训练学习，不断调整卷积神经网络中的权重参数，得到最终的防振锤检测模型。
本实施例中利用基于Mobilenet v2算法的全卷积神经网络模型训练防振锤图像及其关键点标注信息，得到防振锤关键点检测模型，步骤2.4)中的第二神经网络模型为基于Mobilenet v2算法的全卷积神经网络模型，全卷积神经网络模型采用RMSE损失函数，如下式所示：
Figure GDA0003214187960000061
上式中，ai表示标注的关键点坐标值，
Figure GDA0003214187960000062
表示真实的关键点坐标值，i为关键点序号，m为关键点数量。第二神经网络模型防振锤检测模型检测输电线路图像中的防振锤，并依据检测结果中防振锤预测框的左上顶点坐标值和预测框的宽高将防振锤裁剪出来，并将裁剪出来的防振锤图像大小调整至224×224。本实施例中利用关键点标注工具标注防振锤上两侧锤头顶点和线夹体中点，标注的方式为点，标注的信息包括点的坐标值(x,y)和点的状态值v，v＝1即为该关键点存在，v＝0即为该关键点不存在。
本实施例中，步骤2)之前还包括训练第一神经网络模型、第二神经网络模型的步骤，详细步骤包括：
S1)采集输电线路图像，筛选出包含防振锤的图像，并对图像进行增强，将输电线路图像调整至第一目标尺寸；通过数据增强的手段可以在图像数量不足的情况下扩增图片数量同时增强数据集的泛化性，防止训练过程中出现过拟合；采集输电线路图像可利用无人机或机器人采集，以提高采集效率。
S2)利用目标检测标注工具标注出输电线路图像中防振锤的位置信息，并生成对应的标注数据文件，将图像数据文件及其对应的标注数据文件制作成输电线路图像数据集(本实施例中要求输电线路图像样本不低于3000张)，并将输电线路图像数据集划分为训练集、验证集和测试集；本实施例中，利用目标标注工具labelme标注输电线路图像中的防振锤，标注的方式为矩形框，标注的信息包括矩形框的左上角顶点坐标值和矩形框的宽高信息；且输电线路图像数据集要求输电线路图像样本不低于3000张；
S3)建立第一神经网络模型并利用训练集、验证集和测试集进行训练、验证和测试完成第一神经网络模型的训练，使得第一神经网络模型被训练建立了输入输电线路图像、标注防振锤目标之间的功能映射关系，并得到含有训练集、验证集和测试集各项数据样本对应的防振锤目标标注的输电线路图像；
S4)从训练集、验证集和测试集的含有防振锤目标标注的输电线路图像中裁剪出防振锤目标图像，将防振锤目标图像调整至第二目标尺寸；根据防振锤目标图像确定防振锤边界框的宽度和高度；
S5)建立第二神经网络模型并利用训练集、验证集和测试集的防振锤目标图像进行训练、验证和测试完成第二神经网络模型的训练，使得第二神经网络模型被训练建立了输入输电线路图像、标注防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值之间的功能映射关系。
本实施例中，步骤S1)采集输电线路图像时，包括在不同光照强度、不同尺度、不同遮挡程度下采集输电线路图像，以此来保证数据集的多样性和泛化性。
本实施例中，步骤S1)中对图像进行增强包括对图像进行图片随机水平垂直翻转、图片随机旋转(本实施例中选择角度为±40°以内)、图片随机水平上下平移、图片随机缩小放大，此外也可以根据需要选择其中的一种或者多种。
此外，本实施例还提供一种基于关键点检测的防振锤缺陷视觉检测系统，包括计算机设备，该计算机设备被编程或配置以执行本实施例前述基于关键点检测的防振锤缺陷视觉检测方法的步骤，或该计算机设备的存储介质上存储有被编程或配置以执行本实施例前述基于关键点检测的防振锤缺陷视觉检测方法的计算机程序。
此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有被编程或配置以执行本实施例前述基于关键点检测的防振锤缺陷视觉检测方法的计算机程序。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种基于关键点检测的防振锤缺陷视觉检测方法，其特征在于实施步骤包括：
1)输入包含防振锤的输电线路图像；
2)基于输电线路图像检测防振锤目标得到防振锤边界框的宽度和高度，并检测防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值；
3)根据防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值判断防振锤是否出现锤头缺失、锤头松动和形变的缺陷，完成对防振锤缺陷的检测；判断防振锤是否出现锤头缺失、锤头松动和防振锤形变的缺陷的详细步骤包括：
3.1)判断左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值，如果任意一个关键点的存在状态值为0，则判定防振锤出现锤头缺失的缺陷，结束；否则，跳转下一步；
3.2)计算左侧顶点和右侧顶点的x坐标之和、两倍线夹体中点的x坐标之间的差值作为第一差值，并判断该第一差值与防振锤边界框宽度的比值大于第一预设阈值是否成立，如果成立则判定防振锤出现锤头松动的缺陷；计算左侧顶点和右侧顶点两者的y坐标的差值作为第二差值，并判断该第二差值与防振锤边界框高度的比值大于第二预设阈值是否成立，如果成立则判定防振锤出现形变的缺陷。
2.根据权利要求1所述的基于关键点检测的防振锤缺陷视觉检测方法，其特征在于，步骤2)的详细步骤包括：
2.1)将输电线路图像调整至第一目标尺寸；
2.2)将调整至第一目标尺寸的输电线路图像输入预先完成训练的第一神经网络模型，从而得到含有防振锤目标标注的输电线路图像，所述第一神经网络模型被预先训练建立了输入输电线路图像、标注防振锤目标之间的功能映射关系；
2.3)从含有防振锤目标标注的输电线路图像中裁剪出防振锤目标图像，将防振锤目标图像调整至第二目标尺寸；
2.4)根据防振锤目标图像确定防振锤边界框的宽度和高度；
2.5)将调整至第二目标尺寸的防振锤目标图像输入预先完成训练的第二神经网络模型，从而得到防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值，所述第二神经网络模型被预先训练建立了输入输电线路图像、标注防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值之间的功能映射关系。
3.根据权利要求2所述的基于关键点检测的防振锤缺陷视觉检测方法，其特征在于，步骤2.2)中的第一神经网络模型为基于YOLO V3算法深度卷积神经网络模型，所述深度卷积神经网络模型通过在输入图像上划分网络栅格，并由物体中心所在的栅格预测该目标的位置，所述深度卷积神经网络模型采用第53层卷积层的Dark-net 53网络结构作为特征提取器，所述深度卷积神经网络模型的网络结构对输入图像共做了五次降采样，且通过三种不同尺寸的特征图上进行特征图融合预测。
4.根据权利要求2所述的基于关键点检测的防振锤缺陷视觉检测方法，其特征在于，步骤2.4)中的第二神经网络模型为基于Mobilenet v2算法的全卷积神经网络模型，所述全卷积神经网络模型采用RMSE损失函数。
5.根据权利要求2所述的基于关键点检测的防振锤缺陷视觉检测方法，其特征在于，步骤2)之前还包括训练第一神经网络模型、第二神经网络模型的步骤，详细步骤包括：
S1)采集输电线路图像，筛选出包含防振锤的图像，并对图像进行增强，将输电线路图像调整至第一目标尺寸；
S2)利用目标检测标注工具标注出输电线路图像中防振锤的位置信息，并生成对应的标注数据文件，将图像数据文件及其对应的标注数据文件制作成输电线路图像数据集，并将输电线路图像数据集划分为训练集、验证集和测试集；
S3)建立第一神经网络模型并利用训练集、验证集和测试集进行训练、验证和测试完成第一神经网络模型的训练，使得第一神经网络模型被训练建立了输入输电线路图像、标注防振锤目标之间的功能映射关系，并得到含有训练集、验证集和测试集各项数据样本对应的防振锤目标标注的输电线路图像；
S4)从训练集、验证集和测试集的含有防振锤目标标注的输电线路图像中裁剪出防振锤目标图像，将防振锤目标图像调整至第二目标尺寸；根据防振锤目标图像确定防振锤边界框的宽度和高度；
S5)建立第二神经网络模型并利用训练集、验证集和测试集的防振锤目标图像进行训练、验证和测试完成第二神经网络模型的训练，使得第二神经网络模型被训练建立了输入输电线路图像、标注防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值之间的功能映射关系。
6.根据权利要求5所述的基于关键点检测的防振锤缺陷视觉检测方法，其特征在于，步骤S1)采集输电线路图像时，包括在不同光照强度、不同尺度、不同遮挡程度下采集输电线路图像。
7.根据权利要求2所述的基于关键点检测的防振锤缺陷视觉检测方法，其特征在于，步骤S1)中对图像进行增强包括对图像进行图片随机水平垂直翻转、图片随机旋转、图片随机水平上下平移、图片随机缩小放大中的至少一种。
8.一种基于关键点检测的防振锤缺陷视觉检测系统，包括计算机设备，其特征在于，该计算机设备被编程或配置以执行权利要求1～7中任意一项所述基于关键点检测的防振锤缺陷视觉检测方法的步骤，或该计算机设备的存储介质上存储有被编程或配置以执行权利要求1～7中任意一项所述基于关键点检测的防振锤缺陷视觉检测方法的计算机程序。
9.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有被编程或配置以执行权利要求1～7中任意一项所述基于关键点检测的防振锤缺陷视觉检测方法的计算机程序。
CN201910537663.XA 2019-06-20 2019-06-20 基于关键点检测的防振锤缺陷视觉检测方法、系统及介质 Active CN110458798B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910537663.XA CN110458798B (zh) 2019-06-20 2019-06-20 基于关键点检测的防振锤缺陷视觉检测方法、系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910537663.XA CN110458798B (zh) 2019-06-20 2019-06-20 基于关键点检测的防振锤缺陷视觉检测方法、系统及介质

Publications (2)

Publication Number Publication Date
CN110458798A CN110458798A (zh) 2019-11-15
CN110458798B true CN110458798B (zh) 2021-12-10

Family

ID=68481017

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910537663.XA Active CN110458798B (zh) 2019-06-20 2019-06-20 基于关键点检测的防振锤缺陷视觉检测方法、系统及介质

Country Status (1)

Country Link
CN (1) CN110458798B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111251296B (zh) * 2020-01-17 2021-05-18 温州职业技术学院 一种适用于码垛电机转子的视觉检测系统
CN111583183B (zh) * 2020-04-13 2022-12-06 成都数之联科技股份有限公司 一种用于pcb板图像缺陷检测的数据增强方法和系统
CN112014688B (zh) * 2020-09-01 2022-09-02 云南电网有限责任公司电力科学研究院 一种防振锤滑移故障检测方法及装置
CN112183255A (zh) * 2020-09-15 2021-01-05 西北工业大学 一种基于深度学习的水下目标视觉识别与姿态估计方法
CN112101389B (zh) * 2020-11-17 2021-02-02 支付宝(杭州)信息技术有限公司 仓储货物测量方法和装置
CN113642214B (zh) * 2021-08-15 2024-01-30 内蒙古电力(集团)有限责任公司内蒙古电力科学研究院分公司 防振锤谐振频率优化分析方法
CN113962076B (zh) * 2021-10-15 2024-07-16 国网河北省电力有限公司电力科学研究院 一种输电线路用防振锤性能评价方法及装置
CN114115054A (zh) * 2021-11-30 2022-03-01 沈阳工业大学 一种基于神经网络的在线检测机器人控制系统
CN114612480A (zh) * 2022-02-21 2022-06-10 北京百度网讯科技有限公司 检测防振锤弯曲状态的方法、装置、设备、介质及产品

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2998927B1 (en) * 2014-09-22 2018-09-05 ALSTOM Transport Technologies Method for detecting the bad positioning and the surface defects of specific components and associated detection device
CN107133943B (zh) * 2017-04-26 2018-07-06 贵州电网有限责任公司输电运行检修分公司 一种防震锤缺陷检测的视觉检测方法
CN108038846A (zh) * 2017-12-04 2018-05-15 国网山东省电力公司电力科学研究院 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及系统
CN108037133B (zh) * 2017-12-27 2021-01-26 武汉市智勤创亿信息技术股份有限公司 一种基于无人机巡检图像的电力设备缺陷智能识别方法及其系统
CN108596883B (zh) * 2018-04-12 2021-07-13 福州大学 一种基于深度学习和距离约束的航拍图像防震锤滑移故障诊断方法

Also Published As

Publication number Publication date
CN110458798A (zh) 2019-11-15

Similar Documents

Publication Publication Date Title
CN110458798B (zh) 基于关键点检测的防振锤缺陷视觉检测方法、系统及介质
CN110059694B (zh) 电力行业复杂场景下的文字数据的智能识别方法
CN111444809B (zh) 一种基于改进YOLOv3的输电线路异常目标检测方法
CN109376605B (zh) 一种电力巡检图像防鸟刺故障检测方法
CN109376768B (zh) 一种基于深度学习的航拍图像杆塔标识牌故障诊断方法
CN105426905B (zh) 基于梯度直方图和支持向量机的机器人障碍物识别方法
CN114743119B (zh) 基于无人机的高铁接触网吊弦螺母缺陷检测方法
CN109344753A (zh) 一种基于深度学习的航拍图像输电线路细小金具识别方法
CN111091547B (zh) 铁路货车制动梁支柱折断故障图像识别方法
CN114187505A (zh) 输电线路防振锤脱落的检测方法、装置、介质及终端设备
TWI611961B (zh) 車道線影像分析方法、影像分析裝置及其電腦可讀取式媒體
CN111597904B (zh) 用于隧道电缆支架倾斜的识别方法
CN105303162B (zh) 一种基于目标建议算法的航拍图像绝缘子识别方法
CN115096268B (zh) 基于无人机航拍及超声波探测的桥梁损伤深度检测方法
CN109146880A (zh) 一种基于深度学习的电力设备检测方法
CN113298077A (zh) 一种基于深度学习的变电站异物识别定位方法及装置
CN115619719A (zh) 一种基于改进Yolo v3网络模型的松材线虫病疫木检测方法
CN111241905A (zh) 基于改进ssd算法的输电线路鸟窝检测方法
CN112329858B (zh) 一种铁路动车防松铁丝折断故障图像识别方法
CN112446884A (zh) 一种激光点云中输电线的定位方法、装置及终端设备
CN117058459A (zh) 基于yolov7算法的路面病害快速检测方法及系统
CN108875565A (zh) 铁路立柱识别方法、存储介质、电子设备、系统
CN115761439A (zh) 一种基于目标检测的锅炉内壁陷检测识别方法
CN110909751A (zh) 用于变电站绝缘子清扫机器人的视觉识别方法、系统及介质
CN115100546A (zh) 一种基于mobilenet的电力设备小目标缺陷识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant