CN113902733A - 一种基于关键点检测的间隔棒缺陷检测方法 - Google Patents
一种基于关键点检测的间隔棒缺陷检测方法 Download PDFInfo
- Publication number
- CN113902733A CN113902733A CN202111277314.2A CN202111277314A CN113902733A CN 113902733 A CN113902733 A CN 113902733A CN 202111277314 A CN202111277314 A CN 202111277314A CN 113902733 A CN113902733 A CN 113902733A
- Authority
- CN
- China
- Prior art keywords
- spacer
- key point
- picture
- training
- example segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 125000006850 spacer group Chemical group 0.000 title claims abstract description 166
- 238000001514 detection method Methods 0.000 title claims abstract description 73
- 230000007547 defect Effects 0.000 title claims abstract description 56
- 230000011218 segmentation Effects 0.000 claims abstract description 99
- 238000012549 training Methods 0.000 claims abstract description 72
- 238000007689 inspection Methods 0.000 claims abstract description 15
- 238000012360 testing method Methods 0.000 claims description 39
- 238000000034 method Methods 0.000 claims description 32
- 238000012795 verification Methods 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 22
- 238000002372 labelling Methods 0.000 claims description 20
- 239000004020 conductor Substances 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 11
- 238000012216 screening Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 3
- 230000000873 masking effect Effects 0.000 claims 1
- 238000013135 deep learning Methods 0.000 abstract description 4
- 238000003909 pattern recognition Methods 0.000 abstract description 2
- 230000005540 biological transmission Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 230000000877 morphologic effect Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 3
- 230000007812 deficiency Effects 0.000 description 2
- 230000010355 oscillation Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000011152 fibreglass Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011206 morphological examination Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 229920002379 silicone rubber Polymers 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
一种基于关键点检测的间隔棒缺陷检测方法，属于图像模式识别与深度学习技术领域。包括首先对已有的包含间隔棒的巡检图片依次利用实例分割网络和关键点检测网络训练得到实例分割模型和关键点模型，然后利用实例分割模型从待检测的图像中精确分割出间隔棒，然后再通过关键点模型检测间隔棒的角点与定位点的位置，通过角点和定位点的相对位置关系对间隔棒的缺陷进行缺陷、断裂和形变检测。本发明通过采用实例分割网络和关键点检测网络训练得到实例分割模型和关键点模型，可以对待检测的间隔棒图片进行精确检测，避免了误检和漏检并且还通过角点和定位点的相对位置关系实现对间隔棒多种缺陷的检测。
Description
技术领域
本发明属于图像模式识别与深度学习技术领域，具体涉及一种基于关键点检测的间隔棒缺陷检测方法。
背景技术
间隔棒是指安装在分裂导线上，固定各分裂导线间的间距，以防止导线互相鞭击、抑制微风振动和次档距振荡的金具。间隔棒一般安装在档距中间，相隔50～60m安装一个。安装了二分裂、四分裂导线的间隔棒后，与无间隔棒的振动振幅比较，二分裂导线减小50％，四分裂导线减小87％。在输电导线静止情况下，间隔棒受力为零或等于预拉(压)力。但在输电导线受到风力、覆冰、冰层脱落和短路电流作用下等引起导线的不同期摆动时，它将受到交替的拉力和压力的作用。相间间隔棒用新型合成玻璃钢芯棒和硅橡胶护套的合成绝缘结构，克服了传统的外绝缘瓷棒重量大、脆性、污闪电压低等缺点。但是仍然会出现变形，断裂，缺失等缺陷，如不及时处理可能导致导线鞭击，黏连，造成严重的自然灾害，经济损失甚至造成人员伤亡。因此需要一种快速性、准确性、鲁棒性俱佳的检测方法。
传统的间隔棒缺陷检测方法为人工巡视方式，用肉眼去观察高压输电线路上的间隔棒是否出现缺陷。由于间隔棒的数量繁多，而且其所处的环境大多是高压并且地理条件恶劣的野外输电线路中。不仅仅需要大量的人力资源和时间资源，甚至有可能会对工作人员的人身安全带来威胁。并且检测的准确性和及时性也很难保证。近几年，在国家发展智能电网政策的背景下，国家电网公司和南方电网公司投入了大量资金到无人机购置以及相关技术的研发当中，智能化电网方面的立项研究显著增多，电网系统正在进行着一次根本性的改革。目前两大电网公司已组建机巡中心，招聘和培训相关专业技术人员，各地电力分公司也纷纷建立起无人机巡检班组，无人机巡检已成为常态，逐渐形成了“机巡为主，人巡为辅”的输电线路巡检新模式。
目前间隔棒缺陷检测的相关研究，大多采用的基于传统的图像处理技术或者机器视觉的检测方式。其主要分为四个阶段，第一阶段是对采集到的图像做预处理，既先进行灰度处理，再进行去噪处理，最后进行二值化处理；第二阶段为ROI区域提取，通过先验数据，在图像上通过滑动窗口选取间隔棒所在的区域；第三阶段是图像形态学处理，通过对第二阶段的ROI区域进行开运算和闭运算得到图像特征。第四阶段是通过特征进行判别，对第三阶段的特征进行连通域判断以检测间隔棒是否存在缺陷。
这种算法虽然有一定可行性，但是不仅仅需要大量的先验特征，而且对于图片的角度，清晰度都有很高的要求。同时判断的指标简单，容易出现误检和漏检，并且只能检测到断裂这一种缺陷。
发明内容
有鉴于此，本发明旨在解决现有基于传统的图像处理技术或者机器视觉的检测方式存在的容易出现误检和漏检，并且只能检测到断裂这一种缺陷的问题。
为了解决上述技术问题，本发明提供以下技术方案：
本发明提供了一种基于关键点检测的间隔棒缺陷检测方法，包括：
对巡检过程中拍摄到的间隔棒图片利用实例分割网络训练得到实例分割模型；
利用实例分割模型对间隔棒图片进行实例分割，得到间隔棒分割掩膜，并对间隔棒分割掩膜利用关键点检测网络训练得到关键点模型；
将待检测的间隔棒图片进行预处理，并对预处理后的待检测的间隔棒图片依次利用实例分割模型和关键点模型进行处理，得到待检测的间隔棒图片的间隔棒分割掩膜以及定位点和角点，定位点与角点一一对应；
判断定位点或角点的数量与间隔棒分裂导线数目是否一致，若否，则判定待检测的间隔棒出现了缺失缺陷，若是，则继续后续步骤；
求出所有对应角点到定位点的欧式距离，并求出全部欧氏距离的均值，若所有欧氏距离中存在有与均值的差距大于或小于设定阈值的欧式距离时，判定待检测的间隔棒出现了缺失缺陷或断裂缺陷；
通过角点坐标求出中垂线直线方程，若所有中垂线不满足有且只有一个交点的条件，则判定待检测的间隔棒出现了形变缺陷。
进一步的，对巡检过程中拍摄到的间隔棒图片利用实例分割网络训练得到实例分割模型具体包括：
从巡检过程中拍摄到的电力设备可见光图中筛选出含有间隔棒的图片，并进行图像预处理；
将经过预处理的图片进行掩膜标注后整合为实例分割数据集，并将实例分割数据集划分为第一训练集、第一验证集和第一测试集；
利用实例分割网络对第一训练集进行训练，不断调整训练时的超参数，直至在第一验证集和第一测试集上的loss指标和mAP指标均达到第一设定标准时停止训练，得到实例分割模型；利用实例分割模型对第一测试集进行测试，判断输出的间隔棒掩膜是否符合第一设定要求，若是，则保留实例分割模型，若否，则重新利用实例分割网络对第一训练集进行训练直至训练得到的实例分割模型输出的间隔棒掩膜符合第一设定要求。
进一步的，将经过预处理的图片进行掩膜标注后整合为实例分割数据集，并将实例分割数据集划分为第一训练集、第一验证集和第一测试集具体包括：
使用labelme标注软件在经过预处理的图片中通过一个连通域将间隔棒完整地包含在内并进行掩膜标注；
保存标注后的图片以及生成的与图片名对应的json文件；
将标注后的图片与对应的json文件按照8:1:1的比例划分为第一训练集、第一验证集和第一测试集。
进一步的，利用实例分割模型对间隔棒图片进行实例分割，得到间隔棒分割掩膜，并对间隔棒分割掩膜利用关键点检测网络训练得到关键点模型具体包括：
利用实例分割模型对实例分割数据集进行实例分割，得到间隔棒的掩膜图像，从间隔棒的掩膜图像中筛选出符合第一设定要求的图片进行关键点标注，将标注好的图片整合为关键点数据集，并将关键点数据集划分为第二训练集、第二验证集和第二测试集；
利用关键点检测网络对第二训练集进行训练，反复调整训练时的超参数，直至在第二验证集和第二测试集上的loss指标和mAP指标均达到第二设定标准时停止训练，得到关键点模型；利用关键点模型对第二测试集进行测试，判断输出的间隔棒关键点图是否符合第二设定要求，若是，则保留关键点模型，若否，则重新利用关键点检测网络对第二训练集进行训练直至训练得到的关键点模型输出的间隔棒关键点图符合第二设定要求。
进一步的，从间隔棒的掩膜图像中筛选出符合第一设定要求的图片进行关键点标注，将标注好的图片整合为关键点数据集，并将关键点数据集划分为第二训练集、第二验证集和第二测试集具体包括：
使用labelme标注软件将符合第一设定要求的图片中间隔棒与导线相连接的位置标注为角点，将间隔棒棒身多边形部分的角标注为定位点；
从12点方向开始，顺时针依次对角点和定位点进行标注；
保存标注后的图片以及生成的与图片名对应的json文件；
将标注后的图片与对应的json文件按照8:1:1的比例划分为第二训练集、第二验证集和第二测试集。
进一步的，若所有欧氏距离中存在有与均值的差距大于或小于设定阈值的欧式距离时，判定待检测的间隔棒出现了缺失缺陷或断裂缺陷具体为：
若所有欧氏距离中存在有与均值的差距小于设定阈值的欧式距离时，判定待检测的间隔棒出现了缺失缺陷；
若所有欧氏距离中存在有与均值的差距大于设定阈值的欧式距离时，判定待检测的间隔棒出现了断裂缺陷。
进一步的，将待检测的间隔棒图片进行预处理具体包括：
采用双线性插值算法将待检测的间隔棒图片进行缩放处理；
利用LR算法对缩放后的图片进行非盲去模糊处理；
使用多尺度彩色复原算法对去模糊后的图片进行分通道的对比度增强处理。
进一步的，求出所有对应角点到定位点的欧式距离之前还包括：
根据定位点对待检测的间隔棒图片进行透视变换。
进一步的，实例分割网络具体为：PANet。
进一步的，关键点检测网络具体为：HRNet。
综上，本发明提供了一种基于关键点检测的间隔棒缺陷检测方法，包括首先对已有的包含间隔棒的巡检图片依次利用实例分割网络和关键点检测网络训练得到实例分割模型和关键点模型，然后利用实例分割模型从待检测的图像中精确分割出间隔棒，然后再通过关键点模型检测间隔棒的角点与定位点的位置，通过角点和定位点的相对位置关系对间隔棒的缺陷进行缺陷、断裂和形变检测。本发明通过采用实例分割网络和关键点检测网络训练得到实例分割模型和关键点模型，可以对待检测的间隔棒图片进行精确检测，避免了误检和漏检并且还通过角点和定位点的相对位置关系实现对间隔棒多种缺陷的检测。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种基于关键点检测的间隔棒缺陷检测方法的流程示意图；
图2为本发明实施例提供的形态学检测流程图；
图3为本发明实施例提供的residual模块示意图；
图4为本发明实施例提供的convolution模块示意图；
图5为本发明实施例提供的shortcut connection模块示意图；
图6为本发明实施例提供的exchange模块示意图。
具体实施方式
为使得本发明的目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明的目的在于克服现有基于传统的图像处理技术或者机器视觉对间隔棒的检测方式存在的缺点和不足，提出了一种基于关键点检测的间隔棒缺陷检测方法。
以下是对本发明的一种基于关键点检测的间隔棒缺陷检测方法的实施例进行的详细介绍。
请参阅图1，本发明提供了一种基于关键点检测的间隔棒缺陷检测方法，包括：
S100：对巡检过程中拍摄到的间隔棒图片利用实例分割网络训练得到实例分割模型。
需要说明的是，对巡检过程中拍摄到的间隔棒图片利用实例分割网络训练得到实例分割模型具体包括：
S101：从巡检过程中拍摄到的电力设备可见光图中筛选出含有间隔棒的图片，并进行图像预处理；
需要说明的是，通过设定无人机巡检路线，在有输电线路的位置设定拍摄点。收集得到巡检过程中拍摄到的电力设备可见光图。整理出其中含有间隔棒的图片。并对得到图片进行图像预处理以便于后续获得其特征，图像预处理包括基础形态学处理，运动模糊恢复和对比度增强。
由于无人机拍摄到的图片均是分辨率为6720*4480的超高清图片，直接对其进行运动模糊恢复和对比度增强会花费大量的时间，后续进行深度学习的处理也会更加困难，因此使用双线性插值算法将原始图片缩放到1080*720大小，以提升本方案的快速性。然后使用LR算法对缩放后的图片进行非盲去模糊处理，减小无人机在拍摄过程中移动所带来的模糊，以提升本方法的准确性。再使用多尺度彩色复原算法(MSRCR)对去模糊后的图片进行分通道的对比度增强，减小光照，背景，天气等自然因素带来的影响，以提升本方案的鲁棒性。
S102：将经过预处理的图片进行掩膜标注后整合为实例分割数据集，并将实例分割数据集划分为第一训练集、第一验证集和第一测试集。
需要说明的是，将经过预处理的图片使用标注软件进行腌膜标注，标注的时候需要尽可能的将间隔棒包含在内，同时需要尽可能少的包含高压输电线路上的导线以及其他的金具。将标注好之后的图片整合为实例分割数据集，并将该数据集划分为训练集，验证集和测试集。具体的，使用labelme标注软件进行腌膜标注，标注时需要通过一个连通域将间隔棒完整地包含在内，同时要注意尽量少包含导线，岗塔，背景等干扰信息。标注完成后会生成与图片名对应的json格式文件，其中记录了间隔棒腌膜的点集坐标，图片名称信息，图片base64编码等。将标注完成的图片和对应的json文件按照8:1:1的比例划分为训练集，验证集和测试集。
S103：利用实例分割网络对第一训练集进行训练，不断调整训练时的超参数，直至在第一验证集和第一测试集上的loss指标和mAP指标均达到第一设定标准时停止训练，得到实例分割模型；利用实例分割模型对第一测试集进行测试，判断输出的间隔棒掩膜是否符合第一设定要求，若是，则保留实例分割模型，若否，则重新利用实例分割网络对第一训练集进行训练直至训练得到的实例分割模型输出的间隔棒掩膜符合第一设定要求。
需要说明的是，本实施例所选取的实例分割网络为PANet(Pyramid AttentionNetworks for Image Restoration，基于金字塔注意力网络的图像复原)。与经典的Mask-RCNN相比PANet引入了路径增强的思路，在FPN自顶向下的基础上加入了自底向上的补充，增强了对间隔棒位置信息地获取。引入了动态特征池化，将多重特征组合在一起，使得获取到的腌膜更加的完整。最后采用了全连接层融合的结构，增大了感受野并使得训练的速度更快。
本实施例中的第一设定要求可按实际情况进行具体设置，其目的在于使得输出的间隔棒掩膜轮廓清晰，结构完整且包含背景少。
S200：利用实例分割模型对间隔棒图片进行实例分割，得到间隔棒分割掩膜，并对间隔棒分割掩膜利用关键点检测网络训练得到关键点模型。
需要说明的是，利用实例分割模型对间隔棒图片进行实例分割，得到间隔棒分割掩膜，并对间隔棒分割掩膜利用关键点检测网络训练得到关键点模型具体包括：
S201：利用实例分割模型对实例分割数据集进行实例分割，得到间隔棒的掩膜图像，从间隔棒的掩膜图像中筛选出符合第一设定要求的图片进行关键点标注，将标注好的图片整合为关键点数据集，并将关键点数据集划分为第二训练集、第二验证集和第二测试集。
需要说明的是，从间隔棒的掩膜图像中筛选出符合第一设定要求的图片进行关键点标注就是挑选出其中轮廓清晰，结构完整，包含背景少的图片。使用标注软件对挑选出的图片进行关键点标注。
将标注好之后的图片整合为关键点数据集，并将该数据集划分为训练集，验证集和测试集。具体为使用labelme标注软件进行关键点标注，标注时需要将间隔棒与导线相连接的位置标注为角点，将间隔棒棒身多边形部分的角标注为定位点。标注时需要注意，从12点方向开始，顺时针依次对角点和定位点进行标注，所有点都标注为不同的类别。标注完成后，其余部分与步骤S102一致。
S202：利用关键点检测网络对第二训练集进行训练，反复调整训练时的超参数，直至在第二验证集和第二测试集上的loss指标和mAP指标均达到第二设定标准时停止训练，得到关键点模型；利用关键点模型对第二测试集进行测试，判断输出的间隔棒关键点图是否符合第二设定要求，若是，则保留关键点模型，若否，则重新利用关键点检测网络对第二训练集进行训练直至训练得到的关键点模型输出的间隔棒关键点图符合第二设定要求。
需要说明的是，本实施例的关键点检测网络参考高分辨率网络HRNet，其与绝大多数串联连接的网络不同，HRNet可以维持高分辨率特征，而不是从低到高的恢复出高分辨特征。因此预测的热图在空间上会更加精确。本发明的关键点检测网络包含四个阶段与四个并行的子模块，每个子模块的分辨率降低为前一个子模块的一半，相应的宽度(通道数)增加了一倍。第一阶段包含4个residual模块。然后使用一个3*3的卷积操作使得降低特征图的宽度至32。第二，第三，第四阶段分别包含1、4、3个多尺度特征融合模块。每个多尺度特征融合模块包含4个residual模块，以及一个跨分辨率的exchange模块。其中residual模块不仅大幅度降低了需要计算的参数量，同时引入了残差结构使得深层结构也能够正常的训练。如图3所示，residual模块由3个convolution模块和一个shortcut connection模块构成。如图4所示，convolution模块由1个卷积层，1个BN层和1个ReLU层构成。如图5所示，shortcut connection模块由1个卷积层和一个BN层构成。由于本发明的网络是并行的网络，因此在其子网络中，一直存在一个高分辨率的子网络。然后在每个阶段中逐渐加入分辨率由高至低的子网络。最终每个阶段的子网络包含上个阶段子网络的全部结构以及一个分辨率更低的子网络。如图6所示，exchange模块的作用就是将每个阶段不同分辨率的子网络特征融合在一起。使用最后一个exchange模块中的高分辨率子网络输出来进行热图估计。
损失函数选取分段MSE+MAE的方式，在损失较大时选用MAE方式，降低离群点对于训练的影响，同时使得预测值更靠近目标值的中位数，增加了鲁棒性。在损失较小时选取MSE方式，使得损失小时的梯度更加平滑，利于收敛，防止出现震荡，同时解决了MAE在零点处不可导的问题。具体的损失函数如下：
其中m为当前批次的数据数量，
为真实值，yi为预测值。
持续进行训练，直至在验证集、测试集上的loss指标，mAP指标都达到理想状态后，保留关键点模型。使用该关键点模型对测试集图片测试后能够得到热图分布明显，关键点定位准确的间隔棒关键点图。
S300：将待检测的间隔棒图片进行预处理，并对预处理后的待检测的间隔棒图片依次利用实例分割模型和关键点模型进行处理，得到待检测的间隔棒图片的间隔棒分割掩膜以及定位点和角点，定位点与角点一一对应。
需要说明的是，待检测的间隔棒图片的预处理过程与训练实例分割模型时对其所采用的巡检图片预处理过程相同，即都包含基础形态学处理，运动模糊恢复和对比度增强，具体过程在此不再赘述。
S400：判断定位点或角点的数量与间隔棒分裂导线数目是否一致，若否，则判定待检测的间隔棒出现了缺失缺陷，若是，则继续后续步骤。
需要说明的是，请参阅图2，图2是利用关键点模型对待检测的图像进行形态学检测的流程图。首先需要判断定位点数或角点数目是否与间隔棒分裂导线数目(假设为n个)一致。因为若间隔棒出现缺失缺陷会导致其数目关系发生变化。
S500：求出所有对应角点到定位点的欧式距离，并求出全部欧氏距离的均值，若所有欧氏距离中存在有与均值的差距大于或小于设定阈值的欧式距离时，判定待检测的间隔棒出现了缺失缺陷或断裂缺陷。
需要说明的是，通过实例分割模型和关键点模型的处理，可以得到n个定位点和n个角点，其中n为间隔棒分裂导线数目。由于无人机在飞行的过程中进行拍摄，难以保证正对间隔棒进行拍摄，因此需要对间隔棒图片进行校正，以保证检测的准确性。由于间隔棒棒身多边形框在正常情况下为正多边形，因此通过多形框n个角的定位点，就能够使用透视变换校正由于拍摄角度造成的误差。
由于建立关键点模型中标注是从12点方向开始，顺时针进行标注。因此第1到第n个关键点为角点，第n+1个到第2n个关键点为定位点。同时第i个关键点(角点)就对应第n+i个关键点(定位点)，其中n为间隔棒分裂导线数目，i取值为1到n，求出对应角点到定位点的长度为di。再求出长度均值dm，设定正常误差范围de。如果存在di＜dm-de，则说明有角点到定位点的距离过短，既间隔棒夹线口部分出现了缺失，导致角点靠近定位点，说明间隔棒出现了缺失缺陷。如果存在di＞dm+de，则说明有角点到定位点的距离过长，既间隔棒线夹本体出现了断裂，导致线夹中间出空隙，角点远离定位点，说明间隔棒出现了断裂缺陷。
S600：通过角点坐标求出中垂线直线方程，若所有中垂线不满足有且只有一个交点的条件，则判定待检测的间隔棒出现了形变缺陷。
需要说明的是，通过第1个角点和第2个角点的坐标，就能求出其中垂线的直线方程。同理可通过第i个角点和第i+1个角点的坐标以及第n个角点和第1个角点的坐标，求得n条中垂线的直线方程yn＝kxn+bn，其中i取值为1到n-1，n为间隔棒分裂导线数目。如果各边中垂线有且只有一个交点(xc,yc)，则说明间隔棒存在几何中心。如果间隔棒不存在几何中心，即间隔棒不具有一定对称性，说明间隔棒出现了形变缺陷。
本实施例提供了一种基于关键点检测的间隔棒缺陷检测方法，包括首先利用已有的包含间隔棒的巡检图片依次利用实例分割网络和关键点检测网络训练得到实例分割模型和关键点模型，然后利用实例分割模型从待检测的图像中精确分割出间隔棒，然后再通过关键点模型检测间隔棒的角点与定位点的位置，通过角点和定位点的相对位置关系对间隔棒的缺陷进行检测。本实施例提供的检测方法具有如下优点：
1、传统的基于机器视觉的检测方式，对图片的要求极高，难以对在整个图片中只占有小面积的间隔棒进行检测，并且一种算法通常只能检测出一种缺陷。本实施例提供的检测方法能对各种大小，背景的图片进行检测，不需要额外的处理。并且能够同时检测出多种缺陷。
2、本实施例提供的检测方法与其他基于深度学习目标检测的方法相比，利用了实例分割的思想，极大的减小了背景环境的干扰，针对间隔棒在图中比例小的特点，增加了路径增强的思路，对于间隔棒的定位更加准确。
3、本实施例能够校正无人机拍摄时的角度误差。同时能够通过角点和定位点的关系，一次性检测多种缺陷。保证了算法的快速性、准确性、稳定性。
4、本实施例在原本的损失函数上做出修改，针对不同损失函数的优缺点，做出调整。达到取长补短的效果。进行优化后的损失函数，在损失较大，损失较小时均有良好表现。提升了本发明的快速性、准确性、稳定性。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于关键点检测的间隔棒缺陷检测方法，其特征在于，包括：
对巡检过程中拍摄到的间隔棒图片利用实例分割网络训练得到实例分割模型；
利用所述实例分割模型对所述间隔棒图片进行实例分割，得到间隔棒分割掩膜，并对所述间隔棒分割掩膜利用关键点检测网络训练得到关键点模型；
将待检测的间隔棒图片进行预处理，并对预处理后的所述待检测的间隔棒图片依次利用所述实例分割模型和所述关键点模型进行处理，得到所述待检测的间隔棒图片的间隔棒分割掩膜以及定位点和角点，所述定位点与所述角点一一对应；
判断所述定位点或角点的数量与间隔棒分裂导线数目是否一致，若否，则判定待检测的间隔棒出现了缺失缺陷，若是，则继续后续步骤；
求出所有对应角点到定位点的欧式距离，并求出全部欧氏距离的均值，若所有欧氏距离中存在有与所述均值的差距大于或小于设定阈值的欧式距离时，判定所述待检测的间隔棒出现了缺失缺陷或断裂缺陷；
通过角点坐标求出中垂线直线方程，若所有中垂线不满足有且只有一个交点的条件，则判定所述待检测的间隔棒出现了形变缺陷。
2.根据权利要求1所述的基于关键点检测的间隔棒缺陷检测方法，其特征在于，所述对巡检过程中拍摄到的间隔棒图片利用实例分割网络训练得到实例分割模型具体包括：
从巡检过程中拍摄到的电力设备可见光图中筛选出含有间隔棒的图片，并进行图像预处理；
将经过预处理的图片进行掩膜标注后整合为实例分割数据集，并将所述实例分割数据集划分为第一训练集、第一验证集和第一测试集；
利用实例分割网络对所述第一训练集进行训练，不断调整训练时的超参数，直至在所述第一验证集和所述第一测试集上的loss指标和mAP指标均达到第一设定标准时停止训练，得到实例分割模型；利用所述实例分割模型对所述第一测试集进行测试，判断输出的间隔棒掩膜是否符合第一设定要求，若是，则保留所述实例分割模型，若否，则重新利用所述实例分割网络对所述第一训练集进行训练直至训练得到的实例分割模型输出的间隔棒掩膜符合所述第一设定要求。
3.根据权利要求2所述的基于关键点检测的间隔棒缺陷检测方法，其特征在于，所述将经过预处理的图片进行掩膜标注后整合为实例分割数据集，并将所述实例分割数据集划分为第一训练集、第一验证集和第一测试集具体包括：
使用labelme标注软件在经过预处理的图片中通过一个连通域将间隔棒完整地包含在内并进行掩膜标注；
保存标注后的图片以及生成的与图片名对应的json文件；
将标注后的图片与对应的json文件按照8:1:1的比例划分为第一训练集、第一验证集和第一测试集。
4.根据权利要求2所述的基于关键点检测的间隔棒缺陷检测方法，其特征在于，所述利用所述实例分割模型对所述间隔棒图片进行实例分割，得到间隔棒分割掩膜，并对所述间隔棒分割掩膜利用关键点检测网络训练得到关键点模型具体包括：
利用所述实例分割模型对所述实例分割数据集进行实例分割，得到间隔棒的掩膜图像，从所述间隔棒的掩膜图像中筛选出符合所述第一设定要求的图片进行关键点标注，将标注好的图片整合为关键点数据集，并将所述关键点数据集划分为第二训练集、第二验证集和第二测试集；
利用关键点检测网络对所述第二训练集进行训练，反复调整训练时的超参数，直至在所述第二验证集和所述第二测试集上的loss指标和mAP指标均达到第二设定标准时停止训练，得到关键点模型；利用所述关键点模型对所述第二测试集进行测试，判断输出的间隔棒关键点图是否符合第二设定要求，若是，则保留所述关键点模型，若否，则重新利用所述关键点检测网络对所述第二训练集进行训练直至训练得到的关键点模型输出的间隔棒关键点图符合所述第二设定要求。
5.根据权利要求4所述的基于关键点检测的间隔棒缺陷检测方法，其特征在于，所述从所述间隔棒的掩膜图像中筛选出符合所述第一设定要求的图片进行关键点标注，将标注好的图片整合为关键点数据集，并将所述关键点数据集划分为第二训练集、第二验证集和第二测试集具体包括：
使用labelme标注软件将符合所述第一设定要求的图片中间隔棒与导线相连接的位置标注为角点，将间隔棒棒身多边形部分的角标注为定位点；
从12点方向开始，顺时针依次对所述角点和定位点进行标注；
保存标注后的图片以及生成的与图片名对应的json文件；
将标注后的图片与对应的json文件按照8:1:1的比例划分为第二训练集、第二验证集和第二测试集。
6.根据权利要求1所述的基于关键点检测的间隔棒缺陷检测方法，其特征在于，所述若所有欧氏距离中存在有与所述均值的差距大于或小于设定阈值的欧式距离时，判定所述待检测的间隔棒出现了缺失缺陷或断裂缺陷具体为：
若所有欧氏距离中存在有与所述均值的差距小于设定阈值的欧式距离时，判定所述待检测的间隔棒出现了缺失缺陷；
若所有欧氏距离中存在有与所述均值的差距大于设定阈值的欧式距离时，判定所述待检测的间隔棒出现了断裂缺陷。
7.根据权利要求1所述的基于关键点检测的间隔棒缺陷检测方法，其特征在于，所述将待检测的间隔棒图片进行预处理具体包括：
采用双线性插值算法将待检测的间隔棒图片进行缩放处理；
利用LR算法对缩放后的图片进行非盲去模糊处理；
使用多尺度彩色复原算法对去模糊后的图片进行分通道的对比度增强处理。
8.根据权利要求1所述的基于关键点检测的间隔棒缺陷检测方法，其特征在于，所述求出所有对应角点到定位点的欧式距离之前还包括：
根据所述定位点对所述待检测的间隔棒图片进行透视变换。
9.根据权利要求1所述的基于关键点检测的间隔棒缺陷检测方法，其特征在于，所述实例分割网络具体为：PANet。
10.根据权利要求1所述的基于关键点检测的间隔棒缺陷检测方法，其特征在于，所述关键点检测网络具体为：HRNet。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111277314.2A CN113902733B (zh) | 2021-10-29 | 2021-10-29 | 一种基于关键点检测的间隔棒缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111277314.2A CN113902733B (zh) | 2021-10-29 | 2021-10-29 | 一种基于关键点检测的间隔棒缺陷检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113902733A true CN113902733A (zh) | 2022-01-07 |
| CN113902733B CN113902733B (zh) | 2024-08-02 |
Family
ID=79027691
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111277314.2A Active CN113902733B (zh) | 2021-10-29 | 2021-10-29 | 一种基于关键点检测的间隔棒缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113902733B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116245950A (zh) * | 2023-05-11 | 2023-06-09 | 合肥高维数据技术有限公司 | 用于全屏或单角缺失的屏幕角点定位方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111402247A (zh) * | 2020-03-23 | 2020-07-10 | 华南理工大学 | 一种基于机器视觉的输电线路上悬垂线夹缺陷检测方法 |
| CN112750125A (zh) * | 2021-01-28 | 2021-05-04 | 华南理工大学 | 一种基于端到端关键点检测的玻璃绝缘子片定位方法 |
| CN112884715A (zh) * | 2021-01-28 | 2021-06-01 | 华南理工大学 | 一种基于深度学习的复合绝缘子均压环倾斜故障检测方法 |
-
2021
- 2021-10-29 CN CN202111277314.2A patent/CN113902733B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111402247A (zh) * | 2020-03-23 | 2020-07-10 | 华南理工大学 | 一种基于机器视觉的输电线路上悬垂线夹缺陷检测方法 |
| CN112750125A (zh) * | 2021-01-28 | 2021-05-04 | 华南理工大学 | 一种基于端到端关键点检测的玻璃绝缘子片定位方法 |
| CN112884715A (zh) * | 2021-01-28 | 2021-06-01 | 华南理工大学 | 一种基于深度学习的复合绝缘子均压环倾斜故障检测方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116245950A (zh) * | 2023-05-11 | 2023-06-09 | 合肥高维数据技术有限公司 | 用于全屏或单角缺失的屏幕角点定位方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113902733B (zh) | 2024-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110059694B (zh) | 电力行业复杂场景下的文字数据的智能识别方法 | |
| CN111428748B (zh) | 一种基于hog特征和svm的红外图像绝缘子识别检测方法 | |
| CN109712127B (zh) | 一种用于机巡视频流的输电线路故障检测方法 | |
| CN113723377B (zh) | 一种基于ld-ssd网络的交通标志检测方法 | |
| CN114742799B (zh) | 基于自监督异构网络的工业场景未知类型缺陷分割方法 | |
| CN110807416A (zh) | 适用于移动检测装置的数字式仪表智能识别装置及方法 | |
| CN114926456A (zh) | 一种半自动标注和改进深度学习的铁轨异物检测方法 | |
| CN114972423A (zh) | 一种航拍视频运动目标检测方法及系统 | |
| CN116030364A (zh) | 无人机轻量级目标检测方法、系统、介质、设备及终端 | |
| CN113902733A (zh) | 一种基于关键点检测的间隔棒缺陷检测方法 | |
| CN112884795A (zh) | 一种基于多特征显著性融合的输电线路巡检前景与背景分割方法 | |
| CN117409083B (zh) | 一种基于红外图像和改进yolov5的电缆终端识别方法及装置 | |
| CN109447946B (zh) | 一种架空通信光缆异常检测方法 | |
| CN114418968A (zh) | 一种基于深度学习的输电线路小目标缺陷检测方法 | |
| Luo et al. | Occluded Insulator Detection System Based on YOLOX of Multi-Scale Feature Fusion | |
| CN113763397A (zh) | 复合绝缘子故障检测方法及系统 | |
| CN113378672A (zh) | 基于改进YOLOv3的输电线缺陷多目标检测方法 | |
| CN117036457A (zh) | 一种屋顶面积的测量方法、装置、设备及存储介质 | |
| CN113793373B (zh) | 一种能见度检测方法、装置、设备及介质 | |
| CN114694042A (zh) | 一种基于改进Scaled-YOLOv4的伪装人员目标检测方法 | |
| CN107146244B (zh) | 基于pbil算法的图像配准方法 | |
| Xuan et al. | UAV transmission line inspection algorithm based on cross-scale feature fusion and attention mechanism | |
| CN117197097B (zh) | 一种基于红外图像的电力设备组件检测方法 | |
| Baifeng et al. | Research on nameplate image recognition algorithm based on R-CNN and SSD deep learning detection methods | |
| CN115719368B (zh) | 一种多目标船舶跟踪方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |