CN110232687A - 一种电力巡检图像中带销螺栓缺陷的检测方法 - Google Patents
一种电力巡检图像中带销螺栓缺陷的检测方法 Download PDFInfo
- Publication number
- CN110232687A CN110232687A CN201910541355.4A CN201910541355A CN110232687A CN 110232687 A CN110232687 A CN 110232687A CN 201910541355 A CN201910541355 A CN 201910541355A CN 110232687 A CN110232687 A CN 110232687A
- Authority
- CN
- China
- Prior art keywords
- bolt
- image
- defect
- cotter
- cotter bolt
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 60
- 230000007547 defect Effects 0.000 title claims abstract description 50
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000008569 process Effects 0.000 title claims abstract description 25
- 238000007689 inspection Methods 0.000 title claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 18
- 238000012360 testing method Methods 0.000 claims abstract description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 44
- 238000012545 processing Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 9
- 238000001228 spectrum Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 4
- 230000001629 suppression Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 238000000691 measurement method Methods 0.000 claims description 3
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 235000008331 Pinus X rigitaeda Nutrition 0.000 description 1
- 235000011613 Pinus brutia Nutrition 0.000 description 1
- 241000018646 Pinus brutia Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000012212 insulator Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/22—Cropping
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Economics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- Human Resources & Organizations (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种电力巡检图像中带销螺栓缺陷的检测方法，主要包括Faster R‑CNN模型的构建、Faster R‑CNN模型的训练、带销螺栓目标的检测以及带销螺栓的缺陷判断的步骤，解决在复杂背景中对带销螺栓目标的难准确检测问题，大大提升了带销螺栓这种小目标物体的检测精度，为进一步进行带销螺栓缺陷诊断提供基础，同时提出了基于灰度图的带销螺栓缺陷判别方法，解决了现有带销螺栓缺陷难判别问题，为电网安全运行提供基础保障。
Description
技术领域
本发明涉及图像分析技术领域，特别是一种电力巡检图像中带销螺栓缺陷的检测方法。
背景技术
保障输电线路的可靠性是能源互联网和智能电网建设的重要内容之一。螺栓是输电线路上极其重要且大量存在的紧固件，起到电力元件的连接作用；同时又是故障多发部件，其良好状态保障着电网的安全运行。其由于输电线路长期运行在户外，受各种气象环境的影响，尤其是舞动和振动，不可避免地造成螺栓的销子脱落、脱松等。
在电力系统线路的巡检中结合深度学习的方法，不仅大幅度减少了巡检中需要的运维人员数量，排除了因人的主观因素而出现的误检、漏检，还提高了工作效率，对电网状态的评估更加准确有效。目前深度学习模型在公共数据集的检测任务中具有突出的表现，其中，Faster R-CNN(Region-ConvolutionalNeuralNetwork)模型综合性能较为出色。
由于电力系统巡检图像背景极其复杂，使得Faster R-CNN模型主要用于检测目标较大的部件，比如绝缘子、杆塔等，对于带销螺栓这种细小部件的检测几乎都不成功。
发明内容
本发明的目的在于克服现有技术的不足，提供一种电力巡检图像中带销螺栓缺陷的检测方法，解决在复杂背景中对带销螺栓目标的难准确检测问题，为进一步进行带销螺栓缺陷诊断提供基础；还能对基于灰度图的带销螺栓缺陷进行判别，解决现有带销螺栓缺陷难判别问题，为电网安全运行提供基础保障。
本发明的目的是通过以下技术方案来实现的：
一种电力巡检图像中带销螺栓缺陷的检测方法，所述方法基于Faster R-CNN模型实现；具体包括以下步骤：
S1、Faster R-CNN模型的构建：
使用区域建议网络通过一个3×3的卷积核和两个并行的1×1卷积核在特征图谱上进行滑动扫描，获得得到区域建议和区域得分，并对区域得分采用非极大值抑制；FastR-CNN目标检测网络根据RPN所生成的区域建议，在每个区域建议上进行感兴趣区域池化操作，提取对应区域建议的特征，然后通过并行的两组全连接层输出该区域的分类得分以及回归后的bounding-box；
S2、Faster R-CNN模型的训练：
训练过程如下所示：
其中，Pi是第i个anchor是检测目标的预测概率；ti＝{tx,ty,tw,ty}是一个向量，表示预测的bounding-box的4个参数化坐标，ti*是正anchor对应的训练样本原始包围框的坐标向量；Ncls表示一次训练中样本的数量，Nreg表示训练过程中产生的anchor位置的数量；
Lcls(pi，pi *)表示分类损失：
Lcls(pi,pi *)＝-log[pi *pi+(1-pi *)(1-pi)]
Lreg(ti,ti*)表示回归损失:
Lreg(ti,ti *)＝R(ti-ti *)
R为smoothL1函数：
其中，x＝ti-tt *；
S3、带销螺栓目标的检测：
将待检测的图像输入到步骤S2中得到的最高迭代次数的模型文件中，然后图像经前向传播后得到螺栓的位置信息和置信度信息，输出的图像包括的螺栓目标的矩形框坐标和置信度得分；
S4、带销螺栓的缺陷判断：
通过分析螺栓和金具的视觉信息，得到带销螺栓必定附着于金具上的这种内在关联，将Faster R-CNN螺栓检测模型检测到的带销螺栓，按照检测框进行裁剪，得到带销螺栓区域。
进一步的，设定Faster R-CNN目标检测模型由区域建议网络RPN和FastR-CNN目标检测网络两部分构成。
进一步的，在步骤S1中，设定用于提取目标特征的卷积神经网络选用ImageNet上常用的图像分类网络VGG-16,产生原始图像的特征图谱，其相应的卷积层激活函数为线性修正单元函数。
进一步的，在步骤S1中，设定使用RPN通过一个3×3的卷积核和两个并行的1×1卷积核在特征图谱上进行滑动扫描，获得得到区域建议和区域得分，并对区域得分采用非极大值抑制的处理式为：
其中si为检测框及其得分，bi为待处理框，M为得分最高框，Nt为手动设定的IoU阈值；使用FastR-CNN目标检测网络根据RPN所生成的区域建议，在每个区域建议上进行感兴趣区域池化操作，提取对应区域建议的特征，然后通过并行的两组全连接层输出该区域的分类得分以及回归后的bounding-box。
进一步的，在步骤S4中，通过分析螺栓和金具的视觉信息，得到带销螺栓必定附着于金具上的这种内在关联，将Faster R-CNN螺栓检测模型检测到的带销螺栓，按照检测框进行裁剪，得到带销螺栓区域，通过提出的基于灰度图的带销螺栓缺陷判别方法，对带销螺栓是否存在缺陷进行判断的具体过程为：
S401、图像预处理：
对裁剪提取到的带销螺栓区域进行灰度化处理，为了增加目标与背景的对比度，采用多阈值分割的方法，经反复实验比较，对原始螺栓灰度图像选取合适的阈值进行分割得到较完整的销子图像；把获取到的灰度图像进行二值化处理，得到黑白图像；为排除光照影响螺栓上的销子相较于螺栓本体的光亮对比度不定，将二值化处理后的图像中的销子像素取为1，即对二值化处理后的图像中的销子像素为0的取反；
S402、销子骨架提取：
对得到的二值化图像使用基于最大圆盘的骨架提取算法，提取目标的中心像素轮廓，作为目标骨架；
S403、曲率测量方法：
使用迭代适应点算法，将曲线近似表示为一系列点，对每一条曲线的首末两点虚连一条直线，求其间所有点到直线的垂直距离，并找到最大距离值dmax；求出dmax对应的曲线上点O的半径，用圆弧来等效代替销子骨架，得到曲线的方程，利用曲率求解公式得到曲率K；
S404、缺陷判断依据：
对等效圆弧进行曲率计算，平面曲线的曲率：
其中，y为曲线的直接坐标方程；由于K越大，曲线弯曲得愈厉害，则在开口销视觉系中，将开口销分叉程度定义为开口销曲率最小值Kmin和阈值曲率K0。
进一步的，在步骤S404中，设定当两端均Kmin≥K0时，即判断开口销分叉程度不符合要求，螺栓为缺陷螺栓；当两端中存在一端Kmin＜K0时，即可判断开口销分叉程度符合要求，螺栓不是缺陷螺栓。
本发明的有益效果是：
本发明解决在复杂背景中对带销螺栓目标的难准确检测问题，大大提升了带销螺栓这种小目标物体的检测精度，为进一步进行带销螺栓缺陷诊断提供基础；同时提出了基于灰度图的带销螺栓缺陷判别方法，解决了现有带销螺栓缺陷难判别问题，为电网安全运行提供基础保障。
附图说明
图1为本发明的电力巡检图像中带销螺栓缺陷的检测方法的流程图；
图2为本发明Faster R-CNN螺栓检测模型得到的螺栓目标检测结果图；
图3为本发明螺栓开口销状态判断流程图；
图4为本发明带销螺栓二值图像骨干提取后得到的样例图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
在阐述本申请详细技术内容之前，对本申请的专有名词进行说明，以便于理解。
RPN：区域建议网络；CNN：卷积神经网络；RCNN：区域卷积神经网络；Faster R-CNN：深度网络生成模型；ImageNet：供图像/视觉训练的图片库；VGG-16：卷积神经网络结构；bounding-box：卷积网络的边界框。
实施例1：
本实施例提供一种电力巡检图像中带销螺栓缺陷的检测方法，请参阅附图1所示，所述方法基于Faster R-CNN模型实现；具体包括以下步骤：
S1、Faster R-CNN模型的构建：
使用区域建议网络通过一个3×3的卷积核和两个并行的1×1卷积核在特征图谱上进行滑动扫描，获得得到区域建议和区域得分，并对区域得分采用非极大值抑制；FastR-CNN目标检测网络根据RPN所生成的区域建议，在每个区域建议上进行感兴趣区域池化操作，提取对应区域建议的特征，然后通过并行的两组全连接层输出该区域的分类得分以及回归后的bounding-box；
S2、Faster R-CNN模型的训练：
训练过程如下所示：
其中，Pi是第i个anchor是检测目标的预测概率；ti＝{tx,ty,tw,ty}是一个向量，表示预测的bounding-box的4个参数化坐标，ti*是正anchor对应的训练样本原始包围框的坐标向量；Ncls表示一次训练中样本的数量，Nreg表示训练过程中产生的anchor位置的数量；
Lcls(pi，pi *)表示分类损失：
Lcls(pi,pi *)＝-log[pi *pi+(1-pi *)(1-pi)]
Lreg(ti,ti*)表示回归损失:
Lreg(ti,ti *)＝R(ti-ti *)
R为smoothL1函数：
其中，x＝ti-tt *；
S3、带销螺栓目标的检测：
将待检测的图像输入到步骤S2中得到的最高迭代次数的模型文件中，然后图像经前向传播后得到螺栓的位置信息和置信度信息，输出的图像包括的螺栓目标的矩形框坐标和置信度得分；
S4、带销螺栓的缺陷判断：
通过分析螺栓和金具的视觉信息，得到带销螺栓必定附着于金具上的这种内在关联，将Faster R-CNN螺栓检测模型检测到的带销螺栓，按照检测框进行裁剪，得到带销螺栓区域，通过提出的基于灰度图的带销螺栓缺陷判别方法，对带销螺栓是否存在缺陷进行判断。
进一步的，设定Faster R-CNN目标检测模型由区域建议网络RPN和FastR-CNN目标检测网络两部分构成。
进一步的，在步骤S1中，设定用于提取目标特征的卷积神经网络选用ImageNet上常用的图像分类网络VGG-16,产生原始图像的特征图谱，其相应的卷积层激活函数为线性修正单元函数。
进一步的，在步骤S1中，设定使用RPN通过一个3×3的卷积核和两个并行的1×1卷积核在特征图谱上进行滑动扫描，获得得到区域建议和区域得分，并对区域得分采用非极大值抑制的处理式为：
其中si为检测框及其得分，bi为待处理框，M为得分最高框，Nt为手动设定的IoU阈值；使用FastR-CNN目标检测网络根据RPN所生成的区域建议，在每个区域建议上进行感兴趣区域池化操作，提取对应区域建议的特征，然后通过并行的两组全连接层输出该区域的分类得分以及回归后的bounding-box。
本实施例主要包括Faster R-CNN模型的构建、Faster R-CNN模型的训练、带销螺栓目标的检测以及带销螺栓的缺陷判断的步骤，解决在复杂背景中对带销螺栓目标的难准确检测问题，大大提升了带销螺栓这种小目标物体的检测精度，为进一步进行带销螺栓缺陷诊断提供基础。
实施例2：
本实施例在实施例1的基础上，使用预训练好的Faster R-CNN目标检测模型对图像进行处理，其中用于提取目标特征的卷积神经网络选用VGG-16，结果如图2所示。
带销螺栓图像处理过程及螺栓开口销缺陷判别方法的流程可用图3表示。
具体判别方法为：通过分析螺栓和金具的视觉信息，得到带销螺栓必定附着于金具上的这种内在关联，将Faster R-CNN螺栓检测模型检测到的带销螺栓，按照检测框进行裁剪，得到带销螺栓区域，通过提出的基于灰度图的带销螺栓缺陷判别方法，对带销螺栓是否存在缺陷进行判断的具体过程为：
S401、图像预处理：
对裁剪提取到的带销螺栓区域进行灰度化处理，为了增加目标与背景的对比度，采用多阈值分割的方法，经反复实验比较，对原始螺栓灰度图像选取合适的阈值进行分割得到较完整的销子图像；把获取到的灰度图像进行二值化处理，得到黑白图像；为排除光照影响螺栓上的销子相较于螺栓本体的光亮对比度不定，将二值化处理后的图像中的销子像素取为1，即对二值化处理后的图像中的销子像素为0的取反；
S402、销子骨架提取：
对得到的二值化图像使用基于最大圆盘的骨架提取算法，提取目标的中心像素轮廓，作为目标骨架；
S403、曲率测量方法：
使用迭代适应点算法，将曲线近似表示为一系列点，对每一条曲线的首末两点虚连一条直线，求其间所有点到直线的垂直距离，并找到最大距离值dmax；求出dmax对应的曲线上点O的半径，用圆弧来等效代替销子骨架，得到曲线的方程，利用曲率求解公式得到曲率K；
S404、缺陷判断依据：
对等效圆弧进行曲率计算，平面曲线的曲率：
其中，y为曲线的直接坐标方程；由于K越大，曲线弯曲得愈厉害，则在开口销视觉系中，将开口销分叉程度定义为开口销曲率最小值Kmin和阈值曲率K0。
进一步的，在步骤S404中，设定当两端均Kmin≥K0时，即判断开口销分叉程度不符合要求，螺栓为缺陷螺栓；当两端中存在一端Kmin＜K0时，即可判断开口销分叉程度符合要求，螺栓不是缺陷螺栓。
将Faster R-CNN螺栓检测模型检测到的检测框进行裁剪，进行图像灰度化处理，采用多阈值分割的方法，对图像进行区域划分，再将图像进行二值化处理，由于图像中销子属于高亮部分，所以并无像素取反操作，将得到的二值化图像进行骨架提取操作，结果如图4所示。
本实施例解决在复杂背景中对带销螺栓目标的难准确检测问题，大大提升了带销螺栓这种小目标物体的检测精度，为进一步进行带销螺栓缺陷诊断提供基础；同时提出了基于灰度图的带销螺栓缺陷判别方法，解决了现有带销螺栓缺陷难判别问题，为电网安全运行提供基础保障。
以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
Claims (6)
1.一种电力巡检图像中带销螺栓缺陷的检测方法，其特征在于，所述方法基于FasterR-CNN模型实现；具体包括以下步骤：
S1、Faster R-CNN模型的构建：
使用区域建议网络通过一个3×3的卷积核和两个并行的1×1卷积核在特征图谱上进行滑动扫描，获得得到区域建议和区域得分，并对区域得分采用非极大值抑制；FastR-CNN目标检测网络根据RPN所生成的区域建议，在每个区域建议上进行感兴趣区域池化操作，提取对应区域建议的特征，然后通过并行的两组全连接层输出该区域的分类得分以及回归后的bounding-box；
S2、Faster R-CNN模型的训练：
训练过程如下所示：
其中，Pi是第i个anchor是检测目标的预测概率；ti＝{tx,ty,tw,ty}是一个向量，表示预测的bounding-box的4个参数化坐标，ti*是正anchor对应的训练样本原始包围框的坐标向量；Ncls表示一次训练中样本的数量，Nreg表示训练过程中产生的anchor位置的数量；Lcls(pi,pi *)表示分类损失：
Lcls(pi,pi *)＝-log[pi *pi+(1-pi *)(1-pi)]
Lreg(ti,ti*)表示回归损失:
Lreg(ti,ti *)＝R(ti-ti *)
R为smoothL1函数：
其中，x＝ti-tt *；
S3、带销螺栓目标的检测：
将待检测的图像输入到步骤S2中得到的最高迭代次数的模型文件中，然后图像经前向传播后得到螺栓的位置信息和置信度信息，输出的图像包括的螺栓目标的矩形框坐标和置信度得分；
S4、带销螺栓的缺陷判断：
通过分析螺栓和金具的视觉信息，得到带销螺栓必定附着于金具上的这种内在关联，将Faster R-CNN螺栓检测模型检测到的带销螺栓，按照检测框进行裁剪，得到带销螺栓区域，通过提出的基于灰度图的带销螺栓缺陷判别方法，对带销螺栓是否存在缺陷进行判断。
2.根据权利要求1所述一种电力巡检图像中带销螺栓缺陷的检测方法，其特征在于，在步骤S1中，设定Faster R-CNN目标检测模型由区域建议网络RPN和FastR-CNN目标检测网络两部分构成。
3.根据权利要求1所述一种电力巡检图像中带销螺栓缺陷的检测方法，其特征在于，在步骤S1中，设定用于提取目标特征的卷积神经网络选用ImageNet上常用的图像分类网络VGG-16,产生原始图像的特征图谱，其相应的卷积层激活函数为线性修正单元函数。
4.根据权利要求1所述一种电力巡检图像中带销螺栓缺陷的检测方法，其特征在于，在步骤S1中，设定使用RPN通过一个3×3的卷积核和两个并行的1×1卷积核在特征图谱上进行滑动扫描，获得得到区域建议和区域得分，并对区域得分采用非极大值抑制的处理式为：
其中si为检测框及其得分，bi为待处理框，M为得分最高框，Nt为手动设定的IoU阈值；使用FastR-CNN目标检测网络根据RPN所生成的区域建议，在每个区域建议上进行感兴趣区域池化操作，提取对应区域建议的特征，然后通过并行的两组全连接层输出该区域的分类得分以及回归后的bounding-box。
5.根据权利要求1所述一种电力巡检图像中带销螺栓缺陷的检测方法，其特征在于，在步骤S4中，通过分析螺栓和金具的视觉信息，得到带销螺栓必定附着于金具上的这种内在关联，将Faster R-CNN螺栓检测模型检测到的带销螺栓，按照检测框进行裁剪，得到带销螺栓区域，通过提出的基于灰度图的带销螺栓缺陷判别方法，对带销螺栓是否存在缺陷进行判断的具体过程为：
S401、图像预处理：
对裁剪提取到的带销螺栓区域进行灰度化处理，为了增加目标与背景的对比度，采用多阈值分割的方法，经反复实验比较，对原始螺栓灰度图像选取合适的阈值进行分割得到较完整的销子图像；把获取到的灰度图像进行二值化处理，得到黑白图像；为排除光照影响螺栓上的销子相较于螺栓本体的光亮对比度不定，将二值化处理后的图像中的销子像素取为1，即对二值化处理后的图像中的销子像素为0的取反；
S402、销子骨架提取：
对得到的二值化图像使用基于最大圆盘的骨架提取算法，提取目标的中心像素轮廓，作为目标骨架；
S403、曲率测量方法：
使用迭代适应点算法，将曲线近似表示为一系列点，对每一条曲线的首末两点虚连一条直线，求其间所有点到直线的垂直距离，并找到最大距离值dmax；求出dmax对应的曲线上点O的半径，用圆弧来等效代替销子骨架，得到曲线的方程，利用曲率求解公式得到曲率K；
S404、缺陷判断依据：
对等效圆弧进行曲率计算，平面曲线的曲率：
其中，y为曲线的直接坐标方程；由于K越大，曲线弯曲得愈厉害，则在开口销视觉系中，将开口销分叉程度定义为开口销曲率最小值Kmin和阈值曲率K0。
6.根据权利要求5所述一种电力巡检图像中带销螺栓缺陷的检测方法，其特征在于，在步骤S404中，设定当两端均Kmin≥K0时，即判断开口销分叉程度不符合要求，螺栓为缺陷螺栓；当两端中存在一端Kmin＜K0时，即可判断开口销分叉程度符合要求，螺栓不是缺陷螺栓。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910541355.4A CN110232687B (zh) | 2019-06-21 | 2019-06-21 | 一种电力巡检图像中带销螺栓缺陷的检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910541355.4A CN110232687B (zh) | 2019-06-21 | 2019-06-21 | 一种电力巡检图像中带销螺栓缺陷的检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110232687A true CN110232687A (zh) | 2019-09-13 |
| CN110232687B CN110232687B (zh) | 2022-04-12 |
Family
ID=67856989
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910541355.4A Active CN110232687B (zh) | 2019-06-21 | 2019-06-21 | 一种电力巡检图像中带销螺栓缺陷的检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110232687B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110827251A (zh) * | 2019-10-30 | 2020-02-21 | 江苏方天电力技术有限公司 | 一种基于航拍图像的输电线路锁紧销缺陷检测方法 |
| CN110910360A (zh) * | 2019-11-14 | 2020-03-24 | 腾讯云计算（北京）有限责任公司 | 电网图像的定位方法和图像定位模型的训练方法 |
| CN111459178A (zh) * | 2020-04-30 | 2020-07-28 | 广东电网有限责任公司 | 一种自动激光消缺的5g智能巡视系统 |
| CN111598013A (zh) * | 2020-05-19 | 2020-08-28 | 广东电网有限责任公司 | 一种螺母-销钉状态的识别方法及相关装置 |
| CN111798447A (zh) * | 2020-07-18 | 2020-10-20 | 太原理工大学 | 一种基于Faster RCNN的深度学习塑化材料缺陷检测方法 |
| CN111815623A (zh) * | 2020-07-28 | 2020-10-23 | 南方电网数字电网研究院有限公司 | 输电线路开口销缺失识别方法 |
| CN111898575A (zh) * | 2020-08-06 | 2020-11-06 | 华北电力大学（保定） | 一种基于Faster R-CNN检测器的栓母对自动组合方法 |
| CN112233071A (zh) * | 2020-09-28 | 2021-01-15 | 国网浙江省电力有限公司杭州供电公司 | 基于复杂环境下输电网图片的多粒度隐患检测方法及系统 |
| CN112364754A (zh) * | 2020-11-09 | 2021-02-12 | 云南电网有限责任公司迪庆供电局 | 螺栓缺陷检测方法及系统 |
| CN112733742A (zh) * | 2021-01-14 | 2021-04-30 | 哈尔滨市科佳通用机电股份有限公司 | 一种基于深度学习的铁路货车下拉杆圆销故障检测方法 |
| CN113627378A (zh) * | 2021-08-19 | 2021-11-09 | 国网上海市电力公司 | 一种基于Phash算法结合深度学习的线路螺栓缺陷识别方法 |
| WO2021232613A1 (zh) * | 2020-05-22 | 2021-11-25 | 五邑大学 | 酒瓶表面缺陷检测方法、电子装置及存储介质 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040113625A1 (en) * | 2002-08-29 | 2004-06-17 | Pagano Dominick A. | Method and system for analysis of ultrasonic reflections in real time |
| CN102298746A (zh) * | 2010-06-25 | 2011-12-28 | 上海九钻电子商务有限公司 | 基于图像处理及图形学技术的戒指在线试戴系统实现方法 |
| CN204591286U (zh) * | 2015-04-27 | 2015-08-26 | 浙江大学城市学院 | 一种小曲率半径隧道盾构推进轴线控制机构 |
| CN106326894A (zh) * | 2016-08-31 | 2017-01-11 | 西南交通大学 | 一种高铁接触网旋转双耳横向销钉不良状态检测方法 |
| CN106372291A (zh) * | 2016-08-29 | 2017-02-01 | 西北工业大学 | 一种公差约束下的叶片余量优化模型建立及求解方法 |
| CN107271263A (zh) * | 2015-09-21 | 2017-10-20 | 张志雄 | 螺纹锁销橡胶压板铜基合金蜗轮台板检测玻璃装置 |
| US20180005372A1 (en) * | 2016-06-30 | 2018-01-04 | Shanghai United Imaging Healthcare Co., Ltd. | Methods and systems for detecting a centerline of a vessel |
| CN107609563A (zh) * | 2017-09-15 | 2018-01-19 | 成都澳海川科技有限公司 | 图片语义描述方法及装置 |
| CN107798326A (zh) * | 2017-10-20 | 2018-03-13 | 华南理工大学 | 一种轮廓视觉检测算法 |
| CN108052940A (zh) * | 2017-12-17 | 2018-05-18 | 南京理工大学 | 基于深度学习的sar遥感图像水面目标检测方法 |
| CN108509839A (zh) * | 2018-02-02 | 2018-09-07 | 东华大学 | 一种基于区域卷积神经网络高效的手势检测识别方法 |
| CN109255776A (zh) * | 2018-07-23 | 2019-01-22 | 中国电力科学研究院有限公司 | 一种输电线路开口销缺损自动识别方法 |
| CN109886947A (zh) * | 2019-02-19 | 2019-06-14 | 浙江理工大学 | 基于区域的卷积神经网络的高压电线缺陷检测方法 |
-
2019
- 2019-06-21 CN CN201910541355.4A patent/CN110232687B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040113625A1 (en) * | 2002-08-29 | 2004-06-17 | Pagano Dominick A. | Method and system for analysis of ultrasonic reflections in real time |
| CN102298746A (zh) * | 2010-06-25 | 2011-12-28 | 上海九钻电子商务有限公司 | 基于图像处理及图形学技术的戒指在线试戴系统实现方法 |
| CN204591286U (zh) * | 2015-04-27 | 2015-08-26 | 浙江大学城市学院 | 一种小曲率半径隧道盾构推进轴线控制机构 |
| CN107271263A (zh) * | 2015-09-21 | 2017-10-20 | 张志雄 | 螺纹锁销橡胶压板铜基合金蜗轮台板检测玻璃装置 |
| US20180005372A1 (en) * | 2016-06-30 | 2018-01-04 | Shanghai United Imaging Healthcare Co., Ltd. | Methods and systems for detecting a centerline of a vessel |
| CN106372291A (zh) * | 2016-08-29 | 2017-02-01 | 西北工业大学 | 一种公差约束下的叶片余量优化模型建立及求解方法 |
| CN106326894A (zh) * | 2016-08-31 | 2017-01-11 | 西南交通大学 | 一种高铁接触网旋转双耳横向销钉不良状态检测方法 |
| CN107609563A (zh) * | 2017-09-15 | 2018-01-19 | 成都澳海川科技有限公司 | 图片语义描述方法及装置 |
| CN107798326A (zh) * | 2017-10-20 | 2018-03-13 | 华南理工大学 | 一种轮廓视觉检测算法 |
| CN108052940A (zh) * | 2017-12-17 | 2018-05-18 | 南京理工大学 | 基于深度学习的sar遥感图像水面目标检测方法 |
| CN108509839A (zh) * | 2018-02-02 | 2018-09-07 | 东华大学 | 一种基于区域卷积神经网络高效的手势检测识别方法 |
| CN109255776A (zh) * | 2018-07-23 | 2019-01-22 | 中国电力科学研究院有限公司 | 一种输电线路开口销缺损自动识别方法 |
| CN109886947A (zh) * | 2019-02-19 | 2019-06-14 | 浙江理工大学 | 基于区域的卷积神经网络的高压电线缺陷检测方法 |
Non-Patent Citations (7)
| Title |
|---|
| OZAN ERSOY等: "Skeleton-based edge bundling for graph visualization", 《IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS》 * |
| ZHENBING ZHAO等: "Insulator Detection Method in Inspection Image Based on Improved Faster R-CNN", 《ENERGIES》 * |
| 周卫林: "基于深度分层特征的激光视觉焊缝检测与跟踪系统的研究", 《中国优秀硕士学位论文全文数据库 (工程科技Ⅰ辑)》 * |
| 张建伟等: "基于形态学的硬币镜面区域缺陷检测算法研究", 《成都大学学报（自然科学版）》 * |
| 林丽华等: "面向RP的CT图象反求技术", 《计算机辅助设计与制造》 * |
| 许庆勇: "《基于深度学习理论的纹身图像识别与检测研究》", 31 December 2018, 《华中科技大学出版社》 * |
| 赵振兵等: "基于改进的R-FCN航拍巡线图像中的绝缘子检测方法", 《计算机科学》 * |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110827251B (zh) * | 2019-10-30 | 2023-03-28 | 江苏方天电力技术有限公司 | 一种基于航拍图像的输电线路锁紧销缺陷检测方法 |
| CN110827251A (zh) * | 2019-10-30 | 2020-02-21 | 江苏方天电力技术有限公司 | 一种基于航拍图像的输电线路锁紧销缺陷检测方法 |
| CN110910360A (zh) * | 2019-11-14 | 2020-03-24 | 腾讯云计算（北京）有限责任公司 | 电网图像的定位方法和图像定位模型的训练方法 |
| CN111459178A (zh) * | 2020-04-30 | 2020-07-28 | 广东电网有限责任公司 | 一种自动激光消缺的5g智能巡视系统 |
| CN111598013A (zh) * | 2020-05-19 | 2020-08-28 | 广东电网有限责任公司 | 一种螺母-销钉状态的识别方法及相关装置 |
| WO2021232613A1 (zh) * | 2020-05-22 | 2021-11-25 | 五邑大学 | 酒瓶表面缺陷检测方法、电子装置及存储介质 |
| CN111798447A (zh) * | 2020-07-18 | 2020-10-20 | 太原理工大学 | 一种基于Faster RCNN的深度学习塑化材料缺陷检测方法 |
| CN111798447B (zh) * | 2020-07-18 | 2023-03-10 | 太原理工大学 | 一种基于Faster RCNN的深度学习塑化材料缺陷检测方法 |
| CN111815623A (zh) * | 2020-07-28 | 2020-10-23 | 南方电网数字电网研究院有限公司 | 输电线路开口销缺失识别方法 |
| CN111815623B (zh) * | 2020-07-28 | 2024-02-23 | 南方电网数字电网研究院有限公司 | 输电线路开口销缺失识别方法 |
| CN111898575B (zh) * | 2020-08-06 | 2022-09-02 | 华北电力大学（保定） | 一种基于Faster R-CNN检测器的栓母对自动组合方法 |
| CN111898575A (zh) * | 2020-08-06 | 2020-11-06 | 华北电力大学（保定） | 一种基于Faster R-CNN检测器的栓母对自动组合方法 |
| CN112233071A (zh) * | 2020-09-28 | 2021-01-15 | 国网浙江省电力有限公司杭州供电公司 | 基于复杂环境下输电网图片的多粒度隐患检测方法及系统 |
| CN112364754A (zh) * | 2020-11-09 | 2021-02-12 | 云南电网有限责任公司迪庆供电局 | 螺栓缺陷检测方法及系统 |
| CN112364754B (zh) * | 2020-11-09 | 2024-05-14 | 云南电网有限责任公司迪庆供电局 | 螺栓缺陷检测方法及系统 |
| CN112733742A (zh) * | 2021-01-14 | 2021-04-30 | 哈尔滨市科佳通用机电股份有限公司 | 一种基于深度学习的铁路货车下拉杆圆销故障检测方法 |
| CN113627378A (zh) * | 2021-08-19 | 2021-11-09 | 国网上海市电力公司 | 一种基于Phash算法结合深度学习的线路螺栓缺陷识别方法 |
| CN113627378B (zh) * | 2021-08-19 | 2024-07-02 | 国网上海市电力公司 | 一种基于Phash算法结合深度学习的线路螺栓缺陷识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110232687B (zh) | 2022-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110232687A (zh) | 一种电力巡检图像中带销螺栓缺陷的检测方法 | |
| Zhang et al. | SOD‐YOLO: a small target defect detection algorithm for wind turbine blades based on improved YOLOv5 | |
| CN113569667B (zh) | 基于轻量级神经网络模型的内河船舶目标识别方法及系统 | |
| CN105095856B (zh) | 基于掩模的有遮挡人脸识别方法 | |
| CN110909690B (zh) | 一种基于区域生成的遮挡人脸图像检测方法 | |
| CN111179262B (zh) | 一种结合形状属性的电力巡检图像金具检测方法 | |
| US11556732B2 (en) | Method for extracting rivet points in large scale three-dimensional point cloud base on deep learning | |
| WO2022105521A1 (zh) | 弯曲文本图像的文字识别方法、装置及计算机设备 | |
| CN111080615B (zh) | 基于卷积神经网络的pcb缺陷检测系统及检测方法 | |
| CN112989995B (zh) | 文本检测方法、装置及电子设备 | |
| CN113837994B (zh) | 一种基于边缘检测卷积神经网络的光伏板缺陷诊断方法 | |
| CN116206112A (zh) | 基于多尺度特征融合和sam的遥感图像语义分割方法 | |
| CN117911350A (zh) | 一种基于改进YOLOv7-tiny的PCB表面缺陷检测方法 | |
| CN117292313A (zh) | 一种基于改进YOLOv7模型的小目标漂浮垃圾检测方法 | |
| CN118351380A (zh) | 基于多模态数据融合框架的天气检测方法 | |
| CN110135400A (zh) | 一种基于度量学习的餐饮场景违规识别方法 | |
| Tian et al. | Detection of early bruises on apples using near‐infrared camera imaging technology combined with adaptive threshold segmentation algorithm | |
| Zhang et al. | A machine vision-based character recognition system for suspension insulator iron caps | |
| CN111310899B (zh) | 基于共生关系和小样本学习的电力缺陷识别方法 | |
| CN110910352A (zh) | 基于深度学习的太阳能电池缺陷检测系统及检测方法 | |
| CN114372502A (zh) | 一种角度自适应的椭圆模板目标检测器 | |
| CN114067159A (zh) | 一种基于eus的粘膜下肿瘤细粒度分类方法 | |
| CN112581467A (zh) | 一种基于疑似危险品评价的智能安检方法 | |
| Kashevnik et al. | AI-Based Method for Frame Detection in Engineering Drawings | |
| An et al. | Few-shot Catenary Pipe Cap Defect Detection Based on WGAN-GP and Cascading Network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zhao Zhenbing Inventor after: Nie Liqiang Inventor after: Zhang Wanzheng Inventor after: Xiong Jianping Inventor after: Luo Wang Inventor after: Zhao Yanqing Inventor after: Zhen Zhen Inventor after: Qi Yincheng Inventor after: Zhai Yongjie Inventor before: Zhao Zhenbing Inventor before: Zhen Zhen Inventor before: Qi Yincheng Inventor before: Zhai Yongjie |
|
| CB03 | Change of inventor or designer information | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220218 Address after: 071003 Hebei province Baoding Yonghua No. 619 North Street Applicant after: NORTH CHINA ELECTRIC POWER University (BAODING) Applicant after: SHANDONG University Applicant after: Zhiyang Innovation Technology Co.,Ltd. Applicant after: ZHEJIANG DAHUA TECHNOLOGY Co.,Ltd. Applicant after: NARI Group Corp. Address before: 071003 Hebei province Baoding Yonghua No. 619 North Street Applicant before: NORTH CHINA ELECTRIC POWER University (BAODING) |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |