CN111612761A - 基于绝缘瓷瓶的破损检测方法 - Google Patents
基于绝缘瓷瓶的破损检测方法 Download PDFInfo
- Publication number
- CN111612761A CN111612761A CN202010430547.0A CN202010430547A CN111612761A CN 111612761 A CN111612761 A CN 111612761A CN 202010430547 A CN202010430547 A CN 202010430547A CN 111612761 A CN111612761 A CN 111612761A
- Authority
- CN
- China
- Prior art keywords
- insulating porcelain
- contour
- area
- insulator
- fitting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 229910052573 porcelain Inorganic materials 0.000 title claims abstract description 105
- 239000012212 insulator Substances 0.000 title claims abstract description 100
- 238000001514 detection method Methods 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 claims abstract description 65
- 238000001914 filtration Methods 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims description 17
- 230000011218 segmentation Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 10
- 238000010801 machine learning Methods 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Insulators (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于绝缘瓷瓶的破损检测方法，包括：步骤1，选取无人机拍摄的1500张图像作为原始图像，通过YoLoV3定位原始图像中的绝缘瓷瓶，将定位的绝缘瓷瓶从原始图像中分割出来，得到绝缘瓷瓶图像；步骤2，利用DeepLabV3提取出绝缘瓷瓶图像中的绝缘瓷瓶的轮廓；步骤3，对提取出的绝缘瓷瓶的轮廓进行中值滤波和二值化的预处理，找到同一绝缘瓷瓶图像中的最大轮廓，并计算最大轮廓的面积与hu矩。本发明能够对不同角度拍摄的绝缘瓷瓶的图像进行准确的破损检测，且多角度拍摄能够更准确地判断绝缘瓷瓶的破损情况，对无人机拍摄的要求不高，提高了对绝缘瓷瓶的破损检测准确率，有效的解决了由于DeepLabV3轮廓提取引起的误差，具有很高的应用价值。
Description
技术领域
本发明涉及图像识别技术领域，特别涉及一种基于绝缘瓷瓶的破损检测方法。
背景技术
目前基于深度学习的目标检测越来越火，其准确度很高，越来越多人采用YoLoV3实现目标检测，YoLoV3基于darknet框架，该框架采用纯c语言，不依赖来其他第三方库，相对于caffe框架在易用性对开发者友好。
Google团队提出的DeepLabV3系列是图像语义分割方便应用较广的模型，而其最新提出的DeepLabV3架构，主要以DeepLabV3做encoder架构，decoder采用一个简单却有效的模块，并探索了改进的Xception和深度分离卷积在模型中的应用，进一步提升模型在语义分割任务上的性能，使图像语义分割达到一个全新的水平。
通过绝缘瓷瓶的轮廓进行破损检测最传统的方法就是利用轮廓面积与其最小外接圆或最小外接矩形的比值来判断，这种方法对瓷瓶的拍摄角度要求很高，最好是在瓷瓶的正上方拍摄，目前针对铁路电力线绝缘子的破损检测绝大多数都是针对绝缘子串，这方面的技术相对成熟，而对于应用也比较广泛的绝缘瓷瓶相关的破损检测技术没有大的突破。
发明内容
本发明提供了一种基于绝缘瓷瓶的破损检测方法，其目的是为了解决传统的绝缘瓷瓶的检测方法对绝缘瓷瓶的拍摄角度要求高，检测准确率不高的问题。
为了达到上述目的，本发明的实施例提供了一种基于绝缘瓷瓶的破损检测方法，包括：
步骤1，选取无人机拍摄的1500张图像作为原始图像，通过YoLoV3定位原始图像中的绝缘瓷瓶，将定位的绝缘瓷瓶从原始图像中分割出来，得到绝缘瓷瓶图像；
步骤2，利用DeepLabV3提取出绝缘瓷瓶图像中的绝缘瓷瓶的轮廓；
步骤3，对提取出的绝缘瓷瓶的轮廓进行中值滤波和二值化的预处理，找到同一绝缘瓷瓶图像中的最大轮廓，并计算最大轮廓的面积与hu矩；
步骤4，分别使用拟合椭圆方法和拟合圆方法拟合最大轮廓，并判断绝缘瓷瓶是否破损。
其中，所述步骤1具体包括：
选取1500张无人机航拍的图像作为训练集的原始图像，采用YoLoV3全监督机器学习方式，在进行数据训练前使用LabelImg图像标注工具对1500张原始图像中的绝缘瓷瓶进行标注，存储对应的包含绝缘瓷瓶位置的坐标信息，获取YoLoV3项目工程，修改并配置相关文件，使用GPU训练数据集，使用训练得到的结果文件定位绝缘瓷瓶，将根据定位得到的绝缘瓷瓶的坐标数据从原始图像中分割得到绝缘瓷瓶图像。
其中，所述步骤2具体包括：
采用基于DeepLabV3的语义分割模型实现绝缘瓷瓶的轮廓提取，通过对检测图形每个像素点进行识别分类提取实现图像语义分割，再将相同目标物的像素点汇聚得到目标轮廓，在DeepLabV3中，使用空间金字塔模块和encoder-decoder结构做语义分割，空间金字塔模块通过在不同分辨率上以池化操作捕获丰富的上下文信息，encoder-decoder架构用于逐渐的获得清晰的物体边界，利用VOC2012框架制作数据集，将数据集转换为tfrecord格式，并对相应的程序进行修改，实现训练前的预处理，训练模型的权重文件，最后进行测试。
其中，所述步骤3具体包括：
对利用DeepLabV3提取出的绝缘瓷瓶的轮廓进行中值滤波和二值化的预处理，通过轮廓面积比较法，寻找出同一绝缘瓷瓶图像中具有最大面积的轮廓。
其中，所述步骤4具体包括：
通过拟合椭圆方法拟合最大轮廓，求得拟合椭圆与最大轮廓的hu矩的匹配程度，通过拟合椭圆与最大轮廓的hu矩的匹配程度判断绝缘瓷瓶是否破损；通过拟合圆方法拟合最大轮廓，求得拟合圆面积和拟合圆面积与最大轮廓面积的重合面积，通过拟合圆面积与最大轮廓面积之比和拟合圆面积和最大轮廓面积的重合面积与拟合圆面积之比，判断绝缘瓷瓶是否破损。
本发明的上述方案有如下的有益效果：
本发明的上述实施例所述的基于绝缘瓷瓶的破损检测方法，能够对不同角度拍摄的绝缘瓷瓶的图像进行准确的破损检测，且多角度拍摄能够更准确地判断绝缘瓷瓶的破损情况，对拍摄的要求不高，提高了检测准确率，解决了由于DeepLabV3轮廓提取引起的误差，具有很高的应用价值。
附图说明
图1为本发明的流程图；
图2为本发明提取的轮廓示意图(1)；
图3为本发明遍历边缘二值图中的所有非零像素点，沿着梯度方向画线的示意图；
图4为本发明的图像处理过程示意图(1)；
图5为本发明的图像处理过程示意图(2)；
图6为本发明的图像处理过程示意图(3)；
图7为本发明的图像处理过程示意图(4)；
图8为本发明采用不同判断方法应用于绝缘瓷瓶的示意图(1)；
图9为本发明采用不同判断方法应用于绝缘瓷瓶的示意图(2)；
图10为本发明采用不同判断方法应用于绝缘瓷瓶的示意图(3)。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明针对现有的绝缘瓷瓶的检测方法对绝缘瓷瓶的拍摄角度要求高，检测准确率不高的问题，提供了一种基于绝缘瓷瓶的破损检测方法。
如图1至图10所示，本发明的实施例提供了一种基于绝缘瓷瓶的破损检测方法，包括：步骤1，选取无人机拍摄的1500张图像作为原始图像，通过YoLoV3定位原始图像中的绝缘瓷瓶，将定位的绝缘瓷瓶从原始图像中分割出来，得到绝缘瓷瓶图像；步骤2，利用DeepLabV3提取出绝缘瓷瓶图像中的绝缘瓷瓶的轮廓；步骤3，对提取出的绝缘瓷瓶的轮廓进行中值滤波和二值化的预处理，找到同一绝缘瓷瓶图像中的最大轮廓，并计算最大轮廓的面积与hu矩；步骤4，分别使用拟合椭圆方法和拟合圆方法拟合最大轮廓，并判断绝缘瓷瓶是否破损。
本发明的上述实施例所述的基于绝缘瓷瓶的破损检测方法，首先利用YoLoV3训练得到的结果文件定位拍摄图像中的绝缘瓷瓶，运行程序将绝缘瓷瓶分割出来，将分割出来的绝缘瓷瓶图像利用DeepLabV3模型训练的数据集来实现绝缘瓷瓶的轮廓的提取，为了更好的判断绝缘瓷瓶是否受损，对DeepLabV3提取的绝缘瓷瓶的轮廓使用中值滤波，并使用threshold，将原始图像二值化；使用findContours提取图像轮廓；在DeepLabV3提取轮廓中，对于有的图像可能会识别出多个轮廓，如图2，实际的绝缘瓷瓶轮廓为图像中大的部分，因此通过轮廓面积比较法，寻找出具有最大面积的轮廓，分别使用拟合椭圆方法和拟合圆方法拟合最大面积的轮廓，并判断绝缘瓷瓶是否破损。
其中，所述步骤1具体包括：选取1500张无人机航拍的图像作为训练集的原始图像，采用YoLoV3全监督机器学习方式，在进行数据训练前使用LabelImg图像标注工具对1500张原始图像中的绝缘瓷瓶进行标注，存储对应的包含绝缘瓷瓶位置的坐标信息，获取YoLoV3项目工程，修改并配置相关文件，使用GPU训练数据集，使用训练得到的结果文件定位绝缘瓷瓶，将根据定位得到的绝缘瓷瓶的坐标数据从原始图像中分割得到绝缘瓷瓶图像。
其中，所述步骤2具体包括：采用基于DeepLabV3的语义分割模型实现绝缘瓷瓶的轮廓提取，通过对检测图形每个像素点进行识别分类提取实现图像语义分割，再将相同目标物的像素点汇聚得到目标轮廓，在DeepLabV3中，使用空间金字塔模块和encoder-decoder结构做语义分割，空间金字塔模块通过在不同分辨率上以池化操作捕获丰富的上下文信息，encoder-decoder架构用于逐渐的获得清晰的物体边界，利用VOC2012框架制作数据集，将数据集转换为tfrecord格式，并对相应的程序进行修改，实现训练前的预处理，训练模型的权重文件，最后进行测试。
其中，所述步骤3具体包括：对利用DeepLabV3提取出的绝缘瓷瓶的轮廓进行中值滤波和二值化的预处理，通过轮廓面积比较法，寻找出同一绝缘瓷瓶图像中具有最大面积的轮廓。
本发明的上述实施例所述的基于绝缘瓷瓶的破损检测方法，在DeepLabV3提取轮廓后，对图像进行中值滤波、并使用threshold进行二值化的预处理，使用findContours提取图像轮廓，通过轮廓面积比较法，寻找出同一绝缘瓷瓶图像中具有最大面积的轮廓，并计算最大轮廓的面积与hu矩。
其中，所述步骤4具体包括：通过拟合椭圆方法拟合最大轮廓，求得拟合椭圆与最大轮廓的hu矩的匹配程度，通过拟合椭圆与最大轮廓的hu矩的匹配程度判断绝缘瓷瓶是否破损；通过拟合圆方法拟合最大轮廓，求得拟合圆面积和拟合圆面积与最大轮廓面积的重合面积，通过拟合圆面积与最大轮廓面积之比和拟合圆面积和最大轮廓面积的重合面积与拟合圆面积之比，判断绝缘瓷瓶是否破损。
本发明的上述实施例所述的基于绝缘瓷瓶的破损检测方法，利用拟合圆方法进行绝缘瓷瓶的破损判断，由于研究的绝缘瓷瓶都是圆形，为了检测绝缘瓷瓶是否破损，可以将绝缘瓷瓶转换为研究绝缘瓷瓶是否是完整的圆形的问题，因此，首先对提取出的绝缘瓷瓶的轮廓进行一定的拟合。
拟合圆方法实现原理，使用了OpenCV中的cv2.HoughCircles()函数进行拟合。
圆的数学表示为：
(x-xcenter)2+(y-ycenter)2＝r2 (1)
一个圆的确定需要三个参数，其中，(xcenter,ycenter)为圆心，r为拟合圆半径，(x,y)为拟合圆轮廓上任意一点。OpenCV使用了霍夫梯度法，利用边界的梯度信息实现圆的确定。
圆心的确定：对之前提取的最大轮廓中的每一个非0点，通过Sobel算法计算局部梯度；初始化圆心空间N(a,b)，令所有的N(a,b)＝0；遍历边缘二值图中的所有非零像素点，沿着梯度方向(切线的垂直方向)画线，如图3，将线段经过的所有累加器中的点(a,b)的N(a,b)+＝1；统计排序N(a,b)，得到可能的圆心(N(a,b)越大，越有可能是圆心)。
针对确定的圆心，确定半径：计算最大轮廓中所有非零点距离圆心的距离；距离从小到大排序，根据阈值，选取合适的可能半径；初始化半径空间r，N(r)＝0；遍历最大轮廓中的所有非零点，N(r)+＝1；统计得到可能的半径值N(r)越大，说明这个距离值出现次数越多，越有可能是半径值。
对于图4(a)为经过YoLoV3提取出来的图像；图4(b)为经过DeepLabV3提取出来的图像；可以看出，由于此绝缘瓷瓶左边的柱子与绝缘瓷瓶颜色及为相近，DeepLabV3提取轮廓时，会出现一定的误判，在提取出的轮廓上，再进行拟合圆方法、拟合椭圆方法和最大外接圆方法的尝试。可以看出使用拟合圆方法，可以使得与实际绝缘瓷瓶的拟合度更为贴近。当然对于如图5的完好绝缘瓷瓶，由图5(c)可以看出，对绝缘瓷瓶的轮廓使用拟合圆方法的拟合度也十分高。采用拟合圆方法判断绝缘瓷瓶是否破损，使用了拟合圆面积与最大轮廓面积之比、拟合圆面积和最大轮廓面积的重合面积与拟合圆面积之比。
本发明的上述实施例所述的基于绝缘瓷瓶的破损检测方法，利用拟合椭圆方法进行绝缘瓷瓶破损判断，拟合椭圆方法实现原理，使用了OpenCV中的cv2.fitEllipse()函数进行拟合。
一般的圆锥曲线方程式：
F(P,X)＝Ax2+Bxy+Cy2+Dx+Ey+F＝0 (2)
其中，P＝[A,B,C,D,E,F]T，X＝[x2,xy,y2,x,y,1]T。
python中的fitEllipse()利用最小二乘法求得与所给数据点拟合的椭圆，其核心为找到一组参数使所有数据点与椭圆之间的代数距离之和达到最小，即优化目标为：
min||PTX||2 (3)
为了保证拟合的曲线为椭圆，增加一个约束条件即4AC-B2＝1用矩阵表示为PTRP＝1，其中，R＝4AC-B2，用矩阵表示为：
利用拉格朗日算子λ可以得到：
可以写作系统形式：
由此可以解出六组(特征值，特征向量)即(λi,ui)，若μi 2ui TCui＝1，则(λi,μiui)也可以作为其解，且：
最终求得Pi＝μiui，即椭圆参数。
在绝缘瓷瓶的拍摄中，由于拍摄角度，可能会存在一些问题，例如下图6中的(a)所示，由于无人机的拍摄角度并非垂直于绝缘瓷瓶，使得在DeepLabV3检测出的图6中的(b)中，绝缘瓷瓶呈现椭圆状。此时由图6中的(c)可以看出，如果使用最大外接圆方法或者拟合圆方法，会使得拟合度很低，而当使用拟合椭圆方法进行拟合时，其拟合度很高。对于完好的绝缘瓷瓶，如图7，用拟合椭圆方法进行拟合，当长轴与短轴接近相等时，拟合椭圆方法的效果很好。
对于使用拟合椭圆方法判断绝缘瓷瓶是否损坏，实验了许多方式，例如用拟合椭圆面积与最大轮廓面积之比，拟合椭圆面积和最大轮廓面积的重合面积与拟合椭圆面积之比，经过大量数据的分析，可以得出，拟合椭圆方法的高拟合度，会使得拟合椭圆面积与最大轮廓面积之比，拟合椭圆面积和最大轮廓面积的重合面积与拟合椭圆面积之比这两个比值都极高，甚至许多破损绝缘瓷瓶的比值也高达0.99，为了更好的区分破损的绝缘瓷瓶，在此使用了最大轮廓的hu矩进行轮廓匹配，求取拟合椭圆与最大轮廓的hu矩的匹配程度，拟合椭圆与最大轮廓的hu矩的匹配程度越接近于0，轮廓相似度越高。
普通矩：图像概率密度分布函数为f(x,y)的二维连续随机函数的p+q阶原点矩mpq：
各阶矩的物理意义：
0阶矩(m00)表示目标区域的质量；1阶矩(m01,m10)表示目标区域的质心；2阶矩(m02,m11,m20)表示旋转半径；3阶矩(m03,m12,m21,m30)描述目标的方位和斜度，反应目标的扭曲程度；
中心矩：具有平移不变性；
质心坐标：
中心矩：
归一化中心矩：具有尺度不变性；
用表示面积的0阶中心矩μ00对其余各阶中心矩进行归一化处理，得到归一化中心矩：
hu矩：具有旋转不变性；
φ1＝η20+η02
φ2＝(η20+η02)2+4η11 2
φ3＝(η30-3η12)2+(3η21-η03)2
φ4＝(η30+η12)2+(η21+η03)2
φ5＝(η30-3η12)(η30+η12)((η30+η12)2-3(η21+η03)2)+(3η21-η03)(η21+η03)(3(η30+η12)2-(η21+η03)2)
φ6＝(η20-η02)((η30+η12)2-(η21+η03)2)+4η11(η30+η12)(η21+η03)2
φ7＝(3η21-η03)(η30+η12)((η30+η12)2-3(η21+η03)2)-(η30-3η12)(η21+η03)(3(η30+η12 2-(η21+η03)2) (12)
φ1～φ7七个不变矩构成一组特征量，由这些特征量描述的图像具有平移不变性、尺度不变性和旋转不变性。通过比较两个轮廓的hu矩，可以看出两个轮廓的轮廓匹配程度。
通过对大量图像进行分析，可以看到，对于一个绝缘瓷瓶，拟合椭圆与最大轮廓的hu矩的匹配程度判别为完好，绝缘瓷瓶为完好的可能性有99.9％。首先使用拟合椭圆与最大轮廓的hu矩的匹配程度判断，若匹配程度小于等于0.0000354，绝缘瓷瓶为完好。若匹配程度大于0.0000354，绝缘瓷瓶大部分为破损，也有少部分为完好。为了对一些特殊情况进行更精准的判断，利用拟合圆方法，在拟合椭圆与最大轮廓的hu矩的匹配程度<0.000354中，有一部分如图8。可以看出此绝缘瓷瓶实际完好，但是由于DeepLabv3提取轮廓失误，拟合圆面积和最大轮廓面积的重合面积与拟合圆面积的比值高达0.997，拟合圆面积与最大轮廓面积的比值为0.87。从图9中可以看出图中的绝缘瓷瓶为破损，但是由于拟合圆方法的拟合失误，因此使用拟合圆面积和最大轮廓面积的重合面积与拟合圆面积之比会使得比值高达0.9959，但拟合圆面积与最大轮廓面积的比值为0.7166。对这两种情况，进行综合处理，如果拟合圆面积和最大轮廓面积的重合面积与拟合圆面积的比值>＝0.99，继续对拟合圆面积与最大轮廓面积的比值进行评断，如果拟合圆面积与最大轮廓面积的比值<＝0.83，绝缘瓷瓶为破损，反之绝缘瓷瓶为完好。
从图10中可以看出图中的绝缘瓷瓶为破损，拟合圆面积与最大轮廓面积的比值高达1.00，拟合圆面积和最大轮廓面积的重合面积与拟合圆面积会使得比值只为0.95。因此针对于此类特殊情况，设置如果拟合圆面积与最大轮廓面积的比值在0.998-1.012之间的，再去检测拟合圆面积和最大轮廓面积的重合面积与拟合圆面积的比值，如果拟合圆面积和最大轮廓面积的重合面积与拟合圆面积的比值>0.983，判断绝缘瓷瓶为完好，反之绝缘瓷瓶为破损。
本发明的上述实施例所述的基于绝缘瓷瓶的破损检测方法，通过遍历文件夹，将所有通过DeepLabV3提取轮廓的图像经过上述各类检测方法检测，得到了所有的绝缘瓷瓶破损判断信息，经过统计，使用所述基于绝缘瓷瓶的破损检测方法，准确率由原来的80％提升至94.9％，在通过YoLoV3目标定位和DeepLabV3语义分割算法实现高精度绝缘瓷瓶轮廓提取之后，经过对大量图像数据的分析，选定运用拟合椭圆与最大轮廓的hu矩的匹配程度、拟合圆面积与最大轮廓面积之比和拟合圆面积和最大轮廓面积的重合面积与拟合圆面积之比来检测绝缘瓷瓶是否破损，同时在绝缘瓷瓶破损检测中，不断调整阈值，以及检测算法框架，实现更好的效果。
本发明的上述实施例所述的基于绝缘瓷瓶的破损检测方法，能够通过无人机拍摄的图像实现铁路电力线上绝缘瓷瓶的破损检测，首先利用YoLoV3训练得到的结果文件定位拍摄图像中的绝缘瓷瓶，运行程序将绝缘瓷瓶分割出来，将分割出来的绝缘瓷瓶图像利用DeepLabV3模型训练的数据集来实现轮廓的提取，最后分别通过拟合圆方法和拟合椭圆方法判别绝缘瓷瓶是否破损。着重于对各种角度拍摄的绝缘瓷瓶准确地进行破损检测，并有效的解决由于DeepLabV3机器学习而出现的误差现象。
本发明的上述实施例所述的基于绝缘瓷瓶的破损检测方法，将无人机拍摄的图像经过YoLoV3定位和DeepLabV3提取轮廓后，得到无人机拍摄的图像中绝缘瓷瓶的轮廓，对DeepLabV3处理后的图像进行中值滤波、二值化的预处理操作，找出最大轮廓并计算其面积与hu矩使用拟合椭圆方法和拟合圆方法拟合轮廓，通过求拟合椭圆与最大轮廓的hu矩的匹配程度有效的对非垂直拍摄的绝缘瓷瓶进行检测，解决多角度拍摄的问题，通过拟合圆面积与最大轮廓面积之比和拟合圆面积和最大轮廓面积的重合面积与拟合圆面积之比的综合考虑和阈值筛选对其他特殊的绝缘瓷瓶进行检测，解决了DeepLabV3轮廓提取的误差。采用多种检测方式综合处理的方案，使得不同角度拍摄的绝缘瓷瓶的图像均能进行较为准确的破损检测，对无人机拍摄的要求不高，同时也解决了可能出现的不同问题，提高了对绝缘瓷瓶的破损检测准确率。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (5)
1.一种基于绝缘瓷瓶的破损检测方法，其特征在于，包括：
步骤1，选取无人机拍摄的1500张图像作为原始图像，通过YoLoV3定位原始图像中的绝缘瓷瓶，将定位的绝缘瓷瓶从原始图像中分割出来，得到绝缘瓷瓶图像；
步骤2，利用DeepLabV3提取出绝缘瓷瓶图像中的绝缘瓷瓶的轮廓；
步骤3，对提取出的绝缘瓷瓶的轮廓进行中值滤波和二值化的预处理，找到同一绝缘瓷瓶图像中的最大轮廓，并计算最大轮廓的面积与hu矩；
步骤4，分别使用拟合椭圆方法和拟合圆方法拟合最大轮廓，并判断绝缘瓷瓶是否破损。
2.根据权利要求1所述的基于绝缘瓷瓶的破损检测方法，其特征在于，所述步骤1具体包括：
选取1500张无人机航拍的图像作为训练集的原始图像，采用YoLoV3全监督机器学习方式，在进行数据训练前使用LabelImg图像标注工具对1500张原始图像中的绝缘瓷瓶进行标注，存储对应的包含绝缘瓷瓶位置的坐标信息，获取YoLoV3项目工程，修改并配置相关文件，使用GPU训练数据集，使用训练得到的结果文件定位绝缘瓷瓶，将根据定位得到的绝缘瓷瓶的坐标数据从原始图像中分割得到绝缘瓷瓶图像。
3.根据权利要求2所述的基于绝缘瓷瓶的破损检测方法，其特征在于，所述步骤2具体包括：
采用基于DeepLabV3的语义分割模型实现绝缘瓷瓶的轮廓提取，通过对检测图形每个像素点进行识别分类提取实现图像语义分割，再将相同目标物的像素点汇聚得到目标轮廓，在DeepLabV3中，使用空间金字塔模块和encoder-decoder结构做语义分割，空间金字塔模块通过在不同分辨率上以池化操作捕获丰富的上下文信息，encoder-decoder架构用于逐渐的获得清晰的物体边界，利用VOC2012框架制作数据集，将数据集转换为tfrecord格式，并对相应的程序进行修改，实现训练前的预处理，训练模型的权重文件，最后进行测试。
4.根据权利要求3所述的基于绝缘瓷瓶的破损检测方法，其特征在于，所述步骤3具体包括：
对利用DeepLabV3提取出的绝缘瓷瓶的轮廓进行中值滤波和二值化的预处理，通过轮廓面积比较法，寻找出同一绝缘瓷瓶图像中具有最大面积的轮廓。
5.根据权利要求4所述的基于绝缘瓷瓶的破损检测方法，其特征在于，所述步骤4具体包括：
通过拟合椭圆方法拟合最大轮廓，求得拟合椭圆与最大轮廓的hu矩的匹配程度，通过拟合椭圆与最大轮廓的hu矩的匹配程度判断绝缘瓷瓶是否破损；通过拟合圆方法拟合最大轮廓，求得拟合圆面积和拟合圆面积与最大轮廓面积的重合面积，通过拟合圆面积与最大轮廓面积之比和拟合圆面积和最大轮廓面积的重合面积与拟合圆面积之比，判断绝缘瓷瓶是否破损。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010430547.0A CN111612761B (zh) | 2020-05-20 | 2020-05-20 | 基于绝缘瓷瓶的破损检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010430547.0A CN111612761B (zh) | 2020-05-20 | 2020-05-20 | 基于绝缘瓷瓶的破损检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111612761A true CN111612761A (zh) | 2020-09-01 |
| CN111612761B CN111612761B (zh) | 2022-09-23 |
Family
ID=72200489
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010430547.0A Active CN111612761B (zh) | 2020-05-20 | 2020-05-20 | 基于绝缘瓷瓶的破损检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111612761B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106595593A (zh) * | 2016-11-10 | 2017-04-26 | 西安工程大学 | 基于椭圆特征拟合的悬垂绝缘子串风偏监测方法 |
| CN109727231A (zh) * | 2018-12-17 | 2019-05-07 | 江苏鸿祺生物科技有限公司 | 一种用于识别检测椭球型软胶囊的外观不规则缺陷的自比对检测方法 |
| CN109785285A (zh) * | 2018-12-11 | 2019-05-21 | 西安工程大学 | 一种基于椭圆特征拟合的绝缘子破损检测方法 |
| CN110610483A (zh) * | 2019-08-12 | 2019-12-24 | 全球能源互联网研究院有限公司 | 裂纹图像获取、检测方法、计算机设备及可读存储介质 |
| CN110827278A (zh) * | 2019-11-27 | 2020-02-21 | 云南电网有限责任公司电力科学研究院 | 一种变电站绝缘子缺陷在线检测方法及装置 |
-
2020
- 2020-05-20 CN CN202010430547.0A patent/CN111612761B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106595593A (zh) * | 2016-11-10 | 2017-04-26 | 西安工程大学 | 基于椭圆特征拟合的悬垂绝缘子串风偏监测方法 |
| CN109785285A (zh) * | 2018-12-11 | 2019-05-21 | 西安工程大学 | 一种基于椭圆特征拟合的绝缘子破损检测方法 |
| CN109727231A (zh) * | 2018-12-17 | 2019-05-07 | 江苏鸿祺生物科技有限公司 | 一种用于识别检测椭球型软胶囊的外观不规则缺陷的自比对检测方法 |
| CN110610483A (zh) * | 2019-08-12 | 2019-12-24 | 全球能源互联网研究院有限公司 | 裂纹图像获取、检测方法、计算机设备及可读存储介质 |
| CN110827278A (zh) * | 2019-11-27 | 2020-02-21 | 云南电网有限责任公司电力科学研究院 | 一种变电站绝缘子缺陷在线检测方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 潘?等: "基于无人机巡检图像的绝缘子串实时定位研究", 《电瓷避雷器》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111612761B (zh) | 2022-09-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liao et al. | Rotation-sensitive regression for oriented scene text detection | |
| CN109816644B (zh) | 一种基于多角度光源影像的轴承缺陷自动检测系统 | |
| US8452108B2 (en) | Systems and methods for image recognition using graph-based pattern matching | |
| Pan et al. | A robust system to detect and localize texts in natural scene images | |
| CN103077389B (zh) | 一种结合字符级分类和字符串级分类的文本检测和识别方法 | |
| Louloudis et al. | A block-based Hough transform mapping for text line detection in handwritten documents | |
| CN110543822A (zh) | 一种基于卷积神经网络和监督式离散哈希算法的指静脉识别方法 | |
| Dibeklioglu et al. | 3D facial landmarking under expression, pose, and occlusion variations | |
| CN105224937B (zh) | 基于人体部件位置约束的细粒度语义色彩行人重识别方法 | |
| TW201732651A (zh) | 一種單詞的分割方法和裝置 | |
| CN104809481A (zh) | 一种基于自适应色彩聚类的自然场景文本检测的方法 | |
| CN111091124B (zh) | 一种书脊文字识别方法 | |
| Turki et al. | Text detection based on MSER and CNN features | |
| CN113723330B (zh) | 一种图表文档信息理解的方法及系统 | |
| KR101742115B1 (ko) | 건물 인식을 위한 멀티뷰 영상에서의 인라이어 선택 및 잉여 제거 방법 | |
| CN113011426A (zh) | 一种识别证件的方法和装置 | |
| CN112101108B (zh) | 一种基于图形极点位置特征的左右转交通标志识别方法 | |
| CN111950546A (zh) | 一种车牌识别方法、装置、计算机设备和存储介质 | |
| CN110378337B (zh) | 金属切削刀具图纸标识信息视觉输入方法及系统 | |
| CN111612761B (zh) | 基于绝缘瓷瓶的破损检测方法 | |
| CN108985294B (zh) | 一种轮胎模具图片的定位方法、装置、设备及存储介质 | |
| CN109191489B (zh) | 一种飞行器着陆标志的检测跟踪方法与系统 | |
| CN112418210A (zh) | 一种杆塔巡检信息智能分类方法 | |
| CN116310316A (zh) | 一种基于交叉校验的电力架空导线检测方法 | |
| CN104504385A (zh) | 手写粘连数字串的识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |