CN110246131A - 基于卷积神经网络的导线分股缺陷图像识别方法 - Google Patents
基于卷积神经网络的导线分股缺陷图像识别方法 Download PDFInfo
- Publication number
- CN110246131A CN110246131A CN201910544443.XA CN201910544443A CN110246131A CN 110246131 A CN110246131 A CN 110246131A CN 201910544443 A CN201910544443 A CN 201910544443A CN 110246131 A CN110246131 A CN 110246131A
- Authority
- CN
- China
- Prior art keywords
- image
- conducting wire
- share split
- feature
- defect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 84
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 23
- 230000005540 biological transmission Effects 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims description 33
- 238000012360 testing method Methods 0.000 claims description 22
- 238000010586 diagram Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 17
- 238000003709 image segmentation Methods 0.000 claims description 14
- 230000005611 electricity Effects 0.000 claims description 12
- 239000004020 conductor Substances 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000007689 inspection Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种识别效率较高、不会漏检的基于卷积神经网络的导线分股缺陷图像识别方法。该方法先通过基于卷积神经网络构建的用于识别导线分股缺陷图像的图像缺陷识别模型对待测的输电线路导线图进行识别得到具有导线分股的缺陷图像；然后再对待测的输电线路导线图进行一系列图像处理得到具有导线分股的缺陷图像；将先得到的具有导线分股的缺陷图像和后得到的具有导线分股的缺陷图像进行并集运算，得到最终的导线分股缺陷图像集，使得待测得输电线路导线图中导线分股缺陷都能够被检测出来，识别率较高且避免了导线分股缺陷被漏检得情况发生。适合电力输运系统缺陷检测技术领域推广应用。
Description
技术领域
本发明涉及电力输运系统缺陷检测技术领域，尤其是一种基于卷积神经网络的导线分股缺陷图像识别方法。
背景技术
近年来，随着电网的快速发展，电网的规模越来越大，输电线路设备数量快速增加，线路设备的老旧程度日趋严重，恶劣气候和微气象条件增多，造成设备缺陷的概率增大，影响输电系统的运行可靠性。输电线路是输送电能的重要纽带，大多数电网设备都是暴露在野外环境中，在自然环境的长期作用下,线路易出现断股、破损等缺陷,需要不断地去监测与维护。而传统的人工巡视检查线路，不仅工作环境艰苦,劳动强度大、工作效率低、准确性低，而且复杂的野外环境可能给巡线人员的人身安全带来风险。
输电线路图像缺陷识别技术主要对输电线路中导线进行缺陷识别，通过图像识别技术自动识别线路缺陷，避免了人眼识别缺陷的偏差与失误，提升了巡检的效率。现有技术中，由于电力输运系统中的器件挂载位置特别(远离地面)，器件分布离散，导致线路检修成本较高，因此线路电路器件的破损检测技术越来越重要。
目前图像缺陷识别检测技术是基于传统的特征提取方法，如hog(方向梯度直方图)、lbp(局部二值模式)等特征识别方法，而通过传统的特征提取方法的描述生成过程冗长，导致速度慢、实时性差、对噪点敏感以及检测准确度和查全率低等特点。
发明内容
本发明所要解决的技术问题是提供一种识别效率较高、不会漏检的基于卷积神经网络的导线分股缺陷图像识别方法。
本发明解决其技术问题所采用的技术方案为：该基于卷积神经网络的导线分股缺陷图像识别方法，包括以下步骤：
(1)基于卷积神经网络构建用于识别导线分股缺陷图像的图像缺陷识别模型；
(2)获取多个待测的输电线路导线图；
(3)将获取的待测的输电线路导线图输入图像缺陷识别模型，得到具有导线分股的缺陷图像；
(4)对步骤(2)获取的待测的输电线路导线图进行如下处理；将获取待测的输电线路导线图转化为灰度图，并利用Retinex算法进行图像增强，然后采用3次样条插值对灰度图进行缩放；接着，对图像进行图像分割，分离导线和背景区域；接着对导线特征进行提取，最后对导线进行分股识别得到具有导线分股的缺陷图像；
(5)将步骤(3)得到的具有导线分股的缺陷图像和步骤(4)得到的具有导线分股的缺陷图像进行并集运算，得到最终的导线分股缺陷图像集。
进一步的是，所述图像缺陷识别模型采用如下方法构建：
A、获取历史纪录的输电线路的导线图像集；
B、将获取的输电线路的导线图像集分成两部分，其中一部分图像为训练图像集，另一部分为测试图像集，将训练图像集中的图像分别使用图像分割标记工具得到电力线路器件图像的轮廓图以及轮廓图所对应的缺陷类别，并使用VOC标记格式将得到电力线路器件图像的轮廓图保存为切割图，将切割图和与之对应的电力线路器件图像以及切割图所对应的类别保存为XML文件得到训练集；将测试图像集中的图像分别使用图像分割标记工具得到电力线路器件图像的轮廓图以及轮廓图所对应的类别，并使用VOC标记格式将得到电力线路器件图像的轮廓图保存为切割图并得到其相应的缺陷类别，将切割图和与之对应的电力线路器件图像以及切割图所对应的缺陷类别保存为XML文件得到测试集；
C、构建训练网络的网络结构，构建训练网络的过程包括如下步骤：
步骤S10，构建所述训练网络的第零层；其中，第零层为输入层；
步骤S20，构建所述训练网络的第一层；其中，所述第一层包括conv1_1、relu1_1、conv1_2、relu1_2、pool1；所述conv1_1、relu1_1、conv1_2、relu1_2依次对所述第零层输入的图像进行卷积处理，接着利用pool1进行池化处理得到多个第一特征图；
步骤S30，构建所述训练网络的第二层；其中，所述第二层包括conv2_1、relu2_1、conv2_2、relu2_2、pool2；所述conv2_1、relu2_1、conv2_2、relu2_2依次对所述第一特征图进行卷积处理，接着利用pool2进行池化处理得到多个第二特征图；
步骤S40，构建所述训练网络的第三层；其中，所述第三层包括conv3_1、relu3_1、conv3_2、relu3_2、conv3_3、relu3_3、pool3；所述conv3_1、relu3_1、conv3_2、relu3_2、conv3_3、relu3_3依次对所述第二特征图进行卷积处理，接着利用pool3进行池化处理得到多个第一特征图；
步骤S50，构建所述训练网络的第四层；其中，所述第四层包括conv4_1、relu4_1、conv4_2、relu4_2、conv4_3、relu4_3、pool4；所述conv4_1、relu4_1、conv4_2、relu4_2、conv4_3、relu4_3依次对所述第三特征图进行卷积处理，接着利用pool4进行池化处理得到多个第一特征图；
步骤S60，构建所述训练网络的第五层；其中，所述第五层包括conv5_1、relu5_1、conv5_2、relu5_2、conv5_3、relu5_3、pool5；所述conv5_1、relu5_1、conv5_2、relu5_2、conv5_3、relu5_3依次对所述第四特征图进行卷积处理，接着利用pool5进行池化处理得到多个第五特征图；
步骤S70，构建所述训练网络的第六层；其中，所述第六层包括fc6、relu6、drop6，所述fc6、relu6对所述第五特征图进行反卷积处理，接着利用drop6进行防过度拟合处理得到多个第六特征图；
步骤S80，构构建所述训练网络的第七层；其中，所述第七层包括fc7、relu7、drop7，所述fc7、relu7对所述第六特征图进行反卷积处理，接着利用drop7进行防过度拟合处理得到多个第七特征图；
步骤S90，构建所述训练网络的第八层；其中，所述第八层包括score_fr、upscore2、score_pool4、score_pool4c、fuse_pool4，具体的将第七特征图依次进行score_fr、upscore2处理得到第八特征图，接着将第四特征图进行score_pool4处理得到的特征图与第八特征图进行score_pool4c得到第九特征图,然后将第九特征图与第八特征图进行fuse_pool4处理得到第十特征图；
步骤S100，构建所述训练网络的第九层；其中，所述第九层包括upscore_pool4、score_pool3、score_pool3c，所述score_pool3，具体的将第十特征图进行upscore_pool4处理得到第十一特征图，接着将第三特征图进行score_pool3处理得到的特征图与第十一特征图进行score_pool3c得到第十二特征图,然后将第十二特征图与第十一特征图进行fuse_pool4处理得到第十三特征图；
步骤S110，构建所述训练网络的第十层；其中，所述第十层包括upscore8、CropMask，具体的将第十三特征图进行upscore8处理得到的特征图与第零层输入的图像进行CropMask得到第十四特征图；
步骤S120，构建所述训练网络的第十一层；其中，所述第十一层包括SoftmaxWithloss，具体的将第十四特征图与第零层输入的图像进行SoftmaxWithloss处理；
D、使用SGD优化训练网络的网络参数，使用dropout和Batch-Norm方法优化训练网络的模型；
E、将训练集和测试集用于训练网络，查看训练误差和测试误差，如果训练误差和测试误差都下降，则表示合理收敛，得到最优的图像缺陷识别模型。
进一步的是，在步骤E中，所述训练误差和测试误差均使用代价函数公式计算其误差。
进一步的是，在步骤(4)中，对图像进行图像分割，分离导线和背景区域的方法如下所述：首先，对图像进行高斯滤波处理，然后采用全阈值法对整个图像进行二值化处理，再通过连通域面积的特点对所有的连通域进行过滤，将连通域面积小于阈值的区域去除从而去掉背景，接着使用形态学的方法，填充空洞，连接邻近的区域，并且利用3次样条插值将图像还原成原图像的大小。
进一步的是，在步骤(4)中，对导线特征进行提取的方法如下所述：首先，对图像作水平以及垂直方向的投影，然后在水平以及垂直投影上找到峰值超过候选区投影阈值的区域作为候选区域。
进一步的是，在步骤(4)中，对导线进行分股识别的方法如下所述：将候选区域的峰值与指定阈值做连续性对比判断，若某处的峰值大于指定阈值，则该处即为导线分股的位置，将其位置匹配到原图像上并进行标记。
进一步的是，在步骤(4)中，所述Retinex算法为单尺度Retinex算法，所述单尺度Retinex算法表示为：logR(x,y)＝logI*(x,y)-logI(x,y)-logG(x,y)，其中I(x,y)表示获取的原图像，L(x,y)表示亮度图像，R(x,y)平表示反射图像为,G(x,y)表示高斯卷积函数，k为常数；G(x,y)满足∫G(x,y)dxdy＝1，c为尺度常量。
进一步的是，在步骤(4)中，所述高斯滤波使用的函数为二维零均值高斯函数，所述二维零均值高斯函数为σ表示平滑程度参数。
本发明的有益效果：该基于卷积神经网络的导线分股缺陷图像识别方法先通过基于卷积神经网络构建得用于识别导线分股缺陷图像的图像缺陷识别模型对待测的输电线路导线图进行识别得到具有导线分股的缺陷图像；然后再对待测的输电线路导线图进行如下处理；将获取待测的输电线路导线图转化为灰度图，并利用Retinex算法进行图像增强，然后采用3次样条插值对灰度图进行缩放；接着，对图像进行图像分割，分离导线和背景区域；接着对导线特征进行提取，最后对导线进行分股识别得到具有导线分股的缺陷图像；将先得到的具有导线分股的缺陷图像和后得到的具有导线分股的缺陷图像进行并集运算，得到最终的导线分股缺陷图像集，采用两种方式分别对待测得输电线路导线图进行导线分股缺陷识别，并将二者得到缺陷图像进行并集运算，使得待测得输电线路导线图中导线分股缺陷都能够被检测出来，识别率较高且避免了导线分股缺陷被漏检得情况发生，精准度及查全率非常高，提高了输电线路巡检的自动化水平，降低了人工的劳动强度，便于快速准确的发现输电线导线分股路缺。
附图说明
图1为本发明所述网络结构的结构图。
具体实施方式
该基于卷积神经网络的导线分股缺陷图像识别方法，包括以下步骤：
(1)基于卷积神经网络构建用于识别导线分股缺陷图像的图像缺陷识别模型；
(2)获取多个待测的输电线路导线图；
(3)将获取的待测的输电线路导线图输入图像缺陷识别模型，得到具有导线分股的缺陷图像；
(4)对步骤(2)获取的待测的输电线路导线图进行如下处理；将获取待测的输电线路导线图转化为灰度图，并利用Retinex算法进行图像增强，并对转化后的灰度图像利用Retinex算法进行图像增强，对获取的图像利用Retinex算法进行处理是因为获取的图像颜色受到光照的影响，颜色发生变化，使用Retinex算法，可以去除图像的部分光照影响，从而使保持物体的颜色常恒性；接着进行图像缩放，由于原图是高清图，为了快速计算，最后采用3次样条插值对经过直方图均衡化处理的灰度图进行缩放，将灰度图缩小到原图像的1/4；三次样条插值Cubic Spline Interpolation(简称Spline插值)是通过一系列形值点的一条光滑曲线，数学上通过求解三弯矩方程组得出曲线函数组的过程；最后将灰度图进行直方图均衡化处理；将灰度图进行直方图均衡化处理可以使图像的比度拉伸，可以增强导线的线条特征，即边缘特征；使其便于识别；接着，对图像进行图像分割，分离导线和背景区域；对图像进行图像分割，分离导线和背景区域的方法如下所述：首先，对图像进行高斯滤波处理，在导线图像中，根据其纹理特征，将纹理分为人工纹理和自然纹理，人工纹理的边缘明确，自然纹理的纹元周期性特性明显，使用高斯滤波可以降低高频纹理背景的干扰，剩下的几乎是导线以及低频的背景部分；然后采用全阈值法对整个图像进行二值化处理，再通过连通域面积的特点对所有的连通域进行过滤，将连通域面积小于阈值的区域去除从而去掉背景，由于导线分股的部分细小，去背景后易出现断裂，采用形态学方法的闭运算，填充细小的空洞，连接邻近的区域，并且利用3次样条插值将图像还原成原图像的大小；接着对导线特征进行提取，因导线几乎呈现均匀的结构，然而出现分股的地方，缺陷股有突出，因此对二值图像作水平以及垂直方向的投影，导线分股部分相对于其他导线不均匀；然后在水平以及垂直投影上找到峰值较大的区域，所述峰值较大的区域是指峰值超过候选区投影阈值的区域；对导线特征进行提取的方法如下所述：首先，对图像作水平以及垂直方向的投影，然后在水平以及垂直投影上找到峰值超过候选区投影阈值的区域作为候选区域；最后对导线进行分股识别得到具有导线分股的缺陷图像；由于导线数据的不同，可能导线会受到树枝等边缘较明显的影响，为了避免上述影响，对导线进行分股识别的方法如下所述：将候选区域的峰值与指定阈值做连续性对比判断，若某处的峰值大于指定阈值，则该处即为导线分股的位置，将其位置匹配到原图像上并进行标记。
(5)将步骤(3)得到的具有导线分股的缺陷图像和步骤(4)得到的具有导线分股的缺陷图像进行并集运算，其目的是将两次得到得导线分股的缺陷图像进行集中在一起，将重复得图片只保留一个，得到最终的导线分股缺陷图像集。
该基于卷积神经网络的导线分股缺陷图像识别方法先通过基于卷积神经网络构建得用于识别导线分股缺陷图像的图像缺陷识别模型对待测的输电线路导线图进行识别得到具有导线分股的缺陷图像；然后再对待测的输电线路导线图进行如下处理；将获取待测的输电线路导线图转化为灰度图，并利用Retinex算法进行图像增强，然后采用3次样条插值对灰度图进行缩放；接着，对图像进行图像分割，分离导线和背景区域；接着对导线特征进行提取，最后对导线进行分股识别得到具有导线分股的缺陷图像；将先得到的具有导线分股的缺陷图像和后得到的具有导线分股的缺陷图像进行并集运算，得到最终的导线分股缺陷图像集，采用两种方式分别对待测得输电线路导线图进行导线分股缺陷识别，并将二者得到缺陷图像进行并集运算，使得待测得输电线路导线图中导线分股缺陷都能够被检测出来，识别率较高且避免了导线分股缺陷被漏检得情况发生，精准度及查全率非常高，提高了输电线路巡检的自动化水平，降低了人工的劳动强度，便于快速准确的发现输电线导线分股路缺。
在上述实施方式中，所述图像缺陷识别模型采用如下方法构建：
A、获取历史纪录的输电线路的导线图像集；
B、将获取的输电线路的导线图像集分成两部分，其中一部分图像为训练图像集，另一部分为测试图像集，将训练图像集中的图像分别使用图像分割标记工具得到电力线路器件图像的轮廓图以及轮廓图所对应的缺陷类别，并使用VOC标记格式将得到电力线路器件图像的轮廓图保存为切割图，将切割图和与之对应的电力线路器件图像以及切割图所对应的类别保存为XML文件得到训练集；将测试图像集中的图像分别使用图像分割标记工具得到电力线路器件图像的轮廓图以及轮廓图所对应的类别，并使用VOC标记格式将得到电力线路器件图像的轮廓图保存为切割图并得到其相应的缺陷类别，将切割图和与之对应的电力线路器件图像以及切割图所对应的缺陷类别保存为XML文件得到测试集；
C、构建训练网络的网络结构，构建训练网络的过程包括如下步骤：
步骤S10，构建所述训练网络的第零层；其中，第零层为输入层；
步骤S20，构建所述训练网络的第一层；其中，所述第一层包括conv1_1、relu1_1、conv1_2、relu1_2、pool1；所述conv1_1、relu1_1、conv1_2、relu1_2依次对所述第零层输入的图像进行卷积处理，接着利用pool1进行池化处理得到多个第一特征图；
步骤S30，构建所述训练网络的第二层；其中，所述第二层包括conv2_1、relu2_1、conv2_2、relu2_2、pool2；所述conv2_1、relu2_1、conv2_2、relu2_2依次对所述第一特征图进行卷积处理，接着利用pool2进行池化处理得到多个第二特征图；
步骤S40，构建所述训练网络的第三层；其中，所述第三层包括conv3_1、relu3_1、conv3_2、relu3_2、conv3_3、relu3_3、pool3；所述conv3_1、relu3_1、conv3_2、relu3_2、conv3_3、relu3_3依次对所述第二特征图进行卷积处理，接着利用pool3进行池化处理得到多个第一特征图；
步骤S50，构建所述训练网络的第四层；其中，所述第四层包括conv4_1、relu4_1、conv4_2、relu4_2、conv4_3、relu4_3、pool4；所述conv4_1、relu4_1、conv4_2、relu4_2、conv4_3、relu4_3依次对所述第三特征图进行卷积处理，接着利用pool4进行池化处理得到多个第一特征图；
步骤S60，构建所述训练网络的第五层；其中，所述第五层包括conv5_1、relu5_1、conv5_2、relu5_2、conv5_3、relu5_3、pool5；所述conv5_1、relu5_1、conv5_2、relu5_2、conv5_3、relu5_3依次对所述第四特征图进行卷积处理，接着利用pool5进行池化处理得到多个第五特征图；
步骤S70，构建所述训练网络的第六层；其中，所述第六层包括fc6、relu6、drop6，所述fc6、relu6对所述第五特征图进行反卷积处理，接着利用drop6进行防过度拟合处理得到多个第六特征图；
步骤S80，构构建所述训练网络的第七层；其中，所述第七层包括fc7、relu7、drop7，所述fc7、relu7对所述第六特征图进行反卷积处理，接着利用drop7进行防过度拟合处理得到多个第七特征图；
步骤S90，构建所述训练网络的第八层；其中，所述第八层包括score_fr、upscore2、score_pool4、score_pool4c、fuse_pool4，具体的将第七特征图依次进行score_fr、upscore2处理得到第八特征图，接着将第四特征图进行score_pool4处理得到的特征图与第八特征图进行score_pool4c得到第九特征图,然后将第九特征图与第八特征图进行fuse_pool4处理得到第十特征图；
步骤S100，构建所述训练网络的第九层；其中，所述第九层包括upscore_pool4、score_pool3、score_pool3c，所述score_pool3，具体的将第十特征图进行upscore_pool4处理得到第十一特征图，接着将第三特征图进行score_pool3处理得到的特征图与第十一特征图进行score_pool3c得到第十二特征图,然后将第十二特征图与第十一特征图进行fuse_pool4处理得到第十三特征图；
步骤S110，构建所述训练网络的第十层；其中，所述第十层包括upscore8、CropMask，具体的将第十三特征图进行upscore8处理得到的特征图与第零层输入的图像进行CropMask得到第十四特征图；
步骤S120，构建所述训练网络的第十一层；其中，所述第十一层包括SoftmaxWithloss，具体的将第十四特征图与第零层输入的图像进行SoftmaxWithloss处理；
D、使用SGD优化训练网络的网络参数，使用dropout和Batch-Norm方法优化训练网络的模型；
E、将训练集和测试集用于训练网络，查看训练误差和测试误差，如果训练误差和测试误差都下降，则表示合理收敛，得到最优的图像缺陷识别模型。
该基于卷积神经网络的导线分股缺陷图像识别方法通过设计神经网络结构，网络优化方法建立一套特定领域的图像检测与特征描述算法，避免了前期复杂繁琐的图片预处理，大大提高了图像缺陷识别的精准度及查全率，稳定性好，提高了输电线路巡检的自动化水平，降低了人工的劳动强度，便于快速准确的发现输电线路缺。
进一步的是，在步骤E中，所述训练误差和测试误差均使用代价函数公式计算其误差。
Claims (8)
1.基于卷积神经网络的导线分股缺陷图像识别方法，其特征在于包括以下步骤：
(1)基于卷积神经网络构建用于识别导线分股缺陷图像的图像缺陷识别模型；
(2)获取多个待测的输电线路导线图；
(3)将获取的待测的输电线路导线图输入图像缺陷识别模型，得到具有导线分股的缺陷图像；
(4)对步骤(2)获取的待测的输电线路导线图进行如下处理；将获取待测的输电线路导线图转化为灰度图，并利用Retinex算法进行图像增强，然后采用3次样条插值对灰度图进行缩放；接着，对图像进行图像分割，分离导线和背景区域；接着对导线特征进行提取，最后对导线进行分股识别得到具有导线分股的缺陷图像；
(5)将步骤(3)得到的具有导线分股的缺陷图像和步骤(4)得到的具有导线分股的缺陷图像进行并集运算，得到最终的导线分股缺陷图像集。
2.如权利要求1所述的基于卷积神经网络的导线分股缺陷图像识别方法，其特征在于：所述图像缺陷识别模型采用如下方法构建：
A、获取历史纪录的输电线路的导线图像集；
B、将获取的输电线路的导线图像集分成两部分，其中一部分图像为训练图像集，另一部分为测试图像集，将训练图像集中的图像分别使用图像分割标记工具得到电力线路器件图像的轮廓图以及轮廓图所对应的缺陷类别，并使用VOC标记格式将得到电力线路器件图像的轮廓图保存为切割图，将切割图和与之对应的电力线路器件图像以及切割图所对应的类别保存为XML文件得到训练集；将测试图像集中的图像分别使用图像分割标记工具得到电力线路器件图像的轮廓图以及轮廓图所对应的类别，并使用VOC标记格式将得到电力线路器件图像的轮廓图保存为切割图并得到其相应的缺陷类别，将切割图和与之对应的电力线路器件图像以及切割图所对应的缺陷类别保存为XML文件得到测试集；
C、构建训练网络的网络结构，构建训练网络的过程包括如下步骤：
步骤S10，构建所述训练网络的第零层；其中，第零层为输入层；
步骤S20，构建所述训练网络的第一层；其中，所述第一层包括conv1_1、relu1_1、conv1_2、relu1_2、pool1；所述conv1_1、relu1_1、conv1_2、relu1_2依次对所述第零层输入的图像进行卷积处理，接着利用pool1进行池化处理得到多个第一特征图；
步骤S30，构建所述训练网络的第二层；其中，所述第二层包括conv2_1、relu2_1、conv2_2、relu2_2、pool2；所述conv2_1、relu2_1、conv2_2、relu2_2依次对所述第一特征图进行卷积处理，接着利用pool2进行池化处理得到多个第二特征图；
步骤S40，构建所述训练网络的第三层；其中，所述第三层包括conv3_1、relu3_1、conv3_2、relu3_2、conv3_3、relu3_3、pool3；所述conv3_1、relu3_1、conv3_2、relu3_2、conv3_3、relu3_3依次对所述第二特征图进行卷积处理，接着利用pool3进行池化处理得到多个第一特征图；
步骤S50，构建所述训练网络的第四层；其中，所述第四层包括conv4_1、relu4_1、conv4_2、relu4_2、conv4_3、relu4_3、pool4；所述conv4_1、relu4_1、conv4_2、relu4_2、conv4_3、relu4_3依次对所述第三特征图进行卷积处理，接着利用pool4进行池化处理得到多个第一特征图；
步骤S60，构建所述训练网络的第五层；其中，所述第五层包括conv5_1、relu5_1、conv5_2、relu5_2、conv5_3、relu5_3、pool5；所述conv5_1、relu5_1、conv5_2、relu5_2、conv5_3、relu5_3依次对所述第四特征图进行卷积处理，接着利用pool5进行池化处理得到多个第五特征图；
步骤S70，构建所述训练网络的第六层；其中，所述第六层包括fc6、relu6、drop6，所述fc6、relu6对所述第五特征图进行反卷积处理，接着利用drop6进行防过度拟合处理得到多个第六特征图；
步骤S80，构构建所述训练网络的第七层；其中，所述第七层包括fc7、relu7、drop7，所述fc7、relu7对所述第六特征图进行反卷积处理，接着利用drop7进行防过度拟合处理得到多个第七特征图；
步骤S90，构建所述训练网络的第八层；其中，所述第八层包括score_fr、upscore2、score_pool4、score_pool4c、fuse_pool4，具体的将第七特征图依次进行score_fr、upscore2处理得到第八特征图，接着将第四特征图进行score_pool4处理得到的特征图与第八特征图进行score_pool4c得到第九特征图,然后将第九特征图与第八特征图进行fuse_pool4处理得到第十特征图；
步骤S100，构建所述训练网络的第九层；其中，所述第九层包括upscore_pool4、score_pool3、score_pool3c，所述score_pool3，具体的将第十特征图进行upscore_pool4处理得到第十一特征图，接着将第三特征图进行score_pool3处理得到的特征图与第十一特征图进行score_pool3c得到第十二特征图,然后将第十二特征图与第十一特征图进行fuse_pool4处理得到第十三特征图；
步骤S110，构建所述训练网络的第十层；其中，所述第十层包括upscore8、CropMask，具体的将第十三特征图进行upscore8处理得到的特征图与第零层输入的图像进行CropMask得到第十四特征图；
步骤S120，构建所述训练网络的第十一层；其中，所述第十一层包括SoftmaxWithloss，具体的将第十四特征图与第零层输入的图像进行SoftmaxWithloss处理；
D、使用SGD优化训练网络的网络参数，使用dropout和Batch-Norm方法优化训练网络的模型；
E、将训练集和测试集用于训练网络，查看训练误差和测试误差，如果训练误差和测试误差都下降，则表示合理收敛，得到最优的图像缺陷识别模型。
3.如权利要求2所述的基于卷积神经网络的导线分股缺陷图像识别方法，其特征在于：在步骤E中，所述训练误差和测试误差均使用代价函数公式计算其误差。
4.如权利要求1所述的基于卷积神经网络的导线分股缺陷图像识别方法，其特征在于：在步骤(4)中，对图像进行图像分割，分离导线和背景区域的方法如下所述：首先，对图像进行高斯滤波处理，然后采用全阈值法对整个图像进行二值化处理，再通过连通域面积的特点对所有的连通域进行过滤，将连通域面积小于阈值的区域去除从而去掉背景，接着使用形态学的方法，填充空洞，连接邻近的区域，并且利用3次样条插值将图像还原成原图像的大小。
5.如权利要求4所述的基于卷积神经网络的导线分股缺陷图像识别方法，其特征在于：在步骤(4)中，对导线特征进行提取的方法如下所述：首先，对图像作水平以及垂直方向的投影，然后在水平以及垂直投影上找到峰值超过候选区投影阈值的区域作为候选区域。
6.如权利要求5所述的基于卷积神经网络的导线分股缺陷图像识别方法，其特征在于：在步骤(4)中，对导线进行分股识别的方法如下所述：将候选区域的峰值与指定阈值做连续性对比判断，若某处的峰值大于指定阈值，则该处即为导线分股的位置，将其位置匹配到原图像上并进行标记。
7.如权利要求6所述的基于卷积神经网络的导线分股缺陷图像识别方法，其特征在于：在步骤(4)中，所述Retinex算法为单尺度Retinex算法，所述单尺度Retinex算法表示为：logR(x,y)＝logI*(x,y)-logI(x,y)-logG(x,y)，其中I(x,y)表示获取的原图像，L(x,y)表示亮度图像，R(x,y)平表示反射图像为,G(x,y)表示高斯卷积函数，k为常数；G(x,y)满足∫G(x,y)dxdy＝1，c为尺度常量。
8.如权利要求7所述的基于卷积神经网络的导线分股缺陷图像识别方法，其特征在于：在步骤(4)中，所述高斯滤波使用的函数为二维零均值高斯函数，所述二维零均值高斯函数为σ表示平滑程度参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910544443.XA CN110246131A (zh) | 2019-06-21 | 2019-06-21 | 基于卷积神经网络的导线分股缺陷图像识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910544443.XA CN110246131A (zh) | 2019-06-21 | 2019-06-21 | 基于卷积神经网络的导线分股缺陷图像识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110246131A true CN110246131A (zh) | 2019-09-17 |
Family
ID=67888838
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910544443.XA Pending CN110246131A (zh) | 2019-06-21 | 2019-06-21 | 基于卷积神经网络的导线分股缺陷图像识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110246131A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111257338A (zh) * | 2020-02-14 | 2020-06-09 | 易思维（杭州）科技有限公司 | 镜面、类镜面物体表面缺陷检测方法 |
| CN111340787A (zh) * | 2020-02-28 | 2020-06-26 | 广东电网有限责任公司 | 输电线路的导线缺陷检测识别方法、装置及计算机设备 |
| CN112465002A (zh) * | 2020-11-23 | 2021-03-09 | 应急管理部天津消防研究所 | 一种火灾现场铜导线熔痕智能识别方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130202188A1 (en) * | 2012-02-06 | 2013-08-08 | Hitachi High-Technologies Corporation | Defect inspection method, defect inspection apparatus, program product and output unit |
| CN105719275A (zh) * | 2015-12-10 | 2016-06-29 | 中色科技股份有限公司 | 一种并行组合的图像缺陷分割方法 |
| US20180075594A1 (en) * | 2016-09-14 | 2018-03-15 | Kla-Tencor Corporation | Convolutional Neural Network-based Mode Selection and Defect Classification for Image Fusion |
| CN107886493A (zh) * | 2016-09-29 | 2018-04-06 | 成都思晗科技股份有限公司 | 一种输电线路的导线分股缺陷检测方法 |
| CN108537792A (zh) * | 2018-04-17 | 2018-09-14 | 成都思晗科技股份有限公司 | 一种基于卷积神经网络的电力缺陷图像识别方法 |
| CN108765389A (zh) * | 2018-05-18 | 2018-11-06 | 浙江大学 | 一种微观晶圆表面缺陷图像检测方法 |
-
2019
- 2019-06-21 CN CN201910544443.XA patent/CN110246131A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130202188A1 (en) * | 2012-02-06 | 2013-08-08 | Hitachi High-Technologies Corporation | Defect inspection method, defect inspection apparatus, program product and output unit |
| CN105719275A (zh) * | 2015-12-10 | 2016-06-29 | 中色科技股份有限公司 | 一种并行组合的图像缺陷分割方法 |
| US20180075594A1 (en) * | 2016-09-14 | 2018-03-15 | Kla-Tencor Corporation | Convolutional Neural Network-based Mode Selection and Defect Classification for Image Fusion |
| CN107886493A (zh) * | 2016-09-29 | 2018-04-06 | 成都思晗科技股份有限公司 | 一种输电线路的导线分股缺陷检测方法 |
| CN108537792A (zh) * | 2018-04-17 | 2018-09-14 | 成都思晗科技股份有限公司 | 一种基于卷积神经网络的电力缺陷图像识别方法 |
| CN108765389A (zh) * | 2018-05-18 | 2018-11-06 | 浙江大学 | 一种微观晶圆表面缺陷图像检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 杨东林等: "轴承钢球表面缺陷的快速检测方法", 《兵工学报》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111257338A (zh) * | 2020-02-14 | 2020-06-09 | 易思维（杭州）科技有限公司 | 镜面、类镜面物体表面缺陷检测方法 |
| CN111340787A (zh) * | 2020-02-28 | 2020-06-26 | 广东电网有限责任公司 | 输电线路的导线缺陷检测识别方法、装置及计算机设备 |
| CN111340787B (zh) * | 2020-02-28 | 2023-09-29 | 广东电网有限责任公司 | 输电线路的导线缺陷检测识别方法、装置及计算机设备 |
| CN112465002A (zh) * | 2020-11-23 | 2021-03-09 | 应急管理部天津消防研究所 | 一种火灾现场铜导线熔痕智能识别方法及装置 |
| CN112465002B (zh) * | 2020-11-23 | 2023-08-15 | 应急管理部天津消防研究所 | 一种火灾现场铜导线熔痕智能识别方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107507194B (zh) | 一种基于红外图像温度分布规律和bp神经网络的绝缘子串故障检测方法 | |
| CN108734689B (zh) | 一种基于区域生长的导线散股检测方法 | |
| CN110246131A (zh) | 基于卷积神经网络的导线分股缺陷图像识别方法 | |
| CN106971152A (zh) | 一种基于航拍图像的检测输电线路中鸟巢的方法 | |
| CN107492094A (zh) | 一种高压电线绝缘子的无人机视觉检测方法 | |
| CN108734691A (zh) | 一种输电线路缺陷图像识别方法 | |
| CN107179479B (zh) | 基于可见光图像的输电导线散股缺陷检测方法 | |
| CN111091544A (zh) | 铁路货车转向架侧面一体架构断裂故障检测方法 | |
| CN111859805B (zh) | 基于人工智能的电力图纸拓扑关系的检测方法 | |
| CN108665464A (zh) | 一种基于形态学的高压电塔及高压电线的异物检测方法 | |
| CN112847321B (zh) | 基于人工智能的工业机器人视觉图像识别系统 | |
| CN115861987B (zh) | 一种用于输电线路在线监测的智能电力金具缺陷识别方法 | |
| CN110910443A (zh) | 基于单监控相机的接触网几何参数实时测量方法及装置 | |
| CN115690012A (zh) | 一种电能表接错线的检测方法 | |
| CN111008967B (zh) | 一种绝缘子rtv涂层缺陷识别方法 | |
| CN111667473A (zh) | 基于改进Canny算法的绝缘子憎水性等级判断方法 | |
| CN107886493B (zh) | 一种输电线路的导线分股缺陷检测方法 | |
| CN108734709B (zh) | 一种绝缘子凸缘形状参数识别与破坏检测方法 | |
| CN108537792A (zh) | 一种基于卷积神经网络的电力缺陷图像识别方法 | |
| CN114266893A (zh) | 烟火隐患识别方法和设备 | |
| CN112016641A (zh) | 一种异物导致线路短路故障告警方法及装置 | |
| CN111307267A (zh) | 一种基于同心圆检测的导线舞动监测方法 | |
| CN111310899A (zh) | 基于共生关系和小样本学习的电力缺陷识别方法 | |
| CN113989209A (zh) | 基于Faster R-CNN的电力线异物检测方法 | |
| CN113643352B (zh) | 一种自然覆冰在线监测运行导线图像覆冰程度评估方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190917 |