CN111862013A - 基于深度卷积神经网络的绝缘子检测方法、装置及设备 - Google Patents
基于深度卷积神经网络的绝缘子检测方法、装置及设备 Download PDFInfo
- Publication number
- CN111862013A CN111862013A CN202010650667.1A CN202010650667A CN111862013A CN 111862013 A CN111862013 A CN 111862013A CN 202010650667 A CN202010650667 A CN 202010650667A CN 111862013 A CN111862013 A CN 111862013A
- Authority
- CN
- China
- Prior art keywords
- image
- insulator
- outputting
- processing
- target frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000012212 insulator Substances 0.000 title claims abstract description 108
- 238000001514 detection method Methods 0.000 title claims abstract description 51
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 74
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims description 54
- 238000011176 pooling Methods 0.000 claims description 31
- 230000007547 defect Effects 0.000 claims description 29
- 238000010586 diagram Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000003321 amplification Effects 0.000 claims description 2
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 claims 2
- 230000002950 deficient Effects 0.000 claims 1
- 238000000605 extraction Methods 0.000 abstract description 7
- 230000000694 effects Effects 0.000 abstract description 6
- 230000005540 biological transmission Effects 0.000 description 7
- 238000007689 inspection Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000013434 data augmentation Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000009413 insulation Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010292 electrical insulation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
Abstract
本申请涉及一种基于深度卷积神经网络的绝缘子检测方法、装置及设备，基于深度卷积神经网络的绝缘子检测方法包括：采集若干原始图像，并对原始图像进行预处理，构建样本训练集；基于RPN网络、倾斜NMS算法和角度因子，构建多角度候选区域网络结构；基于多角度候选区域网络结构，利用样本训练集对深度卷积神经网络进行训练，得到训练模型；利用训练模型对待识别图像进行识别，若待识别图像中存在绝缘子，则输出带有目标框的绝缘子图像。如此，有效提高了对绝缘子信息的提取精度，避免了在检测时对背景复杂且目标较小的绝缘子出现漏检的情况，也避免了绝缘子图像中因部分重叠或遮挡而造成的检测效果不佳的情况。
Description
技术领域
本申请涉及绝缘子检测技术领域，具体涉及一种基于深度卷积神经网络的绝缘子检测方法、装置及设备。
背景技术
随着国家经济水平与科学技术的不断发展，电力消耗不断攀升，输电线路作为电力运输的基础设施，其运行状态的安全稳定是国民用电的基本保障。绝缘子是输电线路的重要元件，承担着电气绝缘隔离和机械保护支撑的作用，由于绝大部分的绝缘子常年暴露在自然环境下，在承担原本的荷载的同时还要经受雷电、风雪、高温等极端天气，极易出现绝缘子老化、破损等情况，这给电力运输带来了很大的安全隐患。
近些年来，高性能的航拍无人机在输电线路巡检中的应用越来越广泛，航拍无人机获取的图像具有拍摄背景复杂、角度多样化、光照强度不均匀等特点。这些因素使得人工肉眼检测效率低下，工作量巨大，容易因为视觉疲劳导致大量的误检、漏检。
相关技术中，基于卷积神经网络检测绝缘子最终得到的结果中，目标框通常都是水平的，并没有考虑到绝缘子在多样化的拍摄角度下倾斜的问题，这就容易导致绝缘子信息提取不精确，并且，对于拍摄背景复杂且目标较小的绝缘子，容易因为漏检或部分重叠和遮挡，造成检测效果不佳。
发明内容
有鉴于此，本申请的目的在于克服现有技术的不足，提供一种基于深度卷积神经网络的绝缘子检测方法、装置及设备。
为实现以上目的，本申请采用如下技术方案：
本申请的第一方面提供一种基于深度卷积神经网络的绝缘子检测方法，包括：
采集若干原始图像，并对所述原始图像进行预处理，构建样本训练集；
基于RPN网络、倾斜NMS算法和角度因子，构建多角度候选区域网络结构；
基于所述多角度候选区域网络结构，利用所述样本训练集对深度卷积神经网络进行训练，得到训练模型；
利用所述训练模型对待识别图像进行识别，若所述待识别图像中存在绝缘子，则输出带有目标框的绝缘子图像。
可选的，所述利用所述样本训练集对深度卷积神经网络进行训练，包括：
利用ResNet50网络对所述样本训练集中的各个图像进行特征提取，并利用特征金字塔进行特征融合，得到特征图；
将所述特征图输出到所述多角度候选区域网络结构中，得到参数结果；
将所述参数结果输出到池化层进行池化处理，处理结果输出到全连接层，将全连接层处理后的结果输出到分类层进行分类处理，得到各个图像的训练结果。
可选的，所述将所述参数结果输出到池化层进行池化处理，包括：
将所述参数结果输出到RoIAlign层进行池化处理。
可选的，所述将所述参数结果输出到池化层进行池化处理之后，所述处理结果输出到全连接层之前，所述方法还包括：
将池化后的输出结果输出到1×1的卷积层进行处理。
可选的，所述将全连接层处理后的结果输出到分类层进行分类处理，包括：
将经全连接层处理后的结果，输出到二分类器中进行分类处理。可选的，所述对所述原始图像进行预处理，包括：
对所述原始图像进行数据增广处理，对处理后的原始图像进行标注。
可选的，所述得到带有目标框的绝缘子图像之后，所述方法还包括：
对所述带有目标框的绝缘子图像进行裁剪，得到目标框图像；
对所述目标框图像进行二值化处理，得到二值化图像；
对所述二值化图像进行角度调整，在所述二值化图像呈水平状态后，基于垂直投影得到所述二值化图像的像素点曲线图；
根据所述像素点曲线图，判断所述目标框图像中的绝缘子是否存在缺陷，并对存在缺陷的位置进行定位标记。
可选的，所述判断所述目标框图像中的绝缘子是否存在缺陷，包括：
若所述像素点曲线图中存在大于或者小于预设阈值范围的像素值，则当前目标框中的绝缘子存在缺陷；若所述像素点曲线图中不存在大于或者小于预设阈值范围的像素值，则当前目标框中的绝缘子不存在缺陷。
本申请的第二方面提供一种基于深度卷积神经网络的绝缘子检测装置，包括：
样本采集模块，用于采集若干原始图像，并对所述原始图像进行预处理，构建样本训练集；
网络构建模块，用于基于RPN网络、倾斜NMS算法和角度因子，构建多角度候选区域网络结构；
训练模块，用于基于所述多角度候选区域网络结构，利用所述样本训练集对深度卷积神经网络进行训练，得到训练模型；
检测模块，用于利用所述训练模型对待识别图像进行识别，若所述待识别图像中存在绝缘子，则输出带有目标框的绝缘子图像。
本申请的第三方面提供一种基于深度卷积神经网络的绝缘子检测设备，包括：
处理器，以及与所述处理器相连接的存储器；
所述存储器用于存储计算机程序；
所述处理器用于调用并执行所述存储器中的所述计算机程序，以执行如本申请的第一方面所述的方法。
本申请提供的技术方案可以包括以下有益效果：
本申请的方案中，通过引入倾斜NMS算法，可以改变候选框，实现对绝缘子在不同倾斜角度下的有效检测，利用角度因子，可以使生成的anchor拥有多个方向，以适应不同状态下的绝缘子图片，提高了检测的准确性，如此，基于RPN网络、倾斜NMS算法和角度因子，构建的多角度候选区域网络结构不仅可以使目标框在不同倾斜角度下贴合绝缘子目标，还有效提高了检测精度，基于构建的多角度候选区域网络结构，利用经过预处理的样本训练集对深度卷积神经网络进行训练，可以得到训练模型，将待识别图像输入到训练模型中，即可得到带有目标框的绝缘子图像，如此，有效提高了对绝缘子信息的提取精度，避免了在检测时对背景复杂且目标较小的绝缘子出现漏检的情况，也避免了绝缘子图像中因部分重叠或遮挡而造成的检测效果不佳的情况，此外，得到的带有目标框的绝缘子图像中目标框更加贴合绝缘子目标。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的一种基于深度卷积神经网络的绝缘子检测方法的流程图。
图2是本申请另一个实施例提供的一种像素点曲线图的示意图。
图3是本申请另一个实施例提供的一种基于深度卷积神经网络的绝缘子检测装置的结构示意图。
图4是本申请另一个实施例提供的一种基于深度卷积神经网络的绝缘子检测设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将对本申请的技术方案进行详细的描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本申请所保护的范围。
参见图1，图1是本申请一个实施例提供的一种基于深度卷积神经网络的绝缘子检测方法的流程图。
如图1所示，本实施例提供一种基于深度卷积神经网络的绝缘子检测方法，该方法具体可以包括如下步骤：
步骤11、采集若干原始图像，并对原始图像进行预处理，构建样本训练集。
具体实施时，为了验证绝缘子数据集的鲁棒性，防止训练过拟合，需要构建一定数量的带有绝缘子图像的样本训练集，可以选用无人机输电线路的航拍巡检图像作为原始图像，在采集若干原始图像后，对所有的原始图像进行预处理，建立样本训练集。
其中，对原始图像进行预处理，具体可以包括：对原始图像进行数据增广处理，对处理后的原始图像进行标注。
步骤12、基于RPN网络、倾斜NMS算法和角度因子，构建多角度候选区域网络结构。
其中，利用多角度因子构建多角度候选区域网络结构可以使生成的anchor拥有多个方向，角度设置的多少关系着检测精度和计算量的大小，经多次实验验证，设置12种不同的角度因子可以在平衡检测精度和计算量之间取得不错的效果。
步骤13、基于多角度候选区域网络结构，利用样本训练集对深度卷积神经网络进行训练，得到训练模型。
步骤14、利用训练模型对待识别图像进行识别，若待识别图像中存在绝缘子，则输出带有目标框的绝缘子图像。
在本实施例中，通过引入倾斜NMS算法，可以改变候选框，实现对绝缘子在不同倾斜角度下的有效检测，利用角度因子，可以使生成的anchor拥有多个方向，以适应不同状态下的绝缘子图片，提高了检测的准确性，如此，基于RPN网络、倾斜NMS算法和角度因子，构建的多角度候选区域网络结构不仅可以使目标框在不同倾斜角度下贴合绝缘子目标，还有效提高了检测精度，基于构建的多角度候选区域网络结构，利用经过预处理的样本训练集对深度卷积神经网络进行训练，可以得到训练模型，将待识别图像输入到训练模型中，即可得到带有目标框的绝缘子图像，如此，有效提高了对绝缘子信息的提取精度，避免了在检测时对背景复杂且目标较小的绝缘子出现漏检的情况，也避免了绝缘子图像中因部分重叠或遮挡而造成的检测效果不佳的情况，此外，得到的带有目标框的绝缘子图像中目标框更加贴合绝缘子目标。
具体实施时，可以采集无人机输电线路的航拍巡检图像，并对带有绝缘子的航拍巡检图像进行水平镜像翻转、裁切、随机旋转等处理和筛选，以此建立若干张绝缘子数据集，其中，绝缘子数据集中经过增广处理后的航拍巡检图像的数量可以是8250张；利用roLabelImg工具对绝缘子数据集中的8250张航拍巡检图像进行标注，建立样本训练集，其中，roLabelImg工具可以标出多角度的矩形，在标注时矩形框可以完全贴合目标绝缘子，如此，减少了冗杂信息，为后续提高训练模型的泛化能力提供了良好基础。
对于样本训练集中的8250张经过数据增广和标注的航拍绝缘子图像，在进行训练的时候可以按6:4的比例被划分为两组：训练验证合集trainval和测试集test，训练验证合集trainval再按着6:1的比例划分为训练集train和验证集val，即4125张图像作为训练集train，825张图像作为验证集val，330张图像作为测试集test。
在进行样本训练时，首先输入样本训练集中的各个图像，通过基础网络ResNet50对图像进行特征提取，并在特征提取部分构建特征金字塔FPN进行特征融合，以实现对绝缘子的多尺度检测。
实施时，在构建特征金字塔后会得到多个特征图，感兴趣区域(region ofinterest，ROI)会根据不同的特征尺寸使用不同的特征层，具体的使用公式如下：
其中，k0是ROI区域应该映射到的目标级别，可以将其设置为5；w和h是ROI区域的长和宽；224是ImageNet预训练输入的大小。
在通过特征提取和特征融合后得到图片的特征图后，将特征图输入到多角度候选区域网络结构中，得到参数结果，将参数结果输出到池化层进行池化处理，处理结果输出到全连接层，将全连接层处理后的结果输出到分类层进行分类处理，得到各个图像的训练结果。
具体实施时，将特征图输入到候选区域网络RPN中，在候选区域网络RPN中加入多角度因子使其可以生成多角度的感兴趣区域(region of interest，ROI)，并得到目标的预测概率值，将ROI、预测概率值和特征图输入到RoIAlign池化层：即通过坐标投影的方法，在特征图上得到候选区域网络RPN输出的ROI所对应的特征区域，并对该区域进行最大池化，这样就得到了ROI的特征，并且统一了特征大小，以RoIAlign层的输出(即感兴趣区域对应的特征图最大池化后的特征)作为每个ROI的特征向量，即输出特征向量；将特征向量与全连接层相连，并定义了多任务损失函数，分别与分类器和boxbounding回归器相连，分别得到当前ROI的类别及坐标预测框；对所有得到的预测框进行非极大值抑制(NMS)，得到各个图像的训练结果,如此迭代200000次，可以得到最终的训练模型。
一些实施例中，为了减少特征图的通道数和参数量，降低模型参数和运算的复杂度，防止因利用特征金字塔FPN进行特征融合之后的维度过大而出现过拟合的现象，上述将参数结果输出到池化层进行池化处理之后，在处理结果输出到全连接层之前，基于深度卷积神经网络的绝缘子检测方法还可以包括：将池化后的输出结果输出到1×1的卷积层进行处理，如此，可以加快计算速度。
一些实施例中，上述经全连接层处理后的输出结果，可以输入到二分类器中进行分类处理，可以加快处理速度，减少参数量和误差。
上述步骤14中，在得到带有目标框的绝缘子图像之后，基于深度卷积神经网络的绝缘子检测方法还可以包括：对带有目标框的绝缘子图像进行裁剪，得到目标框图像；对目标框图像进行二值化处理，得到二值化图像；对二值化图像进行角度调整，在二值化图像呈水平状态后，基于垂直投影得到二值化图像的像素点曲线图；根据像素点曲线图，判断目标框图像中的绝缘子是否存在缺陷，并对存在缺陷的位置进行定位标记。
具体实施时，在对带有目标框的绝缘子图像进行裁剪之后，可以得到高度贴合绝缘子的绝缘子图像，将获取到的绝缘子图像作为目标图像进行二值化处理，在处理过程中，经过线性对比度拉升来对目标图像进行图像增强，经过中值滤波来保持目标图像边缘不受模糊影响，在经过最大类间访查法得到较为干净的二值化图，最后在进行数学形态学“腐蚀”、“膨胀”运算处理，删除二值化图与边缘相连的位置，得到效果较好的二值化图像，继而对二值化图像进行角度调整使其可以呈水平状态，再基于垂直投影最终得到目标图像的像素点曲线图，通过像素点曲线图即可判断目标图像中的绝缘子是否存在缺陷，若存在缺陷，对存在缺陷的位置进行定位标记。
一些实施例中，可以通过目标图像的像素点曲线图判断绝缘子是否存在缺陷，若像素点曲线图中存在大于或者小于预设阈值范围的像素值，则当前目标框中的绝缘子存在缺陷，在像素点曲线图中对当前超出预设阈值范围的像素值进行标注，在坐标转换后可以标记原图，如此即可检测出当前绝缘子存在缺陷的位置；若像素点曲线图中不存在大于或者小于预设阈值范围的像素值，则当前目标框中的绝缘子不存在缺陷。可以设定预设阈值范围为[0,8000]，如图2所示，标记A的位置即为超出预设阈值范围的位置，说明此处存在缺陷，对该位置进行坐标转换后即可以在目标图像中标记出绝缘子存在缺陷的实际位置。
其中，预设阈值范围的具体数值可以根据实际需求进行设定，此处不作限定。
图3是本申请另一个实施例提供的一种基于深度卷积神经网络的绝缘子检测装置的结构示意图。本实施例提供一种基于深度卷积神经网络的绝缘子检测装置，如图3所示，该装置具体可以包括：样本采集模块301，用于采集若干原始图像，并对原始图像进行预处理，构建样本训练集；网络构建模块302，用于基于RPN网络、倾斜NMS算法和角度因子，构建多角度候选区域网络结构；训练模块303，用于基于多角度候选区域网络结构，利用样本训练集对深度卷积神经网络进行训练，得到训练模型；检测模块304，用于利用训练模型对待识别图像进行识别，若待识别图像中存在绝缘子，则输出带有目标框的绝缘子图像。
可选的，上述利用样本训练集对深度卷积神经网络进行训练，训练模块，具体还可以用于：利用ResNet50网络对样本训练集中的各个图像进行特征提取，并利用特征金字塔进行特征融合，得到特征图；将特征图输出到多角度候选区域网络结构中，得到参数结果；将参数结果输出到池化层进行池化处理，处理结果输出到全连接层，将全连接层处理后的结果输出到分类层进行分类处理，得到各个图像的训练结果。
可选的，上述将参数结果输出到池化层进行池化处理，训练模块，具体还可以用于：将参数结果输出到RoIAlign层进行池化处理。
可选的，上述将参数结果输出到池化层进行池化处理之后，处理结果输出到全连接层之前，训练模块，具体还用于：将池化后的输出结果输出到1×1的卷积层进行处理。
可选的，上述将全连接层处理后的结果输出到分类层进行分类处理，训练模块，具体还用于：将经全连接层处理后的结果，输出到二分类器中进行分类处理。
可选的，上述对原始图像进行预处理，样本采集模块，具体还可以用于：对原始图像进行数据增广处理，对处理后的原始图像进行标注。
可选的，得到带有目标框的绝缘子图像之后，基于深度卷积神经网络的绝缘子检测装置还可以包括缺陷检测模块，缺陷检测模块具体用于：对带有目标框的绝缘子图像进行裁剪，得到目标框图像；对目标框图像进行二值化处理，得到二值化图像；对二值化图像进行角度调整，在二值化图像呈水平状态后，基于垂直投影得到二值化图像的像素点曲线图；根据像素点曲线图，判断目标框图像中的绝缘子是否存在缺陷，并对存在缺陷的位置进行定位标记。
可选的，上述判断目标框图像中的绝缘子是否存在缺陷，缺陷检测模块，具体还可以用于：若像素点曲线图中存在大于或者小于预设阈值范围的像素值，则当前目标框中的绝缘子存在缺陷；若像素点曲线图中不存在大于或者小于预设阈值范围的像素值，则当前目标框中的绝缘子不存在缺陷。
本申请实施例提供的基于深度卷积神经网络的绝缘子检测装置的具体实施方案可以参考以上任意实施例所述的基于深度卷积神经网络的绝缘子检测方法的实施方案，此处不再赘述。
图4是本申请另一个实施例提供的一种基于深度卷积神经网络的绝缘子检测设备的结构示意图。
本实施例提供一种基于深度卷积神经网络的绝缘子检测设备，如图4所示，该设备具体可以包括：处理器401，以及与处理器401相连接的存储器402；存储器402用于存储计算机程序；处理器401用于调用并执行存储器402中的计算机程序，以执行如以上任意实施例所述的基于深度卷积神经网络的绝缘子检测方法。
其中，本实施例提供的基于深度卷积神经网络的绝缘子检测设备的具体实施方案可以参考以上任意实施例所述的基于深度卷积神经网络的绝缘子检测方法的实施方案，此处不再赘述。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种基于深度卷积神经网络的绝缘子检测方法，其特征在于，包括：
采集若干原始图像，并对所述原始图像进行预处理，构建样本训练集；
基于RPN网络、倾斜NMS算法和角度因子，构建多角度候选区域网络结构；
基于所述多角度候选区域网络结构，利用所述样本训练集对深度卷积神经网络进行训练，得到训练模型；
利用所述训练模型对待识别图像进行识别，若所述待识别图像中存在绝缘子，则输出带有目标框的绝缘子图像。
2.根据权利要求1所述的方法，其特征在于，所述利用所述样本训练集对深度卷积神经网络进行训练，包括：
利用ResNet50网络对所述样本训练集中的各个图像进行特征提取，并利用特征金字塔进行特征融合，得到特征图；
将所述特征图输出到所述多角度候选区域网络结构中，得到参数结果；
将所述参数结果输出到池化层进行池化处理，处理结果输出到全连接层，将全连接层处理后的结果输出到分类层进行分类处理，得到各个图像的训练结果。
3.根据权利要求2所述的方法，其特征在于，所述将所述参数结果输出到池化层进行池化处理，包括：
将所述参数结果输出到RoIAlign层进行池化处理。
4.根据权利要求2所述的方法，其特征在于，所述将所述参数结果输出到池化层进行池化处理之后，所述处理结果输出到全连接层之前，所述方法还包括：
将池化后的输出结果输出到1×1的卷积层进行处理。
5.根据权利要求2所述的方法，其特征在于，所述将全连接层处理后的结果输出到分类层进行分类处理，包括：
将经全连接层处理后的结果，输出到二分类器中进行分类处理。
6.根据权利要求1所述的方法，其特征在于，所述对所述原始图像进行预处理，包括：
对所述原始图像进行数据增广处理，对处理后的原始图像进行标注。
7.根据权利要求1所述的方法，其特征在于，所述得到带有目标框的绝缘子图像之后，所述方法还包括：
对所述带有目标框的绝缘子图像进行裁剪，得到目标框图像；
对所述目标框图像进行二值化处理，得到二值化图像；
对所述二值化图像进行角度调整，在所述二值化图像呈水平状态后，基于垂直投影得到所述二值化图像的像素点曲线图；
根据所述像素点曲线图，判断所述目标框图像中的绝缘子是否存在缺陷，并对存在缺陷的位置进行定位标记。
8.根据权利要求7所述的方法，其特征在于，所述判断所述目标框图像中的绝缘子是否存在缺陷，包括：
若所述像素点曲线图中存在大于或者小于预设阈值范围的像素值，则当前目标框中的绝缘子存在缺陷；若所述像素点曲线图中不存在大于或者小于预设阈值范围的像素值，则当前目标框中的绝缘子不存在缺陷。
9.一种基于深度卷积神经网络的绝缘子检测装置，其特征在于，包括：
样本采集模块，用于采集若干原始图像，并对所述原始图像进行预处理，构建样本训练集；
网络构建模块，用于基于RPN网络、倾斜NMS算法和角度因子，构建多角度候选区域网络结构；
训练模块，用于基于所述多角度候选区域网络结构，利用所述样本训练集对深度卷积神经网络进行训练，得到训练模型；
检测模块，用于利用所述训练模型对待识别图像进行识别，若所述待识别图像中存在绝缘子，则输出带有目标框的绝缘子图像。
10.一种基于深度卷积神经网络的绝缘子检测设备，其特征在于，包括：
处理器，以及与所述处理器相连接的存储器；
所述存储器用于存储计算机程序；
所述处理器用于调用并执行所述存储器中的所述计算机程序，以执行如权利要求1-8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010650667.1A CN111862013B (zh) | 2020-07-08 | 2020-07-08 | 基于深度卷积神经网络的绝缘子检测方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010650667.1A CN111862013B (zh) | 2020-07-08 | 2020-07-08 | 基于深度卷积神经网络的绝缘子检测方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111862013A true CN111862013A (zh) | 2020-10-30 |
| CN111862013B CN111862013B (zh) | 2024-02-02 |
Family
ID=73152472
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010650667.1A Active CN111862013B (zh) | 2020-07-08 | 2020-07-08 | 基于深度卷积神经网络的绝缘子检测方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111862013B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112489040A (zh) * | 2020-12-17 | 2021-03-12 | 哈尔滨市科佳通用机电股份有限公司 | 一种货车副风缸脱落故障识别方法 |
| CN112614094A (zh) * | 2020-12-15 | 2021-04-06 | 郑州金惠计算机系统工程有限公司 | 基于序列状态编码的绝缘子串异常定位识别方法 |
| CN112967177A (zh) * | 2021-03-03 | 2021-06-15 | 北京百度网讯科技有限公司 | 图像生成方法、装置、设备、存储介质以及程序产品 |
| CN113435407A (zh) * | 2021-07-20 | 2021-09-24 | 广东电网有限责任公司 | 一种输电系统的小目标识别方法及装置 |
| CN113538387A (zh) * | 2021-07-23 | 2021-10-22 | 广东电网有限责任公司 | 基于深度卷积神经网络的多尺度巡检图像识别方法及装置 |
| CN116012380A (zh) * | 2023-03-27 | 2023-04-25 | 中江立江电子有限公司 | 一种绝缘子缺陷检测方法、装置、设备及介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106919978A (zh) * | 2017-01-18 | 2017-07-04 | 西南交通大学 | 一种高铁接触网支撑装置零部件识别检测方法 |
| WO2019232830A1 (zh) * | 2018-06-06 | 2019-12-12 | 平安科技（深圳）有限公司 | 机场异物检测方法、装置、计算机设备及存储介质 |
| CN111178213A (zh) * | 2019-12-23 | 2020-05-19 | 大连理工大学 | 一种基于深度学习的航拍车辆检测方法 |
-
2020
- 2020-07-08 CN CN202010650667.1A patent/CN111862013B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106919978A (zh) * | 2017-01-18 | 2017-07-04 | 西南交通大学 | 一种高铁接触网支撑装置零部件识别检测方法 |
| WO2019232830A1 (zh) * | 2018-06-06 | 2019-12-12 | 平安科技（深圳）有限公司 | 机场异物检测方法、装置、计算机设备及存储介质 |
| CN111178213A (zh) * | 2019-12-23 | 2020-05-19 | 大连理工大学 | 一种基于深度学习的航拍车辆检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| 孙婧婧;张青林;: "基于轻量级网络的自然场景下的文本检测", 电子测量技术, no. 08 * |
| 戴媛等: "基于改进旋转区域生成网络的遥感图像目标检测", 《光学学报》, pages 3 - 10 * |
| 朱有产;王雯瑶;: "基于改进Mask R-CNN的绝缘子目标识别方法", 微电子学与计算机, no. 02 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112614094A (zh) * | 2020-12-15 | 2021-04-06 | 郑州金惠计算机系统工程有限公司 | 基于序列状态编码的绝缘子串异常定位识别方法 |
| CN112489040A (zh) * | 2020-12-17 | 2021-03-12 | 哈尔滨市科佳通用机电股份有限公司 | 一种货车副风缸脱落故障识别方法 |
| CN112967177A (zh) * | 2021-03-03 | 2021-06-15 | 北京百度网讯科技有限公司 | 图像生成方法、装置、设备、存储介质以及程序产品 |
| CN112967177B (zh) * | 2021-03-03 | 2022-12-27 | 北京百度网讯科技有限公司 | 图像生成方法、装置、设备、存储介质以及程序产品 |
| CN113435407A (zh) * | 2021-07-20 | 2021-09-24 | 广东电网有限责任公司 | 一种输电系统的小目标识别方法及装置 |
| CN113538387A (zh) * | 2021-07-23 | 2021-10-22 | 广东电网有限责任公司 | 基于深度卷积神经网络的多尺度巡检图像识别方法及装置 |
| CN113538387B (zh) * | 2021-07-23 | 2024-04-05 | 广东电网有限责任公司 | 基于深度卷积神经网络的多尺度巡检图像识别方法及装置 |
| CN116012380A (zh) * | 2023-03-27 | 2023-04-25 | 中江立江电子有限公司 | 一种绝缘子缺陷检测方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111862013B (zh) | 2024-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111862013B (zh) | 基于深度卷积神经网络的绝缘子检测方法、装置及设备 | |
| CN109117858B (zh) | 监测风力发电机叶片结冰的方法及装置 | |
| CN109344753A (zh) | 一种基于深度学习的航拍图像输电线路细小金具识别方法 | |
| CN111784633B (zh) | 一种面向电力巡检视频的绝缘子缺损自动检测算法 | |
| CN109712127B (zh) | 一种用于机巡视频流的输电线路故障检测方法 | |
| CN109146832B (zh) | 一种视频图像的拼接方法、装置、终端设备及存储介质 | |
| CN111598889B (zh) | 均压环倾斜故障的识别方法、装置、计算机设备 | |
| CN114972191A (zh) | 一种耕地变化检测方法和装置 | |
| CN111046950A (zh) | 一种图像处理方法、装置、存储介质和电子装置 | |
| CN116110036B (zh) | 基于机器视觉的电力铭牌信息缺陷等级判断方法及装置 | |
| CN115546664A (zh) | 一种基于级联网络的绝缘子自爆检测方法及系统 | |
| CN113963314A (zh) | 降雨量监测方法、装置、计算机设备及存储介质 | |
| CN116580285A (zh) | 铁路绝缘子夜间目标识别检测方法 | |
| CN112016641A (zh) | 一种异物导致线路短路故障告警方法及装置 | |
| CN116645568A (zh) | 目标检测方法、装置、电子设备及存储介质 | |
| CN112614094B (zh) | 基于序列状态编码的绝缘子串异常定位识别方法 | |
| CN115937492A (zh) | 一种基于特征识别的变电设备红外图像识别方法 | |
| CN115100546A (zh) | 一种基于mobilenet的电力设备小目标缺陷识别方法及系统 | |
| CN115546191A (zh) | 一种基于改进RetinaNet的绝缘子缺陷检测方法及设备 | |
| CN112164025A (zh) | 螺纹连接件的缺陷检测方法及装置、电子设备和存储介质 | |
| CN117173385B (zh) | 一种变电站的检测方法、装置、介质及设备 | |
| CN116385889B (zh) | 基于铁路识别的电力巡检方法、装置、电子设备 | |
| CN114663724A (zh) | 一种风筝挂线图像的智能识别方法及系统 | |
| CN114550090A (zh) | 一种基于深度学习的变电站鸟巢识别方法及系统 | |
| CN117788919A (zh) | 一种输电线断股缺陷检测方法、系统及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |