CN111008959A - 基于航拍图像的均压环缺陷检测方法、装置、介质和设备 - Google Patents

基于航拍图像的均压环缺陷检测方法、装置、介质和设备 Download PDF

Info

Publication number
CN111008959A
CN111008959A CN201911154105.1A CN201911154105A CN111008959A CN 111008959 A CN111008959 A CN 111008959A CN 201911154105 A CN201911154105 A CN 201911154105A CN 111008959 A CN111008959 A CN 111008959A
Authority
CN
China
Prior art keywords
training
grading ring
image
data
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201911154105.1A
Other languages
English (en)
Inventor
鲁松林
王红星
王永强
陈玉权
黄郑
沈杰
黄祥
张欣
朱洁
高小伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yuhang Intelligent Technology Co ltd
Jiangsu Fangtian Power Technology Co Ltd
Original Assignee
Beijing Yuhang Intelligent Technology Co ltd
Jiangsu Fangtian Power Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yuhang Intelligent Technology Co ltd, Jiangsu Fangtian Power Technology Co Ltd filed Critical Beijing Yuhang Intelligent Technology Co ltd
Priority to CN201911154105.1A priority Critical patent/CN111008959A/zh
Publication of CN111008959A publication Critical patent/CN111008959A/zh
Priority to CN202010395305.2A priority patent/CN111563893B/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04SSYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了基于航拍图像的均压环缺陷检测方法、装置、介质和设备,所述方法包括:对航拍图像进行标注,对标注后的图像数据进行分类存储,建立均压环的缺陷数据集,所述缺陷数据集包括训练集和测试集;利用所述训练集中的图像数据进行神经网络训练以生成训练模型;使用所述测试集对所述训练模型进行评估,当评估的精度结果达到要求后,利用训练模型对巡检输电线路的航拍图像进行均压环缺陷的检测。本发明的方法应用数据增强,在线困难样本挖掘,缓和非极大值抑制算法、AdaGrad自适应梯度算法等方法对Faster R‑CNN网络进行改进。本发明还选用ResNet‑152替代原Faster R‑CNN的VGG16特征提取网络来提升均压环的缺陷识别率。本发明的方法可适应多种类型输电线路的均压环故障检测。

Description

基于航拍图像的均压环缺陷检测方法、装置、介质和设备
技术领域
本发明涉及图像检测识别技术领域,尤其是涉及基于航拍图像的均压环缺陷检测方法、装置、介质和设备。
背景技术
均压环作为输电线路的重要组成部件,对其进行定期巡检是保障电力系统安全运行的重要举措。目前我国的均压环巡检以人工方式为主,无人机航拍图像分析为辅。采用传统的数字图像处理进行均压环边缘检测和局部形状轮廓匹配,需要人工设计特征,针对环境设定算法参数,导致准确率低、算法适用性不强且无法实现对均压环的定位。
针对均压环的检测,目前常用的方法是通过局部的轮廓特征进行识别。形状轮廓可以被分解为直线、曲线或随机断裂的片段等简单的轮廓,通过单一片段或者相邻片段的组合描述局部形状信息。
现有的检测方法利用分裂与合并的方法构建可扩展端点的曲线轮廓,并通过圆弧的一元和二元描述符来描述曲线的本身轮廓性质和曲线之间的几何关系,使用模型的属性关系图识别目标。
现有技术通过角点检测得到目标轮廓的曲率,在高曲率点将目标分裂成主要轮廓片段,根据主要轮廓片段建立目标模型,进而检测出目标所有轮廓片段。
现有技术通过手动将目标分割成重叠的轮廓片段,再利用粒子滤波方法在图像中检测和组合轮廓片段。复杂自然环境下,局部轮廓可能会发生遮挡和形变,导致单一的轮廓片段变化过大,不能很好地表示形状的局部信息。
以上是目前在均压环检测过程中应用相对成熟的算法,但是从检测结果可以看出,采用该方法对均压环的检测轮廓不完整,且无法实现对其准确的定位。对背景环境和拍摄角度要求较高,其针对的是曲线关系特征明确的均压环形状,针对于我国目前电力系统中普遍采用的圆形均压环无法达到检测的目的。
发明内容
为了解决现有技术存在的采用传统的数字图像处理进行均压环边缘检测和局部形状轮廓匹配,需要人工设计特征,针对环境设定算法参数,导致准确率低、算法适用性不强且无法实现对均压环的定位的技术问题。本发明提供一种基于航拍图像的均压环缺陷检测方法、装置、介质和设备。
第一方面,本发明提供了一种基于航拍图像的均压环缺陷检测方法,包括:
对航拍图像进行标注,对标注后的图像数据进行分类存储,建立均压环的缺陷数据集,所述缺陷数据集包括训练集和测试集;
利用所述训练集中的图像数据进行神经网络训练以生成训练模型;
使用所述测试集对所述训练模型进行评估,当评估的精度结果达到要求后,利用训练模型对巡检输电线路的航拍图像进行均压环缺陷的检测。
本发明的有益效果是:
通过本发明的基于航拍图像的输电线路均压环缺陷检测方法解决了现有技术主要依靠人工巡检目测,巡视难度大,周期长,巡视结果受巡视人员技能以及天气、地形等客观因素影响较大的技术问题。本发明的基于航拍图像的输电线路均压环缺陷检测方法应用数据增强(Data Augmentation),在线困难样本挖掘(Online Hard Example Mining,OHEM),缓和非极大值抑制(soft-Non-Maximum Suppression,soft-NMS)算法、AdaGrad自适应梯度算法等方法对Faster R-CNN网络进行改进。本发明还选用ResNet-152替代原FasterR-CNN的VGG16特征提取网络来提升均压环的缺陷识别率。本发明所提供的方法会比人工巡视更为便捷,更为安全,也更为高效,并且本发明所提供的方法可以适应多种类型及尺度的输电线路航拍图像的均压环故障检测。
进一步,所述有缺陷的结果具体包括以下三种缺陷结果类型之一:
均压环损坏、均压环倾斜和均压环脱落。
进一步,所述利用所述训练集中的图像数据进行神经网络训练以生成训练模型具体包括:
提取所述测试集中的航拍图像中均压环的特征,得到多个特征块;
将提取得到的所述特征块输入到区域候选网络RPN;以得到区域建议框;
每个所述区域建议框内包含识别到的含有所述均压环的语义特征;
将所述区域建议框内的语义特征通过区域池化层映射输出相同大小的特征信息,并将所述特征信息输入到全连接层;
全连接层的输出通过分类函数softmax以及边框回归bbox的函数获得精确类别预测和目标定位,并通过缓和非极大值抑制算法剔除相近位置、相同类别的预测目标,得到均压环预测框。
进一步,所述得到多个特征块之前还包括:
利用数据增强增加拍摄的图像样本数目,将数目增加后的图像作为所述航拍图像。
采用上述进一步方案的有益效果是:
由于模型训练样本数量较少,极容易出现过拟合现象,引入了数据增强后有效避免了由模型训练样本数量较少产生的过拟合现象的问题。
进一步,所述利用数据增强增加拍摄的图像样本数目通过至少以下方法之一来实现:
高斯噪声数据增强、椒盐噪声数据增强、斑点噪声数据增强、均值滤波数据增强、高斯滤波数据增强、对比度增强滤波数据增强、亮度变换数据增强和/或尺度放缩数据增强。
进一步,所述生成训练模型为ROI网络模型;
所述池化操作之前,还包括:所述区域建议框用于通过在线困难样本挖掘OnlineHard Example Mining方法对ROI网络模型进行模型训练。
采用上述进一步方案的有益效果是:
解决了在模型训练过程中产生的数以万计的候选区域,且这些候选区域大部分区域都是背景,导致负样本与目标区域数量之比过大,数据不平衡进而导致正样本类别在模型中学习迭代次数较少,不利于网络训练进行分类和定位的技术问题。在线困难样本挖掘(Online Hard Example Mining,OHEM)方法提出大部分背景区域和容易检测识别的区域在预测类别精度上表现的相对较高,损失loss相对较小,在线困难样本挖掘(Online HardExample Mining,OHEM)方法在模型训练过程中将损失较小的权重设为0,那么由此带来的好处就是损失较大的正样本区域会得到进一步的训练,从而提高模型训练效果。
进一步,所述得到语义特征、与通过卷积神经网络得到识别结果之间,还包括:
利用缓和非极大值抑制(soft-Non-Maximum Suppression,soft-NMS)算法移除预测概率较高的目标框附近的其他同类目标概率分值。
在Faster R-CNN算法框架中,非极大值抑制算法会移除预测概率较高的目标框附近的其他同类目标,因此可能导致距离较近或存在重叠的同类目标的漏检。缓和非极大值抑制(soft-Non-Maximum Suppression,soft-NMS)算法对此进行改进,仅降低预测概率较高的目标框附近的其他同类目标概率分值,降低的幅度由与高概率目标的接近程度决定,以提升模型在预测较密集目标时的预测精度。其中,同类目标与高概率目标的接近程度通过交并比(Intersection-Over-Union,IOU)定义。
采用上述进一步方案的有益效果是:
采用缓和非极大值抑制(soft-Non-Maximum Suppression,soft-NMS)算法仅降低预测概率较高的目标框附近的其他同类目标概率分值,降低的幅度由于高概率目标的接近程度决定,由此可以提升模型在预测较密集目标时的预测精度。
第二方面,本发明提供了一种基于航拍图像的均压环缺陷检测装置,包括:
标注模块,用于对航拍图像进行标注,对标注后的图像数据进行分类存储,建立均压环的缺陷数据集,所述缺陷数据集包括训练集和测试集;
训练模块,用于利用所述训练集中的图像数据进行神经网络训练以生成训练模型;
输出模块,用于使用所述测试集对所述训练模型进行评估,当评估的精度结果达到要求后,利用训练模型对巡检输电线路的航拍图像进行均压环缺陷的检测。
进一步,还包括:
增强模块,用于利用数据增强增加拍摄的图像样本数目。
进一步,所述增强模块通过至少以下方法之一来实现:
高斯噪声数据增强、椒盐噪声数据增强、斑点噪声数据增强、均值滤波数据增强、高斯滤波数据增强、对比度增强滤波数据增强、亮度变换数据增强和/或尺度放缩数据增强。
进一步,所述训练模块通过在线困难样本挖掘(Online Hard Example Mining,OHEM)方法对RPN网络模型进行模型训练。
进一步,还包括:
移除模块,用于利用缓和非极大值抑制(soft-Non-Maximum Suppression,soft-NMS)算法移除预测概率较高的目标框附近的其他同类目标概率分值。
第三方面,本发明提供了一种电子设备,包括处理器,所述处理器用于执行上述任一项所述的基于航拍图像的均压环缺陷检测方法。
第四方面,一种计算机可读存储介质,存储有计算机程序,所述程序运行后,控制上述的处理器执行上述任一种基于航拍图像的均压环缺陷检测方法。
附图说明
图1是本发明的基于航拍图像的输电线路均压环缺陷检测方法的流程示意图;
图2是本发明的基于航拍图像的输电线路均压环缺陷检测方法的模型训练过程的流程示意图;
图3是本发明的基于航拍图像的输电线路均压环缺陷检测方法的流程示意图;
图4是本发明所用的ResNet网络的两种结构示意图;
图5是本发明的基于航拍图像的输电线路均压环缺陷检测装置的结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定装备结构、接口、技术之类的具体细节,以便透彻理解本发明。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中,省略对众所周知的装置、电路以及方法的详细说明,以免不必要的细节妨碍本发明的描述。
如图1所示,本发明提供了一种基于航拍图像的均压环缺陷检测方法,包括:
S1:对航拍图像进行标注,对标注后的图像数据进行分类存储,建立均压环的缺陷数据集,所述缺陷数据集包括训练集和测试集;
S2:利用所述训练集中的图像数据进行神经网络训练以生成训练模型;
S3:使用所述测试集对所述训练模型进行评估,当评估的精度结果达到要求后,利用训练模型对巡检输电线路的航拍图像进行均压环缺陷的检测。
本发明的有益效果是:
通过本发明的基于航拍图像的输电线路均压环缺陷检测方法解决了现有技术存在的采用传统的数字图像处理进行均压环边缘检测和局部形状轮廓匹配,需要人工设计特征,针对环境设定算法参数,导致准确率低、算法适用性不强且无法实现对均压环的定位的技术问题本发明的基于航拍图像的输电线路均压环缺陷检测方法应用数据增强(DataAugmentation),在线困难样本挖掘(Online Hard Example Mining,OHEM),缓和非极大值抑制(soft-Non-Maximum Suppression,soft-NMS)算法、AdaGrad自适应梯度算法等方法对Faster R-CNN网络进行改进。本发明还选用ResNet-152替代原Faster R-CNN的VGG16特征提取网络来提升均压环的缺陷识别率。本发明所提供的方法会比人工巡视更为便捷,更为安全,也更为高效,并且本发明所提供的方法可以适应多种类型及尺度的输电线路航拍图像的均压环故障检测。
在本发明的方法中,首先采用人工标准建立均压环的故障数据集,均压环的故障类型主要有三类:均压环损坏、均压环倾斜和均压环脱落。通过使用数据增强的方法增加原始数据集的数据数量,然后将数据集分为训练集和测试集,训练集输入Faster R-CNN网路进行模型训练,进行模型训练时采用在线困难样本挖掘(Online Hard Example Mining,OHEM)方法提高训练效果,在得出具体的预测框阶段使用缓和非极大值抑制(soft-Non-Maximum Suppression,soft-NMS)提升模型预测的精度,最后使用测试集对训练得到的模型进行评估,以上就是本发明的完整的一个基于航拍图像的输电线路均压环缺陷检测方法。
本发明所使用的航拍图像由无人机采集,人工从无人机巡检图像中筛查带有缺陷的图片,从无人机巡检图像中筛查带有缺陷的图片7500张,每类2500张,筛查出的巡检图片电压包括35kV、110kV、220kV、500kV四种,图像分辨率为4288*2848,时令覆盖四季。
如图2所示,在一些说明性实施例中,所述S2具体包括:
S2.1:提取所述测试集中的航拍图像中均压环的特征,得到多个特征块;
S2.2:将提取得到的所述特征块输入到区域候选网络RPN;以得到区域建议框;
S2.3:每个所述区域建议框内包含识别到的含有所述均压环的语义特征;
S2.4:将所述区域建议框内的语义特征通过区域池化层映射输出相同大小的特征信息,并将所述特征信息输入到全连接层;
S2.5:全连接层的输出通过分类函数softmax以及边框回归bbox的函数获得精确类别预测和目标定位,并通过缓和非极大值抑制算法剔除相近位置、相同类别的预测目标,得到均压环预测框。
如图3所示,下面详细阐述本发明所使用的Faster R-CNN检测的原理:
首先,对航拍得到的图片经过特征提取网络得到一连串的特征块(FeatureMaps),并且这些Feature Maps和后续使用到的区域建议网络(Region Proposal Network,RPN)还有Faster R-CNN网络共享参数。
将经过上一步得到的特征输入RPN网络来得到一系列的区域建议框。RPN网络通过训练集的训练使网络能够预测出目标的建议框,也就是使用神经网络代替传统图像处理的选择性搜索方法(selective search)来预测生成区域建议框。
之后,在得到一系列的区域建议框之后,把这些区域建议框对应的语义特征通过区域池化层(ROI pooling)映射输出相同大小的特征信息,然后将这些特征信息输入到最后的全连接层。
最后,通过全连接层的输出通过分类函数softmax以及bbox的边框回归函数获得精确的类别预测以及目标定位,最后通过缓和非极大值抑制(Non-Maximum Suppression,NMS)算法提出相近位置、相同类别的预测目标,得到最后的目标预测框。
本发明的基于航拍图像的均压环缺陷检测方法中还采用了ResNet进行模型训练,ResNet的优点主要在于提出了残差网络学习的思想,通过将输入的数据直接与输出数据拼接在一起,从一定程度上避免了网络的梯度爆炸与消失问题,并且简化了学习过程与难度。如图4所示为ResNet的两种结构,ResNet-152使用一个三层的stack代替以前的两层。这三层分别使用1×1,3×3,和1×1的卷积。其中,1×1卷积用来降维然后升维,即利用1×1卷积解决维度不同的问题,这种结构也的确能够提升其性能。在通用数据集上,ResNet-152比VGG16的识别准确率更高,并且位列第一,因此选用了ResNet-152替代原Faster R-CNN的VGG16特征提取网络来提升均压环的缺陷识别率。
本发明的基于航拍图像的均压环缺陷检测方法中还采用了AdaGrad(adaptivegradient)自适应梯度算法,AdaGrad自适应梯度算法是一种改进的随机梯度下降算法。在现有技术的算法中,每一个参数都使用相同的学习率α。AdaGrad算法能够在训练中自动对学习率进行调整,出现频率较低的参数采用较大的α更新,出现频率较高的参数采用较小的α更新。
对于经典的SGD优化方法,参数θ的更新过程为:
从训练集中采包含m个样本{x(1),...,x(m)}的小批量,对应目标为y(i),ò为学习率,α为动量参数,θ为初始参数,v为初始速度,
Figure BDA0002284338540000111
表示第i个参数的梯度。
计算梯度估计:
Figure BDA0002284338540000112
计算速度更新:
v←αv-òg
应用更新:
θ←θ+v
AdaGrad算法的更新过程为:
δ为小常数,为了数值稳定大约设为10-7,r为梯度累积变量,r的初始值为0,⊙表示按元素相乘
计算梯度:
Figure BDA0002284338540000113
累计平方梯度:
r←r+g⊙g
计算更新:
Figure BDA0002284338540000114
应用更新:
θ←θ+Δθ
在SGD算法中,随着梯度的增大,学习步长是随之增大的。在AdaGrad算法中,随着算法不断迭代,r会越来越大,整体的学习率会越来越小。所以AdaGrad算法一开始是激励收敛,到了后面就慢慢变成惩罚收敛,速度越来越慢。
在实际训练过程中,随着更新次数的增大,我们希望学习率能越来越慢。因为在学习率的最初阶段,距离损失函数最优解还很远,随着更新次数的增加,越来越接近最优解,所以学习率也应该随之变慢。因此应用了AdaGrad替代原Faster R-CNN的SGD优化策略提升均压环的缺陷识别率。
在一些说明性实施例中,所述有缺陷的结果具体包括以下三种缺陷结果类型之一:
均压环损坏、均压环倾斜和均压环脱落。
所述均压环损坏指均压环上出现裂缝等均压环自身的硬件损伤。
所述均压环倾斜指均压环安装的位置较标准位置发声偏移产生的缺陷。
所述均压环脱落指均压环由于脱落造成均压环丢失所产生的缺陷。
在一些说明性实施例中,所述得到多个特征块之前还包括:
利用数据增强增加拍摄的图像样本数目,将数目增加后的图像作为所述航拍图像。
采用上述方案的有益效果是:
由于模型训练样本数量较少,极容易出现过拟合现象,引入了数据增强后有效避免了由模型训练样本数量较少产生的过拟合现象的问题。
在一些说明性实施例中,所述利用数据增强增加拍摄的图像样本数目通过至少以下方法之一来实现:
高斯噪声数据增强、椒盐噪声数据增强、斑点噪声数据增强、均值滤波数据增强、高斯滤波数据增强、对比度增强滤波数据增强、亮度变换数据增强和/或尺度放缩数据增强。所述椒盐噪声数据增强也称为脉冲噪声数据增强。
Figure BDA0002284338540000131
在一些说明性实施例中,所述生成训练模型为ROI网络模型;
所述池化操作之前,还包括:所述区域建议框用于通过在线困难样本挖掘OnlineHard Example Mining方法对ROI网络模型进行模型训练。
采用上述方案的有益效果是:
解决了在模型训练过程中产生的数以万计的候选区域,且这些候选区域大部分区域都是背景,导致负样本与目标区域数量之比过大,数据不平衡进而导致正样本类别在模型中学习迭代次数较少,不利于网络训练进行分类和定位的技术问题。在线困难样本挖掘(Online Hard Example Mining,OHEM)方法提出大部分背景区域和容易检测识别的区域在预测类别精度上表现的相对较高,损失loss相对较小,在线困难样本挖掘(Online HardExample Mining,OHEM)方法在模型训练过程中将损失较小的权重设为0,那么由此带来的好处就是损失较大的正样本区域会得到进一步的训练,从而提高模型训练效果。
在一些说明性实施例中,在所述将得到的区域建议框对应的语义特征通过区域池化层映射输出相同大小的特征信息并经全连接层输出最终的识别结果前还包括:
利用缓和非极大值抑制(soft-Non-Maximum Suppression,soft-NMS)算法移除预测概率较高的目标框附近的其他同类目标概率分值。
采用上述方案的有益效果是:
采用缓和非极大值抑制(soft-Non-Maximum Suppression,soft-NMS)算法仅降低预测概率较高的目标框附近的其他同类目标概率分值,降低的幅度由于高概率目标的接近程度决定,由此可以提升模型在预测较密集目标时的预测精度。
如图5所示,本发明还提供了一种基于航拍图像的均压环缺陷检测装置,包括:
标注模块100,用于对航拍图像进行标注,对标注后的图像数据进行分类存储,建立均压环的缺陷数据集,所述缺陷数据集包括训练集和测试集;
训练模块200,用于利用所述训练集中的图像数据进行神经网络训练以生成训练模型;
输出模块300,用于使用所述测试集对所述训练模型进行评估,当评估的精度结果达到要求后,利用训练模型对巡检输电线路的航拍图像进行均压环缺陷的检测。
本发明的有益效果是:
通过本发明的基于航拍图像的输电线路均压环缺陷检测方法解决了现有技术主要依靠人工巡检目测,巡视难度大,周期长,巡视结果受巡视人员技能以及天气、地形等客观因素影响较大的技术问题。本发明的基于航拍图像的输电线路均压环缺陷检测方法应用数据增强(Data Augmentation),在线困难样本挖掘(Online Hard Example Mining,OHEM),缓和非极大值抑制(soft-Non-Maximum Suppression,soft-NMS)算法等方法对Faster R-CNN网络进行改进。本发明所提供的方法会比人工巡视更为便捷,更为安全,也更为高效,并且本发明所提供的方法可以适应多种类型及尺度的输电线路航拍图像的均压环故障检测。
在一些说明性实施例中,还包括:
增强模块,用于利用数据增强增加拍摄的图像样本数目。
在一些说明性实施例中,所述增强模块通过至少以下方法之一来实现:
高斯噪声数据增强、椒盐噪声数据增强、斑点噪声数据增强、均值滤波数据增强、高斯滤波数据增强、对比度增强滤波数据增强、亮度变换数据增强和/或尺度放缩数据增强。
在一些说明性实施例中,所述训练模块通过在线困难样本挖掘(Online HardExample Mining,OHEM)方法对RPN网络模型进行模型训练。
在一些说明性实施例中,还包括:
移除模块,用于利用缓和非极大值抑制(soft-Non-Maximum Suppression,soft-NMS)算法移除预测概率较高的目标框附近的其他同类目标概率分值。
本发明实施例还公开了一种电子设备,包括处理器,所述处理器用于执行上述任一种基于航拍图像的均压环缺陷检测方法。
优选的,本发明实施例还提供一种计算机可读存储介质,存储有计算机程序,程序运行后,用于控制所述处理器执行上述任一种基于航拍图像的均压环缺陷检测方法。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,物流管理服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种基于航拍图像的均压环缺陷检测方法,其特征在于,包括:
对航拍图像进行标注,对标注后的图像数据进行分类存储,建立均压环的缺陷数据集,所述缺陷数据集包括训练集和测试集;
利用所述训练集中的图像数据进行神经网络训练以生成训练模型;
使用所述测试集对所述训练模型进行评估,当评估的精度结果达到要求后,利用训练模型对巡检输电线路的航拍图像进行均压环缺陷的检测。
2.根据权利要求1所述的基于航拍图像的均压环缺陷检测方法,其特征在于,所述标注的图像和通过均压环缺陷的检测的输出图像,包括的图像的缺陷的具有以下三种缺陷类型之一:
均压环损坏、均压环倾斜和均压环脱落。
3.根据权利要求1所述的基于航拍图像的均压环缺陷检测方法,其特征在于,所述利用所述训练集中的图像数据进行神经网络训练以生成训练模型具体包括:
提取所述测试集中的航拍图像中均压环的特征,得到多个特征块;
将提取得到的所述特征块输入到区域候选网络RPN;以得到区域建议框;
每个所述区域建议框内包含识别到的含有所述均压环的语义特征;
将所述区域建议框内的语义特征通过区域池化层映射输出相同大小的特征信息,并将所述特征信息输入到全连接层;
全连接层的输出通过分类函数softmax以及边框回归bbox的函数获得精确类别预测和目标定位,并通过缓和非极大值抑制算法剔除相近位置、相同类别的预测目标,得到均压环预测框。
4.根据权利要求3所述的基于航拍图像的均压环缺陷检测方法,其特征在于,所述得到多个特征块之前还包括:
利用数据增强增加拍摄的图像样本数目,将数目增加后的图像作为所述航拍图像。
5.根据权利要求4所述的基于航拍图像的均压环缺陷检测方法,其特征在于,所述利用数据增强增加拍摄的图像样本数目通过至少以下方法之一来实现:
高斯噪声数据增强、椒盐噪声数据增强、斑点噪声数据增强、均值滤波数据增强、高斯滤波数据增强、对比度增强滤波数据增强、亮度变换数据增强和/或尺度放缩数据增强。
6.根据权利要求3所述的基于航拍图像的均压环缺陷检测方法,其特征在于,所述生成训练模型为ROI网络模型;
所述池化操作之前,还包括:所述区域建议框用于通过在线困难样本挖掘Online HardExample Mining方法对ROI网络模型进行模型训练。
7.一种基于航拍图像的均压环缺陷检测装置,其特征在于,包括:
标注模块,用于对航拍图像进行标注,对标注后的图像数据进行分类存储,建立均压环的缺陷数据集,所述缺陷数据集包括训练集和测试集;
训练模块,用于利用所述训练集中的图像数据进行神经网络训练以生成训练模型;
输出模块,用于使用所述测试集对所述训练模型进行评估,当评估的精度结果达到要求后,利用训练模型对巡检输电线路的航拍图像进行均压环缺陷的检测。
8.根据权利要求7所述的基于航拍图像的均压环缺陷检测装置,其特征在于,还包括:
增强模块,用于利用数据增强增加拍摄的图像样本数目。
9.一种电子设备,其特征在于,包括处理器,所述处理器用于执行权利要求1-6任一项所述的基于航拍图像的均压环缺陷检测方法。
10.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述程序运行后,控制如权利要求9所述的处理器执行权利要求1-6任一种基于航拍图像的均压环缺陷检测方法。
CN201911154105.1A 2019-11-22 2019-11-22 基于航拍图像的均压环缺陷检测方法、装置、介质和设备 Withdrawn CN111008959A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911154105.1A CN111008959A (zh) 2019-11-22 2019-11-22 基于航拍图像的均压环缺陷检测方法、装置、介质和设备
CN202010395305.2A CN111563893B (zh) 2019-11-22 2020-05-12 基于航拍图像的均压环缺陷检测方法、装置、介质和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911154105.1A CN111008959A (zh) 2019-11-22 2019-11-22 基于航拍图像的均压环缺陷检测方法、装置、介质和设备

Publications (1)

Publication Number Publication Date
CN111008959A true CN111008959A (zh) 2020-04-14

Family

ID=70113339

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201911154105.1A Withdrawn CN111008959A (zh) 2019-11-22 2019-11-22 基于航拍图像的均压环缺陷检测方法、装置、介质和设备
CN202010395305.2A Active CN111563893B (zh) 2019-11-22 2020-05-12 基于航拍图像的均压环缺陷检测方法、装置、介质和设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202010395305.2A Active CN111563893B (zh) 2019-11-22 2020-05-12 基于航拍图像的均压环缺陷检测方法、装置、介质和设备

Country Status (1)

Country Link
CN (2) CN111008959A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111582234A (zh) * 2020-05-22 2020-08-25 莫登奎 基于uav和深度学习的大范围油茶林果智能检测与计数方法
CN111735815A (zh) * 2020-06-18 2020-10-02 江苏方天电力技术有限公司 一种输电线路小金具缺陷检测方法、装置及存储介质
CN112101333A (zh) * 2020-11-23 2020-12-18 四川圣点世纪科技有限公司 一种基于深度学习的智慧牛场的监控与识别方法及装置
CN112215809A (zh) * 2020-09-25 2021-01-12 北京林业大学 对虾加工剥壳率检测方法、装置、电子设备及存储介质
CN112633186A (zh) * 2020-12-26 2021-04-09 上海有个机器人有限公司 室内环境下可行驶路面的分割方法、装置、介质和机器人
CN112884715A (zh) * 2021-01-28 2021-06-01 华南理工大学 一种基于深度学习的复合绝缘子均压环倾斜故障检测方法
CN112991346A (zh) * 2021-05-13 2021-06-18 深圳科亚医疗科技有限公司 用于医学图像分析的学习网络的训练方法和训练系统
CN113034446A (zh) * 2021-03-08 2021-06-25 国网山东省电力公司平邑县供电公司 一种变电站设备缺陷自动识别方法及系统
CN114397306A (zh) * 2022-03-25 2022-04-26 南方电网数字电网研究院有限公司 一种电网均压环超复杂类别缺陷多阶段模型联合检测方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113642486A (zh) * 2021-08-18 2021-11-12 国网江苏省电力有限公司泰州供电分公司 一种具有机载前端识别模型的无人机配网巡检方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106877237B (zh) * 2017-03-16 2018-11-30 天津大学 一种基于航拍图像的检测输电线路中绝缘子缺失的方法
CN109711474B (zh) * 2018-12-24 2023-01-17 中山大学 一种基于深度学习的铝材表面缺陷检测算法
CN109767427A (zh) * 2018-12-25 2019-05-17 北京交通大学 列车轨道扣件缺陷的检测方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111582234A (zh) * 2020-05-22 2020-08-25 莫登奎 基于uav和深度学习的大范围油茶林果智能检测与计数方法
CN111735815A (zh) * 2020-06-18 2020-10-02 江苏方天电力技术有限公司 一种输电线路小金具缺陷检测方法、装置及存储介质
CN112215809A (zh) * 2020-09-25 2021-01-12 北京林业大学 对虾加工剥壳率检测方法、装置、电子设备及存储介质
CN112101333A (zh) * 2020-11-23 2020-12-18 四川圣点世纪科技有限公司 一种基于深度学习的智慧牛场的监控与识别方法及装置
CN112633186A (zh) * 2020-12-26 2021-04-09 上海有个机器人有限公司 室内环境下可行驶路面的分割方法、装置、介质和机器人
CN112633186B (zh) * 2020-12-26 2024-05-28 上海有个机器人有限公司 室内环境下可行驶路面的分割方法、装置、介质和机器人
CN112884715A (zh) * 2021-01-28 2021-06-01 华南理工大学 一种基于深度学习的复合绝缘子均压环倾斜故障检测方法
CN113034446A (zh) * 2021-03-08 2021-06-25 国网山东省电力公司平邑县供电公司 一种变电站设备缺陷自动识别方法及系统
CN112991346A (zh) * 2021-05-13 2021-06-18 深圳科亚医疗科技有限公司 用于医学图像分析的学习网络的训练方法和训练系统
CN112991346B (zh) * 2021-05-13 2022-04-26 深圳科亚医疗科技有限公司 用于医学图像分析的学习网络的训练方法和训练系统
CN114397306A (zh) * 2022-03-25 2022-04-26 南方电网数字电网研究院有限公司 一种电网均压环超复杂类别缺陷多阶段模型联合检测方法

Also Published As

Publication number Publication date
CN111563893B (zh) 2022-07-08
CN111563893A (zh) 2020-08-21

Similar Documents

Publication Publication Date Title
CN111563893B (zh) 基于航拍图像的均压环缺陷检测方法、装置、介质和设备
CN110827251B (zh) 一种基于航拍图像的输电线路锁紧销缺陷检测方法
CN110264448B (zh) 一种基于机器视觉的绝缘子故障检测方法
CN108038846A (zh) 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及系统
CN107563433B (zh) 一种基于卷积神经网络的红外小目标检测方法
CN110992349A (zh) 一种基于深度学习的地下管道异常自动化定位与识别方法
CN113469953B (zh) 一种基于改进YOLOv4算法的输电线路绝缘子缺陷检测方法
CN103279765B (zh) 基于图像匹配的钢丝绳表面损伤检测方法
CN109523013B (zh) 基于浅层卷积神经网络的空气颗粒物污染程度估计方法
CN110163213B (zh) 基于视差图和多尺度深度网络模型的遥感图像分割方法
CN111044570A (zh) 电力设备的缺陷识别及预警方法、装置及计算机设备
CN114749342B (zh) 一种锂电池极片涂布缺陷识别方法、装置及介质
CN109003275B (zh) 焊缝缺陷图像的分割方法
CN110766058A (zh) 一种基于优化rpn网络的战场目标检测方法
CN114387207A (zh) 基于自注意力机制与双重领域自适应的轮胎瑕疵检测方法及模型
CN113076920B (zh) 一种基于非对称域对抗自适应模型的智能故障诊断方法
CN112907561A (zh) 一种基于深度学习的笔记本外观瑕疵检测方法
CN108345898A (zh) 一种新型的线路绝缘子绝缘状态评估方法
CN114049305A (zh) 基于改进ALI和Faster-RCNN的配电线路销钉缺陷检测方法
CN115578326A (zh) 一种道路病害识别方法、系统、设备及存储介质
CN115546223A (zh) 一种列车车下设备紧固螺栓的缺失检测方法和系统
CN110852318A (zh) 一种排水管道缺陷精准定位方法及系统
CN114511521A (zh) 基于多重表示与多重子域自适应的轮胎瑕疵检测方法
CN117252815A (zh) 基于2d-3d多模态图像的工业零件缺陷检测方法、系统、设备及存储介质
CN115761606A (zh) 基于图像处理的箱体电能表识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20200414

WW01 Invention patent application withdrawn after publication