CN109376768A - 一种基于深度学习的航拍图像杆塔标识牌故障诊断方法 - Google Patents

一种基于深度学习的航拍图像杆塔标识牌故障诊断方法 Download PDF

Info

Publication number
CN109376768A
CN109376768A CN201811103962.4A CN201811103962A CN109376768A CN 109376768 A CN109376768 A CN 109376768A CN 201811103962 A CN201811103962 A CN 201811103962A CN 109376768 A CN109376768 A CN 109376768A
Authority
CN
China
Prior art keywords
shaft tower
image
sign board
tower
library
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811103962.4A
Other languages
English (en)
Other versions
CN109376768B (zh
Inventor
缪希仁
刘欣宇
江灏
陈静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN201811103962.4A priority Critical patent/CN109376768B/zh
Publication of CN109376768A publication Critical patent/CN109376768A/zh
Application granted granted Critical
Publication of CN109376768B publication Critical patent/CN109376768B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/09—Recognition of logos

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度学习的航拍图像杆塔标识牌故障诊断方法。该方法包括：建立杆塔标识牌检测图像库及其标签库；建立杆塔塔腿检测图像库及其标签库；建立杆塔标识牌状态分类图像库及其标签库；建立深度学习目标检测模型Faster R‑CNN，包括基础网络NasNet、区域提议网络和Fast R‑CNN检测网络；建立深度学习图像分类模型ResNet；在准备好的各图库上训练已建立的检测模型或分类模型，训练过程中每次迭代的输入数据都执行数据增强操作，包括随机旋转、随机填充式裁剪、随机灰度化；根据检测出的标识牌与塔腿相对位置，诊断杆塔标识牌脱落故障，若无脱落则利用分类模型诊断标识牌的状态。

Description

一种基于深度学习的航拍图像杆塔标识牌故障诊断方法
技术领域
本发明属于高压输电线路巡线技术、图像识别技术、机器学习技术领域，具体涉及一种基于深度学习的航拍图像杆塔标识牌故障诊断方法。
背景技术
杆塔标识牌是输电线路运行维护管理系统中的重要组件，安装于架空输电线路的每基杆塔。标识牌中的杆号牌显示线路名称、线路编号和杆塔号，运检维护人员通过杆号牌得知杆塔的基本信息，便于后续的检修工作。标识牌中的警示牌显示禁止行为与安全提示的内容，警示工作人员与非工作人员相关安全信息，及时纠正危险行为。
近年来，无人机巡检逐渐成为输电线路运检维护的主要手段之一，在航拍图像中自动检测出杆塔标识牌并进行故障诊断的必要性也日益突出：标识牌记录着当前杆塔的信息，是一种有效的辅助定位手段，若无人机巡检过程中能检测到标识牌，就可以将输电线路巡检图像与号牌图像同步记录，使得运检维护中心可以存储带有明确位置信息的巡检图像数据，便于后续的故障定位；标识牌位于户外，常年受风吹雨淋、部分年限较长和个别线塔迁改变动等因素影响，易出现编号模糊、腐蚀、破损、弯折等现象，给线路运行维护管理留下安全隐患。在图像中检测出标识牌后，就可以进行针对性的故障排查，及时更换故障标识牌。因此，如何在航拍图像中自动检测出杆塔标识牌并进行故障诊断，是目前需要解决的技术问题。
发明内容
本发明的目的在于提供一种基于深度学习的航拍图像杆塔标识牌故障诊断方法，利用基于深度学习的目标检测技术准确地识别出复杂背景中的杆塔标识牌，使用深度学习图像分类技术对检测出的杆塔标识牌进行故障诊断分析，帮助巡线工作人员完成初步的巡线图像数据筛选，为后续的进一步诊断奠定基础，减轻其工作强度并提升电力巡线的智能化水平。
为实现上述目的，本发明的技术方案是：一种基于深度学习的航拍图像杆塔标识牌故障诊断方法，包括如下步骤：
步骤S1、建立杆塔标识牌检测图像库及其标签库：包括多种场景下的杆塔标识牌，标识牌类型为杆号牌和警示牌，图像为完整高清航拍图像按照图片像素宽度不超过1024或图片像素高度不低于900的规则等比缩放；
步骤S2、建立杆塔塔腿检测图像库及其标签库：包括多种场景下装有标识牌的杆塔塔腿，图像为完整高清航拍图像按照图片像素宽度不超过1024或图片像素高度不低于900的规则等比缩放；标签类别为杆塔塔腿；
步骤S3、建立杆塔标识牌状态分类图像库及其标签库：包括正常状态与故障状态下的杆塔标识牌，标识牌的故障状态包括锈蚀、字迹模糊、弯折和破损，图像为高清航拍图像中截取出的标识牌区域，不进行缩放；标签类别为杆号牌正常、杆号牌故障、警示牌正常、警示牌故障；
步骤S4、建立深度学习目标检测模型：采用深度学习目标检测网络Faster R-CNN，具体分为基础网络、区域提议网络和Fast R-CNN检测网络；基础网络对输入进行高纬度深层的特征提取，区域提议网络在基础网络所生成的特征图上继续使用3*3卷积生成尺寸与深度皆一致的特征图，然后通过并行的两个1*1卷积操作计算是否含有目标的置信度和相应提议区域位置坐标，生成提议区域；Fast R-CNN检测网络根据区域提议网络所生成的提议区域，在每个提议区域上进行感兴趣区域池化操作，然后通过并行的两组全连接层计算目标种类的置信度和目标位置坐标；
步骤S5、建立深度学习图像分类模型：采用深度残差网络ResNet，ResNet包含49层卷积层，除了第一层是7*7卷积外，其余皆为1*1卷积和3*3卷积，特殊功能单元为残差单元，最后一层为Softmax分类层；
步骤S6、数据增强：利用数据增强技术扩充步骤S1、步骤S2与步骤S3的图像库，增加图像库的内容多样性，具体做法是将图像库中的一张原图随机通过包括旋转、填充式裁剪、灰度化数据的增强操作，变换为一张新的图像；增强操作只出现在训练过程中，所有的操作以预定概率施加在原图上，然后作为本次模型迭代训练的输入数据；
步骤S7、训练杆塔标识牌检测模型：对步骤S1建立的杆塔标识牌检测图像库及其标签库进行训练集与测试集的划分，利用步骤S4所建立的Faster R-CNN目标检测模型通过反向传播算法在训练集上训练，训练过程中利用步骤S6的数据增强方式提升模型性能，最终得到杆塔标识牌检测模型；
步骤S8、训练杆塔塔腿检测模型：对步骤S2建立的杆塔塔腿检测图像库及其标签库进行训练集与测试集的划分，利用步骤S4所建立的Faster R-CNN目标检测模型通过反向传播算法在训练集上训练，训练过程中利用步骤S6的数据增强方式提升模型性能，最终得到杆塔塔腿检测模型；
步骤S9、训练杆塔标识牌状态分类模型：对步骤S3建立的杆塔标识牌状态分类图像库及其标签库进行训练集与测试集的划分，利用步骤S5所建立的ResNet图像分类模型通过反向传播算法在训练集上训练，训练过程中利用步骤S6的数据增强方式提升模型性能，最终得到杆塔标识牌状态分类模型;
步骤S10、杆塔标识牌脱落故障诊断：将待检测的巡线影像输入杆塔标识牌检测模型中，获得杆塔标识牌图像区域；将待检测的巡线影像输入杆塔塔腿检测模型中，获得杆塔塔腿图像区域；根据杆塔标识牌图像区域与杆塔塔腿图像区域的相对位置判断标识牌脱落故障，若杆塔标识牌图像区域不在杆塔塔腿图像区域内部，则认为待检测的巡线影像中的标识牌出现脱落故障；
步骤S11、杆塔标识牌其他故障诊断：若步骤S10诊断无脱落故障，则截取出步骤S10中获得的杆塔标识牌图像区域，输入杆塔标识牌状态分类模型中，判断杆塔标识牌状态。
在本发明一实施例中，所述步骤S4中，基础网络选用神经结构搜索网络NasNet，NasNet在训练过程中使用递归网络生成神经网络的模型描述，并且使用增强学习训练递归网络，自动找到合适的神经网络结构。
在本发明一实施例中，所述步骤S7-S9中，训练所用的初始化模型为在COCO数据集上训练所得的模型。
相较于现有技术，本发明具有以下有益效果：本发明的创新点在于利用基于深度学习的目标检测技术与图像分类技术，训练出杆塔标识牌检测模型、杆塔塔腿检测模型和杆塔标识牌状态分类模型，采用递进式的诊断策略，先进行标识牌脱落诊断，后进行标识牌其余故障诊断，避免了以下漏判情况：标识牌牌面正常但存在脱落现象；与传统的图像识别方法相比，本发明方法无需人工设计繁琐的图像特征提取器，而是将特征提取的任务交给深度卷积神经网络，提取出更全面、更能描述检测目标的深度特征信息；本发明方法还针对号牌的图形特征，定制三种图像增强方式：旋转，提高对拍摄角度变化的鲁棒性；填充裁剪，提高对拍摄位置变化的鲁棒性；灰度化，提高对光照条件以及号牌颜色变化的鲁棒性；本发明方法的标识牌检测结果可以用于号牌文字信息提取识别、为无人机巡检数据添加位置标签、输电线路故障定位等，为后续的进一步应用奠定了基础。
附图说明
图1 基于深度学习的航拍图像杆塔标识牌故障诊断方法工作流程图。
图2 Faster R-CNN网络结构图。
图3 深度卷积神经网络分类流程图。
图4 杆塔标识牌脱落故障诊断流程图。
具体实施方式
下面结合附图，对本发明的技术方案进行具体说明。
本发明提供了一种基于深度学习的航拍图像杆塔标识牌故障诊断方法，包括如下步骤：
步骤S1、建立杆塔标识牌检测图像库及其标签库：包括多种场景下的杆塔标识牌，标识牌类型为杆号牌和警示牌，图像为完整高清航拍图像按照图片像素宽度不超过1024或图片像素高度不低于900的规则等比缩放；
步骤S2、建立杆塔塔腿检测图像库及其标签库：包括多种场景下装有标识牌的杆塔塔腿，图像为完整高清航拍图像按照图片像素宽度不超过1024或图片像素高度不低于900的规则等比缩放；标签类别为杆塔塔腿；
步骤S3、建立杆塔标识牌状态分类图像库及其标签库：包括正常状态与故障状态下的杆塔标识牌，标识牌的故障状态包括锈蚀、字迹模糊、弯折和破损，图像为高清航拍图像中截取出的标识牌区域，不进行缩放；标签类别为杆号牌正常、杆号牌故障、警示牌正常、警示牌故障；
步骤S4、建立深度学习目标检测模型：采用深度学习目标检测网络Faster R-CNN，具体分为基础网络、区域提议网络和Fast R-CNN检测网络；基础网络对输入进行高纬度深层的特征提取，区域提议网络在基础网络所生成的特征图上继续使用3*3卷积生成尺寸与深度皆一致的特征图，然后通过并行的两个1*1卷积操作计算是否含有目标的置信度和相应提议区域位置坐标，生成提议区域；Fast R-CNN检测网络根据区域提议网络所生成的提议区域，在每个提议区域上进行感兴趣区域池化操作，然后通过并行的两组全连接层计算目标种类的置信度和目标位置坐标；
步骤S5、建立深度学习图像分类模型：采用深度残差网络ResNet，ResNet包含49层卷积层，除了第一层是7*7卷积外，其余皆为1*1卷积和3*3卷积，特殊功能单元为残差单元，最后一层为Softmax分类层；
步骤S6、数据增强：利用数据增强技术扩充步骤S1、步骤S2与步骤S3的图像库，增加图像库的内容多样性，具体做法是将图像库中的一张原图随机通过包括旋转、填充式裁剪、灰度化数据的增强操作，变换为一张新的图像；增强操作只出现在训练过程中，所有的操作以预定概率施加在原图上，然后作为本次模型迭代训练的输入数据；
步骤S7、训练杆塔标识牌检测模型：对步骤S1建立的杆塔标识牌检测图像库及其标签库进行训练集与测试集的划分，利用步骤S4所建立的Faster R-CNN目标检测模型通过反向传播算法在训练集上训练，训练过程中利用步骤S6的数据增强方式提升模型性能，最终得到杆塔标识牌检测模型；
步骤S8、训练杆塔塔腿检测模型：对步骤S2建立的杆塔塔腿检测图像库及其标签库进行训练集与测试集的划分，利用步骤S4所建立的Faster R-CNN目标检测模型通过反向传播算法在训练集上训练，训练过程中利用步骤S6的数据增强方式提升模型性能，最终得到杆塔塔腿检测模型；
步骤S9、训练杆塔标识牌状态分类模型：对步骤S3建立的杆塔标识牌状态分类图像库及其标签库进行训练集与测试集的划分，利用步骤S5所建立的ResNet图像分类模型通过反向传播算法在训练集上训练，训练过程中利用步骤S6的数据增强方式提升模型性能，最终得到杆塔标识牌状态分类模型;
步骤S10、杆塔标识牌脱落故障诊断：将待检测的巡线影像输入杆塔标识牌检测模型中，获得杆塔标识牌图像区域；将待检测的巡线影像输入杆塔塔腿检测模型中，获得杆塔塔腿图像区域；根据杆塔标识牌图像区域与杆塔塔腿图像区域的相对位置判断标识牌脱落故障，若杆塔标识牌图像区域不在杆塔塔腿图像区域内部，则认为待检测的巡线影像中的标识牌出现脱落故障；
步骤S11、杆塔标识牌其他故障诊断：若步骤S10诊断无脱落故障，则截取出步骤S10中获得的杆塔标识牌图像区域，输入杆塔标识牌状态分类模型中，判断杆塔标识牌状态。
所述步骤S4中，基础网络选用神经结构搜索网络NasNet，NasNet在训练过程中使用递归网络生成神经网络的模型描述，并且使用增强学习训练递归网络，自动找到合适的神经网络结构。
所述步骤S7-S9中，训练所用的初始化模型为在COCO数据集上训练所得的模型。
以下为本发明的具体实现过程。
为了使本发明的目的、技术方案、和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明，方法工作流程图如图1所示，分为离线训练阶段和诊断阶段两个相对独立的阶段。在离线训练阶段中，杆塔标识牌检测图像及其标签、杆塔塔腿检测图像及其标签、杆塔标识牌状态分类图像及其标签以队列的形式投入各自的模型中进行训练。每一批数据队列在投入训练模型之前先经过数据增强，再进行反向传播更新模型参数。在多次迭代训练后，择优保存模型作为诊断阶段的检测模型，模型一旦训练完成，即可移植到不同地区、不同无人机智能检测终端上使用，无需重复训练。在诊断阶段，将航拍巡线影像分别输入训练好的杆塔标识牌检测模型和杆塔塔腿检测模型中，获得杆塔标识牌图像区域与杆塔塔腿图像区域，判断脱落故障，若有脱落则直接记录当前影像的故障信息，不进行其余故障状态的诊断；若无脱落则在输入影像中截取出获得的杆塔标识牌图像区域，输入杆塔标识牌状态分类模型中，判断杆塔标识牌状态，将结果记录于服务器内。
1、建立杆塔标识牌检测图像库及其标签库。图像库中包含多种场景下的杆塔标识牌，标识牌类型为杆号牌和警示牌，两者的图像数量相近，图像为完整高清航拍图像按照图片像素宽度不超过1024或图片像素高度不低于900的规则等比缩放，其中图片像素宽度规则的优先度更高，使用的图像缩放算法基于三次样条插值。标签文件按照PASCAL VOC格式建立，标签类别为杆号牌与警示牌。
2、建立杆塔塔腿检测图像库及其标签库。图像库中包含多种场景下装有标识牌的杆塔塔腿，图像为完整高清航拍图像按照图片像素宽度不超过1024或图片像素高度不低于900的规则等比缩放，其中图片像素宽度规则的优先度更高，使用的图像缩放算法基于三次样条插值。标签文件按照PASCAL VOC格式建立，标签类别为杆塔塔腿。
3、建立杆塔标识牌状态分类图像库及其标签库。图像库中包含正常状态与故障状态下的杆塔标识牌，两者的图像数量相近，标识牌的故障状态包含锈蚀、字迹模糊、弯折和破损，标识牌类型为杆号牌和警示牌，两者的图像数量相近，图像为高清航拍图像中截取出的标识牌区域，不进行缩放。标签文件按照PASCAL VOC格式建立，标签类别为杆号牌正常、杆号牌故障、警示牌正常、警示牌故障。
4、建立深度学习目标检测模型。采用深度学习目标检测网络Faster R-CNN，网络结构如图2所示，网络由基础网络、区域提议网络和Fast R-CNN检测网络组成，其中基础网络选用神经结构搜索网络NasNet，NasNet在训练过程中使用递归网络生成神经网络的模型描述，并且使用增强学习训练递归网络，最终找到合适的神经网络结构。在基础网络对输入图片进行高纬度的深层特征提取后，生成一组特征图。然后，区域提议网络在基础网络所生成的特征图上继续使用3*3卷积生成尺寸与深度皆一致的特征图，通过并行的两个1*1卷积操作计算是否含有目标的置信度和相应提议区域位置坐标，生成提议区域。其中，置信度计算属于分类任务，训练时采用的损失函数是Softmax Loss; 提议区域位置坐标计算属于回归任务，训练时采用的损失函数是SmoothL1 Loss。最后，Fast R-CNN检测网络根据区域提议网络所生成的提议区域，在每个提议区域上进行感兴趣区域池化操作，然后通过并行的两组全连接层计算目标种类的置信度和目标位置坐标。训练时的损失函数与区域提议网络一致。
5、建立深度学习图像分类模型。深度卷积神经网络的分类流程如图3所示，输入图像经过特征提取后获得深层次的图像特征图，分类器利用特征图的信息推导出输入图像属于各类的置信度。本实施案例采用深度残差网络ResNet，ResNet包含49层卷积层，除了第一层是7*7卷积外，其余皆为1*1卷积和3*3卷积，特殊功能单元为残差单元，最后一层为Softmax分类层，训练时采用的损失函数是Softmax Loss。
6、数据增强。利用数据增强技术扩充数据集，增加图像库的内容多样性，具体做法是将数据库中的一张原图随机执行旋转、填充式裁剪、灰度化等数据增强操作，变换为一张新的图像。所有的操作以0.2的概率施加在原图上，即一张图片可能同时被施加多种数据增强操作。增强只出现在训练过程中，所有的操作以一定概率施加在原图上，然后作为本次模型迭代的输入数据，以此减少内存占用。
7、训练杆塔标识牌检测模型。按照8比2的比例，对杆塔标识牌检测图像库及其标签库进行训练集与测试集的划分。利用Faster R-CNN目标检测模型通过反向传播算法在训练集上进行训练，训练过程中每次迭代的数据输入都执行数据增强操作，每隔十分钟保存一次训练模型文件并在测试集上测试模型性能，择优确定最终的检测模型文件。其中，训练所用的初始化模型为在微软的COCO目标检测数据集上训练所得的模型，参数更新方式是RMSProp，初始学习速率0.003，动量系数0.9，批次大小1。模型其他相关参数如下：最大提议区域300，非极大值抑制的IoU阈值0.7。
8、训练杆塔塔腿检测模型。按照8比2的比例，对杆塔塔腿检测图像库及其标签库进行训练集与测试集的划分。利用Faster R-CNN目标检测模型通过反向传播算法在训练集上进行训练，训练过程中每次迭代的数据输入都执行数据增强操作，每隔十分钟保存一次训练模型文件并在测试集上测试模型性能，择优确定最终的检测模型文件。其中，训练所用的初始化模型为在微软的COCO目标检测数据集上训练所得的模型，参数更新方式是RMSProp，初始学习速率0.003，动量系数0.9，批次大小1。模型其他相关参数如下：最大提议区域300，非极大值抑制的IoU阈值0.7。
9、训练杆塔标识牌状态分类模型。按照8比2的比例，对杆塔标识牌状态分类图像库及其标签库进行训练集与测试集的划分。利用ResNet图像分类模型通过反向传播算法在训练集上进行训练，训练过程中每次迭代的数据输入都执行数据增强操作，每隔十分钟保存一次训练模型文件并在测试集上测试模型性能，择优确定最终的分类模型文件。其中，训练所用的初始化模型为在ImageNet图像分类数据集上训练所得的模型，参数更新方式是RMSProp，初始学习速率0.003，动量系数0.9，批次大小4。
10、杆塔标识牌脱落故障诊断。诊断流程图如图4所示，将待检测的巡线影像输入杆塔标识牌检测模型中，获得杆塔标识牌图像区域Ab，记录边界框坐标信息，坐标格式为（xmin, ymin, xmax, ymax），其中（xmin, ymin）为边界框的左上顶点坐标，（xmax, ymax）为边界框的右下顶点坐标；将待检测的巡线影像输入杆塔塔腿检测模型中，获得杆塔塔腿图像区域At，记录边界框坐标信息，格式与杆塔标识牌边界框一致。根据标识牌边界框与塔腿边界框交集面积与标识牌边界框面积的包容关系进行脱落诊断，若Ab与At∩Ab之比等于1，则认为标识牌图像区域在杆塔塔腿图像区域内部，否则认为标识牌图像区域在杆塔塔腿图像区域外部，即待检测的巡线影像中的标识牌出现脱落故障。一旦诊断出标识牌脱落故障，不再进行后续诊断，直接将故障信息记录于服务器内。
11、杆塔标识牌其他故障诊断。诊断流程即为深度学习分类模型的分类流程，如图3所示。若待检测的巡线影像诊断无脱落故障，则截取出杆塔标识牌图像区域，输入杆塔标识牌状态分类模型中，判断杆塔标识牌状态，状态有杆号牌正常、杆号牌故障、警示牌正常、警示牌故障，将诊断结果记录于服务器内。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (3)

1.一种基于深度学习的航拍图像杆塔标识牌故障诊断方法，其特征在于，包括如下步骤：
步骤S1、建立杆塔标识牌检测图像库及其标签库：包括多种场景下的杆塔标识牌，标识牌类型为杆号牌和警示牌，图像为完整高清航拍图像按照图片像素宽度不超过1024或图片像素高度不低于900的规则等比缩放；
步骤S2、建立杆塔塔腿检测图像库及其标签库：包括多种场景下装有标识牌的杆塔塔腿，图像为完整高清航拍图像按照图片像素宽度不超过1024或图片像素高度不低于900的规则等比缩放；标签类别为杆塔塔腿；
步骤S3、建立杆塔标识牌状态分类图像库及其标签库：包括正常状态与故障状态下的杆塔标识牌，标识牌的故障状态包括锈蚀、字迹模糊、弯折和破损，图像为高清航拍图像中截取出的标识牌区域，不进行缩放；标签类别为杆号牌正常、杆号牌故障、警示牌正常、警示牌故障；
步骤S4、建立深度学习目标检测模型：采用深度学习目标检测网络Faster R-CNN，具体分为基础网络、区域提议网络和Fast R-CNN检测网络；基础网络对输入进行高纬度深层的特征提取，区域提议网络在基础网络所生成的特征图上继续使用3*3卷积生成尺寸与深度皆一致的特征图，然后通过并行的两个1*1卷积操作计算是否含有目标的置信度和相应提议区域位置坐标，生成提议区域；Fast R-CNN检测网络根据区域提议网络所生成的提议区域，在每个提议区域上进行感兴趣区域池化操作，然后通过并行的两组全连接层计算目标种类的置信度和目标位置坐标；
步骤S5、建立深度学习图像分类模型：采用深度残差网络ResNet，ResNet包含49层卷积层，除了第一层是7*7卷积外，其余皆为1*1卷积和3*3卷积，特殊功能单元为残差单元，最后一层为Softmax分类层；
步骤S6、数据增强：利用数据增强技术扩充步骤S1、步骤S2与步骤S3的图像库，增加图像库的内容多样性，具体做法是将图像库中的一张原图随机通过包括旋转、填充式裁剪、灰度化数据的增强操作，变换为一张新的图像；增强操作只出现在训练过程中，所有的操作以预定概率施加在原图上，然后作为本次模型迭代训练的输入数据；
步骤S7、训练杆塔标识牌检测模型：对步骤S1建立的杆塔标识牌检测图像库及其标签库进行训练集与测试集的划分，利用步骤S4所建立的Faster R-CNN目标检测模型通过反向传播算法在训练集上训练，训练过程中利用步骤S6的数据增强方式提升模型性能，最终得到杆塔标识牌检测模型；
步骤S8、训练杆塔塔腿检测模型：对步骤S2建立的杆塔塔腿检测图像库及其标签库进行训练集与测试集的划分，利用步骤S4所建立的Faster R-CNN目标检测模型通过反向传播算法在训练集上训练，训练过程中利用步骤S6的数据增强方式提升模型性能，最终得到杆塔塔腿检测模型；
步骤S9、训练杆塔标识牌状态分类模型：对步骤S3建立的杆塔标识牌状态分类图像库及其标签库进行训练集与测试集的划分，利用步骤S5所建立的ResNet图像分类模型通过反向传播算法在训练集上训练，训练过程中利用步骤S6的数据增强方式提升模型性能，最终得到杆塔标识牌状态分类模型;
步骤S10、杆塔标识牌脱落故障诊断：将待检测的巡线影像输入杆塔标识牌检测模型中，获得杆塔标识牌图像区域；将待检测的巡线影像输入杆塔塔腿检测模型中，获得杆塔塔腿图像区域；根据杆塔标识牌图像区域与杆塔塔腿图像区域的相对位置判断标识牌脱落故障，若杆塔标识牌图像区域不在杆塔塔腿图像区域内部，则认为待检测的巡线影像中的标识牌出现脱落故障；
步骤S11、杆塔标识牌其他故障诊断：若步骤S10诊断无脱落故障，则截取出步骤S10中获得的杆塔标识牌图像区域，输入杆塔标识牌状态分类模型中，判断杆塔标识牌状态。
2.根据权利要求1所述的一种基于深度学习的航拍图像杆塔标识牌故障诊断方法，其特征在于，所述步骤S4中，基础网络选用神经结构搜索网络NasNet，NasNet在训练过程中使用递归网络生成神经网络的模型描述，并且使用增强学习训练递归网络，自动找到合适的神经网络结构。
3.根据权利要求1所述的一种基于深度学习的航拍图像杆塔标识牌故障诊断方法，其特征在于，所述步骤S7-S9中，训练所用的初始化模型为在COCO数据集上训练所得的模型。
CN201811103962.4A 2018-09-21 2018-09-21 一种基于深度学习的航拍图像杆塔标识牌故障诊断方法 Active CN109376768B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811103962.4A CN109376768B (zh) 2018-09-21 2018-09-21 一种基于深度学习的航拍图像杆塔标识牌故障诊断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811103962.4A CN109376768B (zh) 2018-09-21 2018-09-21 一种基于深度学习的航拍图像杆塔标识牌故障诊断方法

Publications (2)

Publication Number Publication Date
CN109376768A true CN109376768A (zh) 2019-02-22
CN109376768B CN109376768B (zh) 2021-12-17

Family

ID=65401652

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811103962.4A Active CN109376768B (zh) 2018-09-21 2018-09-21 一种基于深度学习的航拍图像杆塔标识牌故障诊断方法

Country Status (1)

Country Link
CN (1) CN109376768B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109657737A (zh) * 2019-02-27 2019-04-19 福州大学 一种基于低成本红外热视技术的机柜内小动物入侵检测方法及系统
CN109946080A (zh) * 2019-04-08 2019-06-28 西安交通大学 一种基于嵌入式循环网络的机械设备健康状态识别方法
CN110348449A (zh) * 2019-07-10 2019-10-18 电子科技大学 一种基于神经网络的身份证文字识别方法
CN110598638A (zh) * 2019-09-12 2019-12-20 Oppo广东移动通信有限公司 模型训练方法、人脸性别预测方法、设备及存储介质
CN111080604A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 一种铁路货车钩提杆折断故障图像识别方法
CN111640125A (zh) * 2020-05-29 2020-09-08 广西大学 基于Mask R-CNN的航拍图建筑物检测和分割方法及装置
CN111722074A (zh) * 2020-06-03 2020-09-29 四川蓝景光电技术有限责任公司 一种led标识标牌故障定位方法、装置和系统
CN111810124A (zh) * 2020-06-24 2020-10-23 中国石油大学(华东) 一种基于特征重标定残差卷积神经网络模型的抽油机井故障诊断方法
CN112132826A (zh) * 2020-10-12 2020-12-25 国网河南省电力公司濮阳供电公司 基于人工智能的杆塔附件缺陷巡检图像排查方法及系统
CN112419171A (zh) * 2020-10-28 2021-02-26 云南电网有限责任公司昆明供电局 一种多残差块条件生成对抗网络的图像复原方法
CN112560586A (zh) * 2020-11-27 2021-03-26 国家电网有限公司大数据中心 一种杆塔标识牌结构化数据获得方法、装置及电子设备
CN112990006A (zh) * 2021-03-11 2021-06-18 南方电网电力科技股份有限公司 一种配电台区的巡检方法、智能巡检眼镜和系统
CN113657376A (zh) * 2020-08-10 2021-11-16 广东电网有限责任公司 电力专业的设备标识牌识别算法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5083923B1 (ja) * 2011-07-14 2012-11-28 Ｋｄｄｉエンジニアリング株式会社 通信用鉄塔の点検方法
CN106504233A (zh) * 2016-10-18 2017-03-15 国网山东省电力公司电力科学研究院 基于Faster R‑CNN的无人机巡检图像电力小部件识别方法及系统
CN107392901A (zh) * 2017-07-24 2017-11-24 国网山东省电力公司信息通信公司 一种用于输电线路部件智能自动识别的方法
CN108010030A (zh) * 2018-01-24 2018-05-08 福州大学 一种基于深度学习的航拍图像绝缘子实时检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5083923B1 (ja) * 2011-07-14 2012-11-28 Ｋｄｄｉエンジニアリング株式会社 通信用鉄塔の点検方法
CN106504233A (zh) * 2016-10-18 2017-03-15 国网山东省电力公司电力科学研究院 基于Faster R‑CNN的无人机巡检图像电力小部件识别方法及系统
CN107392901A (zh) * 2017-07-24 2017-11-24 国网山东省电力公司信息通信公司 一种用于输电线路部件智能自动识别的方法
CN108010030A (zh) * 2018-01-24 2018-05-08 福州大学 一种基于深度学习的航拍图像绝缘子实时检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LEI MA ET AL.: "Detection Method of Insulator Based on Faster R-CNN", 《IEEE》 *
ZENAN LING ET AL.: "Insulator Detection in Aerial Images Based on Faster Regions with Convolutional Neural Network", 《ARXIV》 *
王万国等: "基于RCNN的无人机巡检图像电力小部件识别研究", 《地球信息科学学报》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109657737B (zh) * 2019-02-27 2022-09-09 福州大学 基于红外热视技术的机柜内小动物入侵检测方法及系统
CN109657737A (zh) * 2019-02-27 2019-04-19 福州大学 一种基于低成本红外热视技术的机柜内小动物入侵检测方法及系统
CN109946080A (zh) * 2019-04-08 2019-06-28 西安交通大学 一种基于嵌入式循环网络的机械设备健康状态识别方法
CN109946080B (zh) * 2019-04-08 2020-06-16 西安交通大学 一种基于嵌入式循环网络的机械设备健康状态识别方法
CN110348449A (zh) * 2019-07-10 2019-10-18 电子科技大学 一种基于神经网络的身份证文字识别方法
CN110598638A (zh) * 2019-09-12 2019-12-20 Oppo广东移动通信有限公司 模型训练方法、人脸性别预测方法、设备及存储介质
CN111080604A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 一种铁路货车钩提杆折断故障图像识别方法
CN111640125A (zh) * 2020-05-29 2020-09-08 广西大学 基于Mask R-CNN的航拍图建筑物检测和分割方法及装置
CN111640125B (zh) * 2020-05-29 2022-11-18 广西大学 基于Mask R-CNN的航拍图建筑物检测和分割方法及装置
CN111722074A (zh) * 2020-06-03 2020-09-29 四川蓝景光电技术有限责任公司 一种led标识标牌故障定位方法、装置和系统
CN111810124A (zh) * 2020-06-24 2020-10-23 中国石油大学(华东) 一种基于特征重标定残差卷积神经网络模型的抽油机井故障诊断方法
CN111810124B (zh) * 2020-06-24 2023-09-22 中国石油大学(华东) 一种基于特征重标定残差卷积神经网络模型的抽油机井故障诊断方法
CN113657376A (zh) * 2020-08-10 2021-11-16 广东电网有限责任公司 电力专业的设备标识牌识别算法
CN112132826A (zh) * 2020-10-12 2020-12-25 国网河南省电力公司濮阳供电公司 基于人工智能的杆塔附件缺陷巡检图像排查方法及系统
CN112419171A (zh) * 2020-10-28 2021-02-26 云南电网有限责任公司昆明供电局 一种多残差块条件生成对抗网络的图像复原方法
CN112560586A (zh) * 2020-11-27 2021-03-26 国家电网有限公司大数据中心 一种杆塔标识牌结构化数据获得方法、装置及电子设备
CN112560586B (zh) * 2020-11-27 2024-05-10 国家电网有限公司大数据中心 一种杆塔标识牌结构化数据获得方法、装置及电子设备
CN112990006A (zh) * 2021-03-11 2021-06-18 南方电网电力科技股份有限公司 一种配电台区的巡检方法、智能巡检眼镜和系统

Also Published As

Publication number Publication date
CN109376768B (zh) 2021-12-17

Similar Documents

Publication Publication Date Title
CN109376768A (zh) 一种基于深度学习的航拍图像杆塔标识牌故障诊断方法
CN109376605B (zh) 一种电力巡检图像防鸟刺故障检测方法
CN109344753A (zh) 一种基于深度学习的航拍图像输电线路细小金具识别方法
CN106919978B (zh) 一种高铁接触网支撑装置零部件识别检测方法
CN114743119B (zh) 基于无人机的高铁接触网吊弦螺母缺陷检测方法
CN109376606B (zh) 一种电力巡检图像杆塔基础故障检测方法
CN110175988A (zh) 基于深度学习的布匹缺陷检测方法
CN112528979B (zh) 变电站巡检机器人障碍物判别方法及系统
CN109801284A (zh) 一种基于深度学习的高铁接触网绝缘子故障检测方法
CN111339905B (zh) 基于深度学习及多视角的cim井盖状态视觉检测系统
CN110070530A (zh) 一种基于深度神经网络的输电线路覆冰检测方法
CN116863274B (zh) 一种基于半监督学习的钢板表面缺陷检测方法及系统
CN107808133A (zh) 基于无人机巡线的油气管道安全监测方法、系统及软件存储器
CN103442209A (zh) 一种输电线路的视频监控方法
CN109214308A (zh) 一种基于焦点损失函数的交通异常图片识别方法
CN111080600A (zh) 一种铁路货车弹簧托板上开口销的故障识别方法
CN108229524A (zh) 一种基于遥感图像的烟囱和冷凝塔检测方法
CN114240868A (zh) 一种基于无人机的巡检分析系统及方法
WO2012005461A2 (ko) 자동 구름 정보 산출방법
CN109360188A (zh) 一种高铁接触网等电位线不良状态的检测方法
CN114022837A (zh) 车站遗留物品检测方法、装置、电子设备及存储介质
CN113298077A (zh) 一种基于深度学习的变电站异物识别定位方法及装置
CN112329858B (zh) 一种铁路动车防松铁丝折断故障图像识别方法
CN114743099A (zh) 列车关键部件故障识别方法、装置
CN117974985A (zh) 一种基于改进YOLOv5s的高压线路异物检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant