CN113920327A - 一种基于改进的Faster Rcnn的绝缘子目标识别方法 - Google Patents
一种基于改进的Faster Rcnn的绝缘子目标识别方法 Download PDFInfo
- Publication number
- CN113920327A CN113920327A CN202111375075.4A CN202111375075A CN113920327A CN 113920327 A CN113920327 A CN 113920327A CN 202111375075 A CN202111375075 A CN 202111375075A CN 113920327 A CN113920327 A CN 113920327A
- Authority
- CN
- China
- Prior art keywords
- network
- insulator
- faster rcnn
- rcnn
- resnet50
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000012212 insulator Substances 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 title claims abstract description 16
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims abstract description 15
- 238000000605 extraction Methods 0.000 abstract description 12
- 230000007246 mechanism Effects 0.000 abstract description 6
- 230000000694 effects Effects 0.000 abstract description 2
- 238000001514 detection method Methods 0.000 description 23
- 238000004422 calculation algorithm Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000010292 electrical insulation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- OLBCVFGFOZPWHH-UHFFFAOYSA-N propofol Chemical compound CC(C)C1=CC=CC(C(C)C)=C1O OLBCVFGFOZPWHH-UHFFFAOYSA-N 0.000 description 1
- 229960004134 propofol Drugs 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明公开了一种基于改进的Faster Rcnn的绝缘子目标识别方法，使用改进的Faster Rcnn识别绝缘子；所述改进的Faster Rcnn为：Faster Rcnn中Vgg16网络替换为Resnet50网络；所述Resnet50网络中的每个残差块添加一个Eca模块；所述Eca模块位于残差块的最后一个卷积层和Relu激活层之间。本发明将Faster Rcnn中的特征提取主干网络Vgg16网络替换为网络层数更深，结构更复杂的Resnet50网络，并且加入基于通道注意力机制的Eca模块提升特征提取主干网络的性能，使得图像中的绝缘子有更加优异的识别效果，识别准确率更高，识别位置更精确。
Description
技术领域
本发明涉及人工智能技术领域，特别是一种基于改进的Faster Rcnn的绝缘子目标识别方法。
背景技术
绝缘子是一种特殊的绝缘控件，广泛应用于电力系统中，能够在架空输电线路中起到重要作用,为高压输电线路提供电气绝缘和机械支撑。但在长期自然环境以及恶劣条件作用下，绝缘子可能发生故障，影响电力系统的稳定运行，因此输电线路绝缘子的检测对电力系统的安全运行具有重要意义。为了弥补传统人工巡检的不足，降低登杆人员的工作强度，提高安全性，采用无人机巡检方式变得流行起来。无人机巡检主要通过采集海量航拍图像进行检测，因此对图像中的绝缘子目标进行检测对电力系统的稳定运行具有重要意义。
计算机视觉是人工智能的三大支撑之一。目标检测是计算机视觉中一个很热的研究领域，已广泛应用于人脸检测、自动驾驶汽车、行人检测、安全监控等领域。目标检测的任务包括目标分类与目标定位两部分，目标分类即判断是否包含目标物体，目标定位即用矩形框标注出目标物体的位置。目标检测算法主要分为两类，一类是以Haar特征+Adaboost算法、Hog特征+Svm算法、DPM算法为典型代表的传统算法，另外一类是以RCNN系列(Rcnn，Spp-net，Fast Rcnn，Faster Rcnn)、YOLO系列(YOLO、YOLO9000)、SSD为典型代表的基于深度学习的目标检测算法。传统的方法主要是根据先验知识提取图像的特定特征，然后使用分类算法以实现目标检测。由于卷积神经网络相较于传统目标检测算法在提取图像高层特征方面更具优势，所以高质量目标检测方法采用基于显著性的目标建议方法，然后使用深度卷积特征进行后分类。如今，利用深度学习进行目标检测已成为最基本、最广泛的目标检测算法。基于深度学习的目标检测方法主要分为两大类：一是基于候选区域的双阶段目标检测算法，二是基于回归问题的单阶段目标检测算法。双阶段检测算法是先由特定算法生成一系列样本的候选框，再通过卷积神经网络对样本进行分类，最后进行边界框的位置精修，主要是RCNN系列；单阶段目标检测算法则不用产生候选框，直接将目标边框定位的问题转化为回归问题处理，直接对预测目标进行回归、分类，代表有YOLO系列算法以及SSD算法。前者在检测准确率和定位精度上占优，而后者在检测速度上更具有优势。
发明内容
本发明的目的在于提供一种基于改进的Faster Rcnn的绝缘子目标识别方法。
实现本发明目的的技术方案如下：
一种基于改进的Faster Rcnn的绝缘子目标识别方法，使用改进的Faster Rcnn识别绝缘子；所述改进的Faster Rcnn为：Faster Rcnn中Vgg16网络替换为Resnet50网络；所述Resnet50网络中的每个残差块添加一个Eca模块；所述Eca模块位于残差块的最后一个卷积层和Relu激活层之间。
本发明将Faster Rcnn中的特征提取主干网络Vgg16网络替换为网络层数更深，结构更复杂的Resnet50网络，并且加入基于通道注意力机制的Eca模块提升特征提取主干网络的性能，使得图像中的绝缘子有更加优异的识别效果，识别准确率更高，识别位置更精确。
附图说明
图1为绝缘子目标识别流程图。
图2为改进的Faster Rcnn框架结构图。
图3为Resnet50网络的残差块结构图。
图4为加入Eca模块的残差块结构图。
图5为vgg16主干网络下的AP图。
图6为Resnet50+Eca模块主干网络下的AP图。
具体实施方式
本发明的目的在于提供一种基于改进的Faster Rcnn的绝缘子目标识别方法，输入包含绝缘子的图像到模型中，输出绝缘子在图像之中的位置，如下：
一种基于改进的Faster Rcnn的绝缘子目标识别方法，输入包含绝缘子的图像；通过加入了Eca模块的改进型Resnet50主干网络获取得到feature maps；将feature maps输入到RPN网络得到region proposals；在ROIPooling层融合feature maps和proposals信息后提取proposal feature maps；将proposal feature maps输入后续的全连接层对特征进行进一步的融合进而提取；最后对得到的边框进行分类和得到检测框的精确位置。
绝缘子目标识别流程如图1所示。
S10：输入航拍绝缘子图像。
S11：改进的主干特征提取神经网络模型对输入的图像进行特征提取得到featuremaps。
S111：将Faster Rcnn框架中的Vgg16网络替换为Resnet50网络。
S112：将Eca模块加入Resnet50神经网络模型(多个残差块组成)的所有残差块中。
S1121：在Resnet50主干网络的每个残差块中，将最后一个卷积层获取到的特征通过Eca模块的通道注意力机制，进行特征筛选。Eca模块即ECA-Net(Efficient ChannelAttention for Deep Convolutional Neural Networks高效通道注意力机制)模块。
S1122：之后通过Relu激活层进行特征调整。
S113：将图像输入到改进的Resnet50特征提取网络模型中，获取得到featuremaps。
S12：将feature maps输入RPN(Region Proposal Networks)用于生成区域提议框(region proposals)。
S121：首先通过RPN内部的1x1卷积层生成多个region proposals锚框。
S122：其次通过RPN内部的softmax层输出锚框中是否包含目标的概率并以此决定是否保留提议框。
S13：在ROIPooling层中，利用proposals框在feature maps上截取获得proposalfeature maps。
S14：将proposal feature maps送入后续网络层进一步提取特征。
S15：在网络头部，利用proposal feature maps预测proposal的类别，同时再次bounding box regression获得较为准确的检测框位置信息。
S151：通过全连接层与softmax计算每个proposal的类别，输出类别概率向量。
S152：再次利用bounding box regression获得每个proposal的位置偏移量，用于回归获得更加精确的目标检测框。
图2为改进的Faster Rcnn框架的整体结构图。Faster Rcnn框架最初的主干特征提取网络(backbone)采用的是Vgg16网络。本发明将主干特征提取网络替换为改进的网络层数更深、网络结构更复杂、特征提取能力更强Resnet50网络，并且在Resnet50网络(多个残差块组成)的残差块中加入基于通道注意力机制的Eca模块提升特征提取主干网络的性能。
图3为Resnet50网络的残差块结构图。
图4所示本发明将基于通道注意力机制的Eca模块加入Resnet50网络的基本组成部分残差块中。将Resnet50网络的残差块的最后一个卷积层和Relu之间加入Eca模块。
AP(Average Precision)是平均精准度，就是对PR曲线上的Precision值求均值即PR曲线下的面积。本发明选取的绝缘子数据集为公开数据集，共包含6860张图片数据集所占储存空间为3.3GB，该数据集由真实图像和合成图像构成，并且已经进行了数据增强。本实验将6174张图片作为训练集，686张图片作为测试集。
图5所示为传统的Faster Rcnn在测试集上的PR曲线，最后的ap值为87.57％。
图6所示为改进后Faster Rcnn在测试集上的PR曲线，最终的ap值为88.97％，相比传统的Faster Rcnn提升了1.4％。
Claims (1)
1.一种基于改进的Faster Rcnn的绝缘子目标识别方法，其特征在于，使用改进的Faster Rcnn识别绝缘子；所述改进的Faster Rcnn为：Faster Rcnn中Vgg16网络替换为Resnet50网络；所述Resnet50网络中的每个残差块添加一个Eca模块；所述Eca模块位于残差块的最后一个卷积层和Relu激活层之间。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111375075.4A CN113920327A (zh) | 2021-11-17 | 2021-11-17 | 一种基于改进的Faster Rcnn的绝缘子目标识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111375075.4A CN113920327A (zh) | 2021-11-17 | 2021-11-17 | 一种基于改进的Faster Rcnn的绝缘子目标识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113920327A true CN113920327A (zh) | 2022-01-11 |
Family
ID=79247470
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111375075.4A Pending CN113920327A (zh) | 2021-11-17 | 2021-11-17 | 一种基于改进的Faster Rcnn的绝缘子目标识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113920327A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117392551A (zh) * | 2023-12-12 | 2024-01-12 | 国网江西省电力有限公司电力科学研究院 | 一种基于鸟粪图像特征的电网鸟害识别方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107680090A (zh) * | 2017-10-11 | 2018-02-09 | 电子科技大学 | 基于改进全卷积神经网络的输电线路绝缘子状态识别方法 |
| CN112329737A (zh) * | 2020-12-01 | 2021-02-05 | 哈尔滨理工大学 | 一种基于改进Faster RCNN的车辆检测方法 |
| CN112784718A (zh) * | 2021-01-13 | 2021-05-11 | 上海电力大学 | 一种基于边缘计算与深度学习的绝缘子状态识别方法 |
| CN113222064A (zh) * | 2021-05-31 | 2021-08-06 | 苏州晗林信息技术发展有限公司 | 一种图像目标对象实时检测方法、系统、终端及存储介质 |
| CN113592809A (zh) * | 2021-07-28 | 2021-11-02 | 中国海洋大学 | 一种基于通道注意力残差网络的肺炎图像检测系统及方法 |
-
2021
- 2021-11-17 CN CN202111375075.4A patent/CN113920327A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107680090A (zh) * | 2017-10-11 | 2018-02-09 | 电子科技大学 | 基于改进全卷积神经网络的输电线路绝缘子状态识别方法 |
| CN112329737A (zh) * | 2020-12-01 | 2021-02-05 | 哈尔滨理工大学 | 一种基于改进Faster RCNN的车辆检测方法 |
| CN112784718A (zh) * | 2021-01-13 | 2021-05-11 | 上海电力大学 | 一种基于边缘计算与深度学习的绝缘子状态识别方法 |
| CN113222064A (zh) * | 2021-05-31 | 2021-08-06 | 苏州晗林信息技术发展有限公司 | 一种图像目标对象实时检测方法、系统、终端及存储介质 |
| CN113592809A (zh) * | 2021-07-28 | 2021-11-02 | 中国海洋大学 | 一种基于通道注意力残差网络的肺炎图像检测系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| QILONG WANG等: ""ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks"" * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117392551A (zh) * | 2023-12-12 | 2024-01-12 | 国网江西省电力有限公司电力科学研究院 | 一种基于鸟粪图像特征的电网鸟害识别方法及系统 |
| CN117392551B (zh) * | 2023-12-12 | 2024-04-02 | 国网江西省电力有限公司电力科学研究院 | 一种基于鸟粪图像特征的电网鸟害识别方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109949317B (zh) | 基于逐步对抗学习的半监督图像实例分割方法 | |
| US11100370B2 (en) | Method of using deep discriminate network model for person re-identification in image or video | |
| CN108710865B (zh) | 一种基于神经网络的司机异常行为检测方法 | |
| CN109086785B (zh) | 一种图像标定模型的训练方法和装置 | |
| Huang et al. | Arc detection and recognition in pantograph–catenary system based on convolutional neural network | |
| CN110969130B (zh) | 一种基于yolov3司机危险动作识别方法及系统 | |
| Yogheedha et al. | Automatic vehicle license plate recognition system based on image processing and template matching approach | |
| CN110569843B (zh) | 一种矿井目标智能检测与识别方法 | |
| CN103246896A (zh) | 一种鲁棒性车辆实时检测与跟踪方法 | |
| CN102360434B (zh) | 一种智能交通监控中车辆和行人的目标分类方法 | |
| CN105303162A (zh) | 一种基于目标建议算法的航拍图像绝缘子识别算法 | |
| CN113436184A (zh) | 基于改进孪生网络的电力设备图像缺陷判别方法及系统 | |
| CN114049581A (zh) | 一种基于动作片段排序的弱监督行为定位方法和装置 | |
| CN113920327A (zh) | 一种基于改进的Faster Rcnn的绝缘子目标识别方法 | |
| CN116386081A (zh) | 一种基于多模态图像的行人检测方法及系统 | |
| CN112541890B (zh) | 刀闸行程状态的检测方法、设备和可读存储介质 | |
| CN114550153A (zh) | 一种端子排图像检测识别方法 | |
| WO2021225296A1 (en) | Method for explainable active learning, to be used for object detector, by using deep encoder and active learning device using the same | |
| US11908124B2 (en) | Pavement nondestructive detection and identification method based on small samples | |
| CN106355187A (zh) | 视觉信息在电力设备监测中的应用 | |
| CN113591758A (zh) | 一种人体行为识别模型训练方法、装置及计算机设备 | |
| CN116486172A (zh) | 基于语义表征的无监督域适应图像分类方法 | |
| CN112215252B (zh) | 一种基于在线难易样本挖掘的弱监督目标检测方法 | |
| CN115393714A (zh) | 一种融合图论推理的输电线路螺栓缺销钉检测方法 | |
| CN117677969A (zh) | 一种缺陷检测的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20220111 |