CN115018818B - 一种基于多网络融合模型的输电线路耐张线夹缺陷检测方法 - Google Patents
一种基于多网络融合模型的输电线路耐张线夹缺陷检测方法 Download PDFInfo
- Publication number
- CN115018818B CN115018818B CN202210776591.6A CN202210776591A CN115018818B CN 115018818 B CN115018818 B CN 115018818B CN 202210776591 A CN202210776591 A CN 202210776591A CN 115018818 B CN115018818 B CN 115018818B
- Authority
- CN
- China
- Prior art keywords
- model
- yolov4
- training
- strain clamp
- aspp
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 81
- 238000001514 detection method Methods 0.000 title claims abstract description 45
- 230000004927 fusion Effects 0.000 title claims abstract description 25
- 230000005540 biological transmission Effects 0.000 title claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 59
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 claims abstract description 37
- 238000000034 method Methods 0.000 claims abstract description 36
- 230000007246 mechanism Effects 0.000 claims abstract description 20
- 238000011176 pooling Methods 0.000 claims abstract description 19
- 229910000831 Steel Inorganic materials 0.000 claims description 16
- 239000010959 steel Substances 0.000 claims description 16
- 238000002788 crimping Methods 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 14
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 claims description 11
- 229910052782 aluminium Inorganic materials 0.000 claims description 11
- 238000005452 bending Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 7
- 238000012795 verification Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000013526 transfer learning Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000000137 annealing Methods 0.000 claims description 3
- 230000008030 elimination Effects 0.000 claims description 3
- 238000003379 elimination reaction Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000009471 action Effects 0.000 claims description 2
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 230000008014 freezing Effects 0.000 claims description 2
- 238000007710 freezing Methods 0.000 claims description 2
- 230000005764 inhibitory process Effects 0.000 claims description 2
- 230000001629 suppression Effects 0.000 claims description 2
- 238000010257 thawing Methods 0.000 claims description 2
- 238000007689 inspection Methods 0.000 abstract description 6
- 238000011282 treatment Methods 0.000 abstract description 6
- 238000002372 labelling Methods 0.000 abstract 1
- 201000005625 Neuroleptic malignant syndrome Diseases 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009659 non-destructive testing Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Quality & Reliability (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Economics (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
Abstract
本发明公开一种基于多网络融合模型的输电线路耐张线夹缺陷检测方法，具体包括如下步骤：构建输电线路耐张线夹的X光图像数据集，并对其进行缺陷标注、数量扩充及对比度增强等处理；引入卷积块注意力机制CBAM和空洞空间金字塔池化结构ASPP对YOLOv4模型进行改进；利用数据集对改进的模型与原模型进行训练与检测，将各模型的检测结果进行融合，提升模型的综合检测性能及泛化能力。本发明通过构建多网络融合算法模型对耐张线夹缺陷进行检测，为电力设备智能巡检领域提供技术参考。
Description
技术领域
本发明属于输电线路技术领域，具体涉及一种基于多网络融合模型的输电线路耐张线夹缺陷检测方法。
背景技术
耐张线夹作为输电线路的关键组成部分，主要作用为承受导线间、地线间的张力，其连接性能好坏直接关系电力系统的安全稳定运行。因线夹部分的问题导致线路掉线停电的现象时有发生。例如，2015年11月，我国东北地区因冰害造成多处耐张线夹连接功能失效，主要原因为线夹投入运行之前因压接人员操作不当造成握力不足。运行经验表明，压接质量是决定耐张线夹性能好坏的关键因素。根据架空输电线路“三跨”重大反事故措施要求，为保证输电线路安全稳定运行，需对待服役和服役中的“三跨”线夹进行压接质量检测。
X射线数字成像技术(x-ray digital radiography，X_DR)具有直观、便捷的优点，随着小型化射线发生装置的出现，X_DR技术被广泛应用于耐张线夹、气体绝缘组合电器(gas insulated switchgear，GIS)等电力设备缺陷检测领域。该技术是一种利用X射线较强的穿透能力对工件进行无损探伤的检测手段，拍摄所得的X光图片可直观反映出耐张线夹内部结构缺陷，克服了传统检测技术存在的短板。利用X_DR技术对耐张线夹进行无损探伤，可将耐张线夹内部缺陷以X光图像的的形式呈现，通过与正常工作的耐张线夹X光图像的比对，可对缺陷进行判别。但通过工作人员对耐张线夹X光图像进行缺陷判断，不仅效率低下，其检测结果受个人影响因素较大。随着深度模型的轻量化与小型计算机算力的增强，机器视觉在电力设备的缺陷检测及分类识别领域取得了突飞猛进的发展。利用机器视觉与耐张线夹缺陷图像相结合，不仅可以避免人为因素的干扰，也可对耐张线夹的缺陷进行快速准确的判断，有助于实现耐张线夹的在线实时检测，可为电力设备智能巡检在电力行业的其他应用领域提供参考。
发明内容
针对现有耐张线夹缺陷检测不能在线实时检测的不足，本发明旨在提供一种基于多网络融合模型的输电线路耐张线夹缺陷检测方法，减少人工因素对缺陷评判结果的干扰，提升检测效率，为电力设备智能巡检提供技术参考。
为达到此发明目的，本发明通过以下方案予以实现：一种基于多网络融合模型的输电线路耐张线夹缺陷检测方法，包括如下步骤：
S1、耐张线夹X光图像数据集构建与预处理：构建含有“多压”、“C区漏压”、“弯曲”、“欠压”、“A区漏压”及“飞边”六类缺陷的耐张线夹数据集；采用先裁剪缺陷区域再旋转的方法进行样本扩充；利用对比度拉伸、Gamma校正、拉普拉斯算子增强、高斯滤波以及限制对比度直方图均衡化CLAHE对耐张线夹X光图像进行对比度增强处理；
S2、构建改进的YOLOv4耐张线夹X光图像缺陷检测模型：在原始YOLOv4模型的PANet网络嵌入CBAM注意力机制模块构建YOLOv4+CBAM模型；对YOLOv4主干网络CSPDarknet53中的SPP结构进行改进，在原SPP结构基础上加入CBAM注意力机制、全局平均池化和扩张率r分别为6、12和18的空洞卷积构建ASPP结构，并替换YOLOv4主干网络中的SPP结构，从而构建YOLOv4+ASPP模型；以YOLOv4+ASPP模型为基础，在YOLOv4+ASPP模型的PANet网络嵌入CBAM注意力机制模块构建YOLOv4+ASPP+CBAM模型；三种改进模型的具体操作如下：
YOLOv4+CBAM模型：从YOLOv4的主干网络CSPDarknet53中提取3个大小为52×52×256，26×26×512，13×13×1024的特征层，在3个特征层中分别加入注意力机制CBAM后输入PANet网络进行特征融合；
YOLOv4+ASPP模型：在YOLOv4模型的原始SPP结构4个支路下，其中4个支路分别是卷积核大小为13×13、9×9和5×5的最大池化以及卷积核为1×1的普通卷积，另外使用全局平均池化和扩张率r分别为6、12和18的空洞卷积作为4个新支路加入SPP结构中，构成具有8条支路的ASPP结构；其中，第1～3支路为3个卷积核大小不同的最大池化；第4～6支路为3个扩张率不同的空洞卷积；第7支路为利用全局平均池化获取图像全局特征；第8支路为利用1×1的卷积保持原始特征图的感受野；最后将8条支路中不同池化和卷积操作得到的特征图进行堆叠；并在ASPP结构中的第4～6支路以及第8支路加入CBAM注意力机制加强特征提取，完成对YOLOv4+ASPP结构的构建；
YOLOv4+ASPP+CBAM模型：以YOLOv4+ASPP模型为基础，在YOLOv4+ASPP模型的主干网络中提取3个大小为52×52×256，26×26×512，13×13×1024的特征层，在3个特征层中分别加入注意力机制CBAM后输入PANet网络构建YOLOv4+ASPP+CBAM模型；
S3、利用数据集对改进的YOLOv4模型与原模型进行训练与检测：预处理后的耐张线夹X光图像数据集按8：2分为训练集与测试集，再从训练集中提取10％作为验证集一并输入各模型进行训练；各模型均采用多阶段迁移学习的方式对缺陷检测模型进行训练，先冻结主干网络前200层参数训练80轮后，再解冻训练220轮，训练过程中将余弦退火衰减算法与Adam优化器相结合，对网络中各层参数进行更新，并采用早停法防止模型过拟合；此外，YOLOv4模型与YOLOv4+CBAM载入COCO数据集预训练的YOLOv4权重进行辅助训练，YOLOv4+ASPP模型与YOLOv4+ASPP+CBAM模型中的部分层并没有对应的预训练权重，训练时该部分层的参数采用随机初始化；
训练结束后取各模型损失值最小的训练权重输入各自模型中，利用测试集图像测试各模型的训练效果，获得各模型对测试集图像缺陷的第一次检测结果；
S4、融合各网络的检测结果对耐张线夹缺陷进行判定：各模型经第一次检测后，测试集中每张图像都将出现一个预测框；对同一张检测图片，将各模型检测出的预测框进行直接融合；融合后的图像采用NMS算法对新的预测框集合再次进行冗余框剔除，形成最终的预测框，依据此预测框的检测结果对耐张线夹的缺陷进行判定。
进一步地，步骤S1采用先裁剪缺陷区域再旋转的方法进行样本扩充，由于单幅X光图像中可能包含多类压接缺陷，且缺陷不止一处，通过对整幅图像翻转来扩充缺陷标签的方法并不能缓解数据集中样本不均衡的程度，为此本发明先裁剪图像中钢锚弯曲的区域，再对其进行旋转，实现对缺陷样本数量的扩充。
进一步地，步骤S2构建改进的YOLOv4耐张线夹X光图像缺陷检测模型中，引入CBAM注意力机制模块和空洞卷积ASPP对YOLOv4的自下而上路径增强网络及SPP层进行改进，为进一步加强YOLOv4模型对耐张线夹压接缺陷特征的提取和表达能力。
进一步地，步骤S3中采用多阶段迁移学习不仅可以提升模型训练效率，也可以冻结模型主干使得预训练权值不被破坏；YOLOv4+ASPP模型与YOLOv4+ASPP+CBAM模型中的部分层并没有对应的预训练权重，训练时该部分层的参数采用随机初始化，根据每个特征提取层的输入个数和输出个数来决定参数随机初始化的分布范围。
进一步地，步骤S4中融合各网络的检测结果对耐张线夹缺陷进行判定，是将各网络第一次预测结果的预测框进行融合，再通过降低交并比IOU，利用一次NMS对融合后的结果进行二次判定，依据二次判定的结果对耐张线夹中的缺陷进行判断。
与现有技术相比，本发明有益效果包括：
本发明提供的一种基于多网络融合模型的输电线路耐张线夹缺陷检测方法，只需将耐张线夹X光图像输入便可精准快速地识别并定位缺陷，可为电力设备智能巡检在电力行业的其他应用领域提供参考。
附图说明
图1为本发明方法的流程图；
图2为耐张线夹平面图；
图3为多网络融合模型对缺陷的检测结果。
具体实施方式
本发明流程图如图1所示，下面将详细地对实施例进行说明，对耐张线夹X光图像缺陷检测包括以下步骤：
S1、耐张线夹X光图像数据集构建与预处理：本发明原始数据均来源于电网公司“三跨”线路耐张线夹压接质量X射线无损检测工程，共包含5224幅图像，分辨率均为2816×2304。原始图像保存的格式为.GIF、.GIF，为方便后续研究将其统一转换为.JPG格式；线夹压接后的内部结构如图2所示，缺陷主要分布在三个区域：1)钢锚凹凸槽与铝管的连接处；2)钢锚与钢芯连接处；3)铝绞线与铝管连接处，分别对应图2中的A、B、C区域；
S1.1、通过分析数据集可知，“多压”、“钢锚弯曲”两类缺陷标签数相差较大，对钢锚弯曲类缺陷进行适当扩充由于单幅X光图像中可能包含多类压接缺陷，且缺陷不止一处，通过对整幅图像翻转来扩充缺陷标签的方法并不能缓解数据集中样本不均衡的程度。为此，本发明先裁剪图像中钢锚弯曲的区域，再对其进行旋转，实现对缺陷样本数量的扩充。扩充后数据集共包含耐张线夹X光图像8896幅，各类缺陷数目如表一所示：
表1
| 缺陷种类 | A区漏压 | A区欠压 | 过压 | 钢锚弯曲 | 钢锚飞边 | C区漏压 |
| 数量 | 2266个 | 4022个 | 6412个 | 4398个 | 2037个 | 2409个 |
其中“多压”是指铝管压接区发生形变，但变形区域超出凹凸槽范围到达非压区；“C区漏压”是指铝管与铝绞线连接处存在没有压接或未完全压接的区域；“弯曲”是指压接过程中液压机未保持水平状态，或是由于导线扭矩力作用导致每次改变压接位置时已压面与未压面发生错位导致钢锚弯曲；“欠压”是指由于压接过程中液压机出力不足或线夹放置的位置偏差，可能导致钢锚凹槽处欠压；“A区漏压”是指铝管与钢锚压接不到位；“飞边”是指钢锚管表面存在裂纹；
S1.2、利用对比度拉伸、Gamma校正、拉普拉斯算子增强、高斯滤波以及限制对比度直方图均衡化CLAHE对耐张线夹X光图像进行对比度增强处理，其具体操作为：对输入图像先进行对比度拉伸，然后进行Gamma校正，参数γ的大小设置为0.8；对Gamma校正后的图像利用拉普拉斯算子增强耐张线夹X光图像中的边缘、纹理等细节部分信息，然后采用CLAHE提升图中过暗或过亮区域的对比度；最后利用高斯滤波算法对图像进行滤波处理。
S1.3、将预处理后的图像采用LabelImg软件对其中包含的缺陷进行标注。
S2、构建改进的YOLOv4耐张线夹X光图像缺陷检测模型：在原始YOLOv4模型的PANet网络嵌入CBAM注意力机制模块构建YOLOv4+CBAM模型；对YOLOv4主干网络CSPDarknet53中的SPP结构进行改进，在原SPP结构基础上加入CBAM注意力机制、全局平均池化和扩张率r分别为6、12和18的空洞卷积构建ASPP结构，并替换YOLOv4主干网络中的SPP结构，从而构建YOLOv4+ASPP模型；以YOLOv4+ASPP模型为基础，在YOLOv4+ASPP模型的PANet网络嵌入CBAM注意力机制模块构建YOLOv4+ASPP+CBAM模型，具体操作如下：
S2.1、构建原YOLOv4模型：该模型由主干网络CSPDarknet53、特征融合网络PANet以及分类预测网络YOLO Head三部分构成；模型基本组成单元为：利用普通卷积Conv，标准化BN以及Mish激活函数构建CBM结构；一个普通卷积Conv与标准化BN串联构建主干部分Bone，一个1×1的卷积构成残差部分Short；利用主干部分Bone与残差部分Short构建Res模块；采用4个支路分别是卷积核大小为13×13、9×9和5×5的最大池化以及卷积核为1×1的普通卷积构建SPP结构；
主干网络CSPDarknet53：将输入图片大小设置为416×416×3，经过一个CBM结构后，图片特征层大小变为416×416×32；此时经过一次Res模块后，图片特征层大小变为208×208×64；图片特征层继续下采样，依次经过2次Res模块、8次Res模块、8次Res模块以及4次Res模块后，图片特征层大小分别为104×104×128、52×52×256、26×26×512以及13×13×1024；将大小为13×13×1024的特征层继续下采样，经过三次普通卷积后，输入SPP结构，增加网络的感受野，分离出显著的特征，此时主干网络CSPDarknet53构建完成；
特征融合网络PANet：从主干网络CSPDarknet53中提取3个大小为52×52×256，26×26×512，13×13×1024的初步特征层，分别取为P1、P2以及P3；将P3经过三次普通卷积后进行上采样，与经过一次普通卷积的P2进行Concat连接，将连接后的特征层进行五次普通卷积获得加强特征层F1；将加强特征层F1继续上采样，与经过一次普通卷积的P1进行Concat连接，连接后的特征层进行五次普通卷积获得加强特征层F2；经过由下至上的特征融合后，还需要进行由上至下的特征融合；将加强特征层F2下采样与F1进行Concat连接，连接后的特征层经过五次普通卷积获得加强特征层F3；将加强特征层F3继续下采样与特征层P3进行Concat连接，连接后的特征层进行五次普通卷积获得加强特征层F4；经过特征融合网络PANet后，可获得加强特征层F1～F4；
分类预测网络YOLO Head：从特征融合网络PANet中输出三个加强特征层F2、F3以及F4，输入三个大小为13×13×33，26×26×33以及52×52×33的YOLO Head网络中进行分类预测，实现对耐张线夹X光图像中大、中以及小型缺陷的检测。
S2.2、YOLOv4+CBAM模型：从YOLOv4的主干网络CSPDarknet53中提取3个大小为52×52×256，26×26×512，13×13×1024的特征层，在3个特征层中分别加入注意力机制CBAM后输入PANet网络进行特征融合；
S2.3、YOLOv4+ASPP模型：在YOLOv4模型的原始SPP结构4个支路下，其中4个支路分别是卷积核大小为13×13、9×9和5×5的最大池化以及卷积核为1×1的普通卷积，另外使用全局平均池化和扩张率r分别为6、12和18的空洞卷积作为4个新支路加入SPP结构中，构成具有8条支路的ASPP结构；其中，第1～3支路为3个卷积核大小不同的最大池化；第4～6支路为3个扩张率不同的空洞卷积；第7支路为利用全局平均池化获取图像全局特征；第8支路为利用1×1的卷积保持原始特征图的感受野；最后将8条支路中不同池化和卷积操作得到的特征图进行堆叠；并在ASPP结构中的第4～6支路以及第8支路加入CBAM注意力机制加强特征提取，完成对YOLOv4+ASPP结构的构建；
S2.4、YOLOv4+ASPP+CBAM模型：以YOLOv4+ASPP模型为基础，在YOLOv4+ASPP模型的主干网络中提取3个大小为52×52×256，26×26×512，13×13×1024的特征层，在3个特征层中分别加入注意力机制CBAM后输入PANet网络构建YOLOv4+ASPP+CBAM模型。
S3、利用数据集对改进的YOLOv4模型与原模型进行训练与检测：预处理后的耐张线夹X光图像数据集按8：2分为训练集与测试集，再从训练集中提取10％作为验证集一并输入各模型进行训练；各模型均采用多阶段迁移学习的方式对缺陷检测模型进行训练，先冻结主干网络前200层参数训练80轮后，再解冻训练220轮，其训练时参数设置为：前80轮次每轮训练图片数Batchsize设置为8，模型学习率Lr为0.001；后220轮次每轮训练图片数Batchsize设置为2，模型学习率Lr为0.0005；整个训练过程关闭多线程，线程数num_workers＝0。训练过程中将余弦退火衰减算法与Adam优化器相结合，对网络中各层参数进行更新，并采用早停法防止模型过拟合；此外，YOLOv4模型与YOLOv4+CBAM载入COCO数据集预训练的YOLOv4权重进行辅助训练，YOLOv4+ASPP模型与YOLOv4+ASPP+CBAM模型中的部分层并没有对应的预训练权重，训练时该部分层的参数采用随机初始化；
训练结束后取各模型损失值最小的训练权重输入各自模型中，利用测试集图像测试各模型的训练效果，获得各模型对测试集图像缺陷的第一次检测结果；在对耐张线夹X光图像缺陷进行第一次检测时预测框的交并比IOU阈值设为0.5，判别是否为缺陷目标的置信度阈值设为0.35；利用一次非极大值抑制NMS剔除冗余预测框，获得第一次检测结果。
S4、融合各网络的检测结果对耐张线夹缺陷进行判定：各模型经第一次检测后，测试集中每张图像都将出现一个预测框；对同一张检测图片，将各模型检测出的预测框进行直接融合，此时图片中将留下4个预测框；利用一次非极大值抑制NMS对图片中目标缺陷进行第二次检测，剔除多余预测框，第二次检测时预测框的交并比IOU阈值设为0.4，判别是否为缺陷目标的置信度阈值设为0.35；融合后的图像采用NMS算法对新的预测框集合再次进行冗余框剔除，形成最终的预测框，依据此预测框的检测结果对耐张线夹的缺陷进行判定，检测结果如图3所示，其mAP值可达93.18％。
本实施例中根据实际运行中可能出现的影响情况：数据集的分配比例与参数设置应尽可能与本发明一致；YOLOv4+ASPP模型与YOLOv4+ASPP+CBAM模型中的部分层并没有对应的预训练权重，不可使用COCO数据集预训练的YOLOv4权重进行辅助训练，训练时该部分层的参数采用随机初始化。
以上所述仅表达了本发明的优选实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形、改进及替代，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (7)
1.一种基于多网络融合模型的输电线路耐张线夹缺陷检测方法，其特征在于，包括如下步骤：
S1、耐张线夹X光图像数据集构建与预处理：构建含有“多压”、“C区漏压”、“弯曲”、“欠压”、“A区漏压”及“飞边”六类缺陷的耐张线夹数据集；采用先裁剪缺陷区域再旋转的方法进行样本扩充；利用对比度拉伸、Gamma校正、拉普拉斯算子增强、高斯滤波以及限制对比度直方图均衡化CLAHE对耐张线夹X光图像进行对比度增强处理；
S2、构建改进的YOLOv4耐张线夹X光图像缺陷检测模型：在原始YOLOv4模型的PANet网络嵌入CBAM注意力机制模块构建YOLOv4+CBAM模型；对YOLOv4主干网络CSPDarknet53中的SPP结构进行改进，在原SPP结构基础上加入CBAM注意力机制、全局平均池化和扩张率r分别为6、12和18的空洞卷积构建ASPP结构，并替换YOLOv4主干网络中的SPP结构，从而构建YOLOv4+ASPP模型；以YOLOv4+ASPP模型为基础，在YOLOv4+ASPP模型的PANet网络嵌入CBAM注意力机制模块构建YOLOv4+ASPP+CBAM模型；
S3、利用数据集对改进的YOLOv4模型与原模型进行训练与检测：预处理后的耐张线夹X光图像数据集按8：2分为训练集与测试集，再从训练集中提取10％作为验证集一并输入各模型进行训练；各模型均采用多阶段迁移学习的方式对缺陷检测模型进行训练，先冻结主干网络前200层参数训练80轮后，再解冻训练220轮，训练过程中将余弦退火衰减算法与Adam优化器相结合，对网络中各层参数进行更新，并采用早停法防止模型过拟合；此外，YOLOv4模型与YOLOv4+CBAM载入COCO数据集预训练的YOLOv4权重进行辅助训练，YOLOv4+ASPP模型与YOLOv4+ASPP+CBAM模型中的部分层并没有对应的预训练权重，训练时该部分层的参数采用随机初始化；
训练结束后取各模型损失值最小的训练权重输入各自模型中，利用测试集图像测试各模型的训练效果，获得各模型对测试集图像缺陷的第一次检测结果；
S4、融合各网络的检测结果对耐张线夹缺陷进行判定：各模型经第一次检测后，测试集中每张图像都将出现一个预测框；对同一张检测图片，将各模型检测出的预测框进行直接融合；融合后的图像采用NMS算法对新的预测框集合再次进行冗余框剔除，形成最终的预测框，依据此预测框的检测结果对耐张线夹的缺陷进行判定。
2.根据权利要求1所述的一种基于多网络融合模型的输电线路耐张线夹缺陷检测方法，其特征在于，所述步骤S1中关于缺陷的定义，其中“多压”是指铝管压接区发生形变，但变形区域超出凹凸槽范围到达非压区；“C区漏压”是指铝管与铝绞线连接处存在没有压接或未完全压接的区域；“弯曲”是指压接过程中液压机未保持水平状态，或是由于导线扭矩力作用导致每次改变压接位置时已压面与未压面发生错位导致钢锚弯曲；“欠压”是指由于压接过程中液压机出力不足或线夹放置的位置偏差，可能导致钢锚凹槽处欠压；“A区漏压”是指铝管与钢锚压接不到位；“飞边”是指钢锚管表面存在裂纹。
3.根据权利要求1所述的一种基于多网络融合模型的输电线路耐张线夹缺陷检测方法，其特征在于，所述步骤S1中利用对比度拉伸、Gamma校正、拉普拉斯算子增强、高斯滤波以及限制对比度直方图均衡化CLAHE对耐张线夹X光图像进行对比度增强处理，其具体操作为：对输入图像先进行对比度拉伸，然后进行Gamma校正，参数γ的大小设置为0.8；对Gamma校正后的图像利用拉普拉斯算子增强耐张线夹X光图像中的边缘、纹理细节部分信息，然后采用CLAHE提升图中过暗或过亮区域的对比度；最后利用高斯滤波算法对图像进行滤波处理。
4.根据权利要求1所述的一种基于多网络融合模型的输电线路耐张线夹缺陷检测方法，其特征在于，所述步骤S2中三种改进模型的具体操作如下：
YOLOv4+CBAM模型：从YOLOv4的主干网络CSPDarknet53中提取3个大小为52×52×256，26×26×512，13×13×1024的特征层，在3个特征层中分别加入注意力机制CBAM后输入PANet网络进行特征融合；
YOLOv4+ASPP模型：在YOLOv4模型的原始SPP结构4个支路下，其中4个支路分别是卷积核大小为13×13、9×9和5×5的最大池化以及卷积核为1×1的普通卷积，另外使用全局平均池化和扩张率r分别为6、12和18的空洞卷积作为4个新支路加入SPP结构中，构成具有8条支路的ASPP结构；其中，第1～3支路为3个卷积核大小不同的最大池化；第4～6支路为3个扩张率不同的空洞卷积；第7支路为利用全局平均池化获取图像全局特征；第8支路为利用1×1的卷积保持原始特征图的感受野；最后将8条支路中不同池化和卷积操作得到的特征图进行堆叠；并在ASPP结构中的第4～6支路以及第8支路加入CBAM注意力机制加强特征提取，完成对YOLOv4+ASPP结构的构建；
YOLOv4+ASPP+CBAM模型：以YOLOv4+ASPP模型为基础，在YOLOv4+ASPP模型的主干网络中提取3个大小为52×52×256，26×26×512，13×13×1024的特征层，在3个特征层中分别加入注意力机制CBAM后输入PANet网络构建YOLOv4+ASPP+CBAM模型。
5.根据权利要求1所述的一种基于多网络融合模型的输电线路耐张线夹缺陷检测方法，其特征在于，所述步骤S3中各模型均采用多阶段迁移学习的方式对缺陷检测模型进行训练，先冻结主干网络前200层参数训练80轮后，再解冻训练220轮，其训练时参数设置为：前80轮次每轮训练图片数Batchsize设置为8，模型学习率Lr为0.001；后220轮次每轮训练图片数Batchsize设置为2，模型学习率Lr为0.0005；整个训练过程关闭多线程，线程数num_workers＝0。
6.根据权利要求1所述的一种基于多网络融合模型的输电线路耐张线夹缺陷检测方法，其特征在于，所述步骤S3中利用测试集图像测试各模型训练效果，获得各模型对测试集图像缺陷的第一次检测结果，其具体操作为：在对耐张线夹X光图像缺陷进行第一次检测时预测框的交并比IOU阈值设为0.5，判别是否为缺陷目标的置信度阈值设为0.35；利用一次非极大值抑制NMS剔除冗余预测框，获得第一次检测结果。
7.根据权利要求1所述的一种基于多网络融合模型的输电线路耐张线夹缺陷检测方法，其特征在于，所述步骤S4中对同一张检测图片，将各模型检测出的预测框进行直接融合；融合后的图像采用NMS算法对新的预测框集合再次进行冗余框剔除，形成最终的预测框，其具体操作为：将各模型对同一张图片检测出的预测框直接融合，此时图片中将留下4个预测框；利用一次非极大值抑制NMS对图片中目标缺陷进行第二次检测，剔除多余预测框，第二次检测时预测框的交并比IOU阈值设为0.4，判别是否为缺陷目标的置信度阈值设为0.35。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210776591.6A CN115018818B (zh) | 2022-07-01 | 2022-07-01 | 一种基于多网络融合模型的输电线路耐张线夹缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210776591.6A CN115018818B (zh) | 2022-07-01 | 2022-07-01 | 一种基于多网络融合模型的输电线路耐张线夹缺陷检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115018818A CN115018818A (zh) | 2022-09-06 |
| CN115018818B true CN115018818B (zh) | 2024-03-29 |
Family
ID=83079310
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210776591.6A Active CN115018818B (zh) | 2022-07-01 | 2022-07-01 | 一种基于多网络融合模型的输电线路耐张线夹缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115018818B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116229278B (zh) * | 2023-05-10 | 2023-08-04 | 广东电网有限责任公司珠海供电局 | 一种输电线路防震锤锈蚀缺陷检测方法和系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113379699A (zh) * | 2021-06-08 | 2021-09-10 | 上海电机学院 | 基于深度学习的输电线路绝缘子缺陷检测方法 |
| CN113469953A (zh) * | 2021-06-10 | 2021-10-01 | 南昌大学 | 一种基于改进YOLOv4算法的输电线路绝缘子缺陷检测方法 |
| CN114120019A (zh) * | 2021-11-08 | 2022-03-01 | 贵州大学 | 一种轻量化的目标检测方法 |
| CN114565860A (zh) * | 2022-03-01 | 2022-05-31 | 安徽大学 | 一种多维度增强学习合成孔径雷达图像目标检测方法 |
| WO2022120665A1 (zh) * | 2020-12-09 | 2022-06-16 | 电子科技大学 | 一种基于深度学习的电容缺陷智能检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11442430B2 (en) * | 2019-08-27 | 2022-09-13 | Kyocera Document Solutions Inc. | Rapid packaging prototyping using machine learning |
-
2022
- 2022-07-01 CN CN202210776591.6A patent/CN115018818B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022120665A1 (zh) * | 2020-12-09 | 2022-06-16 | 电子科技大学 | 一种基于深度学习的电容缺陷智能检测方法 |
| CN113379699A (zh) * | 2021-06-08 | 2021-09-10 | 上海电机学院 | 基于深度学习的输电线路绝缘子缺陷检测方法 |
| CN113469953A (zh) * | 2021-06-10 | 2021-10-01 | 南昌大学 | 一种基于改进YOLOv4算法的输电线路绝缘子缺陷检测方法 |
| CN114120019A (zh) * | 2021-11-08 | 2022-03-01 | 贵州大学 | 一种轻量化的目标检测方法 |
| CN114565860A (zh) * | 2022-03-01 | 2022-05-31 | 安徽大学 | 一种多维度增强学习合成孔径雷达图像目标检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| 基于双注意力机制的遥感图像目标检测;周幸;陈立福;;计算机与现代化;20200815(第08期);全文 * |
| 基于改进Faster-RCNN的无人机巡检架空线路销钉缺陷检测;顾超越;李喆;史晋涛;赵航航;江一;江秀臣;;高电压技术;20200930(第09期);全文 * |
| 结合混合域注意力与空洞卷积的3维目标检测;严娟;方志军;高永彬;;中国图象图形学报;20200616(第06期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115018818A (zh) | 2022-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111047522B (zh) | 一种基于边缘生成的图像修复方法 | |
| CN115018818B (zh) | 一种基于多网络融合模型的输电线路耐张线夹缺陷检测方法 | |
| CN111027631B (zh) | 高压耐张线夹压接缺陷判别的x射线影像分类识别方法 | |
| CN114723750B (zh) | 基于改进yolox算法的输电线路耐张线夹缺陷检测方法 | |
| CN109801232A (zh) | 一种基于深度学习的单幅图像去雾方法 | |
| CN115063725B (zh) | 基于多尺度自适应ssd算法的飞机蒙皮缺陷识别系统 | |
| CN114549407A (zh) | 基于x射线图像的耐张线夹压接缺陷程度判断方法 | |
| CN113269720A (zh) | 一种直缝焊管的缺陷检测方法、系统和可读介质 | |
| CN113570571A (zh) | 一种工业边缘端动力电池缺陷检测方法及系统 | |
| CN115147397A (zh) | 一种输电线路耐张线夹x光图像缺陷检测方法 | |
| CN117113066B (zh) | 一种基于计算机视觉的输电线路绝缘子缺陷检测方法 | |
| CN111310899B (zh) | 基于共生关系和小样本学习的电力缺陷识别方法 | |
| CN117237327A (zh) | 一种基于轻量级模型的耐张线夹缺陷检测方法 | |
| CN117114402A (zh) | 一种基于大数据的电力设备风险评估方法 | |
| CN113947567B (zh) | 基于多任务学习的缺陷检测方法 | |
| KR20210089365A (ko) | 인공지능을 이용한 구조물 손상 탐지 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체 | |
| WO2023283914A1 (zh) | 基于Y-Net的数字水印方法、装置及系统 | |
| CN116051530A (zh) | 基于图像修复的半监督光伏电池表面异常检测方法 | |
| CN111612800B (zh) | 船舶图像检索方法、计算机可读存储介质和设备 | |
| CN115330743A (zh) | 基于双光检测缺陷的方法及相应的系统 | |
| CN115131337B (zh) | 一种基于改进CenterNet算法的输电线路耐张线夹缺陷检测方法 | |
| CN115082650A (zh) | 一种基于卷积神经网络的管道缺陷自动标注工具的实现方法 | |
| CN116029945B (zh) | 生成式图像修复装置 | |
| Qiu et al. | X-ray Imaging Defect Detection of Transmission Line Strain Clamps Based on a YOLOX Model | |
| CN117710374B (zh) | 基于深度学习的跑冒滴漏检测方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |