CN117115178B - 一种基于半参数共享的电力红外巡检图像分割、检测方法 - Google Patents
一种基于半参数共享的电力红外巡检图像分割、检测方法 Download PDFInfo
- Publication number
- CN117115178B CN117115178B CN202311065940.4A CN202311065940A CN117115178B CN 117115178 B CN117115178 B CN 117115178B CN 202311065940 A CN202311065940 A CN 202311065940A CN 117115178 B CN117115178 B CN 117115178B
- Authority
- CN
- China
- Prior art keywords
- model
- image
- infrared
- parameter
- adapter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 33
- 238000001514 detection method Methods 0.000 title claims abstract description 20
- 238000007689 inspection Methods 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 22
- 230000011218 segmentation Effects 0.000 claims abstract description 17
- 230000007547 defect Effects 0.000 claims abstract description 9
- 239000013598 vector Substances 0.000 claims description 43
- 230000006870 function Effects 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 24
- 230000004927 fusion Effects 0.000 claims description 15
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 5
- 238000013461 design Methods 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 8
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于半参数共享的电力红外巡检图像分割、检测方法，属于红外图像检测技术领域；该方法包括获取电力红外图像数据，对电力红外图像特征数据进行融合，设计半参数共享的Adapter，基于大规模数据集上预训练好的基座模型，将构建好的Adapter拼接到Transfomer中的编码层中，开展电力红外图像分割模型微调；本发明解决了现有电力红外图像密集分割效果不佳以及基于Transformer架构的图像分割模型训练困难两个难点问题，提高了电力红外图像分割的精度，提高基于红外图像的缺陷检测的效率和准确性。
Description
技术领域
本发明涉及红外图像检测技术领域，具体涉及一种基于半参数共享的电力红外巡检图像分割、检测方法。
一种基于半参数共享的电力红外巡检图像分割、检测方法
背景技术
近年来，伴随着我国对电力的需求逐年上升，电力系统已经融合入到我们的日常生活和生产活动中，成为最不可缺少的基础设施之一。在电力中，电力基础设备的作用对保持电网安全运行至关重要，它们的可靠性和安全性直接关联到整个电力系统的稳定性。据相关统计，电力系统出现的众多故障中，有很大一部分直接源于设备本体的故障，尤其是由设备的温度异常所引起的热故障。因此，实时监控设备的热状态显得尤为重要。红外热成像技术，作为一种非侵入性的监测手段，能有效地对电力设备的热状态进行跟踪。
对于电力设备的热故障诊断，传统的做法是通过人工辨识设备，并根据专业知识对故障类型进行评判，这对操作员的技术水平有较高要求，而且效率不高。但是，随着人工智能技术的飞速发展，使用智能算法替代人工诊断已经变为可能。在进行电力设备的红外故障诊断时，由于设备类型众多，通常识别算法是先识别红外图像中的目标区域并提取其轮廓，然后利用区域温度信息来进行故障诊断。其中，红外图像中目标区域提取的精度会直接影响到故障分析的准确性。近几年，深度学习技术在图像识别和检测领域取得了显著的进展。
目前市面上主流的基于深度学习分割算法是主要包括:U-Net、Mask R-CNN等基于CNN结构的网络和ViT，SAM等基于Transfomer结构的网络。Mask R-CNN不仅能够精确地检测图像中的物体，同时也能为每一个实例生成高质量的分割掩码。U-Net则采用了带有跳过连接的对称编码-解码结构，从而提高了在处理图像细节上的保留能力。然而，虽然基于CNN的方法展现出了良好的表征能力，由于卷积核的感受野有限，无法捕获图像全局语义信息；基于Transformer结构的模型在处理大型数据集时具有更好的可扩展性，能够准确捕获图片全局信息，2023年META公司提出了基于Transformer的架构的SAM分割模型，该模型在大规模视觉语料库上训练，具有强大的视觉表征能力。SAM模型在多种情境下都具有强大的分割能力。然而，在电力红外图像分割这样的密集分割场景下，SAM模型在电力场景的分割中并不能发挥良好的效果，且SAM模型由于参数量大，全量参数训练也十分困难。
相较于一般的图像分割场景，电力红外图像分割有以下难点：第一、电力红外图像清晰度高，但是在复杂红外背景下适应性较差，边缘分割效果不佳；第二、电力分割设备多，分割精度要求高，属于密集分割领域难难点，从而直接影响电力红外图片分割精度。
发明内容
本发明是为了解决现有电力红外图像密集分割效果不佳，以及基于Transformer架构的图像分割模型训练困难的技术问题，目的在于提供一种基于半参数共享的电力红外巡检图像分割、检测方法，有效解决了现有电力红外图像密集分割效果不佳以及基于Transformer架构的图像分割模型训练困难两个难点问题，提高了电力红外图像分割的精度，提高基于红外图像的缺陷检测的效率和准确性。
本发明通过下述技术方案实现：
一种基于半参数共享的电力红外巡检图像分割、检测方法，包括以下步骤：
S1、获取电力红外图像样本数据，针对电力设备图像数据进行分块，并添加位置信息，并进行特征融合，获得红外电力图像向量信息为Fi；
S2、构建一个双层半参数共享全连接网络，分别为共享参数层全连接网络和调整参数层全连接网络，作为对基座模型微调的Adapter；
S3、基于大规模数据集上预训练好的基座模型，将构建好的Adapter拼接到基座模型的transfomer中的编码层中，在基座与Adapter融合模型中输入红外电力图像向量信息Fi，开展电力红外图像分割模型微调；
S4、利用微调好的分割模型对电力红外图像进行分割，分割出不同设备并利用其进行电力设备缺陷检测。
作为本发明进一步的技术方案，步骤S1中，获得红外电力图像向量信息为Fi的具体过程包括：
S101、将图像数据分割为N个图像块，把每个图像块折叠为向量，并位添加位置向量，得到整体电力红外图像块的向量信息为Fj；
S102、将红外图像块的向量信息Fj，进行红外图像特征融合得到Fi，表达式如下：
其中，wj为对应的的权重。
作为本发明进一步的技术方案，步骤S102中，采用两部分进行特征融合，包括原始图像块向量信息Fpe和高频图像块信息Fhfc，权重分别为1，即向量融合信息为：
Fi＝Fpe+Fhfc。
作为本发明进一步的技术方案，步骤S2包括以下步骤：
S201、设计调整参数层全连接神经网络，表达式如下：
y＝Wtune x+b
其中：x是输入向量，Wtune表示的是每个Adapter可调整参数层，b是偏置向量；
S202、定义GELU激活函数层，GELU激活函数表达式为：
S203、设计共享参数层全连接神经网络，表达式如下：
y＝Wupx+b
其中：x是输入向量，Wup表示的是每个Adapter共享参数层，b是偏置向量；
S204、设计半参数共享全连接网络。
作为本发明进一步的技术方案，步骤S204设计半参数共享全连接网络具体包括：
用半参数共享的设计，一部分全连接层在所有的Adapter中共享参数，而另一部分全连接层具有独有的参数，分别将调整参数层全连接网络和共享参数层全连接网络记为和MLPup，表达式如下：
其中：MLP表示全连接神经网络，MLPup为一个向上投影层，在所有的Adapter中共享参数，MLPt i une为向下投影层，为每个Adapter独有参数。
作为本发明进一步的技术方案，步骤S3中选取基座模型为SAM模型。
作为本发明进一步的技术方案，步骤S3包括以下步骤：
S301、Adapter与预训练模型的拼接：通过修改预训练基座模型的网络结构，将Adapter添加到每个编码层的输出后，所述的拼接是通过求和进行拼接；
S302、模型微调：Adapter与预训练模型拼接完成后，使用红外电力图像向量信息Fi作为输入，通过优化算法对模型进行训练，目标是最小化模型的损失函数，微调得到精确分割电力红外图像的模型，微调过程中，实时监控模型的训练损失和验证损失，以确保模型不会出现过拟合。
作为本发明进一步的技术方案，步骤S302中，训练使用的损失函数为二分类交叉熵损失函数和交并比损失函数，分别为：
LBCE＝-(y·log(p)+(1-y)·log(1-p))
其中，y是真实标签，取值为0或1，p是模型预测的概率值，取值在0到1之间，为交并比。
作为本发明进一步的技术方案，根据二分类交叉熵损失函数和交并比损失函数，得到总的损失函数Ltotal为：
Ltotal＝LBCE+LIOU。
作为本发明进一步的技术方案，S302中的优化算法是AdamW优化器。
本发明与现有技术相比，具有如下的优点和有益效果：
本发明采用Adapter微调下的电力红外图像分割神经网络模型，提出了双层半参数共享全连接网络的Adapter架构，让模型能够更好地捕获电力设备红外图像信息，提高模型的泛化能力和适应性，同时，利用通过将训练好的Adapter插入到预训练模型的Transformer编码层中，使得基座模型可以更好地适应电力设备图像的特点，避免了对预训练模型进行大规模的重新训练，节省了大量的计算资源，有效解决了现有电力红外图像密集分割效果不佳以及基于Transformer架构的图像分割模型训练困难两个难点问题，提高了电力红外图像分割的精度，提高了基于红外图像的缺陷检测的效率和准确性。
附图说明
为了更清楚地说明本发明示例性实施方式的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。在附图中：
图1为本发明的方法流程图。
图2为实施例中基于基座模型微调的电力红外图像分割模型结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
在以下描述中，为了提供对本发明的透彻理解阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。在其他实施例中，为了避免混淆本发明，未具体描述公知的结构、电路、材料或方法。
实施例1
本实施例提出的一种基于半参数共享的电力红外巡检图像分割、检测方法，包括以下步骤：
S1、获取电力红外图像样本数据，针对电力设备图像数据进行分块，并添加位置信息，并进行特征融合，获得红外电力图像向量信息为Fi，本实施例中，获取电力红外图像样本数据，选择基于transformer的ViT模型的特征提取部分作为图片特征提取模块。
具体包括：
S101、将电力设备图像数据分割为N(通常为16x16)个图像块，把每个图像块折叠为向量，并位添加位置向量，得到整体电力红外图像块的向量信息为Fj；
S102、将红外图像块的向量信息Fj，进行红外图像特征融合得到Fi，表达式如下：
其中，wj为对应的的权重。
本实施例中，采用两部分进行特征融合，包括原始图像块向量信息Fpe和高频图像块信息Fhfc，权重分别为1，即向量融合信息为：
Fi＝Fpe+Fhfc。
在这一步骤中，模型同时融合原始图像块向量信息和高频图像块信息，原始图像块向量信息提供了图像的基本特征，而高频图像块信息则包含图像的细微变化，特征融合之后，模型在电力红外图像分割中可获得更高的分割精度。
S2、构建一个双层半参数共享全连接网络，分别为共享参数层全连接网络和调整参数层全连接网络，作为对基座模型微调的Adapter。
在这一步骤中，构建一个双层半参数共享全连接网络，一部分全连接层(即向上投影层)在所有的Adapter中共享参数，减少模型的参数数量并提高模型的泛化性能，另一部分全连接层(即每个Adapter的下游部分)具有独有的参数，允许模型在不同的任务或数据集上有特定的学习能力。在这里，MLP表示全连接神经网络，上投影层在所有的Adapter中共享参数，每个Adapter的下游部分具有独有参数，模型图结构参考图2。
具体包括：
S201、设计调整参数层全连接神经网络，表达式如下：
y＝Wtunex+b
其中：x是输入向量，Wtune表示的是每个Adapter可调整参数层，b是偏置向量；
S202、定义GELU激活函数层，GELU激活函数表达式为：
S203、设计共享参数层全连接神经网络，表达式如下：
y＝Wupx+b
其中：x是输入向量，Wup表示的是每个Adapter共享参数层，b是偏置向量；
S204、设计半参数共享全连接网络：用半参数共享的设计，一部分全连接层在所有的Adapter中共享参数，而另一部分全连接层具有独有的参数，分别将调整参数层全连接网络和共享参数层全连接网络记为和MLPup，表达式如下：
其中：MLP表示全连接神经网络，MLPup为一个向上投影层，在所有的Adapter中共享参数，为向下投影层，为每个Adapter独有参数。
在本实施例中，由32个线性层组成，MLPup由一个线性层组成。
在这一步骤中，保持原始模型基座模型不变进行微调，Adapter模块增加的参数相对较少。在保持大部分预训练模型权重不变的同时，对模型进行微调，节省了计算资源和存储空间，降低了基座模型训练难度。Adapter模块允许只更新模型的一部分参数，而保持其它参数不变，这可以减少过拟合的风险，并提高模型在电力红外图像分割任务上的性能。
S3、基于大规模数据集上预训练好的基座模型，将构建好的Adapter拼接到基座模型的transfomer中的编码层中，在基座与Adapter融合模型中输入红外电力图像向量信息Fi，开展电力红外图像分割模型微调。
在这一步骤中，先根据所要处理电力红外图像分割的任务，选择一个在大规模数据集上进行过预训练的模型，该模型已经学习到了通用的视觉特征表示，因此可以在新任务上起到良好的效果。在本实施例中，选择的基座模型是SAM模型。SAM模型在千万级图片，十亿条掩码的数据集上进行了训练，因此，已经学习到了丰富的视觉特征表示，并具有良好的泛化能力。
具体包括：
S301、Adapter与预训练模型的拼接：将Adapter拼接到SAM模型的Transformer的编码层中。通过修改预训练基座模型的网络结构，将Adapter添加到每个编码层的输出后，所述的拼接是通过求和进行拼接；具体拼接参考图2。
S302、模型微调：Adapter与预训练模型拼接完成后，使用红外电力图像向量信息Fi作为输入，通过优化算法对模型进行训练，目标是最小化模型的损失函数，微调得到精确分割电力红外图像的模型，微调过程中，实时监控模型的训练损失和验证损失，以确保模型不会出现过拟合。
其中，训练使用的损失函数为二分类交叉熵损失函数和交并比损失函数，分别为：
LBCE＝-(y·log(p)+(1-y)·log(1-p))
其中，y是真实标签，取值为0或1，p是模型预测的概率值，取值在0到1之间，为交并比。
本实施例中，电力红外图像分割模型的损失函数Ltotal为：
Ltotal＝LBCE+LIOU。
微调过程中都使用AdamW优化器进行训练，初始学习率设置为2e-4，对学习率采用余弦衰减策略。
在这一步骤中，基于Adapter用于捕捉电力设备图像的特殊特征，将模型的通用表示能力与电力红外图像分割能力结合，保持模型的泛化性的同时，提高模型在电力红外图像分割的精度。同时与大规模数据集上重新训练整个模型相比，训练相对较小的Adapter部分，这可以大大节省训练所需的计算资源和时间。
S4、利用微调好的分割模型对电力红外图像进行分割，分割出不同设备并利用其进行电力设备缺陷检测，能够有效地提升电力红外成像的分割准确度和缺陷检测精度。
综上所述，本发明提供的一种基于半参数共享的电力红外巡检图像分割、检测方法，采用Adapter微调下的电力红外图像分割神经网络模型，提出了双层半参数共享全连接网络的Adapter架构，让模型能够更好地捕获电力设备红外图像信息，提高模型的泛化能力和适应性。
同时利用通过将训练好的Adapter插入到预训练模型的Transformer编码层中，使得基座模型可以更好地适应电力设备图像的特点，避免了对预训练模型进行大规模的重新训练，节省了大量的计算资源。
因此，本发明解决了现有电力红外图像密集分割效果不佳以及基于Transformer架构的图像分割模型训练困难两个难点问题，提高了电力红外图像分割的精度，实现了基于红外图像的缺陷检测的效率和准确性。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于半参数共享的电力红外巡检图像分割、检测方法，其特征在于，包括以下步骤：
S1、获取电力红外图像样本数据，针对电力设备图像数据进行分块，并添加位置信息，并进行特征融合，获得红外电力图像向量信息为Fi；
S2、构建一个双层半参数共享全连接网络，分别为共享参数层全连接网络和调整参数层全连接网络，作为对基座模型微调的Adapter：
S201、设计调整参数层全连接神经网络，表达式如下：
y＝Wtunex+b
其中：x是输入向量，Wtune表示的是每个Adapter可调整参数层，b是偏置向量；
S202、定义GELU激活函数层，GELU激活函数表达式为：
S203、设计共享参数层全连接神经网络，表达式如下：
y＝Wupx+b
其中：x是输入向量，Wup表示的是每个Adapter共享参数层，b是偏置向量，tanh是双曲正切函数；
S204、设计半参数共享全连接网络：用半参数共享的设计，一部分全连接层在所有的Adapter中共享参数，而另一部分全连接层具有独有的参数，分别将调整参数层全连接网络和共享参数层全连接网络记为和MLPup，表达式如下：
S3、基于大规模数据集上预训练好的基座模型，将构建好的Adapter拼接到基座模型的transfomer中的编码层中，在基座与Adapter融合模型中输入红外电力图像向量信息Fi，开展电力红外图像分割模型微调：
S301、Adapter与预训练模型的拼接：通过修改预训练基座模型的网络结构，将Adapter添加到每个编码层的输出后，所述的拼接是通过求和进行拼接；
S302、模型微调：Adapter与预训练模型拼接完成后，使用红外电力图像向量信息Fi作为输入，通过优化算法对模型进行训练，目标是最小化模型的损失函数，微调得到精确分割电力红外图像的模型，微调过程中，实时监控模型的训练损失和验证损失，以确保模型不会出现过拟合；
训练使用的损失函数为二分类交叉熵损失函数和交并比损失函数，分别为：
LBCE＝-(y·log(p)+(1-y)·log(1-p))
其中，y是真实标签，取值为0或1，p是模型预测的概率值，取值在0到1之间，为交并比，A是分割区域的真实面积，B是经模型推理后的检测面积；
S4、利用微调好的分割模型对电力红外图像进行分割，分割出不同设备并利用其进行电力设备缺陷检测，提升电力红外图像的分割精度和缺陷检测。
2.根据权利要求1所述的一种基于半参数共享的电力红外巡检图像分割、检测方法，其特征在于，步骤S1中，获得红外电力图像向量信息为Fi的具体过程包括：
S101、将图像数据分割为N个图像块，把每个图像块折叠为向量，并添加位置向量，得到整体电力红外图像块的向量信息为Fj；
S102、将红外图像块的向量信息Fj，进行红外图像特征融合得到Fi，表达式如下：
其中，wj为对应的的权重。
3.根据权利要求2所述的一种基于半参数共享的电力红外巡检图像分割、检测方法，其特征在于，步骤S102中，采用两部分进行特征融合，包括原始图像块向量信息Fpe和高频图像块信息Fhfc，权重分别为1，即向量融合信息为：
Fi＝Fpe+Fhfc。
4.根据权利要求1所述的一种基于半参数共享的电力红外巡检图像分割、检测方法，其特征在于，步骤S3中选取基座模型为SAM模型。
5.根据权利要求1所述的一种基于半参数共享的电力红外巡检图像分割、检测方法，其特征在于，根据二分类交叉熵损失函数和交并比损失函数，得到总的损失函数Ltotal为：
Ltotal＝LBCE+LIOU。
6.根据权利要求1所述的一种基于半参数共享的电力红外巡检图像分割、检测方法，其特征在于，S302中的优化算法是AdamW优化器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311065940.4A CN117115178B (zh) | 2023-08-23 | 2023-08-23 | 一种基于半参数共享的电力红外巡检图像分割、检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311065940.4A CN117115178B (zh) | 2023-08-23 | 2023-08-23 | 一种基于半参数共享的电力红外巡检图像分割、检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117115178A CN117115178A (zh) | 2023-11-24 |
| CN117115178B true CN117115178B (zh) | 2024-05-14 |
Family
ID=88812222
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311065940.4A Active CN117115178B (zh) | 2023-08-23 | 2023-08-23 | 一种基于半参数共享的电力红外巡检图像分割、检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117115178B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4682261A (en) * | 1982-05-14 | 1987-07-21 | Production Control Information (Pci) Limited | Production control system, especially for garment manufacture |
| KR20090023524A (ko) * | 2007-09-01 | 2009-03-05 | 하영숙 | 발전기부 유피에스 장치를 이용한 배전용 지상 변압기무정전 교체작업 공법 |
| CN112380952A (zh) * | 2020-11-10 | 2021-02-19 | 广西大学 | 基于人工智能的电力设备红外图像实时检测及识别方法 |
| CN113872423A (zh) * | 2021-09-22 | 2021-12-31 | 杰华特微电子股份有限公司 | 保护电路、电源适配器及保护电路的控制方法 |
| CN114048818A (zh) * | 2021-11-16 | 2022-02-15 | 浙江工商大学 | 一种基于加速Transformer模型的视频分类方法 |
| CN114140480A (zh) * | 2021-12-09 | 2022-03-04 | 安徽大学 | 基于边缘辅助学习的热红外电气设备图像语义分割方法 |
| CN114359775A (zh) * | 2021-11-22 | 2022-04-15 | 腾讯科技（深圳）有限公司 | 关键帧检测方法、装置、设备及存储介质、程序产品 |
| CN114581388A (zh) * | 2022-02-24 | 2022-06-03 | 国能包神铁路集团有限责任公司 | 接触网零部件缺陷检测方法及装置 |
| CN115018824A (zh) * | 2022-07-21 | 2022-09-06 | 湘潭大学 | 一种基于CNN和Transformer融合的结肠镜息肉图像分割方法 |
| CN115588013A (zh) * | 2022-10-08 | 2023-01-10 | 华东师范大学 | 一种基于全尺度融合和流场注意力的图像分割方法 |
| CN116385651A (zh) * | 2023-04-10 | 2023-07-04 | 北京百度网讯科技有限公司 | 图像处理方法、神经网络模型的训练方法、装置和设备 |
| CN116469100A (zh) * | 2022-12-27 | 2023-07-21 | 长春理工大学 | 一种基于Transformer的双波段图像语义分割方法 |
| CN116524183A (zh) * | 2023-04-16 | 2023-08-01 | 西北工业大学 | 一种基于多任务适配器微调的伪装目标检测方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10402688B2 (en) * | 2016-12-07 | 2019-09-03 | Kla-Tencor Corporation | Data augmentation for convolutional neural network-based defect inspection |
| US20210049757A1 (en) * | 2019-08-14 | 2021-02-18 | Nvidia Corporation | Neural network for image registration and image segmentation trained using a registration simulator |
| US11620747B2 (en) * | 2020-03-12 | 2023-04-04 | Ping An Technology (Shenzhen) Co., Ltd. | Method and system for image segmentation using a contour transformer network model |
| CN114581782B (zh) * | 2022-05-06 | 2022-08-16 | 南京航空航天大学 | 一种基于由粗到精检测策略的细微缺陷检测方法 |
-
2023
- 2023-08-23 CN CN202311065940.4A patent/CN117115178B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4682261A (en) * | 1982-05-14 | 1987-07-21 | Production Control Information (Pci) Limited | Production control system, especially for garment manufacture |
| KR20090023524A (ko) * | 2007-09-01 | 2009-03-05 | 하영숙 | 발전기부 유피에스 장치를 이용한 배전용 지상 변압기무정전 교체작업 공법 |
| CN112380952A (zh) * | 2020-11-10 | 2021-02-19 | 广西大学 | 基于人工智能的电力设备红外图像实时检测及识别方法 |
| CN113872423A (zh) * | 2021-09-22 | 2021-12-31 | 杰华特微电子股份有限公司 | 保护电路、电源适配器及保护电路的控制方法 |
| CN114048818A (zh) * | 2021-11-16 | 2022-02-15 | 浙江工商大学 | 一种基于加速Transformer模型的视频分类方法 |
| CN114359775A (zh) * | 2021-11-22 | 2022-04-15 | 腾讯科技（深圳）有限公司 | 关键帧检测方法、装置、设备及存储介质、程序产品 |
| CN114140480A (zh) * | 2021-12-09 | 2022-03-04 | 安徽大学 | 基于边缘辅助学习的热红外电气设备图像语义分割方法 |
| CN114581388A (zh) * | 2022-02-24 | 2022-06-03 | 国能包神铁路集团有限责任公司 | 接触网零部件缺陷检测方法及装置 |
| CN115018824A (zh) * | 2022-07-21 | 2022-09-06 | 湘潭大学 | 一种基于CNN和Transformer融合的结肠镜息肉图像分割方法 |
| CN115588013A (zh) * | 2022-10-08 | 2023-01-10 | 华东师范大学 | 一种基于全尺度融合和流场注意力的图像分割方法 |
| CN116469100A (zh) * | 2022-12-27 | 2023-07-21 | 长春理工大学 | 一种基于Transformer的双波段图像语义分割方法 |
| CN116385651A (zh) * | 2023-04-10 | 2023-07-04 | 北京百度网讯科技有限公司 | 图像处理方法、神经网络模型的训练方法、装置和设备 |
| CN116524183A (zh) * | 2023-04-16 | 2023-08-01 | 西北工业大学 | 一种基于多任务适配器微调的伪装目标检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| Multi-Scale High-Resolution Vision Transformer for Semantic Segmentation;Jiaqi Gu等;《2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition》;20221231;第12084-12093页 * |
| 基于深度学习的阿尔茨海默症的运动处方研究;陆星林;《中国优秀硕士学位论文全文数据库医药卫生科技辑》;20230215(第02期);第E071-97页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117115178A (zh) | 2023-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112734692A (zh) | 一种变电设备缺陷识别方法及装置 | |
| CN112013966B (zh) | 一种基于测量温度的电力设备红外图像处理方法 | |
| Fang et al. | Fault diagnosis of electric transformers based on infrared image processing and semi-supervised learning | |
| CN111639579A (zh) | 一种基于红外图像的电力变压器套管智能油位识别方法 | |
| WO2024021461A1 (zh) | 缺陷检测方法及装置、设备、存储介质 | |
| CN114331837A (zh) | 特高压换流站保护系统全景监控图像处理与存储方法 | |
| CN117115178B (zh) | 一种基于半参数共享的电力红外巡检图像分割、检测方法 | |
| CN117495422A (zh) | 基于电力通信网建设的造价管理系统及其方法 | |
| CN113012107A (zh) | 电网缺陷检测方法及系统 | |
| CN116912774A (zh) | 一种基于边缘计算的输变电设备红外图像目标识别方法、电子装置及存储介质 | |
| CN113033489B (zh) | 基于轻量级深度学习算法的输电线路绝缘子识别定位方法 | |
| Zhao et al. | Mobile phone screen surface scratch detection based on optimized YOLOv5 model (OYm) | |
| Wen et al. | Infrared image segmentation and temperature extraction of catenary insulator based on Repvgg-Unet model | |
| Huang et al. | Insulator defect detection algorithm based on improved YOLOv5s | |
| Pang et al. | [Retracted] GCN‐Unet: A Computer Vision Method with Application to Industrial Granularity Segmentation | |
| Qian et al. | Hotspot defect detection for photovoltaic modules under complex backgrounds | |
| Lu et al. | Design and application of integrated sensing terminal for power transformer | |
| Wang et al. | Detecting temperature anomaly at the key parts of power transmission and transformation equipment using infrared imaging based on SegFormer | |
| Wang et al. | High-Voltage Transmission Line Foreign Object and Power Component Defect Detection Based on Improved YOLOv5 | |
| Guo et al. | Defect detection method of high-speed rail catenary based on few-shot learning | |
| Ji et al. | DRI-Net: a model for insulator defect detection on transmission lines in rainy backgrounds | |
| Zhang et al. | Angle steel tower bolt defect detection based on YOLO-V3 | |
| Guo | Research on surface defect detection and fault diagnosis of mechanical gear based on R‐CNN | |
| Lu et al. | A Simple and Effective Surface Defect Detection Method of Power Line Insulators for Difficult Small Objects. | |
| Qu et al. | An efficient multi-order cascade distillation model for the detection of small targets and occluded objects in transmission line inspection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |