CN117557775B - 基于红外和可见光融合的变电站电力设备检测方法及系统 - Google Patents

基于红外和可见光融合的变电站电力设备检测方法及系统 Download PDF

Info

Publication number
CN117557775B
CN117557775B CN202311485261.2A CN202311485261A CN117557775B CN 117557775 B CN117557775 B CN 117557775B CN 202311485261 A CN202311485261 A CN 202311485261A CN 117557775 B CN117557775 B CN 117557775B
Authority
CN
China
Prior art keywords
layer
branch
pixel
output
cbs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311485261.2A
Other languages
English (en)
Other versions
CN117557775A (zh
Inventor
余君一
何敏
邓欣兰
刘浩锋
周思涵
秦亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202311485261.2A priority Critical patent/CN117557775B/zh
Publication of CN117557775A publication Critical patent/CN117557775A/zh
Application granted granted Critical
Publication of CN117557775B publication Critical patent/CN117557775B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Databases & Information Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于红外和可见光融合的变电站电力设备检测方法及系统，针对现有的变电站场景中电力设备故障定位多为单一模态数据而忽视了多源模态在信息上互补感知的优势，本发明利用深度神经网络提取变电站场景下的红外图像和可见光图像特征，建立基于红外和可见光图像融合的目标检测网络。在网络中设计动态权重自适应分配的交叉注意力结构，进行多模态深层融合下的特征双向重组，实现红外图像与可见光图像在语义空间的对齐，更好地适应了神经网络对不同模态间互补信息的搜寻，增强模型对多模态语义的理解和泛化能力，进一步提高多源特征网络的定位和分类精度。

Description

基于红外和可见光融合的变电站电力设备检测方法及系统
技术领域
本发明属于电力设备安全检测技术领域，涉及一种变电站电力设备检测方法及系统，具体涉及一种基于红外和可见光融合的变电站场景下的电力设备检测方法及系统。
背景技术
电力设备的可靠性和安全性对供电系统的稳定运行至关重要。因此，电力设备监测和维护变得至关重要。
传统的电力设备监测方法通常依赖于人工巡检，这种方法存在人力资源消耗大、监测频率低、容易受主观因素影响等问题。自动化目标检测技术成为一种更为高效和准确的监测手段。可见光图像是最常见的用于电力设备目标检测的传感器，其应用广泛，但在特定情况下存在劣势，如受天气、光照和大气条件的影响、视野受限以及标志性特征不明显。这些限制促使我们寻找更强大的监测解决方案。现有的变电站场景中电力设备故障定位多为单一模态数据，即利用可见光的角度去直接分析变电站电力设备的外在状态，而忽视了多源图像在信息上互补感知的优势。
目标检测是机器视觉的一个热门领域，其目的是设计一种模型，使计算机能够独立地在输入图像中找到目标。但现有的目标检测方法，使用可见光或红外传感器的图像进行检测，但是两种图像分别进行显示，无法对两种图像进行融合显示，导致图像的显示质量低。
申请号为202310746138.5发明专利一种电力设备的图像融合方法、系统、设备和介质，通过当接收到电力设备的可见光与红外图像集时，分别对可见光与红外图像集中各图像组进行特征提取，生成图像组对应的特征集。采用特征集进行多尺度注意力机制特征融合，生成注意力输出特征集。采用特征集和对应的注意力输出特征集进行图像重建，生成红外重建图像和可见光重建图像。采用全部红外重建图像和对应的可见光重建图像进行推土机距离计算，构建电力设备对应的可见光与红外融合图像集。该发明通过多尺度注意机制特征融合方法实现不同模态和不同尺度特征之间的交互，加强多模态图像源和多尺度的特征融合，提高融合图像的目标细节。但是，上述发明主要是设计的一种融合策略，而在融合的过程中没有考虑不同模态之间的异质性，仅仅只是特征的乘积，特征融合的可用性低；同时上述专利只是进行了红外和可见光图像的一种融合，而没有对融合的结果进行分析，电力设备诊断的可靠性低。
发明内容
为了克服现有技术的不足，本发明提供了一种变电站场景下的基于多维数据融合感知的电力设备及其故障检测与定位方法及系统。
本发明的方法所采用的技术方案是：一种基于红外和可见光融合的变电站电力设备检测方法，包括以下步骤：
步骤1：获取变电站电力设备可见光图像和红外图像，然后将获得的数据进行预处理，获得可用且对齐的多模态数据；
步骤2：将多模态数据输入变电站电力设备检测网络，进度电力设备的故障检测。
作为优选，步骤1中，所述预处理，包括图像的裁剪和图像增强。
作为优选，所述预处理，具体实现包括以下子步骤：
步骤1.1：对图像进行直方图均衡化处理；
O(x,y)＝a*I(x,y)+b；
式中x，y代表输入的像素坐标，I(x,y)作为源图像像素，O(x,y)作为输出图像像素参数，a和b为增益和偏差参数；
步骤1.2：对图像进不失真的增强；
通过不失真的图像处理技术将640×480的尺寸变成640×640，采取灰度填充，首先创建一个640×640尺寸的灰度图，其中图的像素值均为0，接着将原始图像与灰度图进行融合，得到640×640，即进行了左右均为像素为0，且像素的填充范围为0至80和560至640。
作为优选，步骤2中，所述变电站电力设备检测网络，包括特征提取网络、特征融合网络和特征预测网络；
所述特征提取网络，包括可见光分支、红外分支、第一逐像素相加层、第二逐像素相加层、第三逐像素相加层和SPPF层；所述可见光分支和红外分支均由顺序连接的第一CBS层、第二CBS层、第一CDWAA层、第一C2F层、第三CBS层、第二CDWAA层、第二C2F层、第四CBS层、第三CDWAA层、第三C2F层、第五CBS层、第四CDWAA层、第四C2F层组成，其中，可见光分支的第二CBS层、第三CBS层、第四CBS层和第五CBS层的输出分别输入红外分支的第一CDWAA层、第二CDWAA层、第三CDWAA层和第四CDWAA层；红外分支的第二CBS层、第三CBS层、第四CBS层和第五CBS层的输出分别输入可见光分支的第一CDWAA层、第二CDWAA层、第三CDWAA层和第四CDWAA层；
所述可见光分支的第二C2F层输出和红外分支的第二C2F层输出，经过第一逐像素相加层后输出Feat1，所述可见光分支的第三C2F层输出和红外分支的第三C2F层输出，经过第二逐像素相加层后输出Feat2，所述可见光分支的第四C2F层输出和红外分支的第四C2F层输出，经过第三逐像素相加层和SPPF层后输出Feat3；
所述特征融合网络，包括顺序连接的第一Upsample层、第一Concat层、第一C2F层、第二Upsample层、第二Concat层、第一CBS层、第三Concat层、第二C2F层、第二CBS层、第四Concat层和第三C2F层；所述Feat3经过所述第一Upsample层后，与所述Feat2经过所述第一Concat层后输入所述第一C2F层；所述第二Upsample层输出与所述Feat1经过所述第二Concat层后输入所述第一CBS层；所述第一CBS层输出与所述第一C2F层输出经过所述第三Concat层后输入所述第二C2F层；所述第二CBS层输出与所述Feat3经过所述第四Concat层后输入所述第三C2F层；
所述特征预测网络，包括第一预测头Head、第二预测头Head和第三预测头Head；所述特征融合网络的第一CBS层输出，经过所述第一预测头Head后输出预测结果；所述特征融合网络的第二C2F层输出，经过所述第二预测头Head后输出预测结果；所述特征融合网络的第三C2F层输出，经过所述第三预测头Head后输出预测结果。
作为优选，CBS层，由顺序连接的Conv层、BN层和SiLU层组成；
C2F层，由顺序连接的第一CBS层、Bottleneck层、Concat层和第二CBS层组成；所述Concat层，用于将所述第一CBS层和Bottleneck层输出融合后输入第二CBS层；
所述Bottleneck层，由顺序连接的第三CBS层、第四CBS层和逐像素相加层；所述逐像素相加层，用于将所述第三CBS层和第四CBS层输出逐像素相加后输出；
SPPF层，由顺序连接的第五CBS层、第一MaxPool层、第二MaxPool层、第三MaxPool层、Concat层和第六CBS层；所述Concat层，用于将所述第五CBS层、第一MaxPool层、第二MaxPool层和第三MaxPool层输出融合后输入第六CBS层。
作为优选，预测头Head，包括并行设置的两分子，每个分支均有顺序连接的第一CBS层、第二CBS层和Conv层组成。
作为优选，CDWAA层，由可见光分支CA模块、红外分支CA模块和DWA模块构成；
所述可见光分支CA模块，包括三路并行的分支，分支均由顺序连接的两个Conv层，和矩阵乘积运算层、逐像素乘积层、Conv层、逐像素相加层，所述特征提取网络的可见光分支的输出分别输入第一分支和第二分支，所述特征提取网络的红外分支的输出输入第三分支；第二分支与第三分支的输出通过所述矩阵乘积运算层进行基于矩阵乘积的运算，然后与第一分支的输出通过所述逐像素乘积层进行乘积后通过Conv层处理，最后与所述特征提取网络的可见光分支的输出通过所述逐像素相加层进行加运算，输出融合后的可见光特征；
所述红外分支CA模块，包括三路并行的分支，分支均由顺序连接的两个Conv层，和矩阵乘积运算层、逐像素乘积层、Conv层、逐像素相加层，所述特征提取网络的红外分支的输出分别输入第一分支和第二分支，所述特征提取网络的可见光支路的输出输入第三分支；第二分支与第三分支的输出通过所述矩阵乘积运算层进行基于矩阵乘积的运算，然后与第一分支的输出通过所述逐像素乘积层进行乘积后通过Conv层处理，最后与所述特征提取网络的红外分支的输出通过所述逐像素相加层进行加运算，输出融合后的红外光特征；
所述DWA模块，包括逐像素相加层、并行设置的全局最大池化层和全局平均池化层、Concat层、Conv层、ReLu层、Conv层、Sigmiod层、矩阵乘积运算层、拆分层；所述可见光分支CA模块的输出和所述红外分支CA模块的输出，经所述逐像素相加层运算后得到融合的特征，然后通过所述并行设置的全局最大池化层和全局平均池化层将融合的特征分别进行全局最大池化和全局平均池化处理，并通过所述Concat层将池化后的特征进行concat的拼接后，依次经过所述Conv层、ReLu层、Conv层、Sigmiod层后，与所述可见光分支CA模块的输出和所述红外分支CA模块的输出通过所述矩阵乘积运算层进行乘积得到融合的特征，最后通过所述拆分层按照通道C的维度进行对半拆分，输出新的可见光支路和红外支路。
作为优选，所述变电站电力设备检测网络，是训练好的变电站电力设备检测网络；
训练包括以下子步骤：
步骤2.1：进行数据的采集，采取红外相机进行变电站场景下的数据采集，并同时获得可见光图像和红外图像，然后将获得的数据进行预处理，包括图像的裁剪和图像增强；
步骤2.2：通过步骤2.1得到可用且对齐的多模态数据，然后进行基于Labelimg的图像标注，标注出图像中目标所检测的区域，获得变电站电力设备样本库；
步骤2.3：利用变电站电力设备样本库对所述变电站电力设备检测网络进行迭代训练，得到训练好的变电站电力设备检测网络；
在训练过程中由三个方面的损失进行所述变电站电力设备检测网络对目标区域定位的约束，其中定位损失采取CIOULoss和Distribution Focal Loss损失构成，分类损失则采取VFL损失，置信度损失则是普通的二值交叉熵损失函数构成；同时在训练过程中，对于大尺度特征如80×80尺度，则会赋予更大的损失惩罚系数4，对于小尺度特征如20×20尺度，则会赋予更小的损失惩罚系数0.25；
同时，设定Adam优化器和余弦衰减学习率用于所述变电站电力设备检测网络中参数的更新和优化；
在训练的过程中设定每N轮进行所述变电站电力设备检测网络的检测精度的验证，用于实时评估所述变电站电力设备检测网络；
设定早停算法，即所述变电站电力设备检测网络的损失值在M轮保持不上升也不下降时，则停止训练所述变电站电力设备检测网络，用于防止所述变电站电力设备检测网络的过拟合；其中，M、N为预设值。
本发明的系统所采用的技术方案是：一种基于红外和可见光融合的变电站电力设备检测系统，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现所述的基于红外和可见光融合的变电站电力设备检测方法。
本发明利用深度神经网络提取变电站场景下的红外图像和可见光图像特征，建立基于红外和可见光图像融合的目标检测网络。建立基于动态权重自适应分配的交叉注意力目标检测模型，进行多模态深层融合下的特征双向重组，实现红外图像与可见光图像在语义空间的对齐，更好地适应了神经网络对不同模态间互补信息的搜寻，增强模型对多模态语义的理解和泛化能力，进一步提高多模态特征网络的定位和分类准确度。
本发明通过融合这两种图像源，获得互补信息，实现更高效的电力设备监测，特别是在复杂环境和恶劣条件下。这一技术的应用为电力设备监测领域带来了更高效、更准确的解决方案，提升了电力系统的可靠性和稳定性。
附图说明
下面使用实施例，以及具体实施方式作进一步说明本文的技术方案。另外，在说明技术方案的过程中，也使用了一些附图。对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图以及本发明的意图。
图1为本发明实施例的变电站电力设备检测网络结构图；
图2为本发明实施例的变电站电力设备检测网络CDWAA层结构图；
图3为本发明实施例的变电站电力设备检测网络训练流程图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
本实施例提供的一种基于红外和可见光融合的变电站电力设备检测方法，包括以下步骤：
步骤1：获取变电站电力设备可见光图像和红外图像，然后将获得的数据进行预处理，包括图像的裁剪和图像增强，获得可用且对齐的多模态数据；
在一种实施方式中，所述变电站场景下的电力设备检测主要包括：避雷器、绝缘子、刀闸、变压器和GIS部分。
在一种实施方式中，在采集到数据后，需要进行图像的不失真增强，同时增强的过程中还要保证红外图和可见光图的对齐增强。
在一种实施方式中，数据的预处理和不失真增强主要包括：
步骤1.1：对图像进行直方图均衡化处理：
O(x,y)＝a*I(x,y)+b；
式中x，y代表输入的像素坐标，I(x,y)作为源图像像素，O(x,y)作为输出图像像素参数。a和b为增益和偏差参数。
步骤1.2：对图像进不失真的增强：
主要是通过不失真的图像处理技术将640×480的尺寸变成640×640，这里主要采取灰度填充，首先创建一个640×640尺寸的灰度图，其中图的像素值均为0，接着将原始图像与灰度图进行融合，得到640×640，即进行了左右均为像素为0，且像素的填充范围为0至80和560至640。
步骤2：将多模态数据输入变电站电力设备检测网络，进度电力设备的故障检测。
在一种实施方式中，请见图1，所述变电站电力设备检测网络，包括特征提取网络、特征融合网络和特征预测网络；
所述特征提取网络，包括可见光分支、红外分支、第一逐像素相加层、第二逐像素相加层、第三逐像素相加层和SPPF层；所述可见光分支和红外分支均由顺序连接的第一CBS层、第二CBS层、第一CDWAA层、第一C2F层、第三CBS层、第二CDWAA层、第二C2F层、第四CBS层、第三CDWAA层、第三C2F层、第五CBS层、第四CDWAA层、第四C2F层组成，其中，可见光分支的第二CBS层、第三CBS层、第四CBS层和第五CBS层的输出分别输入红外分支的第一CDWAA层、第二CDWAA层、第三CDWAA层和第四CDWAA层；红外分支的第二CBS层、第三CBS层、第四CBS层和第五CBS层的输出分别输入可见光分支的第一CDWAA层、第二CDWAA层、第三CDWAA层和第四CDWAA层；
所述可见光分支的第二C2F层输出和红外分支的第二C2F层输出，经过第一逐像素相加层后输出Feat1，所述可见光分支的第三C2F层输出和红外分支的第三C2F层输出，经过第二逐像素相加层后输出Feat2，所述可见光分支的第四C2F层输出和红外分支的第四C2F层输出，经过第三逐像素相加层和SPPF层后输出Feat3；
所述特征融合网络，包括顺序连接的第一Upsample层、第一Concat层、第一C2F层、第二Upsample层、第二Concat层、第一CBS层、第三Concat层、第二C2F层、第二CBS层、第四Concat层和第三C2F层；所述Feat3经过所述第一Upsample层后，与所述Feat2经过所述第一Concat层后输入所述第一C2F层；所述第二Upsample层输出与所述Feat1经过所述第二Concat层后输入所述第一CBS层；所述第一CBS层输出与所述第一C2F层输出经过所述第三Concat层后输入所述第二C2F层；所述第二CBS层输出与所述Feat3经过所述第四Concat层后输入所述第三C2F层；
所述特征预测网络，包括第一预测头Head、第二预测头Head和第三预测头Head；所述特征融合网络的第一CBS层输出，经过所述第一预测头Head后输出预测结果；所述特征融合网络的第二C2F层输出，经过所述第二预测头Head后输出预测结果；所述特征融合网络的第三C2F层输出，经过所述第三预测头Head后输出预测结果。
在一种实施方式中，CBS层，由顺序连接的Conv层、BN层和SiLU层组成。
在一种实施方式中，C2F层，由顺序连接的第一CBS层、Bottleneck层、Concat层和第二CBS层组成；所述Concat层，用于将所述第一CBS层和Bottleneck层输出融合后输入第二CBS层；所述Bottleneck层，由顺序连接的第三CBS层、第四CBS层和逐像素相加层；所述逐像素相加层，用于将所述第三CBS层和第四CBS层输出逐像素相加后输出；
在一种实施方式中，SPPF层，由顺序连接的第五CBS层、第一MaxPool层、第二MaxPool层、第三MaxPool层、Concat层和第六CBS层；所述Concat层，用于将所述第五CBS层、第一MaxPool层、第二MaxPool层和第三MaxPool层输出融合后输入第六CBS层。
在一种实施方式中，预测头Head，包括并行设置的两分子，每个分支均有顺序连接的第一CBS层、第二CBS层和Conv层组成。
在一种实施方式中，请见图2，CDWAA层，由可见光分支CA模块、红外分支CA模块和DWA模块构成；
所述可见光分支CA模块，包括三路并行的分支，分支均由顺序连接的两个Conv层，和矩阵乘积运算层、逐像素乘积层、Conv层、逐像素相加层，所述特征提取网络的可见光分支的输出分别输入第一分支和第二分支，所述特征提取网络的红外分支的输出输入第三分支；第二分支与第三分支的输出通过所述矩阵乘积运算层进行基于矩阵乘积的运算，然后与第一分支的输出通过所述逐像素乘积层进行乘积后通过Conv层处理，最后与所述特征提取网络的可见光分支的输出通过所述逐像素相加层进行加运算，输出融合后的可见光特征；
所述红外分支CA模块，包括三路并行的分支，分支均由顺序连接的两个Conv层，和矩阵乘积运算层、逐像素乘积层、Conv层、逐像素相加层，所述特征提取网络的红外分支的输出分别输入第一分支和第二分支，所述特征提取网络的可见光支路的输出输入第三分支；第二分支与第三分支的输出通过所述矩阵乘积运算层进行基于矩阵乘积的运算，然后与第一分支的输出通过所述逐像素乘积层进行乘积后通过Conv层处理，最后与所述特征提取网络的红外分支的输出通过所述逐像素相加层进行加运算，输出融合后的红外光特征；
所述DWA模块，包括逐像素相加层、并行设置的全局最大池化层和全局平均池化层、Concat层、Conv层、ReLu层、Conv层、Sigmiod层、矩阵乘积运算层、拆分层；所述可见光分支CA模块的输出和所述红外分支CA模块的输出，经所述逐像素相加层运算后得到融合的特征，然后通过所述并行设置的全局最大池化层和全局平均池化层将融合的特征分别进行全局最大池化和全局平均池化处理，并通过所述Concat层将池化后的特征进行concat的拼接后，依次经过所述Conv层、ReLu层、Conv层、Sigmiod层后，与所述可见光分支CA模块的输出和所述红外分支CA模块的输出通过所述矩阵乘积运算层进行乘积得到融合的特征，最后通过所述拆分层按照通道C的维度进行对半拆分，输出新的可见光支路和红外支路。
在一种实施方式中，首先会将红外图像和可见光图像分别输入各自的特征提取中，首先是经过第一个3×3的卷积层(CBS)，其中步长为2，第二层同样为3×3的卷积层(CBS)，其中步长为2；第三层为本文所设计的动态权重自适应分配的交叉注意力机制CDWAA，其中CDWAA会接受两个特征层的输入，即可见光支路的输入和红外光支路的输入进行融合，输出后的结果，会分别输入各自的第一个C2F支路，其中C2F的第一个卷积层(CBS)中的卷积和为1×1的卷积，步长为1，接着将卷积的特征分三条支路，首先是原始特征层，另外两层是将该特征按照通道对半拆分成两个特征，其中原始特征进行输入Bottleneck层，进行特征的深层提取，Botteneck层主要由两个卷积层(CBS)构成，其中每个卷积层都为3×3的卷积层，步长为1，并在这一结构中循环三次，输出的结果与前面的拆分特征进行新的融合输出，输出后的特征经过一个卷积层(CBS)，卷积大小为1×1，步长为1，在第一次C2F结构输出后，再经过一个卷积层(CBS)卷积核为3×3，步长为2，此时特征从160×160×64变成80×80×128，接着依次按照前面在160×160的特征处理的方式分别处理80×80、40×40以及最后的20×20，具体在80×80之间，会侯建一个融合模块即将80×80通过C2F输出的各自特征进行基于“+”运算的融合，输出Feat1和Feat2，再输出Feat3之前，融合的特征还需要进行SPPF的结构，在SPPF的结构中，首先会经过一个1×1卷积的CBS，接着将该层CBS输出的结果一条支路用于最大池化，池化核的大小为5×5，池化后的特征继续分两条支路，一条支路用于新的最大池化，池化核的大小为7×7，以此类推，池化后的特征继续分两条支路，一条支路用于新的最大池化，池化核的大小为9×9，最后将前面分支出来的特征进行融合，融合后的特征传递给卷积层(CBS)，该卷积层的卷积核大小为1×1，步长为1，最后通过SPPF支路，输出第三个特征Feat3.
在一种实施方式中，所述的特征融合层为基础的PANet结构层，主要是将骨干特征提取层输出的三个尺度特征进行融合，首先是将Feat3输出的尺寸进行上采样，采样的方式为最邻近插值的方式，将上采样后的特征与Feat2进行融合拼接，拼接后的特征经过C2F结构，该结构与前面提到的C2F采用的是相同的卷积方式；然后再将经过C2F的特征再次进行上采样，采样方式依然是最邻近插值的方式，采样后的特征再与Feat1特征进行融合输出，输出的结果经过C2F结构后，会先输出到一个特征预测层Head中，另一条支路输入到卷积层(CBS)中，其中卷积核的大小为3×3，步长为2，然后将特征提取的结果与中间的C2F输出的特征进行融合，融合后的特征输入到下面的C2F层，C2F结构与前面提到的结构一致，经过C2F输出的特征一部分用于Head层，一部分传入CBS层，其中卷积核的大小为3×3，步长为2，然后将卷积后的特征与Feat3特征进行融合，融合后的结果传入的下一个C2F层，最后将输出的特征传给最下面的Head
在一种实施方式中，所述的特征预测层，Head主要包含两条支路，即将输入的特征传递个两个支路进行输出，上支路为两个CBS层和单层的卷积层，前两个CBS层为卷积核大小3×3，步长为1，后一个Conv层为1×1卷积，然后进行双支路的输出。
在一种实施方式中，CA模块中分为经过融合的可见光支路和经过融合的红外光支路，在交叉融合的可见光之路中，首先会将可见光支路分别进行1×1卷积和3×3卷积，步长大小均为1，得到经过压缩后的可见光特征，同时红外光也经过1×1卷积和3×3卷积，两个卷积的步长大小均为1，此时将红外光支路得到的特征与中间的可见光特征进行基于矩阵乘积的运算，计算过程中需要将可见光支路的矩阵见转置，再将转置后的特征与红外光进行乘积，得到乘积后的矩阵在与最上支路的可见光特征进行乘积，接着将得到的特征进行1×1的卷积，卷积的步长为1，并与初始的可见光特征进行加运算的融合，最后输出的就是经过融合后的可见光特征。
在CA模块中经过融合的红外光支路中，在交叉融合的红外光之路中，首先会将红外光支路分别进行1×1卷积和3×3卷积，步长大小均为1，得到经过压缩后的红外光特征，同时红外光也经过1×1卷积和3×3卷积，两个卷积的步长大小均为1，此时将可见光支路得到的特征与中间的红外光特征进行基于矩阵乘积的运算，计算过程中需要将红外光支路的矩阵见转置，再将转置后的特征与可见光进行乘积，得到乘积后的矩阵在与最上支路的红外光特征进行乘积，接着将得到的特征进行1×1的卷积，卷积的步长为1，并与初始的红外光特征进行加运算的融合，最后输出的就是经过融合后的红外光特征。
在得到经过各自融合的可见光和红外光特征后，需要将上述两种特征传入DWA模型进行动态权重的自适应分配，首先将输入的两个特征进行+运算，得到融合的特征，然后将融合的特征分别进行全局最大池化和全局平均池化，池化核与特征的输入尺寸一致，然后将池化后的特征进行concat的拼接，并继续进行1×1的卷积，卷积步长为1，ReLu激活函数和新的1×1卷积步长为1，最后进行Sigmoid激活，得到的特征分成两部分，一部分与可见光的初始输入进行乘积，另一部分与红外公的初始输入进行乘积得到最后融合的特征，最后按照通道C的维度进行对半拆分，输出新的可见光支路和红外支路。
在一种实施方式中，所述变电站电力设备检测网络，是训练好的变电站电力设备检测网络；
请见图3，训练包括以下子步骤：
步骤2.1：进行数据的采集，主要采取红外相机进行变电站场景下的数据采集，并同时获得可见光图像和红外图像，然后将获得的数据进行预处理，包括图像的裁剪和图像增强。
步骤2.2：通过步骤2.1得到可用且对齐的多模态数据，然后进行基于Labelimg的图像标注，标注出图像中目标所检测的区域，获得变电站电力设备样本库；
步骤2.3：利用变电站电力设备样本库对所述变电站电力设备检测网络进行迭代训练，得到训练好的变电站电力设备检测网络；
本实施例的变电站电力设备检测网络，包括Backbone特征提取网络、Neck特征融合网络和Head特征预测网络；并在Backbone网络中构建基于动态权重自适应分配的交叉注意力特征提取模块，其中所述的动态权重自适应分配的交叉注意力特征提取模块主要包含多源图像特征的交叉融合模块和多源图像特征的动态权重自适应分配模块。所述的多源图像特征的交叉融合模块用于实现红外图像特征和可见光特征的匹配和融合，所述的多源图像特征的动态权重自适应分配模块用于实现融合特征的权重分配，即考虑两种模态特征对最后目标检测效果的影响程度进行加权分析。
具体步骤为：
S3-1：构建的双模态目标检测网络主要由两条支路构成，首先是将红外图像和可见光图像统一裁剪至640×640的尺寸，然后经过两次卷积层、BN层和SiLU激活层得到降维后的特征为160×160，通道数为64层；
S3-2：在得到两个160×160的特征图后，开始进行第一次红外图像和可见光图像的融合，将两个特征传入CDWAA(Cross attention mechanism for dynamic weightadaptive allocation)模块，CDWAA模块主要由两部分构成多源图像特征的交叉融合模块和多源图像特征的动态权重自适应分配模块。经过融合后的特征传入到C2F模块见深层特征提取，该结构主要由瓶颈结构的残差块构成，每个残差块会被重复使用三次，用于加深网络深度；
其中，对于交叉注意力结构模块，针对红外图像支路Feami_v，主要包含三个基本的计算元素，查询矩阵Q，键值配对矩阵K和权重赋值矩阵V，将所述问题的Q、K和V矩阵通过两次卷积映射到子空间，其中查询矩阵Q和权重赋值矩阵V由原始红外图形特征提供，分别通过1×1卷积和3×卷积实现，1×1卷积的目的是为了压缩特征空间，3×3主要用于特征的编码，分别得到Qi和Vi。而键值配对矩阵K则由可见光图像特征提供，同样通过1×1卷积和3×3卷积实现得到Ki。
接着将Qi、Ki和Vi进行Reshape的操作实现矩阵从三维转向二维，即对于尺寸(H,W,C)的矩阵转换为(H×W,C)的维度。
再将转化后的特征进行映射子空间中的注意力机制计算：
式中：dk为缩放因子，为矩阵维度的均方根值。
将得到的Attention特征经过Reshape变化后，再经过1×1卷积实现原始维度的特征恢复，并与原始红外图像特征Feami_v进行加运算实现残差支路，弥补原始信息的丢失，最后得到融合后的Feami_v特征。
同样对于可见光图像支路Feamv_i，计算思路与上述一致。
对于多源图像特征的动态权重自适应分配模块：
首先是将可见光图像和红外图像进行基于“+”运算的特征元素融合，接着将融合后的特征进行基于全局最大和全局平均的池化特征提取，用于捕获图像的边缘信息和纹理信息。
MaxPooling(x)＝max(x)1×1×c
式中：x为特征变量，M和N为特征x的大小，c为特征的通道数。
将所述全局最大池化和全局平均池化的特征进行拼接，获得拼接后的特征Feaconcat，再将该特征进行1×1卷积的降维、ReLU激活、1×1卷积的升维和sigmoid的激活得到用于特征加权的矩阵，接着将该矩阵与原始输入的两类特征进行基于矩阵的乘积运算，得到赋予原始红外图和可见光图权重比例的特征图，其中加权的矩阵取第一列作为红外光图像的加权，第二列为可见光的加权，最后进行Split拆分得到两类特征，获得最后的特征变量Feabi_v和Febv_i。同时对于尺寸为80×80、40×40需要输出融合的特征用于后续多尺度特征的融合阶段，而对于20×20的特征层则不需要进行Split的特征分离操作。
S3-3：再将上述得到的特征进行一次卷积层、BN层和SiLU激活层，得到降维的图像特征80×80，与前面的特征提取一样，同样需要经过特征同和层和深层特征提取层，但是此时会输出额外的红外图像特征和可见光特征，进行基于+运算的直接融合，作为第一个特征层输出，输出的尺度为80×80；
S3-4：按照步骤S3-3的方法分别得到三个特征尺度。80×80，40×40以及20×20，该三个特征用于后续的多尺度特征融合模块；
S3-5：由步骤S3-4进行基于PANet结构的多尺度特征融合并输出三个尺度特征进行目标的预测和定位；
在训练过程中主要由三个方面的损失进行模型对目标区域定位的约束，其中定位损失采取CIOULoss和Distribution Focal Loss损失构成，分类损失则采取VFL(Verififiable Federated Learning)损失，置信度损失则是普通的二值交叉熵损失函数构成，通过同时在训练过程中，对于大尺度特征如80×80尺度，则会赋予更大的损失惩罚系数4，对于小尺度特征如20×20尺度，则会赋予更小的损失惩罚系数0.25；再确定好损失函数后，还需要设定Adam优化器和余弦衰减学习率用于模型中参数的更新和优化；在训练的过程中设定每十轮进行模型的检测精度的验证，用于实时评估模型；最后设定早停算法，即模型的损失值在20轮保持不上升也不下降时，则停止训练模型，主要用于防止模型的过拟合。
本发明引入了基于可见光和红外图像融合的技术，克服了可见光图像的劣势，提高了电力设备目标检测的精度和可靠性。红外图像能够弥补可见光图像的不足，因为它不受光照和天气条件的影响，且能够探测目标的热量辐射。通过融合这两种图像源，可以获得互补信息，实现更高效的电力设备监测，特别是在复杂环境和恶劣条件下。这一技术的应用为电力设备监测领域带来了更高效、更准确的解决方案，提升了电力系统的可靠性和稳定性。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (6)

1.一种基于红外和可见光融合的变电站电力设备检测方法，其特征在于，包括以下步骤：
步骤1：获取变电站电力设备可见光图像和红外图像，然后将获得的数据进行预处理，获得可用且对齐的多模态数据；
步骤2：将多模态数据输入变电站电力设备检测网络，进度电力设备的故障检测；
所述变电站电力设备检测网络，包括特征提取网络、特征融合网络和特征预测网络；
所述特征提取网络，包括可见光分支、红外分支、第一逐像素相加层、第二逐像素相加层、第三逐像素相加层和SPPF层；所述可见光分支和红外分支均由顺序连接的第一CBS层、第二CBS层、第一CDWAA层、第一C2F层、第三CBS层、第二CDWAA层、第二C2F层、第四CBS层、第三CDWAA层、第三C2F层、第五CBS层、第四CDWAA层、第四C2F层组成，其中，可见光分支的第二CBS层、第三CBS层、第四CBS层和第五CBS层的输出分别输入红外分支的第一CDWAA层、第二CDWAA层、第三CDWAA层和第四CDWAA层；红外分支的第二CBS层、第三CBS层、第四CBS层和第五CBS层的输出分别输入可见光分支的第一CDWAA层、第二CDWAA层、第三CDWAA层和第四CDWAA层；
所述可见光分支的第二C2F层输出和红外分支的第二C2F层输出，经过第一逐像素相加层后输出Feat1，所述可见光分支的第三C2F层输出和红外分支的第三C2F层输出，经过第二逐像素相加层后输出Feat2，所述可见光分支的第四C2F层输出和红外分支的第四C2F层输出，经过第三逐像素相加层和SPPF层后输出Feat3；
所述特征融合网络，包括顺序连接的第一Upsample层、第一Concat层、第一C2F层、第二Upsample层、第二Concat层、第一CBS层、第三Concat层、第二C2F层、第二CBS层、第四Concat层和第三C2F层；所述Feat3经过所述第一Upsample层后，与所述Feat2经过所述第一Concat层后输入所述第一C2F层；所述第二Upsample层输出与所述Feat1经过所述第二Concat层后输入所述第一CBS层；所述第一CBS层输出与所述第一C2F层输出经过所述第三Concat层后输入所述第二C2F层；所述第二CBS层输出与所述Feat3经过所述第四Concat层后输入所述第三C2F层；
所述特征预测网络，包括第一预测头Head、第二预测头Head和第三预测头Head；所述特征融合网络的第一CBS层输出，经过所述第一预测头Head后输出预测结果；所述特征融合网络的第二C2F层输出，经过所述第二预测头Head后输出预测结果；所述特征融合网络的第三C2F层输出，经过所述第三预测头Head后输出预测结果；
CBS层，由顺序连接的Conv层、BN层和SiLU层组成；
C2F层，由顺序连接的第一CBS层、Bottleneck层、Concat层和第二CBS层组成；所述Concat层，用于将所述第一CBS层和Bottleneck层输出融合后输入第二CBS层；
所述Bottleneck层，由顺序连接的第三CBS层、第四CBS层和逐像素相加层；所述逐像素相加层，用于将所述第三CBS层和第四CBS层输出逐像素相加后输出；
SPPF层，由顺序连接的第五CBS层、第一MaxPool层、第二MaxPool层、第三MaxPool层、Concat层和第六CBS层；所述Concat层，用于将所述第五CBS层、第一MaxPool层、第二MaxPool层和第三MaxPool层输出融合后输入第六CBS层；
CDWAA层，由可见光分支CA模块、红外分支CA模块和DWA模块构成；
所述可见光分支CA模块，包括三路并行的分支，分支均由顺序连接的两个Conv层，和矩阵乘积运算层、逐像素乘积层、Conv层、逐像素相加层，所述特征提取网络的可见光分支的输出分别输入第一分支和第二分支，所述特征提取网络的红外分支的输出输入第三分支；第二分支与第三分支的输出通过所述矩阵乘积运算层进行基于矩阵乘积的运算，然后与第一分支的输出通过所述逐像素乘积层进行乘积后通过Conv层处理，最后与所述特征提取网络的可见光分支的输出通过所述逐像素相加层进行加运算，输出融合后的可见光特征；
所述红外分支CA模块，包括三路并行的分支，分支均由顺序连接的两个Conv层，和矩阵乘积运算层、逐像素乘积层、Conv层、逐像素相加层，所述特征提取网络的红外分支的输出分别输入第一分支和第二分支，所述特征提取网络的可见光支路的输出输入第三分支；第二分支与第三分支的输出通过所述矩阵乘积运算层进行基于矩阵乘积的运算，然后与第一分支的输出通过所述逐像素乘积层进行乘积后通过Conv层处理，最后与所述特征提取网络的红外分支的输出通过所述逐像素相加层进行加运算，输出融合后的红外光特征；
所述DWA模块，包括逐像素相加层、并行设置的全局最大池化层和全局平均池化层、Concat层、Conv层、ReLu层、Conv层、Sigmiod层、矩阵乘积运算层、拆分层；所述可见光分支CA模块的输出和所述红外分支CA模块的输出，经所述逐像素相加层运算后得到融合的特征，然后通过所述并行设置的全局最大池化层和全局平均池化层将融合的特征分别进行全局最大池化和全局平均池化处理，并通过所述Concat层将池化后的特征进行concat的拼接后，依次经过所述Conv层、ReLu层、Conv层、Sigmiod层后，与所述可见光分支CA模块的输出和所述红外分支CA模块的输出通过所述矩阵乘积运算层进行乘积得到融合的特征，最后通过所述拆分层按照通道C的维度进行对半拆分，输出新的可见光支路和红外支路。
2.根据权利要求1所述的基于红外和可见光融合的变电站电力设备检测方法，其特征在于：步骤1中，所述预处理，包括图像的裁剪和图像增强。
3.根据权利要求1所述的基于红外和可见光融合的变电站电力设备检测方法，其特征在于：所述预处理，具体实现包括以下子步骤：
步骤1.1：对图像进行直方图均衡化处理；
O(x,y)＝a*I(x,y)+b；
式中x，y代表输入的像素坐标，I(x,y)作为源图像像素，O(x,y)作为输出图像像素参数，a和b为增益和偏差参数；
步骤1.2：对图像进不失真的增强；
通过不失真的图像处理技术将640×480的尺寸变成640×640，采取灰度填充，首先创建一个640×640尺寸的灰度图，其中图的像素值均为0，接着将原始图像与灰度图进行融合，得到640×640，即进行了左右均为像素为0，且像素的填充范围为0至80和560至640。
4.根据权利要求1所述的基于红外和可见光融合的变电站电力设备检测方法，其特征在于：预测头Head，包括并行设置的两分子，每个分支均有顺序连接的第一CBS层、第二CBS层和Conv层组成。
5.根据权利要求1-4任一项所述的基于红外和可见光融合的变电站电力设备检测方法，其特征在于：所述变电站电力设备检测网络，是训练好的变电站电力设备检测网络；
训练包括以下子步骤：
步骤2.1：进行数据的采集，采取红外相机进行变电站场景下的数据采集，并同时获得可见光图像和红外图像，然后将获得的数据进行预处理，包括图像的裁剪和图像增强；
步骤2.2：通过步骤2.1得到可用且对齐的多模态数据，然后进行基于Labelimg的图像标注，标注出图像中目标所检测的区域，获得变电站电力设备样本库；
步骤2.3：利用变电站电力设备样本库对所述变电站电力设备检测网络进行迭代训练，得到训练好的变电站电力设备检测网络；
在训练过程中由三个方面的损失进行所述变电站电力设备检测网络对目标区域定位的约束，其中定位损失采取CIOULoss和Distribution Focal Loss损失构成，分类损失则采取VFL损失，置信度损失则是普通的二值交叉熵损失函数构成；同时在训练过程中，对于大尺度特征如80×80尺度，则会赋予更大的损失惩罚系数4，对于小尺度特征如20×20尺度，则会赋予更小的损失惩罚系数0.25；
同时，设定Adam优化器和余弦衰减学习率用于所述变电站电力设备检测网络中参数的更新和优化；
在训练的过程中设定每N轮进行所述变电站电力设备检测网络的检测精度的验证，用于实时评估所述变电站电力设备检测网络；
设定早停算法，即所述变电站电力设备检测网络的损失值在M轮保持不上升也不下降时，则停止训练所述变电站电力设备检测网络，用于防止所述变电站电力设备检测网络的过拟合；其中，M、N为预设值。
6.一种基于红外和可见光融合的变电站电力设备检测系统，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至5中任一项所述的基于红外和可见光融合的变电站电力设备检测方法。
CN202311485261.2A 2023-11-06 2023-11-06 基于红外和可见光融合的变电站电力设备检测方法及系统 Active CN117557775B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311485261.2A CN117557775B (zh) 2023-11-06 2023-11-06 基于红外和可见光融合的变电站电力设备检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311485261.2A CN117557775B (zh) 2023-11-06 2023-11-06 基于红外和可见光融合的变电站电力设备检测方法及系统

Publications (2)

Publication Number Publication Date
CN117557775A CN117557775A (zh) 2024-02-13
CN117557775B true CN117557775B (zh) 2024-04-26

Family

ID=89819657

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311485261.2A Active CN117557775B (zh) 2023-11-06 2023-11-06 基于红外和可见光融合的变电站电力设备检测方法及系统

Country Status (1)

Country Link
CN (1) CN117557775B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112733950A (zh) * 2021-01-18 2021-04-30 湖北工业大学 一种基于图像融合与目标检测结合的电力设备故障诊断方法
US11222217B1 (en) * 2020-08-14 2022-01-11 Tsinghua University Detection method using fusion network based on attention mechanism, and terminal device
CN115661044A (zh) * 2022-09-30 2023-01-31 国网山西省电力公司大同供电公司 一种基于多源融合的变电站电力设备故障检测方法
WO2023056889A1 (zh) * 2021-10-09 2023-04-13 百果园技术(新加坡)有限公司 模型训练和场景识别方法、装置、设备及介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11222217B1 (en) * 2020-08-14 2022-01-11 Tsinghua University Detection method using fusion network based on attention mechanism, and terminal device
CN112733950A (zh) * 2021-01-18 2021-04-30 湖北工业大学 一种基于图像融合与目标检测结合的电力设备故障诊断方法
WO2023056889A1 (zh) * 2021-10-09 2023-04-13 百果园技术(新加坡)有限公司 模型训练和场景识别方法、装置、设备及介质
CN115661044A (zh) * 2022-09-30 2023-01-31 国网山西省电力公司大同供电公司 一种基于多源融合的变电站电力设备故障检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Hybrid sensing face detection and registration for low-light and unconstrained conditions;Zhou, MY et.al;APPLIED OPTICS;20180108;第57卷(第1期);第69-78页 *
基于目标增强和视觉跟踪的红外运动点目标半自动标注算法;何敏 等;红外技术;20220509;第44卷(第10期);第1073-1081页 *

Also Published As

Publication number Publication date
CN117557775A (zh) 2024-02-13

Similar Documents

Publication Publication Date Title
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN111126202A (zh) 基于空洞特征金字塔网络的光学遥感图像目标检测方法
CN111950453A (zh) 一种基于选择性注意力机制的任意形状文本识别方法
CN114255238A (zh) 一种融合图像特征的三维点云场景分割方法及系统
Tian et al. Multiscale building extraction with refined attention pyramid networks
CN114283120B (zh) 一种基于领域自适应的端到端多源异质遥感影像变化检测方法
CN112149526B (zh) 一种基于长距离信息融合的车道线检测方法及系统
CN112561876A (zh) 基于图像的池塘和水库的水质检测方法及系统
CN114943876A (zh) 一种多级语义融合的云和云影检测方法、设备及存储介质
CN111738054A (zh) 一种基于时空自编码器网络和时空cnn的行为异常检测方法
CN116310850B (zh) 基于改进型RetinaNet的遥感图像目标检测方法
CN113569672A (zh) 轻量级目标检测与故障识别方法、装置及系统
CN111461006B (zh) 一种基于深度迁移学习的光学遥感图像杆塔位置检测方法
CN115410081A (zh) 一种多尺度聚合的云和云阴影辨识方法、系统、设备及存储介质
CN112668638A (zh) 一种图像美学质量评估和语义识别联合分类方法及系统
CN116524189A (zh) 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法
CN116092179A (zh) 一种改进的yolox跌倒检测系统
CN115311186A (zh) 一种红外与可见光图像跨尺度注意力对抗融合方法及终端
CN114662605A (zh) 基于改进的YOLOv5模型的火焰检测方法
CN114092803A (zh) 基于遥感图像的云检测方法、装置、电子设备及介质
CN116805387B (zh) 基于知识蒸馏的模型训练方法、质检方法和相关设备
CN113628143A (zh) 一种基于多尺度卷积的加权融合图像去雾方法及装置
CN117557775B (zh) 基于红外和可见光融合的变电站电力设备检测方法及系统
CN115797684A (zh) 一种基于上下文信息的红外小目标检测方法及系统
CN115272776A (zh) 基于双路卷积与双注意的高光谱图像分类方法及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant