CN117975040A - 基于改进YOLOv5的GIS红外图像识别系统与方法 - Google Patents
基于改进YOLOv5的GIS红外图像识别系统与方法 Download PDFInfo
- Publication number
- CN117975040A CN117975040A CN202410361782.5A CN202410361782A CN117975040A CN 117975040 A CN117975040 A CN 117975040A CN 202410361782 A CN202410361782 A CN 202410361782A CN 117975040 A CN117975040 A CN 117975040A
- Authority
- CN
- China
- Prior art keywords
- module
- feature map
- simam
- cbs
- infrared image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000006872 improvement Effects 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000001514 detection method Methods 0.000 claims abstract description 40
- 230000004927 fusion Effects 0.000 claims description 35
- 238000011176 pooling Methods 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 2
- 230000000717 retained effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 6
- 238000012795 verification Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000002679 ablation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种基于改进YOLOv5的GIS红外图像识别系统与方法，该系统由红外图像采集装置和GIS红外图像目标检测装置组成；红外图像采集装置采集变电站GIS红外图像，并输入至GIS红外图像目标检测装置；GIS红外图像目标检测装置内含基于改进YOLOv5的GIS红外图像识别模型，用于GIS类别检测；所述基于改进YOLOv5的GIS红外图像识别模型是在YOLOv5的基础上，引入GhostNet网络和SimAM模块进行改进。本发明可实现对于变电站复杂环境下的GIS识别，识别精度高且速度快。
Description
技术领域
本发明涉及图像处理与目标检测领域，具体涉及一种基于改进YOLOv5的GIS红外图像识别系统与方法。
背景技术
变电站是电力系统中不可或缺的重要组成部分，变电站GIS（气体绝缘封闭开关设备）的安全运行更是保障电力系统安全运行的关键。变电站GIS的工作环境复杂，且GIS的种类多、分布复杂。如何快而准的对GIS进行辨别分类，就能快速对GIS进行下一步故障分析，进而检测设备故障，以预防并减少GIS故障的发生。
目前，在GIS的识别技术中，有相关技术人员在可见光图像的基础上对GIS进行识别，这类方法虽然能识别出设备的种类，但可见光图像容易受到外界的环境干扰。而红外图像通过辐射差异将目标设备与背景进行区分，具有较强的穿透力，不易受到天气和光照条件影响。随着红外技术日益成熟，红外图像识别技术在设备故障诊断中发挥着越来越重要的作用。国内的大部分变电站GIS红外图像识别依旧依赖于低效且复杂的人工方法，因此，急需设计出一种无需人工干预且GIS识别准确高效的红外图像识别技术，本发明以改进YOLOv5算法，构建GIS红外图像识别模型。
发明内容
为了解决GIS种类多且工作环境复杂，工作人员无法第一时间识别或误识别，可能对巡检工作人员对GIS的故障分析产生影响，本发明提出了一种基于改进YOLOv5的GIS红外图像识别系统与方法，可实现对于变电站复杂环境下的GIS识别，识别精度高且速度快。
为了实现本发明的上述目的，本发明采用了下述技术方案：
基于改进YOLOv5的GIS红外图像识别系统，由红外图像采集装置和GIS红外图像目标检测装置组成；红外图像采集装置采集变电站GIS红外图像，并输入至GIS红外图像目标检测装置；GIS红外图像目标检测装置内含基于改进YOLOv5的GIS红外图像识别模型，用于GIS类别检测；所述基于改进YOLOv5的GIS红外图像识别模型，包含骨干网络、颈部网络、头部网络；所述骨干网络依次由CBS模块、第一GCBS模块、第一C3Ghost_SimAM模块、第二GCBS模块、第二C3Ghost_SimAM模块、第三GCBS模块、第三C3Ghost_SimAM模块、第四GCBS模块、第四C3Ghost_SimAM模块、SimSPPFCSPC_LSKA模块组成，分别选择第二C3Ghost_SimAM模块、第三C3Ghost_SimAM模块、SimSPPFCSPC_LSKA模块输出的特征图输入至颈部网络；颈部网络包括第二CBS模块、C2f模块、第三CBS模块、第一SCCC2F_SimAM模块、快速空间金字塔池化模块、第二SCCC2F_SimAM模块、第四CBS模块和第三SCCC2F_SimAM模块；SimSPPFCSPC_LSKA模块输出的特征图进入第二CBS模块卷积，然后经上采样后与第三C3Ghost_SimAM模块输出的特征图融合后得到第一融合特征图；第一融合特征图依次经C2f模块和第三CBS模块处理，然后经上采样后与第二C3Ghost_SimAM模块输出的特征图融合得到第二融合特征图；第二融合特征图经第一SCCC2F_SimAM模块处理得到第一输出特征图，并且第一输出特征图经快速空间金字塔池化模块处理后与第三CBS模块输出的特征图融合得到第三融合特征图，第三融合特征图经第二SCCC2F_SimAM模块处理得到第二输出特征图，第二输出特征图经第四CBS模块处理后与第二CBS模块输出的特征图融合得到第四融合特征图，第四融合特征图经第三SCCC2F_SimAM模块处理得到第三输出特征图；
C3Ghost_SimAM模块是在C3Ghost的基础上，在两个分支融合后添加SimAM模块形成的；
所述SimSPPFCSPC_LSKA模块有两条分支，其中一条分支，输入的特征图经过一个CBS模块处理后，再经过一个CBR模块处理，然后再经过另一个CBS模块处理并将所得输出进行三次最大池化，将三次最大池化的特征图与最大池化前的特征图融合，得到融合特征图Ⅰ，融合特征图Ⅰ依次经过CBS模块、LSKA模块和CBR模块处理后与另一条由CBS模块构成的分支融合，得到融合特征图Ⅱ，融合特征图Ⅱ再经过一个CBS模块处理得到输出；
SCCC2F_SimAM模块依次包括第1个SCCBS模块、Split模块、N个SCC_ Bottleneck模块、堆叠模块、SimAM模块和第2个SCCBS模块；SCCBS模块由SCConv、BN、SiLU激活函数组合形成，SCCBS模块替换C2f模块中的CBS模块，SCC_ Bottleneck模块由SCConv和Bottleneck模块组合形成。
进一步优选，第一输出特征图、第二输出特征图和第三输出特征图分别输入头部网络中经卷积后，通过检测头进行分类。
进一步优选，GCBS模块依次由GhostConv模块、BN归一化处理、SiLU激活函数组成。
进一步优选，C3Ghost_SimAM模块包括两个分支，一个分支由一个CBS模块和n个Ghost Bottleneck模块组成，n为大于等于2的整数，另一个分支由一个CBS模块组成，两个分支融合后连接SimAM模块，SimAM模块连接一个GCBS模块。
进一步优选，所述CBR模块由Conv、BN和Relu激活函数组成。
进一步优选，头部网络由三个卷积层和三个检测头组成。
进一步优选，检测头实现目标分类和回归任务，并通过DIoU_NMS操作去除冗余和重叠的边界框，保留置信度最高的边界框，输出处理的边界框和置信度分数。
本发明还提供了一种基于改进YOLOv5的GIS红外图像识别方法，
采集GIS红外图像，通过骨干网络用来提取GIS红外图像的特征，将GIS红外图像转化为多层特征图，选择三个不同层次的特征图输入至颈部网络，
通过颈部网络进行特征融合，融合后的特征图输入至头部网络；
头部网络进行目标类别与位置预测，生成边界框，计算出置信度，并输出预测的结果。
本发明的另一个实施例，提供一种非易失性计算机存储介质，计算机存储介质存储有计算机可执行指令，该计算机可执行指令执行上述的基于改进YOLOv5的GIS红外图像识别方法。
本发明的另一个实施例，提供一种电子设备，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述的基于改进YOLOv5的GIS红外图像识别方法。
本发明的有益效果如下所示：
1.本发明改进YOLOv5模型的骨干网络，将CSPDarkNet53替换为GhostNet网络，GhostNet有以下几个方面的优点：参数的利用率更加高效，GhostConv通过一种更加简单的卷积操作，能够获得更多的特征映射图，减少计算量和加快推理速度的同时确保目标检测的精度；准确率更高，GhostNet网络中的模块能够提升特征图特征的表达能力，更能揭示图片特征中的信息，准确率更高；计算效率高，通过去除冗余的参数和层，降低复杂度和计算空间，提升模型的计算效率；易于部署，GhostNet网络的轻量性和高效性使得其更能在各种受限环境中部署。
2.本发明将骨干网络中的SPPF模块优化为SimSPPFCSPC_LSKA模块，有以下几个方面的优点：通过三个串行池化操作提取丰富的特征信息，提升模型的识别精度，从不同的尺度上进行特征提取，找到物体目标在不同尺度上的细节信息，利用最大池化、特征融合等丰富特征的语意信息，增强模型对物体的感知能力，并在最大池化后插入大型可分离卷积注意力模块（LSKA），降低计算复杂性和内存占用，提升模型检测效率，将SimSPPF和CSP两部分通过Concat合并为SimSPPFCSPC，能够减少工作量、加快检测速度、提升检测精度。
3.本发明将颈部网络的C3模块替换为SCCC2F_SimAM模块，SCCC2F_SimAM模块有以下几个方面的优点：丰富的特征信息，SCCC2F_SimAM模块采用梯度分流的思想，能够获得更加丰富的梯度信息；特征融合能力强，目标检测性能好，将缺失上下文信息和语义信息的低级特征与缺失细节的高级信息融合，可以在不同角度上利用细节信息与语义信息，从而提升目标检测的准确性、鲁棒性和高效性；性能优越，SCCC2F_SimAM模块通过SCConv卷积网络减少广泛存在于标准卷积中的空间和通道冗余，在能够提升模型检测精度的同时，降低计算成本和模型存储，提高模型的运行效率。
4.本发明在骨干网络和颈部网络中添加无参注意力机制SimAM，SimAM是一种基于自我注意力机制的注意力机制，通过计算注意力权重，将模型的注意力集中在最相关的特征上，提高模型的准确性和泛化能力。同时在每一次迭代中，SimAM都会计算注意力权重，然后将其应用于特征向量，进而更新模型的参数。由于注意力权重是动态的，因此模型可以自我调整以适应不同的任务和数据集。在骨干网络中与C3Ghost模块结合、颈部网络中与SCCC2f模块结合，提升输出图片特征表达能力强，语义信息更加丰富。
5.本发明在头部网络将非极大抑制值NMS替换为DIoU_NMS，相较于NMS略显粗暴的直接删除IoU大于阈值的框，DIoU_NMS在NMS的基础上，不仅考虑了重叠区域，还考虑了中心点位置距离。如此一来，当两个物体过于接近时，DIoU_NMS同样能够检测出来，在变电站GIS众多且环境复杂的条件下，使用DIoU_NMS更能发挥优秀性能。
附图说明
图1为基于改进YOLOv5的GIS红外图像识别系统示意图。
图2为基于改进YOLOv5的GIS红外图像识别模型的结构示意图。
图3为C3Ghost_SimAM结构示意图。
图4为SimSPPFCSPC_LSKA模块结构示意图。
图5为SCCC2F_SimAM模块结构示意图。
具体实施方式
为更加深入的了解本发明的技术方案、发明目的以及发明优势，下面结合附图和优选实施例对本发明具体说明，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，基于改进YOLOv5的GIS红外图像识别系统，由红外图像采集装置和GIS红外图像目标检测装置组成；红外图像采集装置采集变电站GIS红外图像，并输入至GIS红外图像目标检测装置；GIS红外图像目标检测装置内含基于改进YOLOv5的GIS红外图像识别模型，用于GIS类别检测。
基于改进YOLOv5的GIS红外图像识别模型的架构如图2所示，包含骨干网络、颈部网络、头部网络。以输入大小为640×640×3的GIS红外图像为例，骨干网络用来提取GIS红外图像的特征，将GIS红外图像转化为多层特征图，选择三个不同层次的特征图输入至颈部网络，颈部网络进行特征融合，融合后的特征图输入至头部网络，头部网络进行目标类别与位置预测，生成边界框，计算出置信度，并输出预测的结果。
骨干网络依次由CBS模块、第一GCBS模块、第一C3Ghost_SimAM模块、第二GCBS模块、第二C3Ghost_SimAM模块、第三GCBS模块、第三C3Ghost_SimAM模块、第四GCBS模块、第四C3Ghost_SimAM模块、SimSPPFCSPC_LSKA模块组成，分别选择第二C3Ghost_SimAM模块、第三C3Ghost_SimAM模块、SimSPPFCSPC_LSKA模块输出的特征图输入至颈部网络。
颈部网络包括第二CBS模块、C2f模块、第三CBS模块、第一SCCC2F_SimAM模块、快速空间金字塔池化模块、第二SCCC2F_SimAM模块、第四CBS模块和第三SCCC2F_SimAM模块；SimSPPFCSPC_LSKA模块输出的特征图进入第二CBS模块卷积，然后经上采样后与第三C3Ghost_SimAM模块输出的特征图融合后得到第一融合特征图；第一融合特征图依次经C2f模块和第三CBS模块处理，然后经上采样后与第二C3Ghost_SimAM模块输出的特征图融合得到第二融合特征图；第二融合特征图经第一SCCC2F_SimAM模块处理得到第一输出特征图，并且第一输出特征图经快速空间金字塔池化模块处理后与第三CBS模块输出的特征图融合得到第三融合特征图，第三融合特征图经第二SCCC2F_SimAM模块处理得到第二输出特征图，第二输出特征图经第四CBS模块处理后与第二CBS模块输出的特征图融合得到第四融合特征图，第四融合特征图经第三SCCC2F_SimAM模块处理得到第三输出特征图。
第一输出特征图、第二输出特征图和第三输出特征图分别输入头部网络中经卷积后，通过检测头进行分类。
骨干网络以GhostNet网络为基础，GhostNet网络使用简单的线性运算替代普通卷积生成更多相似特征图，从而可以使用更少的参数生成更多的特征图。GhostNet网络的基础是GhostConv模块，该模块可替换所有经典卷积神经网络中的卷积操作，GhostConv模块首先采用普通的1×1卷积对输入图片的通道数进行压缩，通道数减半，同时获取输入图片特征的必要特征浓缩图随后通过深度可分离卷积（逐层卷积）生成更多的特征图，通道数不变，获取特征浓缩的相似特征图；最后将第一次卷积后特征图与深度可分离卷积后的特征图通过Concat操作堆叠到一起输出，输出图片通道数翻倍，最终输出图片通道数同输入图片通道数相同。
GCBS模块依次由GhostConv模块、BN归一化处理、SiLU激活函数组成。
GhostNet网络中还包括Ghost Bottleneck模块和C3Ghost模块等。C3Ghost是将C3模块中的Bottleneck模块替换为Ghost Bottleneck模块形成的，由两个CBS模块、n个GhostBottleneck模块、一个Concat模块组成、一个GhostConv模块组成。C3Ghost模块存在两个分支，一个分支由一个CBS模块和n个Ghost Bottleneck模块组成，n为大于等于2的整数，另一个分支由一个CBS模块组成的残差边部分。两个分支经过融合后，最后经过GCBS模块做进一步特征提取，提取更多细节特征等。如图3所示，C3Ghost_SimAM模块是在C3Ghost的基础上，在两个分支融合后添加SimAM模块（无参注意力机制）形成的。C3Ghost_SimAM模块包括两个分支，一个分支由一个CBS模块和n个Ghost Bottleneck模块组成，n为大于等于2的整数，另一个分支由一个CBS模块组成，两个分支融合后连接SimAM模块，SimAM模块连接一个GCBS模块。SimAM模块是一种从神经科学理论出发，构建了一种能量函数挖掘神经元重要性，并对此推导出了解析解以加速计算，通过计算每个特征图的权重，计算得到的注意力权重应用于原始特征图，得到加权后的特征图。模型就可以根据权重的大小，关注更重要的区域，同时抑制不重要的区域。SimAM模块在改善卷积网络的表征能力上具有灵活性和有效性，能在很大程度上提升特征的表达能力。C3Ghost_SimAM模块较C3Ghost模块来说，能够提取到更加丰富的特征，捕捉更多细节特征。在保证模型检测效率的同时，增加模型捕捉提取输入特征的能力。
SimSPPFCSPC_LSKA模块如图4所示，包括2个CBR模块、5个CBS模块、3个卷积核为5×5的最大池化（MaxPool）、1个LSKA模块，SimSPPFCSPC_LSKA模块有两条分支，其中一条分支，输入的特征图经过一个CBS模块处理后，再经过一个CBR模块处理，然后再经过另一个CBS模块处理并将所得输出进行三次最大池化，将三次最大池化的特征图与最大池化前的特征图融合，得到融合特征图Ⅰ，融合特征图Ⅰ依次经过CBS模块、LSKA模块和CBR模块处理后与另一条由CBS模块构成的分支融合，得到融合特征图Ⅱ，融合特征图Ⅱ再经过一个CBS模块处理得到输出。SimSPPFCSPC_LSKA模块通过两个CBS模块和一个CBR模块，从不同的尺度上进行特征提取，找到物体目标在不同尺度上的细节信息，然后利用三个最大池化、特征融合等丰富特征的语意信息，增强对物体的感知能力。通过LSKA模块降低计算复杂性和内存占用，提升模型检测效率，随后通过一个CBS模块和一个CBR模块与另一个CBS模块分支的残差边进行特征拼接，最后利用一个卷积核为1的CBS模块进行通道数的调整。CBR模块由Conv、BN和Relu激活函数组成，用来调整通道数并快速提取特征，通过三个串行池化操作提取丰富的特征信息，提升识别精度。
SCConv是一种轻量化的卷积网络，由空间重构单元（Spatial reconstructionunit,SRU）和通道重构单元(Channel reconstruction unit,CRU)两部分串联形成。SCConv能够通过减少广泛存在于标准卷积中的空间和通道冗余，降低计算成本和模型存储，同时实现了显著的性能改善，大幅减少了计算负载。如图5所示，SCCC2F_SimAM模块依次包括第1个SCCBS模块、Split模块、N个SCC_ Bottleneck模块、堆叠模块（Concat）、SimAM模块和第2个SCCBS模块。SCCBS模块由SCConv、BN和SiLU激活函数组合形成，SCCBS模块替换C2f模块中的CBS模块，SCC_ Bottleneck模块由SCConv和Bottleneck模块组合形成，替换C2f模块中的Bottleneck模块，并在SCC_ Bottleneck模块后添加SimAM模块。SCCC2F_SimAM模块与C2f模块相比，在保持C2f模块性能的同时，能够减少卷积神经网络中特征之间的空间和通道冗余，从而压缩模型并提高其性能，优化C2f本身存在的冗余问题，并增强输入特征表达能力。
基于改进YOLOv5的GIS红外图像识别模型是已由训练集训练、验证集验证、测试机测试过的模型。通过红外图像采集装置收集不同GIS红外图像，经旋转、裁剪、缩放、移位等数据增强操作，扩大数据量，制作数据集，分为训练集、验证集、测试集，比例大概为8：1：1。使用Labelimg软件对数据集分别进行标注，使用标注好的训练集对基于改进YOLOv5的GIS红外图像识别模型开始训练，用验证集和测试集对训练后的模型进行验证与测试。
头部网络由三个卷积层和三个检测头组成，头部网络的输入分别对应颈部网络传入的三种不同层次的特征图。卷积层通过调整通道数和核大小来适应不同的检测任务，检测头实现目标分类和回归任务，并通过DIoU_NMS操作去除冗余和重叠的边界框，保留置信度最高的边界框，输出处理的边界框和置信度分数。DIoU_NMS相较于NMS略显粗暴的直接删除IoU大于阈值的边界框，DIoU_NMS在NMS的基础上，不仅考虑了重叠区域，还考虑了中心点位置距离，使用DIoU替代IoU作为NMS的评判准则。
训练后的基于改进YOLOv5的GIS红外图像识别模型，通过验证集来调整基于改进YOLOv5的GIS红外图像识别模型的超参数（训练步数、学习率、最佳网络结构等等）以获得最佳的性能效果。测试集用来验证在训练集和验证集上进行基于改进YOLOv5的GIS红外图像识别模型的超参数训练后，得到的基于改进YOLOv5的GIS红外图像识别模型是否具有泛化性能。使用测试集来评估基于改进YOLOv5的GIS红外图像识别模型时，评估参考有PR曲线、全类平均精度（mAP）、每秒帧数（FPS）等。最后将能够满足评估要求的基于改进YOLOv5的GIS红外图像识别模型置于GIS红外图像目标检测装置，用于识别变电站GIS。
根据PR曲线来判断Precision（准确率）与Recall（召回率）。根据mAP@0.5和mAP@0.5：0.95综合表达多类标签预测的性能，更全面地考虑模型在不同IoU阈值下的准确率表现，更好地评估目标检测模型的性能。mAP@0.5即当IoU为0.5时的全类平均精度；mAP@0.5：0.95即当IoU为0.5-0.95，步长为0.05时的全类平均精度。每秒帧数（FPS）用来评估模型处理和预测速度，数值越高表示目标检测速度越快。
为更好的说明本发明模型的有效性及提升效果，表1列出了消融实验结果。
表1 消融实验结果表
由表1可知，本发明使用C3Ghost_SimAM模块、SCCC2f_SimAM模块、SimSPPFCSPC_LSKA模块提升了目标检测模型的性能。
本发明还提供了一种基于改进YOLOv5的GIS红外图像识别方法，
采集GIS红外图像，通过骨干网络用来提取GIS红外图像的特征，将GIS红外图像转化为多层特征图，选择三个不同层次的特征图输入至颈部网络，
通过颈部网络进行特征融合，融合后的特征图输入至头部网络；
头部网络进行目标类别与位置预测，生成边界框，计算出置信度，并输出预测的结果。
本发明的另一个实施例，提供一种非易失性计算机存储介质，计算机存储介质存储有计算机可执行指令，该计算机可执行指令执行上述的基于改进YOLOv5的GIS红外图像识别方法。
本发明的另一个实施例，提供一种电子设备，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述的基于改进YOLOv5的GIS红外图像识别方法。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。
Claims (10)
1.基于改进YOLOv5的GIS红外图像识别系统，由红外图像采集装置和GIS红外图像目标检测装置组成；红外图像采集装置采集变电站GIS红外图像，并输入至GIS红外图像目标检测装置；GIS红外图像目标检测装置内含基于改进YOLOv5的GIS红外图像识别模型，用于GIS类别检测；所述基于改进YOLOv5的GIS红外图像识别模型，包含骨干网络、颈部网络、头部网络；其特征在于，所述骨干网络依次由CBS模块、第一GCBS模块、第一C3Ghost_SimAM模块、第二GCBS模块、第二C3Ghost_SimAM模块、第三GCBS模块、第三C3Ghost_SimAM模块、第四GCBS模块、第四C3Ghost_SimAM模块、SimSPPFCSPC_LSKA模块组成，分别选择第二C3Ghost_SimAM模块、第三C3Ghost_SimAM模块、SimSPPFCSPC_LSKA模块输出的特征图输入至颈部网络；颈部网络包括第二CBS模块、C2f模块、第三CBS模块、第一SCCC2F_SimAM模块、快速空间金字塔池化模块、第二SCCC2F_SimAM模块、第四CBS模块和第三SCCC2F_SimAM模块；SimSPPFCSPC_LSKA模块输出的特征图进入第二CBS模块卷积，然后经上采样后与第三C3Ghost_SimAM模块输出的特征图融合后得到第一融合特征图；第一融合特征图依次经C2f模块和第三CBS模块处理，然后经上采样后与第二C3Ghost_SimAM模块输出的特征图融合得到第二融合特征图；第二融合特征图经第一SCCC2F_SimAM模块处理得到第一输出特征图，并且第一输出特征图经快速空间金字塔池化模块处理后与第三CBS模块输出的特征图融合得到第三融合特征图，第三融合特征图经第二SCCC2F_SimAM模块处理得到第二输出特征图，第二输出特征图经第四CBS模块处理后与第二CBS模块输出的特征图融合得到第四融合特征图，第四融合特征图经第三SCCC2F_SimAM模块处理得到第三输出特征图；
C3Ghost_SimAM模块是在C3Ghost的基础上，在两个分支融合后添加SimAM模块形成的；所述SimSPPFCSPC_LSKA模块有两条分支，其中一条分支，输入的特征图经过一个CBS模块处理后，再经过一个CBR模块处理，然后再经过另一个CBS模块处理并将所得输出进行三次最大池化，将三次最大池化的特征图与最大池化前的特征图融合，得到融合特征图Ⅰ，融合特征图Ⅰ依次经过CBS模块、LSKA模块和CBR模块处理后与另一条由CBS模块构成的分支融合，得到融合特征图Ⅱ，融合特征图Ⅱ再经过一个CBS模块处理得到输出；
SCCC2F_SimAM模块依次包括第1个SCCBS模块、Split模块、N个SCC_ Bottleneck模块、堆叠模块、SimAM模块和第2个SCCBS模块；SCCBS模块由SCConv、BN、SiLU激活函数组合形成，SCCBS模块替换C2f模块中的CBS模块，SCC_ Bottleneck模块由SCConv和Bottleneck模块组合形成。
2.根据权利要求1所述的基于改进YOLOv5的GIS红外图像识别系统，其特征在于，第一输出特征图、第二输出特征图和第三输出特征图分别输入头部网络中经卷积后，通过检测头进行分类。
3.根据权利要求1所述的基于改进YOLOv5的GIS红外图像识别系统，其特征在于，GCBS模块依次由GhostConv模块、BN归一化处理、SiLU激活函数组成。
4.根据权利要求1所述的基于改进YOLOv5的GIS红外图像识别系统，其特征在于，C3Ghost_SimAM模块包括两个分支，一个分支由一个CBS模块和n个Ghost Bottleneck模块组成，n为大于等于2的整数，另一个分支由一个CBS模块组成，两个分支融合后连接SimAM模块，SimAM模块连接一个GCBS模块。
5.根据权利要求1所述的基于改进YOLOv5的GIS红外图像识别系统，其特征在于，所述CBR模块由Conv、BN和Relu激活函数组成。
6.根据权利要求1所述的基于改进YOLOv5的GIS红外图像识别系统，其特征在于，头部网络由三个卷积层和三个检测头组成，检测头实现目标分类和回归任务，并通过DIoU_NMS操作去除冗余和重叠的边界框，保留置信度最高的边界框，输出处理的边界框和置信度分数。
7.一种基于改进YOLOv5的GIS红外图像识别方法，其特征在于，包括如下过程：
采集GIS红外图像，通过骨干网络用来提取GIS红外图像的特征，将GIS红外图像转化为多层特征图，选择三个不同层次的特征图输入至颈部网络，
通过颈部网络进行特征融合，融合后的特征图输入至头部网络；
头部网络进行目标类别与位置预测，生成边界框，计算出置信度，并输出预测的结果；
所述骨干网络依次由CBS模块、第一GCBS模块、第一C3Ghost_SimAM模块、第二GCBS模块、第二C3Ghost_SimAM模块、第三GCBS模块、第三C3Ghost_SimAM模块、第四GCBS模块、第四C3Ghost_SimAM模块、SimSPPFCSPC_LSKA模块组成，分别选择第二C3Ghost_SimAM模块、第三C3Ghost_SimAM模块、SimSPPFCSPC_LSKA模块输出的特征图输入至颈部网络；颈部网络包括第二CBS模块、C2f模块、第三CBS模块、第一SCCC2F_SimAM模块、快速空间金字塔池化模块、第二SCCC2F_SimAM模块、第四CBS模块和第三SCCC2F_SimAM模块；SimSPPFCSPC_LSKA模块输出的特征图进入第二CBS模块卷积，然后经上采样后与第三C3Ghost_SimAM模块输出的特征图融合后得到第一融合特征图；第一融合特征图依次经C2f模块和第三CBS模块处理，然后经上采样后与第二C3Ghost_SimAM模块输出的特征图融合得到第二融合特征图；第二融合特征图经第一SCCC2F_SimAM模块处理得到第一输出特征图，并且第一输出特征图经快速空间金字塔池化模块处理后与第三CBS模块输出的特征图融合得到第三融合特征图，第三融合特征图经第二SCCC2F_SimAM模块处理得到第二输出特征图，第二输出特征图经第四CBS模块处理后与第二CBS模块输出的特征图融合得到第四融合特征图，第四融合特征图经第三SCCC2F_SimAM模块处理得到第三输出特征图；
C3Ghost_SimAM模块是在C3Ghost的基础上，在两个分支融合后添加SimAM模块形成的；所述SimSPPFCSPC_LSKA模块有两条分支，其中一条分支，输入的特征图经过一个CBS模块处理后，再经过一个CBR模块处理，然后再经过另一个CBS模块处理并将所得输出进行三次最大池化，将三次最大池化的特征图与最大池化前的特征图融合，得到融合特征图Ⅰ，融合特征图Ⅰ依次经过CBS模块、LSKA模块和CBR模块处理后与另一条由CBS模块构成的分支融合，得到融合特征图Ⅱ，融合特征图Ⅱ再经过一个CBS模块处理得到输出；
SCCC2F_SimAM模块依次包括第1个SCCBS模块、Split模块、N个SCC_ Bottleneck模块、堆叠模块、SimAM模块和第2个SCCBS模块；SCCBS模块由SCConv、BN、SiLU激活函数组合形成，SCCBS模块替换C2f模块中的CBS模块，SCC_ Bottleneck模块由SCConv和Bottleneck模块组合形成。
8.根据权利要求7所述的一种基于改进YOLOv5的GIS红外图像识别方法，其特征在于，C3Ghost_SimAM模块包括两个分支，一个分支由一个CBS模块和n个Ghost Bottleneck模块组成，n为大于等于2的整数，另一个分支由一个CBS模块组成，两个分支融合后连接SimAM模块，SimAM模块连接一个GCBS模块。
9.一种非易失性计算机存储介质，计算机存储介质存储有计算机可执行指令，其特征在于，该计算机可执行指令执行权利要求7或8所述的基于改进YOLOv5的GIS红外图像识别方法。
10.一种电子设备，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，其特征在于，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求7或8所述的基于改进YOLOv5的GIS红外图像识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410361782.5A CN117975040B (zh) | 2024-03-28 | 2024-03-28 | 基于改进YOLOv5的GIS红外图像识别系统与方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410361782.5A CN117975040B (zh) | 2024-03-28 | 2024-03-28 | 基于改进YOLOv5的GIS红外图像识别系统与方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117975040A true CN117975040A (zh) | 2024-05-03 |
| CN117975040B CN117975040B (zh) | 2024-06-18 |
Family
ID=90855665
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410361782.5A Active CN117975040B (zh) | 2024-03-28 | 2024-03-28 | 基于改进YOLOv5的GIS红外图像识别系统与方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117975040B (zh) |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160093034A1 (en) * | 2014-04-07 | 2016-03-31 | Steven D. BECK | Contrast Based Image Fusion |
| CN112907554A (zh) * | 2021-03-10 | 2021-06-04 | 珠海格力电器股份有限公司 | 基于热红外图像识别的空调自动调节方法和设备 |
| US20210174149A1 (en) * | 2018-11-20 | 2021-06-10 | Xidian University | Feature fusion and dense connection-based method for infrared plane object detection |
| CN113159432A (zh) * | 2021-04-28 | 2021-07-23 | 杭州电子科技大学 | 一种基于深度强化学习的多智能体路径规划方法 |
| CN113688723A (zh) * | 2021-08-21 | 2021-11-23 | 河南大学 | 一种基于改进YOLOv5的红外图像行人目标检测方法 |
| CN114677554A (zh) * | 2022-02-25 | 2022-06-28 | 华东理工大学 | 一种基于YOLOv5与Deepsort的统计滤波红外小目标检测跟踪方法 |
| CN114744756A (zh) * | 2022-03-28 | 2022-07-12 | 池州学院 | 一种基于机器视觉的输电线路智能巡检系统 |
| CN115331183A (zh) * | 2022-08-25 | 2022-11-11 | 江苏大学 | 改进YOLOv5s的红外目标检测方法 |
| CN115527234A (zh) * | 2022-09-05 | 2022-12-27 | 河北农业大学 | 一种基于改进YOLOv5模型的红外图像笼内死鸡识别方法 |
| CN115546765A (zh) * | 2022-10-18 | 2022-12-30 | 中国计量大学 | 基于改进的YOLOv5车载热图像检测 |
| CN115661611A (zh) * | 2022-11-14 | 2023-01-31 | 西安镭映光电科技有限公司 | 一种基于改进Yolov5网络的红外小目标检测方法 |
| CN116091424A (zh) * | 2022-12-23 | 2023-05-09 | 山西省能源互联网研究院 | 一种基于改进YOLOv5算法的电力设备红外图像缺陷检测方法 |
| CN116342894A (zh) * | 2023-05-29 | 2023-06-27 | 南昌工程学院 | 基于改进YOLOv5的GIS红外特征识别系统及方法 |
| CN116665036A (zh) * | 2023-03-07 | 2023-08-29 | 西北工业大学 | 一种基于单模态辅助监督和YOLOv5的RGB-红外多源图像目标检测方法 |
| CN116681962A (zh) * | 2023-05-05 | 2023-09-01 | 江苏宏源电气有限责任公司 | 基于改进YOLOv5的电力设备热图像检测方法及系统 |
| CN116863271A (zh) * | 2023-07-06 | 2023-10-10 | 太原科技大学 | 一种基于改进yolo v5的轻量级红外火焰检测方法 |
| CN117237696A (zh) * | 2023-08-01 | 2023-12-15 | 国网湖南省电力有限公司 | 基于YOLOv5与注意力机制的变电站杂草检测方法及系统 |
| CN117253188A (zh) * | 2023-09-28 | 2023-12-19 | 重庆大学 | 基于改进的YOLOv5的变电站接地线状态目标检测方法 |
| CN117557957A (zh) * | 2023-11-16 | 2024-02-13 | 北京工业大学 | 一种基于改进YOLOv5的机场场面航空器目标检测方法 |
-
2024
- 2024-03-28 CN CN202410361782.5A patent/CN117975040B/zh active Active
Patent Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160093034A1 (en) * | 2014-04-07 | 2016-03-31 | Steven D. BECK | Contrast Based Image Fusion |
| US20210174149A1 (en) * | 2018-11-20 | 2021-06-10 | Xidian University | Feature fusion and dense connection-based method for infrared plane object detection |
| CN112907554A (zh) * | 2021-03-10 | 2021-06-04 | 珠海格力电器股份有限公司 | 基于热红外图像识别的空调自动调节方法和设备 |
| CN113159432A (zh) * | 2021-04-28 | 2021-07-23 | 杭州电子科技大学 | 一种基于深度强化学习的多智能体路径规划方法 |
| CN113688723A (zh) * | 2021-08-21 | 2021-11-23 | 河南大学 | 一种基于改进YOLOv5的红外图像行人目标检测方法 |
| CN114677554A (zh) * | 2022-02-25 | 2022-06-28 | 华东理工大学 | 一种基于YOLOv5与Deepsort的统计滤波红外小目标检测跟踪方法 |
| CN114744756A (zh) * | 2022-03-28 | 2022-07-12 | 池州学院 | 一种基于机器视觉的输电线路智能巡检系统 |
| CN115331183A (zh) * | 2022-08-25 | 2022-11-11 | 江苏大学 | 改进YOLOv5s的红外目标检测方法 |
| CN115527234A (zh) * | 2022-09-05 | 2022-12-27 | 河北农业大学 | 一种基于改进YOLOv5模型的红外图像笼内死鸡识别方法 |
| CN115546765A (zh) * | 2022-10-18 | 2022-12-30 | 中国计量大学 | 基于改进的YOLOv5车载热图像检测 |
| CN115661611A (zh) * | 2022-11-14 | 2023-01-31 | 西安镭映光电科技有限公司 | 一种基于改进Yolov5网络的红外小目标检测方法 |
| CN116091424A (zh) * | 2022-12-23 | 2023-05-09 | 山西省能源互联网研究院 | 一种基于改进YOLOv5算法的电力设备红外图像缺陷检测方法 |
| CN116665036A (zh) * | 2023-03-07 | 2023-08-29 | 西北工业大学 | 一种基于单模态辅助监督和YOLOv5的RGB-红外多源图像目标检测方法 |
| CN116681962A (zh) * | 2023-05-05 | 2023-09-01 | 江苏宏源电气有限责任公司 | 基于改进YOLOv5的电力设备热图像检测方法及系统 |
| CN116342894A (zh) * | 2023-05-29 | 2023-06-27 | 南昌工程学院 | 基于改进YOLOv5的GIS红外特征识别系统及方法 |
| CN116863271A (zh) * | 2023-07-06 | 2023-10-10 | 太原科技大学 | 一种基于改进yolo v5的轻量级红外火焰检测方法 |
| CN117237696A (zh) * | 2023-08-01 | 2023-12-15 | 国网湖南省电力有限公司 | 基于YOLOv5与注意力机制的变电站杂草检测方法及系统 |
| CN117253188A (zh) * | 2023-09-28 | 2023-12-19 | 重庆大学 | 基于改进的YOLOv5的变电站接地线状态目标检测方法 |
| CN117557957A (zh) * | 2023-11-16 | 2024-02-13 | 北京工业大学 | 一种基于改进YOLOv5的机场场面航空器目标检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| BING FENG; YAO JIN; ZHEN YIN; YUHAO LIU; XIAOPENG WANG; YANG ZHAO: "Infrared Image Recognition and Classification of Typical Electrical Equipment in Substation Based on YOLOv5", 2023 2ND ASIAN CONFERENCE ON FRONTIERS OF POWER AND ENERGY (ACFPE), no. 03, 11 March 2024 (2024-03-11) * |
| 谭康霞;平鹏;秦文虎;: "基于YOLO模型的红外图像行人检测方法", 激光与红外, no. 11, 20 November 2018 (2018-11-20) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117975040B (zh) | 2024-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114022432B (zh) | 基于改进的yolov5的绝缘子缺陷检测方法 | |
| CN112766195B (zh) | 一种电气化铁路弓网燃弧视觉检测方法 | |
| CN110726898B (zh) | 一种配电网故障类型识别方法 | |
| CN113569672A (zh) | 轻量级目标检测与故障识别方法、装置及系统 | |
| CN116110036B (zh) | 基于机器视觉的电力铭牌信息缺陷等级判断方法及装置 | |
| CN114463257A (zh) | 一种基于深度学习的电力设备红外图像检测方法及系统 | |
| CN111353544A (zh) | 一种基于改进的Mixed Pooling-YOLOV3目标检测方法 | |
| CN109376580A (zh) | 一种基于深度学习的电力塔架部件识别方法 | |
| Liao et al. | Fusion of infrared-visible images in UE-IoT for fault point detection based on GAN | |
| CN116895030B (zh) | 基于目标检测算法和注意力机制的绝缘子检测方法 | |
| CN112288700A (zh) | 一种铁轨缺陷检测方法 | |
| CN109002753B (zh) | 一种基于卷积神经网络级联的大场景监控图像人脸检测方法 | |
| CN114898200A (zh) | 一种基于轻量化YOLOV4-tiny的传送带工件图像目标检测方法及系统 | |
| CN113569981A (zh) | 一种基于单阶段目标检测网络的电力巡检鸟窝检测方法 | |
| CN117113066B (zh) | 一种基于计算机视觉的输电线路绝缘子缺陷检测方法 | |
| Zhang et al. | Defect detection of anti-vibration hammer based on improved faster R-CNN | |
| CN117975040B (zh) | 基于改进YOLOv5的GIS红外图像识别系统与方法 | |
| CN117392568A (zh) | 一种复杂场景下无人机巡检变电设备的方法 | |
| CN117197554A (zh) | 一种变压器漏油实时检测方法及系统 | |
| Liu et al. | SSD small object detection algorithm based on feature enhancement and sample selection | |
| CN115906786A (zh) | 煤质检测报告图像的表格自动化重建方法、存储介质及电子设备 | |
| Ge et al. | An automatic detection approach for wearing safety helmets on construction site based on YOLOv5 | |
| CN114463732A (zh) | 一种基于知识蒸馏的场景文本检测方法及装置 | |
| Silva et al. | Automatic recognition of electrical grid elements using convolutional neural networks | |
| CN117173385B (zh) | 一种变电站的检测方法、装置、介质及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |