CN117152422A - 一种紫外图像无锚框目标检测方法及存储介质、电子设备 - Google Patents

一种紫外图像无锚框目标检测方法及存储介质、电子设备 Download PDF

Info

Publication number
CN117152422A
CN117152422A CN202311429453.1A CN202311429453A CN117152422A CN 117152422 A CN117152422 A CN 117152422A CN 202311429453 A CN202311429453 A CN 202311429453A CN 117152422 A CN117152422 A CN 117152422A
Authority
CN
China
Prior art keywords
label
anchor
target detection
true value
free
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311429453.1A
Other languages
English (en)
Other versions
CN117152422B (zh
Inventor
谢松
黄海
张珣
杜勇
刘晓华
刘姜
辛巍
张迪
李小来
王身丽
吴军
邓鹤鸣
金哲
张学锋
冷飞宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei Chaoneng Electric Power Co ltd
Super High Voltage Co Of State Grid Hubei Electric Power Co ltd
Hubei University
Original Assignee
Hubei Chaoneng Electric Power Co ltd
Super High Voltage Co Of State Grid Hubei Electric Power Co ltd
Hubei University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei Chaoneng Electric Power Co ltd, Super High Voltage Co Of State Grid Hubei Electric Power Co ltd, Hubei University filed Critical Hubei Chaoneng Electric Power Co ltd
Priority to CN202311429453.1A priority Critical patent/CN117152422B/zh
Publication of CN117152422A publication Critical patent/CN117152422A/zh
Application granted granted Critical
Publication of CN117152422B publication Critical patent/CN117152422B/zh
Priority to US18/770,930 priority patent/US12125266B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种紫外图像无锚框目标检测方法，具体为：获取紫外图像的目标检测真值标签、语义分割真值标签、两个标签对应标注框，基于训练集中的两个标签及对应标注框获得掩码标签，并对训练集和掩码标签进行相同的增强处理；构建无锚框目标检测模型，包括编码部分、解码部分、检测头部分；检测头部分有三个检测头，包含两个无锚框检测头，一个无锚框双头检测头，无锚框双头检测头的双头分别为一个无锚框检测头及一个辅助检测头；增强后的训练集和掩码标签对模型进行训练，将待检测的紫外图像数据输入最终的无锚框目标检测模型，得到目标检测结果。本发明可以提高目标检测与语义分割的精度和效率。

Description

一种紫外图像无锚框目标检测方法及存储介质、电子设备
技术领域
本发明涉及图像处理技术领域，尤其涉及一种紫外图像无锚框目标检测方法及存储介质、电子设备。
背景技术
基于紫外图像的电晕放电检测是一种用于检测电力设备中电晕放电现象的技术。电晕放电是指在高电压电力设备表面或附近，由于电场强度过高导致空气分子发生电离和放电现象。电晕放电不仅会引起电力设备的能量损耗和电磁干扰，还可能导致设备的损坏和事故的发生。
紫外图像技术在电晕放电检测中具有重要的应用价值。紫外图像能够捕捉到电晕放电过程中产生的紫外光辐射，因为电晕放电产生的光谱主要集中在紫外波段。通过使用紫外摄像机和相应的图像处理算法，可以实时监测和分析电力设备表面的紫外图像，从而检测和识别电晕放电现象。
基于紫外图像的电晕放电检测技术已经在电力行业得到广泛应用。通过对电力设备进行紫外图像监测，可以实现对电晕放电的实时监测和预警，提高电力设备的安全性和可靠性。同时，该技术还可以帮助电力运维人员进行设备状态评估和故障诊断，提高电力设备的维护效率和运行质量。
基于紫外图像的电晕放电检测技术还存在一些挑战和限制。例如，电晕放电的特征复杂多样，需要针对不同类型的电晕放电进行算法设计和优化。此外，紫外图像中的噪声和干扰也会对检测结果产生影响，需要采用合适的图像处理和分析方法进行抑制和滤除。同时电晕放电在紫外图像中呈小目标出现频率较高，目前许多算法对小目标检测效果不佳，需要进行算法设计和优化来改善对小目标检测效果。
发明内容
为了解决上述问题，本发明提出一种紫外图像无锚框目标检测方法，包括以下步骤：
S1、采集电气设备紫外图像数据，并对紫外图像数据进行预处理，获取目标检测真值标签及对应标注框、语义分割真值标签及对应标注框，将预处理后的紫外图像数据划分为训练集、验证集和测试集；
S2、基于训练集中的目标检测真值标签及对应标注框、语义分割真值标签及对应标注框获得掩码标签，并对训练集和掩码标签进行相同的增强处理；
S3、构建无锚框目标检测模型，所述模型包括编码部分、解码部分、检测头部分；编码部分包括主干特征提取网络和空洞空间卷积池化金字塔网络，用于特征提取；检测头部分有三个检测头，包含两个无锚框检测头，一个无锚框双头检测头，无锚框双头检测头的双头分别为一个无锚框检测头及一个辅助检测头；
S4、基于增强后的训练集和增强后的掩码标签对模型进行训练，使用验证集对训练后的模型进行验证，并调整模型超参数，使用测试集对验证后的模型进行评估，得到最终的无锚框目标检测模型，将待检测的紫外图像数据输入最终的无锚框目标检测模型，得到目标检测结果。
进一步地，步骤S1中，目标检测真值标签相应标注框为矩形标注框，语义分割真值标签相应标注框为多边形标注框。
进一步地，步骤S2具体为：
将目标检测真值标签对应标注框、语义分割真值标签对应标注框进行对比，获得两个标注框的并集和交集，将训练集图像中除去并集的区域中像素点掩码设置为0，目标检测真值标签对应标注框区域除去交集区域中像素点掩码设置为1，目标检测真值标签对应标注框与语义分割真值标签对应标注框相交且目标检测真值标签与语义分割真值标签一致则将相交区域中像素点掩码设置为2，若目标检测真值标签对应标注框与语义分割真值标签对应标注框相交但目标检测真值标签与语义分割真值标签不一致则将相交区域中像素点掩码设置为3。
进一步地，主干特征提取网络采用由空洞卷积构建的基于VGG16架构的主干特征提取网络。
进一步地，空洞空间卷积池化金字塔网络包括三个卷积、三个空洞卷积、四个归一化层、一个全局平均池化层、一个上采样、一个堆叠层、一个批标准化层；
第一卷积和第一归一化层组成第一卷积单元，第一空洞卷积和第二归一化层组成第一空洞卷积单元，第二空洞卷积和第三归一化层组成第二空洞卷积单元，第三空洞卷积和第四归一化层组成第三空洞卷积单元；
堆叠层有五个输入，空洞空间卷积池化金字塔网络的输入经过第一卷积单元的输出为堆叠层的第一输入，堆叠层的第一输入经过全局平均池化层得到池化后的堆叠层的第一输入，池化后的堆叠层的第一输入经过第二卷积提取特征，提取特征的池化后的堆叠层的第一输入经过上采样得到堆叠层的第二输入，堆叠层的第一输入经过第一空洞卷积单元得到堆叠层的第三输入，堆叠层的第三输入经过第二空洞卷积单元得到堆叠层的第四输入，堆叠层的第四输入经过第三空洞卷积单元得到堆叠层的第五输入；
堆叠层的五个输入通过堆叠层得到堆叠后的特征图，堆叠后的特征图通过第三卷积提取特征，并通过批标准化层得到空洞空间卷积池化金字塔网络输出的新特征。
进一步地，无锚框检测头采用两个普通卷积操作进行特征调整，并经一次普通卷积操作将通道数调整为C1得到输出；辅助检测头采用两个普通卷积操作进行特征调整，再经一次普通卷积操作将通道数调整为C2得到输出；
无锚框检测通道数C1=C+4+1，辅助检测头通道数C2=C+1，其中的4代表存储边界框位置的4个通道，/>代表像素点距离左边框距离，/>代表像素点距离右边框距离，/>代表像素点距离上边框距离，/>代表像素点距离下边框距离，其中的1代表存储像素点与真实框中心点的偏离度的1个通道，C为可检测出来的目标种类，存储相应种类分类的二分类置信度。
进一步地，检测头采用NIoU与DIOU两种方式对模型预测结果进行过滤得到最终结果；
其中，表示复合交并比，/>表示目标检测真值标签对应标注框的真值框和语义分割真值标签对应标注框的真值框相交，且目标检测真值标签和语义分割真值标签一致时交集部分，/>表示目标检测真值标签对应标注框的真值框和语义分割真值标签对应标注框的预测框相交，且目标检测真值标签和语义分割真值标签一致时交集部分，/>表示距离交并比。
进一步地，无锚框目标检测模型的损失函数包括无锚框检测头损失函数、辅助预测头损失函数；无锚框检测头损失函数包括分类损失、边界框损失；
无锚框双头检测头的无锚框检测头的像素点二分类损失函数为：
其中，为像素点的带权输出置信度，/>为无锚框检测头的输出，/>为，/>为像素点二分类损失函数，/>为可学习平衡参数，/>，通过设置掩码0-3对应的超参数/>调节无锚框双头检测头的无锚框检测头对不同区域的关注度。
本发明还提出一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的紫外图像无锚框目标检测方法。
本发明还提出一种电子设备，包括处理器和存储器，所述处理器与所述存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括计算机可读指令，所述处理器被配置用于调用所述计算机可读指令，执行上述的紫外图像无锚框目标检测方法。
本发明提供的技术方案带来的有益效果是：
本发明采用空洞卷积构建主干特征提取网络，在不改变特征图尺寸的情况下增大感受野，保持空间分辨率的同时提升感知能力。在训练集进行增强处理前进行掩码生成，在对训练集进行增强的同时对掩码进行相同的增强操作获取与增强数据集相匹配的掩码，在模型训练中用于损失函数计算，通过掩码控制对不同区域的关注度提高检测效果。无锚框检测头的使用不需要依赖先验框，更简化算法的设计和实现，它通过网络自动学习目标的位置和尺寸，减少了先验框设计的复杂性，无锚框双检测头可以结合目标检测与语义分割提高对目标检测的精度。通过对结合目标检测与语义分割的交并比进行计算来影响DIoU值，提升对遮挡目标检测。
附图说明
图1是本发明实施例的紫外图像无锚框目标检测方法的流程图；
图2是本发明实施例中的空洞空间卷积池化金字塔网络结构图；
图3是本发明实施例一示例性实施例中的一种电子设备的框图；
图4是本发明实施例利用本发明的方法对绝缘子进行检测过程图；
图5是本发明实施例利用本发明的方法对电晕放电进行检测过程图；
图6是本发明实施例中紫外设备拍摄电气电晕放电图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。
本发明实施例的紫外图像无锚框目标检测方法的流程图如图1，具体包括以下步骤：
S1、采集电气设备紫外图像数据，并对紫外图像数据进行预处理，获取目标检测真值标签及对应标注框、语义分割真值标签及对应标注框，将预处理后的紫外图像数据划分为训练集、验证集和测试集。
进一步的实施例中，紫外图像数据进行预处理具体为：使用labelimg与labelme工具对紫外图像数据进行图像标注。使用labelimg创建矩形框标注框，框选图像中的目标物体，并在框内标注目标的类别，保存最终的标注结果为目标检测真值标签。使用labelme工具，通过创建多边形标注框框选出图像中目标轮廓，并在框内标注目标类别，保存最终的标注结果为语义分割真值标签。
进一步的实施例中，将数据集按照6:2:2的比例划分为训练集、验证集和测试集。
S2、基于训练集中的目标检测真值标签及对应标注框、语义分割真值标签及对应标注框获得掩码标签，并对训练集和掩码标签进行相同的增强处理。
将目标检测真值标签对应标注框、语义分割真值标签对应标注框进行对比，获得两个标注框的并集和交集，将训练集图像中除去并集的区域中像素点掩码设置为0，目标检测真值标签对应标注框区域除去交集区域中像素点掩码设置为1，目标检测真值标签对应标注框与语义分割真值标签对应标注框相交且目标检测真值标签与语义分割真值标签一致则将相交区域中像素点掩码设置为2，若目标检测真值标签对应标注框与语义分割真值标签对应标注框相交但目标检测真值标签与语义分割真值标签不一致则将相交区域中像素点掩码设置为3。
S3、构建无锚框目标检测模型，所述模型包括编码部分、解码部分、检测头部分；编码部分包括主干特征提取网络和空洞空间卷积池化金字塔网络，用于特征提取；检测头部分有三个检测头，包含两个无锚框检测头，一个无锚框双头检测头，无锚框双头检测头的双头分别为一个无锚框检测头及一个辅助检测头。
主干特征提取网络为采用由空洞卷积构建的基于VGG16架构的主干特征提取网络。
本发明实施例中的空洞空间卷积池化金字塔网络结构图参考图2，空洞空间卷积池化金字塔网络包括三个卷积、三个空洞卷积、四个归一化层、一个全局平均池化层、一个上采样、一个堆叠层、一个批标准化层；
第一卷积和第一归一化层组成第一卷积单元，第一空洞卷积和第二归一化层组成第一空洞卷积单元，第二空洞卷积和第三归一化层组成第二空洞卷积单元，第三空洞卷积和第四归一化层组成第三空洞卷积单元；
堆叠层有五个输入，空洞空间卷积池化金字塔网络的输入经过第一卷积单元的输出为堆叠层的第一输入，堆叠层的第一输入经过全局平均池化层得到池化后的堆叠层的第一输入，池化后的堆叠层的第一输入经过第二卷积提取特征、提取特征的池化后的堆叠层的第一输入经过上采样得到堆叠层的第二输入，堆叠层的第一输入经过第一空洞卷积单元得到堆叠层的第三输入，堆叠层的第三输入经过第二空洞卷积单元得到堆叠层的第四输入，堆叠层的第四输入经过第三空洞卷积单元得到堆叠层的第五输入；
堆叠层的五个输入通过堆叠层得到堆叠后的特征图，堆叠后的特征图通过第三卷积提取特征，并通过批标准化层得到空洞空间卷积池化金字塔网络输出的新特征。
进一步的实施例中，三个卷积的卷积核为、输出通道数为256；三个空洞卷积的空洞率为2、卷积核为/>、输出通道数为256；堆叠层的输出通道是1280。
无锚框检测头采用两个普通卷积操作进行特征调整，并经一次普通卷积操作将通道数调整为C1得到输出；辅助检测头采用两个普通卷积操作进行特征调整，再经一次普通卷积操作将通道数调整为C2得到输出；
无锚框检测通道数C1=C+4+1，辅助检测头通道数C2=C+1，其中的4代表存储边界框位置的4个通道，/>代表像素点距离左边框距离，/>代表像素点距离右边框距离，/>代表像素点距离上边框距离，/>代表像素点距离下边框距离，其中的1代表存储像素点与真实框中心点的偏离度的1个通道，C为可检测出来的目标种类，存储相应种类分类的二分类置信度；
偏离度：
检测头采用NIoU与DIOU两种方式对模型预测结果进行过滤得到最终结果。
在DIOU中，除了计算检测框之间的IoU值，还会考虑检测框之间的距离。对于两个重叠的检测框，如果它们的IoU值超过一定阈值，并且它们之间的距离较近，那么只会保留IoU值较大的检测框，而将IoU值较小的检测框抑制掉。这样可以确保选择出更具代表性的检测结果，减少冗余。
其中，表示复合交并比，/>表示目标检测真值标签对应标注框的真值框和语义分割真值标签对应标注框的真值框相交，且目标检测真值标签和语义分割真值标签一致时交集部分，/>表示目标检测真值标签对应标注框的真值框和语义分割真值标签对应标注框的预测框相交，且目标检测真值标签和语义分割真值标签一致时交集部分，/>表示距离交并比。
无锚框目标检测模型的损失函数包括无锚框检测头损失函数、辅助预测头损失函数；无锚框检测头损失函数包括分类损失、边界框损失；
无锚框检测头中分类损失为二分类，第n（n属于1~C范围）个通道代表第n个类别的二分类，无锚框双头检测头的无锚框检测头的像素点二分类损失函数为：
其中，为像素点的带权输出置信度，/>为无锚框检测头的输出，/>为，/>为像素点二分类损失函数，/>为可学习平衡参数，通过设置掩码0-3对应的超参数/>调节无锚框双头检测头的无锚框检测头对不同区域的关注度。
S4、基于增强后的训练集和增强后的掩码标签对模型进行训练，使用验证集对训练后的模型进行验证，并调整模型超参数，使用测试集对验证后的模型进行评估，得到最终的无锚框目标检测模型，将待检测的紫外图像数据输入最终的无锚框目标检测模型，将输出映射到图像上进行DIoU-NMS（非极大值抑制）与NIoU-NMS（非极大值抑制）得到最终预测结果。
本发明还提出一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的紫外图像无锚框目标检测方法。
本发明还提出一种电子设备，包括处理器和存储器，所述处理器与所述存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括计算机可读指令，所述处理器被配置用于调用所述计算机可读指令，执行上述的紫外图像无锚框目标检测方法。
在一示例性实施例中，包括一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述的紫外图像无锚框目标检测方法。
请参阅图3，在一示例性实施例中，还包括一种电子设备，包括至少一处理器、至少一存储器、以及至少一通信总线。
其中，存储器上存储有计算机程序，计算机程序包括计算机可读指令，处理器通过通信总线调用存储器中存储的计算机可读指令，执行上述的紫外图像无锚框目标检测方法。
利用上述的紫外图像无锚框目标检测方法的步骤，对电气设备进行电晕放电检测，本发明实施例利用本发明的方法对绝缘子进行检测过程图参考图4，图中的框为绝缘子检测框，检测框上方为被检测目标名称，数字表示是该物体的概率；本发明实施例利用本发明的方法对电晕放电进行检测过程图参考图5，中央的框为放电检测框，检测框上方为被检测目标名称，数字表示是该物体的概率；本发明实施例中紫外设备拍摄电气电晕放电图参考图6，图中方框中央为放电区域。通过本申请的方法判定图中的电气设备为异常状态，可以根据放电区域对电气设备异常部位进行定位。
处于异常状态可能是以下原因导致：
设备绝缘老化或损坏：长时间使用后，设备绝缘材料可能会老化或受损，导致绝缘能力下降，从而引起电晕放电。设备表面污染：设备表面积聚了灰尘、油污等污染物，这些污染物会导致电晕放电。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种紫外图像无锚框目标检测方法，其特征在于，包括以下步骤：
S1、采集电气设备紫外图像数据，并对紫外图像数据进行预处理，获取目标检测真值标签及对应标注框、语义分割真值标签及对应标注框，将预处理后的紫外图像数据划分为训练集、验证集和测试集；
S2、基于训练集中的目标检测真值标签及对应标注框、语义分割真值标签及对应标注框获得掩码标签，并对训练集和掩码标签进行相同的增强处理；
S3、构建无锚框目标检测模型，所述模型包括编码部分、解码部分、检测头部分；编码部分包括主干特征提取网络和空洞空间卷积池化金字塔网络，用于特征提取；检测头部分有三个检测头，包含两个无锚框检测头，一个无锚框双头检测头，无锚框双头检测头的双头分别为一个无锚框检测头及一个辅助检测头；
S4、基于增强后的训练集和增强后的掩码标签对模型进行训练，使用验证集对训练后的模型进行验证，并调整模型超参数，使用测试集对验证后的模型进行评估，得到最终的无锚框目标检测模型，将待检测的紫外图像数据输入最终的无锚框目标检测模型，得到目标检测结果。
2.根据权利要求1所述的一种紫外图像无锚框目标检测方法，其特征在于，步骤S1中，目标检测真值标签相应标注框为矩形标注框，语义分割真值标签相应标注框为多边形标注框。
3.根据权利要求1所述的一种紫外图像无锚框目标检测方法，其特征在于，步骤S2具体为：
将目标检测真值标签对应标注框、语义分割真值标签对应标注框进行对比，获得两个标注框的并集和交集，将训练集图像中除去并集的区域中像素点掩码设置为0，目标检测真值标签对应标注框区域除去交集区域中像素点掩码设置为1，目标检测真值标签对应标注框与语义分割真值标签对应标注框相交且目标检测真值标签与语义分割真值标签一致则将相交区域中像素点掩码设置为2，若目标检测真值标签对应标注框与语义分割真值标签对应标注框相交但目标检测真值标签与语义分割真值标签不一致则将相交区域中像素点掩码设置为3。
4.根据权利要求1所述的一种紫外图像无锚框目标检测方法，其特征在于，主干特征提取网络采用由空洞卷积构建的基于VGG16架构的主干特征提取网络。
5.根据权利要求1所述的一种紫外图像无锚框目标检测方法，其特征在于，空洞空间卷积池化金字塔网络包括三个卷积、三个空洞卷积、四个归一化层、一个全局平均池化层、一个上采样、一个堆叠层、一个批标准化层；
第一卷积和第一归一化层组成第一卷积单元，第一空洞卷积和第二归一化层组成第一空洞卷积单元，第二空洞卷积和第三归一化层组成第二空洞卷积单元，第三空洞卷积和第四归一化层组成第三空洞卷积单元；
堆叠层有五个输入，空洞空间卷积池化金字塔网络的输入经过第一卷积单元的输出为堆叠层的第一输入，堆叠层的第一输入经过全局平均池化层得到池化后的堆叠层的第一输入，池化后的堆叠层的第一输入经过第二卷积提取特征，提取特征的池化后的堆叠层的第一输入经过上采样得到堆叠层的第二输入，堆叠层的第一输入经过第一空洞卷积单元得到堆叠层的第三输入，堆叠层的第三输入经过第二空洞卷积单元得到堆叠层的第四输入，堆叠层的第四输入经过第三空洞卷积单元得到堆叠层的第五输入；
堆叠层的五个输入通过堆叠层得到堆叠后的特征图，堆叠后的特征图通过第三卷积提取特征，并通过批标准化层得到空洞空间卷积池化金字塔网络输出的新特征。
6.根据权利要求1所述的一种紫外图像无锚框目标检测方法，其特征在于，无锚框检测头采用两个普通卷积操作进行特征调整，并经一次普通卷积操作将通道数调整为C1得到输出；辅助检测头采用两个普通卷积操作进行特征调整，再经一次普通卷积操作将通道数调整为C2得到输出；
无锚框检测通道数C1=C+4+1，辅助检测头通道数C2=C+1，其中的4代表存储边界框位置的4个通道，/>代表像素点距离左边框距离，/>代表像素点距离右边框距离，/>代表像素点距离上边框距离，/>代表像素点距离下边框距离，其中的1代表存储像素点与真实框中心点的偏离度的1个通道，v为可检测出来的目标种类，存储相应种类分类的二分类置信度。
7.根据权利要求6所述的一种紫外图像无锚框目标检测方法，其特征在于，检测头采用NIoU与DIOU两种方式对模型预测结果进行过滤得到最终结果；
其中，表示复合交并比，/>表示目标检测真值标签对应标注框的真值框和语义分割真值标签对应标注框的真值框相交，且目标检测真值标签和语义分割真值标签一致时交集部分，/>表示目标检测真值标签对应标注框的真值框和语义分割真值标签对应标注框的预测框相交，且目标检测真值标签和语义分割真值标签一致时交集部分，/>表示距离交并比。
8.根据权利要求1所述的一种紫外图像无锚框目标检测方法，其特征在于，
无锚框目标检测模型的损失函数包括无锚框检测头损失函数、辅助预测头损失函数；无锚框检测头损失函数包括分类损失、边界框损失；
无锚框双头检测头的无锚框检测头的像素点二分类损失函数为：
其中，为像素点的带权输出置信度，/>为无锚框检测头的输出，/>为/>，为像素点二分类损失函数，/>为可学习平衡参数，/>，通过设置掩码0-3对应的超参数/>调节无锚框双头检测头的无锚框检测头对不同区域的关注度。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-8任一所述方法的步骤。
10.一种电子设备，其特征在于，包括处理器和存储器，所述处理器与所述存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括计算机可读指令，所述处理器被配置用于调用所述计算机可读指令，执行如权利要求1-8任一项所述的方法。
CN202311429453.1A 2023-10-31 2023-10-31 一种紫外图像无锚框目标检测方法及存储介质、电子设备 Active CN117152422B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202311429453.1A CN117152422B (zh) 2023-10-31 2023-10-31 一种紫外图像无锚框目标检测方法及存储介质、电子设备
US18/770,930 US12125266B1 (en) 2023-10-31 2024-07-12 Anchor-free object detection method based on ultraviolet image, storage medium and electrical equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311429453.1A CN117152422B (zh) 2023-10-31 2023-10-31 一种紫外图像无锚框目标检测方法及存储介质、电子设备

Publications (2)

Publication Number Publication Date
CN117152422A true CN117152422A (zh) 2023-12-01
CN117152422B CN117152422B (zh) 2024-02-13

Family

ID=88903177

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311429453.1A Active CN117152422B (zh) 2023-10-31 2023-10-31 一种紫外图像无锚框目标检测方法及存储介质、电子设备

Country Status (2)

Country Link
US (1) US12125266B1 (zh)
CN (1) CN117152422B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119323526A (zh) * 2024-12-16 2025-01-17 厦门真景科技有限公司 一种移除穿帮物体模型的训练方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110347839A (zh) * 2019-07-18 2019-10-18 湖南数定智能科技有限公司 一种基于生成式多任务学习模型的文本分类方法
CN111461127A (zh) * 2020-03-30 2020-07-28 华南理工大学 基于一阶段目标检测框架的实例分割方法
CN112884037A (zh) * 2021-02-09 2021-06-01 中国科学院光电技术研究所 一种基于模板更新和无锚框方式的目标跟踪方法
WO2021129691A1 (zh) * 2019-12-23 2021-07-01 长沙智能驾驶研究院有限公司 一种对目标检测方法以及相应装置
KR20210143401A (ko) * 2020-05-20 2021-11-29 한국전자통신연구원 객체 검출 시스템 및 방법
WO2021244079A1 (zh) * 2020-06-02 2021-12-09 苏州科技大学 智能家居环境中图像目标检测方法
CN114118247A (zh) * 2021-11-18 2022-03-01 同济大学 一种基于多传感器融合的无锚框3d目标检测方法
WO2023116507A1 (zh) * 2021-12-22 2023-06-29 北京沃东天骏信息技术有限公司 一种目标检测模型的训练方法、目标检测的方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101054522B1 (ko) * 2010-05-04 2011-08-04 한국전기안전공사 광학렌즈가 부착된 자외선 센서를 이용한 전력설비 코로나 방전 측정 장치 및 방법
EP3614155A1 (de) * 2018-08-22 2020-02-26 Siemens Aktiengesellschaft Verfahren und anordnung zum erkennen von koronaentladungen einer anlage mit betriebsmitteln

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110347839A (zh) * 2019-07-18 2019-10-18 湖南数定智能科技有限公司 一种基于生成式多任务学习模型的文本分类方法
WO2021129691A1 (zh) * 2019-12-23 2021-07-01 长沙智能驾驶研究院有限公司 一种对目标检测方法以及相应装置
CN111461127A (zh) * 2020-03-30 2020-07-28 华南理工大学 基于一阶段目标检测框架的实例分割方法
KR20210143401A (ko) * 2020-05-20 2021-11-29 한국전자통신연구원 객체 검출 시스템 및 방법
WO2021244079A1 (zh) * 2020-06-02 2021-12-09 苏州科技大学 智能家居环境中图像目标检测方法
CN112884037A (zh) * 2021-02-09 2021-06-01 中国科学院光电技术研究所 一种基于模板更新和无锚框方式的目标跟踪方法
CN114118247A (zh) * 2021-11-18 2022-03-01 同济大学 一种基于多传感器融合的无锚框3d目标检测方法
WO2023116507A1 (zh) * 2021-12-22 2023-06-29 北京沃东天骏信息技术有限公司 一种目标检测模型的训练方法、目标检测的方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XUXIANG SUN 等: "Threatening Patch Attacks on Object Detection in Optical Remote Sensing Images", ARXIV, pages 1 - 10 *
吴军 等: "基于Cascade R-CNN 算法的输电线路小目标缺陷检测方法", 电网与清洁能源, pages 19 - 26 *

Also Published As

Publication number Publication date
US12125266B1 (en) 2024-10-22
CN117152422B (zh) 2024-02-13

Similar Documents

Publication Publication Date Title
CN108009543B (zh) 一种车牌识别方法及装置
CN111797890A (zh) 一种用于检测输电线路设备缺陷的方法及系统
CN113344475B (zh) 基于序列模态分解的变压器套管缺陷识别方法及系统
CN112906463A (zh) 基于图像的火情检测方法、装置、设备及存储介质
CN110838112A (zh) 一种基于霍夫变换和YOLOv3网络的绝缘子缺损检测方法
CN112633149B (zh) 一种域自适应雾天图像目标检测方法和装置
CN111222478A (zh) 一种工地安全防护检测方法和系统
CN111242015A (zh) 一种基于运动轮廓语义图预测行车危险场景的方法
CN114332008B (zh) 一种基于多层次特征重构的无监督缺陷检测与定位方法
CN111079645A (zh) 一种基于AlexNet网络的绝缘子自爆识别方法
US12125266B1 (en) Anchor-free object detection method based on ultraviolet image, storage medium and electrical equipment
CN112766137A (zh) 一种基于深度学习的动态场景异物入侵检测方法
CN111337789A (zh) 一种高压输电线路中故障电气元件检测方法及检测系统
CN114463257A (zh) 一种基于深度学习的电力设备红外图像检测方法及系统
CN113657225B (zh) 一种目标检测方法
CN114359286A (zh) 一种基于人工智能的绝缘子缺陷识别方法、设备及介质
CN118230265A (zh) 一种轨道交通道床异物检测方法
CN114581446A (zh) 一种叠片电池的电芯异常检测方法及系统
CN116934725A (zh) 一种基于无监督学习的铝箔封口密封性的检测方法
CN111179239B (zh) 一种利用背景特征进行重排名的轮胎x光瑕疵检测方法
CN118628477A (zh) 一种工业质检方法及装置
CN116503398B (zh) 绝缘子污闪检测方法、装置、电子设备及存储介质
CN114821174B (zh) 一种基于内容感知的输电线路航拍图像数据清洗方法
CN117058519A (zh) 一种基于深度学习的口罩识别方法
CN113723414B (zh) 一种蒙面人脸遮挡物分割方法与装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant