CN117152422B - 一种紫外图像无锚框目标检测方法及存储介质、电子设备 - Google Patents
一种紫外图像无锚框目标检测方法及存储介质、电子设备 Download PDFInfo
- Publication number
- CN117152422B CN117152422B CN202311429453.1A CN202311429453A CN117152422B CN 117152422 B CN117152422 B CN 117152422B CN 202311429453 A CN202311429453 A CN 202311429453A CN 117152422 B CN117152422 B CN 117152422B
- Authority
- CN
- China
- Prior art keywords
- frame
- anchor
- label
- detection
- target detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 157
- 238000002372 labelling Methods 0.000 claims abstract description 41
- 230000011218 segmentation Effects 0.000 claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 24
- 238000011176 pooling Methods 0.000 claims description 27
- 238000000034 method Methods 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 19
- 238000010606 normalization Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 4
- 239000002131 composite material Substances 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000012212 insulator Substances 0.000 description 3
- 230000001629 suppression Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000009413 insulation Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000000356 contaminant Substances 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000012774 insulation material Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Abstract
本发明公开一种紫外图像无锚框目标检测方法，具体为：获取紫外图像的目标检测真值标签、语义分割真值标签、两个标签对应标注框，基于训练集中的两个标签及对应标注框获得掩码标签，并对训练集和掩码标签进行相同的增强处理；构建无锚框目标检测模型，包括编码部分、解码部分、检测头部分；检测头部分有三个检测头，包含两个无锚框检测头，一个无锚框双头检测头，无锚框双头检测头的双头分别为一个无锚框检测头及一个辅助检测头；增强后的训练集和掩码标签对模型进行训练，将待检测的紫外图像数据输入最终的无锚框目标检测模型，得到目标检测结果。本发明可以提高目标检测与语义分割的精度和效率。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种紫外图像无锚框目标检测方法及存储介质、电子设备。
背景技术
基于紫外图像的电晕放电检测是一种用于检测电力设备中电晕放电现象的技术。电晕放电是指在高电压电力设备表面或附近，由于电场强度过高导致空气分子发生电离和放电现象。电晕放电不仅会引起电力设备的能量损耗和电磁干扰，还可能导致设备的损坏和事故的发生。
紫外图像技术在电晕放电检测中具有重要的应用价值。紫外图像能够捕捉到电晕放电过程中产生的紫外光辐射，因为电晕放电产生的光谱主要集中在紫外波段。通过使用紫外摄像机和相应的图像处理算法，可以实时监测和分析电力设备表面的紫外图像，从而检测和识别电晕放电现象。
基于紫外图像的电晕放电检测技术已经在电力行业得到广泛应用。通过对电力设备进行紫外图像监测，可以实现对电晕放电的实时监测和预警，提高电力设备的安全性和可靠性。同时，该技术还可以帮助电力运维人员进行设备状态评估和故障诊断，提高电力设备的维护效率和运行质量。
基于紫外图像的电晕放电检测技术还存在一些挑战和限制。例如，电晕放电的特征复杂多样，需要针对不同类型的电晕放电进行算法设计和优化。此外，紫外图像中的噪声和干扰也会对检测结果产生影响，需要采用合适的图像处理和分析方法进行抑制和滤除。同时电晕放电在紫外图像中呈小目标出现频率较高，目前许多算法对小目标检测效果不佳，需要进行算法设计和优化来改善对小目标检测效果。
发明内容
为了解决上述问题，本发明提出一种紫外图像无锚框目标检测方法，包括以下步骤：
S1、采集电气设备紫外图像数据，并对紫外图像数据进行预处理，获取目标检测真值标签及对应标注框、语义分割真值标签及对应标注框，将预处理后的紫外图像数据划分为训练集、验证集和测试集；
S2、基于训练集中的目标检测真值标签及对应标注框、语义分割真值标签及对应标注框获得掩码标签，并对训练集和掩码标签进行相同的增强处理；
S3、构建无锚框目标检测模型，所述模型包括编码部分、解码部分、检测头部分；编码部分包括主干特征提取网络和空洞空间卷积池化金字塔网络，用于特征提取；检测头部分有三个检测头，包含两个无锚框检测头，一个无锚框双头检测头，无锚框双头检测头的双头分别为一个无锚框检测头及一个辅助检测头；
S4、基于增强后的训练集和增强后的掩码标签对模型进行训练，使用验证集对训练后的模型进行验证，并调整模型超参数，使用测试集对验证后的模型进行评估，得到最终的无锚框目标检测模型，将待检测的紫外图像数据输入最终的无锚框目标检测模型，得到目标检测结果。
进一步地，步骤S1中，目标检测真值标签相应标注框为矩形标注框，语义分割真值标签相应标注框为多边形标注框。
进一步地，步骤S2具体为：
将目标检测真值标签对应标注框、语义分割真值标签对应标注框进行对比，获得两个标注框的并集和交集，将训练集图像中除去并集的区域中像素点掩码设置为0，目标检测真值标签对应标注框区域除去交集区域中像素点掩码设置为1，目标检测真值标签对应标注框与语义分割真值标签对应标注框相交且目标检测真值标签与语义分割真值标签一致则将相交区域中像素点掩码设置为2，若目标检测真值标签对应标注框与语义分割真值标签对应标注框相交但目标检测真值标签与语义分割真值标签不一致则将相交区域中像素点掩码设置为3。
进一步地，主干特征提取网络采用由空洞卷积构建的基于VGG16架构的主干特征提取网络。
进一步地，空洞空间卷积池化金字塔网络包括三个卷积、三个空洞卷积、四个归一化层、一个全局平均池化层、一个上采样、一个堆叠层、一个批标准化层；
第一卷积和第一归一化层组成第一卷积单元，第一空洞卷积和第二归一化层组成第一空洞卷积单元，第二空洞卷积和第三归一化层组成第二空洞卷积单元，第三空洞卷积和第四归一化层组成第三空洞卷积单元；
堆叠层有五个输入，空洞空间卷积池化金字塔网络的输入经过第一卷积单元的输出为堆叠层的第一输入，堆叠层的第一输入经过全局平均池化层得到池化后的堆叠层的第一输入，池化后的堆叠层的第一输入经过第二卷积提取特征，提取特征的池化后的堆叠层的第一输入经过上采样得到堆叠层的第二输入，堆叠层的第一输入经过第一空洞卷积单元得到堆叠层的第三输入，堆叠层的第三输入经过第二空洞卷积单元得到堆叠层的第四输入，堆叠层的第四输入经过第三空洞卷积单元得到堆叠层的第五输入；
堆叠层的五个输入通过堆叠层得到堆叠后的特征图，堆叠后的特征图通过第三卷积提取特征，并通过批标准化层得到空洞空间卷积池化金字塔网络输出的新特征。
进一步地，无锚框检测头采用两个普通卷积操作进行特征调整，并经一次普通卷积操作将通道数调整为C1得到输出；辅助检测头采用两个普通卷积操作进行特征调整，再经一次普通卷积操作将通道数调整为C2得到输出；
无锚框检测通道数C1=C+4+1，辅助检测头通道数C2=C+1，其中的4代表存储边界框位置的4个通道，/>代表像素点距离左边框距离，/>代表像素点距离右边框距离，/>代表像素点距离上边框距离，/>代表像素点距离下边框距离，其中的1代表存储像素点与真实框中心点的偏离度的1个通道，C为可检测出来的目标种类，存储相应种类分类的二分类置信度。
进一步地，检测头采用NIoU与DIOU两种方式对模型预测结果进行过滤得到最终结果；
其中，表示复合交并比，/>表示目标检测真值标签对应标注框的真值框和语义分割真值标签对应标注框的真值框相交，且目标检测真值标签和语义分割真值标签一致时交集部分，/>表示目标检测真值标签对应标注框的真值框和语义分割真值标签对应标注框的预测框相交，且目标检测真值标签和语义分割真值标签一致时交集部分，/>表示距离交并比。
进一步地，无锚框目标检测模型的损失函数包括无锚框检测头损失函数、辅助预测头损失函数；无锚框检测头损失函数包括分类损失、边界框损失；
无锚框双头检测头的无锚框检测头的像素点二分类损失函数为：
其中，为像素点的带权输出置信度，/>为无锚框检测头的输出，/>为，/>为像素点二分类损失函数，/>为可学习平衡参数，/>，通过设置掩码0-3对应的超参数/>调节无锚框双头检测头的无锚框检测头对不同区域的关注度。
本发明还提出一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的紫外图像无锚框目标检测方法。
本发明还提出一种电子设备，包括处理器和存储器，所述处理器与所述存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括计算机可读指令，所述处理器被配置用于调用所述计算机可读指令，执行上述的紫外图像无锚框目标检测方法。
本发明提供的技术方案带来的有益效果是：
本发明采用空洞卷积构建主干特征提取网络，在不改变特征图尺寸的情况下增大感受野，保持空间分辨率的同时提升感知能力。在训练集进行增强处理前进行掩码生成，在对训练集进行增强的同时对掩码进行相同的增强操作获取与增强数据集相匹配的掩码，在模型训练中用于损失函数计算，通过掩码控制对不同区域的关注度提高检测效果。无锚框检测头的使用不需要依赖先验框，更简化算法的设计和实现，它通过网络自动学习目标的位置和尺寸，减少了先验框设计的复杂性，无锚框双检测头可以结合目标检测与语义分割提高对目标检测的精度。通过对结合目标检测与语义分割的交并比进行计算来影响DIoU值，提升对遮挡目标检测。
附图说明
图1是本发明实施例的紫外图像无锚框目标检测方法的流程图；
图2是本发明实施例中的空洞空间卷积池化金字塔网络结构图；
图3是本发明实施例一示例性实施例中的一种电子设备的框图；
图4是本发明实施例利用本发明的方法对绝缘子进行检测过程图；
图5是本发明实施例利用本发明的方法对电晕放电进行检测过程图；
图6是本发明实施例中紫外设备拍摄电气电晕放电图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。
本发明实施例的紫外图像无锚框目标检测方法的流程图如图1，具体包括以下步骤：
S1、采集电气设备紫外图像数据，并对紫外图像数据进行预处理，获取目标检测真值标签及对应标注框、语义分割真值标签及对应标注框，将预处理后的紫外图像数据划分为训练集、验证集和测试集。
进一步的实施例中，紫外图像数据进行预处理具体为：使用labelimg与labelme工具对紫外图像数据进行图像标注。使用labelimg创建矩形框标注框，框选图像中的目标物体，并在框内标注目标的类别，保存最终的标注结果为目标检测真值标签。使用labelme工具，通过创建多边形标注框框选出图像中目标轮廓，并在框内标注目标类别，保存最终的标注结果为语义分割真值标签。
进一步的实施例中，将数据集按照6:2:2的比例划分为训练集、验证集和测试集。
S2、基于训练集中的目标检测真值标签及对应标注框、语义分割真值标签及对应标注框获得掩码标签，并对训练集和掩码标签进行相同的增强处理。
将目标检测真值标签对应标注框、语义分割真值标签对应标注框进行对比，获得两个标注框的并集和交集，将训练集图像中除去并集的区域中像素点掩码设置为0，目标检测真值标签对应标注框区域除去交集区域中像素点掩码设置为1，目标检测真值标签对应标注框与语义分割真值标签对应标注框相交且目标检测真值标签与语义分割真值标签一致则将相交区域中像素点掩码设置为2，若目标检测真值标签对应标注框与语义分割真值标签对应标注框相交但目标检测真值标签与语义分割真值标签不一致则将相交区域中像素点掩码设置为3。
S3、构建无锚框目标检测模型，所述模型包括编码部分、解码部分、检测头部分；编码部分包括主干特征提取网络和空洞空间卷积池化金字塔网络，用于特征提取；检测头部分有三个检测头，包含两个无锚框检测头，一个无锚框双头检测头，无锚框双头检测头的双头分别为一个无锚框检测头及一个辅助检测头。
主干特征提取网络为采用由空洞卷积构建的基于VGG16架构的主干特征提取网络。
本发明实施例中的空洞空间卷积池化金字塔网络结构图参考图2，空洞空间卷积池化金字塔网络包括三个卷积、三个空洞卷积、四个归一化层、一个全局平均池化层、一个上采样、一个堆叠层、一个批标准化层；
第一卷积和第一归一化层组成第一卷积单元，第一空洞卷积和第二归一化层组成第一空洞卷积单元，第二空洞卷积和第三归一化层组成第二空洞卷积单元，第三空洞卷积和第四归一化层组成第三空洞卷积单元；
堆叠层有五个输入，空洞空间卷积池化金字塔网络的输入经过第一卷积单元的输出为堆叠层的第一输入，堆叠层的第一输入经过全局平均池化层得到池化后的堆叠层的第一输入，池化后的堆叠层的第一输入经过第二卷积提取特征、提取特征的池化后的堆叠层的第一输入经过上采样得到堆叠层的第二输入，堆叠层的第一输入经过第一空洞卷积单元得到堆叠层的第三输入，堆叠层的第三输入经过第二空洞卷积单元得到堆叠层的第四输入，堆叠层的第四输入经过第三空洞卷积单元得到堆叠层的第五输入；
堆叠层的五个输入通过堆叠层得到堆叠后的特征图，堆叠后的特征图通过第三卷积提取特征，并通过批标准化层得到空洞空间卷积池化金字塔网络输出的新特征。
进一步的实施例中，三个卷积的卷积核为、输出通道数为256；三个空洞卷积的空洞率为2、卷积核为/>、输出通道数为256；堆叠层的输出通道是1280。
无锚框检测头采用两个普通卷积操作进行特征调整，并经一次普通卷积操作将通道数调整为C1得到输出；辅助检测头采用两个普通卷积操作进行特征调整，再经一次普通卷积操作将通道数调整为C2得到输出；
无锚框检测通道数C1=C+4+1，辅助检测头通道数C2=C+1，其中的4代表存储边界框位置的4个通道，/>代表像素点距离左边框距离，/>代表像素点距离右边框距离，/>代表像素点距离上边框距离，/>代表像素点距离下边框距离，其中的1代表存储像素点与真实框中心点的偏离度的1个通道，C为可检测出来的目标种类，存储相应种类分类的二分类置信度；
偏离度：
检测头采用NIoU与DIOU两种方式对模型预测结果进行过滤得到最终结果。
在DIOU中，除了计算检测框之间的IoU值，还会考虑检测框之间的距离。对于两个重叠的检测框，如果它们的IoU值超过一定阈值，并且它们之间的距离较近，那么只会保留IoU值较大的检测框，而将IoU值较小的检测框抑制掉。这样可以确保选择出更具代表性的检测结果，减少冗余。
其中，表示复合交并比，/>表示目标检测真值标签对应标注框的真值框和语义分割真值标签对应标注框的真值框相交，且目标检测真值标签和语义分割真值标签一致时交集部分，/>表示目标检测真值标签对应标注框的真值框和语义分割真值标签对应标注框的预测框相交，且目标检测真值标签和语义分割真值标签一致时交集部分，/>表示距离交并比。
无锚框目标检测模型的损失函数包括无锚框检测头损失函数、辅助预测头损失函数；无锚框检测头损失函数包括分类损失、边界框损失；
无锚框检测头中分类损失为二分类，第n（n属于1~C范围）个通道代表第n个类别的二分类，无锚框双头检测头的无锚框检测头的像素点二分类损失函数为：
其中，为像素点的带权输出置信度，/>为无锚框检测头的输出，/>为，/>为像素点二分类损失函数，/>为可学习平衡参数，通过设置掩码0-3对应的超参数/>调节无锚框双头检测头的无锚框检测头对不同区域的关注度。
S4、基于增强后的训练集和增强后的掩码标签对模型进行训练，使用验证集对训练后的模型进行验证，并调整模型超参数，使用测试集对验证后的模型进行评估，得到最终的无锚框目标检测模型，将待检测的紫外图像数据输入最终的无锚框目标检测模型，将输出映射到图像上进行DIoU-NMS（非极大值抑制）与NIoU-NMS（非极大值抑制）得到最终预测结果。
本发明还提出一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的紫外图像无锚框目标检测方法。
本发明还提出一种电子设备，包括处理器和存储器，所述处理器与所述存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括计算机可读指令，所述处理器被配置用于调用所述计算机可读指令，执行上述的紫外图像无锚框目标检测方法。
在一示例性实施例中，包括一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述的紫外图像无锚框目标检测方法。
请参阅图3，在一示例性实施例中，还包括一种电子设备，包括至少一处理器、至少一存储器、以及至少一通信总线。
其中，存储器上存储有计算机程序，计算机程序包括计算机可读指令，处理器通过通信总线调用存储器中存储的计算机可读指令，执行上述的紫外图像无锚框目标检测方法。
利用上述的紫外图像无锚框目标检测方法的步骤，对电气设备进行电晕放电检测，本发明实施例利用本发明的方法对绝缘子进行检测过程图参考图4，图中的框为绝缘子检测框，检测框上方为被检测目标名称，数字表示是该物体的概率；本发明实施例利用本发明的方法对电晕放电进行检测过程图参考图5，中央的框为放电检测框，检测框上方为被检测目标名称，数字表示是该物体的概率；本发明实施例中紫外设备拍摄电气电晕放电图参考图6，图中方框中央为放电区域。通过本申请的方法判定图中的电气设备为异常状态，可以根据放电区域对电气设备异常部位进行定位。
处于异常状态可能是以下原因导致：
设备绝缘老化或损坏：长时间使用后，设备绝缘材料可能会老化或受损，导致绝缘能力下降，从而引起电晕放电。设备表面污染：设备表面积聚了灰尘、油污等污染物，这些污染物会导致电晕放电。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种紫外图像无锚框目标检测方法，其特征在于，包括以下步骤：
S1、采集电气设备紫外图像数据，并对紫外图像数据进行预处理，获取目标检测真值标签及对应标注框、语义分割真值标签及对应标注框，将预处理后的紫外图像数据划分为训练集、验证集和测试集；
S2、基于训练集中的目标检测真值标签及对应标注框、语义分割真值标签及对应标注框获得掩码标签，并对训练集和掩码标签进行相同的增强处理；
具体为：
将目标检测真值标签对应标注框、语义分割真值标签对应标注框进行对比，获得两个标注框的并集和交集，将训练集图像中除去并集的区域中像素点掩码设置为0，目标检测真值标签对应标注框区域除去交集区域中像素点掩码设置为1，目标检测真值标签对应标注框与语义分割真值标签对应标注框相交且目标检测真值标签与语义分割真值标签一致则将相交区域中像素点掩码设置为2，若目标检测真值标签对应标注框与语义分割真值标签对应标注框相交但目标检测真值标签与语义分割真值标签不一致则将相交区域中像素点掩码设置为3；
S3、构建无锚框目标检测模型，所述模型包括编码部分、解码部分、检测头部分；编码部分包括主干特征提取网络和空洞空间卷积池化金字塔网络，用于特征提取；检测头部分有三个检测头，包含两个无锚框检测头，一个无锚框双头检测头，无锚框双头检测头的双头分别为一个无锚框检测头及一个辅助检测头；
S4、基于增强后的训练集和增强后的掩码标签对模型进行训练，使用验证集对训练后的模型进行验证，并调整模型超参数，使用测试集对验证后的模型进行评估，得到最终的无锚框目标检测模型，将待检测的紫外图像数据输入最终的无锚框目标检测模型，得到目标检测结果；
无锚框目标检测模型的损失函数包括无锚框检测头损失函数、辅助预测头损失函数；无锚框检测头损失函数包括分类损失、边界框损失；
无锚框双头检测头的无锚框检测头的像素点二分类损失函数为：
其中，为像素点的带权输出置信度，/>为无锚框检测头的输出，/>为真实标签，为像素点二分类损失函数，/>为可学习平衡参数，/>，通过设置掩码0-3对应的超参数/>调节无锚框双头检测头的无锚框检测头对不同区域的关注度，/>表示偏离度，/>代表像素点距离左边框距离，/>代表像素点距离右边框距离，/>代表像素点距离上边框距离，/>代表像素点距离下边框距离。
2.根据权利要求1所述的一种紫外图像无锚框目标检测方法，其特征在于，步骤S1中，目标检测真值标签相应标注框为矩形标注框，语义分割真值标签相应标注框为多边形标注框。
3.根据权利要求1所述的一种紫外图像无锚框目标检测方法，其特征在于，主干特征提取网络采用由空洞卷积构建的基于VGG16架构的主干特征提取网络。
4.根据权利要求1所述的一种紫外图像无锚框目标检测方法，其特征在于，空洞空间卷积池化金字塔网络包括三个卷积、三个空洞卷积、四个归一化层、一个全局平均池化层、一个上采样、一个堆叠层、一个批标准化层；
第一卷积和第一归一化层组成第一卷积单元，第一空洞卷积和第二归一化层组成第一空洞卷积单元，第二空洞卷积和第三归一化层组成第二空洞卷积单元，第三空洞卷积和第四归一化层组成第三空洞卷积单元；
堆叠层有五个输入，空洞空间卷积池化金字塔网络的输入经过第一卷积单元的输出为堆叠层的第一输入，堆叠层的第一输入经过全局平均池化层得到池化后的堆叠层的第一输入，池化后的堆叠层的第一输入经过第二卷积提取特征，提取特征的池化后的堆叠层的第一输入经过上采样得到堆叠层的第二输入，堆叠层的第一输入经过第一空洞卷积单元得到堆叠层的第三输入，堆叠层的第三输入经过第二空洞卷积单元得到堆叠层的第四输入，堆叠层的第四输入经过第三空洞卷积单元得到堆叠层的第五输入；
堆叠层的五个输入通过堆叠层得到堆叠后的特征图，堆叠后的特征图通过第三卷积提取特征，并通过批标准化层得到空洞空间卷积池化金字塔网络输出的新特征。
5.根据权利要求1所述的一种紫外图像无锚框目标检测方法，其特征在于，无锚框检测头采用两个普通卷积操作进行特征调整，并经一次普通卷积操作将通道数调整为C1得到输出；辅助检测头采用两个普通卷积操作进行特征调整，再经一次普通卷积操作将通道数调整为C2得到输出；
无锚框检测通道数C1=C+4+1，辅助检测头通道数C2=C+1，其中的4代表存储边界框位置的4个通道，/>代表像素点距离左边框距离，/>代表像素点距离右边框距离，/>代表像素点距离上边框距离，/>代表像素点距离下边框距离，其中的1代表存储像素点与真实框中心点的偏离度的1个通道，v为可检测出来的目标种类，存储相应种类分类的二分类置信度。
6.根据权利要求5所述的一种紫外图像无锚框目标检测方法，其特征在于，检测头采用NIoU与DIOU两种方式对模型预测结果进行过滤得到最终结果；
其中，表示复合交并比，/>表示目标检测真值标签对应标注框的真值框和语义分割真值标签对应标注框的真值框相交，且目标检测真值标签和语义分割真值标签一致时交集部分，/>表示目标检测真值标签对应标注框的真值框和语义分割真值标签对应标注框的预测框相交，且目标检测真值标签和语义分割真值标签一致时交集部分，/>表示距离交并比。
7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-6任一所述方法的步骤。
8.一种电子设备，其特征在于，包括处理器和存储器，所述处理器与所述存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括计算机可读指令，所述处理器被配置用于调用所述计算机可读指令，执行如权利要求1-6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311429453.1A CN117152422B (zh) | 2023-10-31 | 2023-10-31 | 一种紫外图像无锚框目标检测方法及存储介质、电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311429453.1A CN117152422B (zh) | 2023-10-31 | 2023-10-31 | 一种紫外图像无锚框目标检测方法及存储介质、电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117152422A CN117152422A (zh) | 2023-12-01 |
| CN117152422B true CN117152422B (zh) | 2024-02-13 |
Family
ID=88903177
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311429453.1A Active CN117152422B (zh) | 2023-10-31 | 2023-10-31 | 一种紫外图像无锚框目标检测方法及存储介质、电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117152422B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110347839A (zh) * | 2019-07-18 | 2019-10-18 | 湖南数定智能科技有限公司 | 一种基于生成式多任务学习模型的文本分类方法 |
| CN111461127A (zh) * | 2020-03-30 | 2020-07-28 | 华南理工大学 | 基于一阶段目标检测框架的实例分割方法 |
| CN112884037A (zh) * | 2021-02-09 | 2021-06-01 | 中国科学院光电技术研究所 | 一种基于模板更新和无锚框方式的目标跟踪方法 |
| WO2021129691A1 (zh) * | 2019-12-23 | 2021-07-01 | 长沙智能驾驶研究院有限公司 | 一种对目标检测方法以及相应装置 |
| KR20210143401A (ko) * | 2020-05-20 | 2021-11-29 | 한국전자통신연구원 | 객체 검출 시스템 및 방법 |
| WO2021244079A1 (zh) * | 2020-06-02 | 2021-12-09 | 苏州科技大学 | 智能家居环境中图像目标检测方法 |
| CN114118247A (zh) * | 2021-11-18 | 2022-03-01 | 同济大学 | 一种基于多传感器融合的无锚框3d目标检测方法 |
| WO2023116507A1 (zh) * | 2021-12-22 | 2023-06-29 | 北京沃东天骏信息技术有限公司 | 一种目标检测模型的训练方法、目标检测的方法和装置 |
-
2023
- 2023-10-31 CN CN202311429453.1A patent/CN117152422B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110347839A (zh) * | 2019-07-18 | 2019-10-18 | 湖南数定智能科技有限公司 | 一种基于生成式多任务学习模型的文本分类方法 |
| WO2021129691A1 (zh) * | 2019-12-23 | 2021-07-01 | 长沙智能驾驶研究院有限公司 | 一种对目标检测方法以及相应装置 |
| CN111461127A (zh) * | 2020-03-30 | 2020-07-28 | 华南理工大学 | 基于一阶段目标检测框架的实例分割方法 |
| KR20210143401A (ko) * | 2020-05-20 | 2021-11-29 | 한국전자통신연구원 | 객체 검출 시스템 및 방법 |
| WO2021244079A1 (zh) * | 2020-06-02 | 2021-12-09 | 苏州科技大学 | 智能家居环境中图像目标检测方法 |
| CN112884037A (zh) * | 2021-02-09 | 2021-06-01 | 中国科学院光电技术研究所 | 一种基于模板更新和无锚框方式的目标跟踪方法 |
| CN114118247A (zh) * | 2021-11-18 | 2022-03-01 | 同济大学 | 一种基于多传感器融合的无锚框3d目标检测方法 |
| WO2023116507A1 (zh) * | 2021-12-22 | 2023-06-29 | 北京沃东天骏信息技术有限公司 | 一种目标检测模型的训练方法、目标检测的方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| Threatening Patch Attacks on Object Detection in Optical Remote Sensing Images;Xuxiang Sun 等;arXiv;1-10 * |
| 基于Cascade R-CNN 算法的输电线路小目标缺陷检测方法;吴军 等;电网与清洁能源;19-26 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117152422A (zh) | 2023-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109118479B (zh) | 基于胶囊网络的绝缘子缺陷识别定位装置及方法 | |
| CN111784633B (zh) | 一种面向电力巡检视频的绝缘子缺损自动检测算法 | |
| CN111797890A (zh) | 一种用于检测输电线路设备缺陷的方法及系统 | |
| CN111179249A (zh) | 一种基于深度卷积神经网络的电力设备检测方法和装置 | |
| CN113724231B (zh) | 一种基于语义分割和目标检测融合模型的工业缺陷检测方法 | |
| CN111832608B (zh) | 一种基于单阶段检测模型yolov3的铁谱图像多磨粒识别方法 | |
| CN112233073A (zh) | 一种变电设备红外热成像异常实时检测方法 | |
| CN112766195B (zh) | 一种电气化铁路弓网燃弧视觉检测方法 | |
| CN111738054B (zh) | 一种基于时空自编码器网络和时空cnn的行为异常检测方法 | |
| CN111242144B (zh) | 电网设备异常的检测方法和装置 | |
| CN114913606A (zh) | 一种基于yolo的深度学习的工业现场生产工作区域的违规检测方法 | |
| WO2024021461A1 (zh) | 缺陷检测方法及装置、设备、存储介质 | |
| CN111079645A (zh) | 一种基于AlexNet网络的绝缘子自爆识别方法 | |
| CN114332008A (zh) | 一种基于多层次特征重构的无监督缺陷检测与定位方法 | |
| CN115526847A (zh) | 一种基于半监督学习的主板表面缺陷检测方法 | |
| CN116612098A (zh) | 一种基于图像处理的绝缘子rtv喷涂质量评价方法和装置 | |
| CN111563525A (zh) | 一种基于YOLOv3-Tiny的运动目标检测方法 | |
| CN116503398B (zh) | 绝缘子污闪检测方法、装置、电子设备及存储介质 | |
| CN111428772B (zh) | 基于k-近邻自适应投票的光伏系统深度异常检测方法 | |
| CN117152422B (zh) | 一种紫外图像无锚框目标检测方法及存储介质、电子设备 | |
| CN115830302B (zh) | 一种多尺度特征提取融合配电网设备定位识别方法 | |
| CN116934725A (zh) | 一种基于无监督学习的铝箔封口密封性的检测方法 | |
| CN112507327B (zh) | 一种基于机器学习的晴雨检测与处理方法 | |
| CN110689071B (zh) | 一种基于结构化高阶特征的目标检测系统及方法 | |
| CN113313678A (zh) | 一种基于多尺度特征融合的精子形态学自动分析方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |