CN112651954A - 一种绝缘子掉串区域的检测方法及装置 - Google Patents
一种绝缘子掉串区域的检测方法及装置 Download PDFInfo
- Publication number
- CN112651954A CN112651954A CN202011624778.1A CN202011624778A CN112651954A CN 112651954 A CN112651954 A CN 112651954A CN 202011624778 A CN202011624778 A CN 202011624778A CN 112651954 A CN112651954 A CN 112651954A
- Authority
- CN
- China
- Prior art keywords
- insulator
- asf
- sample
- level
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000012212 insulator Substances 0.000 title claims abstract description 196
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 41
- 238000001514 detection method Methods 0.000 claims abstract description 14
- 238000010586 diagram Methods 0.000 claims description 48
- 238000005070 sampling Methods 0.000 claims description 12
- 230000007246 mechanism Effects 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 5
- 238000005728 strengthening Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010292 electrical insulation Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种绝缘子掉串区域的检测方法及装置，其方法包括：获取训练数据样本，训练数据样本包括：样本绝缘子图像及对应的样本类别标签；构建初始化的基于ASF和通道注意力增强的FPN；采用ResNeXt，提取样本绝缘子图像的原始深度特征图，得到样本绝缘子图像各个层级的参考特征图；根据样本绝缘子图片及对应的样本类别标签，以及样本绝缘子图片各个层级的参考特征图，对初始化的基于ASF和通道注意力增强的FPN训练，得到基于ASF和通道注意力增强的目标FPN；将待测绝缘子图像输入到基于ASF和通道注意力增强的目标FPN，得到待测绝缘子的掉串区域。通过基于ASF和通道注意力的增强FPN，对待测绝缘子进行检测，确定待测绝缘子掉串区域，从而大大提高检测效率。
Description
技术领域
本发明涉及图像检测领域，尤其涉及一种绝缘子掉串区域的检测方法及装置。
背景技术
我国高压和超高压发电站，以及变电站都使用着大量绝缘子，绝缘子起着电气绝缘和机械支撑的作用。虽然绝缘子的安全可靠与否对电网安全、经济、稳定运行至关重要，但在长时间高负荷运行以及在自然环境暴露下，绝缘子非常容易发生故障，如裂纹、覆冰和掉串等情况，一旦发生故障将严重阻碍电力系统的稳定运行。
传统的绝缘子掉串区域的检测是由检测人员通过攀爬塔杆到电力铁塔等电力设备上，对绝缘子进行肉眼观测并记录绝缘子的具体情况，但由于我国环境情况复杂，同时输电行业的设备布局庞大且种类繁多，对于检测人员的体力是一个巨大的挑战，在人为检测工作量大且周期长的情况下，检测人员的安全无法保障。此外，这种人为检测绝缘子掉串区域的方法并不符合未来智能电网的发展方向。
发明内容
本发明提供了一种绝缘子掉串区域的检测方法及装置，通过基于ASF和通道注意力的增强FPN，对待测绝缘子进行检测，确定待测绝缘子掉串区域，从而大大提高检测效率。
第一方面，本发明提供的一种绝缘子掉串区域的检测方法，包括：
获取训练数据样本，所述训练数据样本包括：样本绝缘子图像及对应的样本类别标签；
构建初始化的基于ASF和通道注意力增强的FPN；
采用ResNeXt，提取所述样本绝缘子图像的原始深度特征图，得到所述样本绝缘子图像各个层级的参考特征图；
根据所述样本绝缘子图片及对应的样本类别标签，以及所述样本绝缘子图片各个层级的参考特征图，对所述初始化的基于ASF和通道注意力增强的FPN训练，得到基于ASF和通道注意力增强的目标FPN；
将待测绝缘子图像输入到所述基于ASF和通道注意力增强的目标FPN，得到所述待测绝缘子的掉串区域。
可选地，根据所述样本绝缘子图片及对应的样本类别标签，以及所述样本绝缘子图片各个层级的参考特征图，对所述初始化的基于ASF和通道注意力增强的FPN训练，得到基于ASF和通道注意力增强的目标FPN，包括：
对所述样本绝缘子图像各个层级的参考特征图自上而下进行融合，得到所述初始化的基于ASF和通道注意力增强的FPN的各个层级的特征金字塔参考图；
分别将所述各个层级的特征金字塔参考图输入ASF，得到ASF输出特征图；
从所述ASF输出特征图中提取ROIs特征图，确定所述样本绝缘子图片对应的样本类别标签。
可选地，对所述样本绝缘子图像各个层级的参考特征图自上而下进行融合，得到所述初始化的基于ASF和通道注意力增强的FPN的各个层级的特征金字塔参考图，包括：
从所述样本绝缘子图像各个层级的参考特征图中，选取C2层级特征图、C3层级特征图、C4层级特征图和C5层级特征图；
对所述C2层级特征图、所述C3层级特征图、所述C4层级特征图和所述C5层级特征图使用1×1卷积层变化至相同的维度并自上而下融合，得到所述初始化的基于ASF和通道注意力增强的FPN的P2层级参考图、P3层级参考图、P4层级参考图和P5层级参考图。
可选地，分别将所述各个层级的特征金字塔参考图输入ASF，得到ASF输出特征图，包括：
按照所述P2层级参考图的尺度，将采样所述P2层级参考图、所述P3层级参考图、所述P4层级参考图，得到各层级对应的采样参考图；
将所述各层级对应的采样参考图进行拼接，得到拼接后的特征图；
将所述拼接后的特征图输入所述ASF，得到所述ASF输出特征图。
可选地，所述ASF包括第一路径和第二路径；所述第一路径包括：1×1卷积层、3×3卷积层sigmoid激活层和重复层；将所述拼接后的特征图输入所述ASF，得到所述ASF输出特征图，包括：
将所述拼接后的特征图输入所述第一路径中的1×1卷积层、3×3卷积层sigmoid激活层和重复层，得到所述拼接后的特征图的各个通道特征图的注意力分数；
将所述拼接后的特征图与所述各个通道特征图的注意力分数相乘，得到所述ASF输出特征图。
可选地，从所述ASF输出特征图中提取ROIs特征图，确定所述样本绝缘子图片对应的样本类别标签，包括：
采用RPN网络从所述ASF输出特征图中提取所述ROIs；
将所述ROIs输入ROIPooling层，得到相同尺度的ROIs特征图；
根据所述ROIs特征图，确定所述样本绝缘子图像对应的样本类别标签。
可选地，采用RPN网络从所述ASF输出特征图中提取所述ROIs之前，还包括：
通过高斯非局部注意力机制，强化所述ASF输出特征图中的特征信息。
可选地，将所述ROIs输入ROIPooling层，得到相同尺度的ROIs特征图，包括：
将ROIS输入具有通道注意力机制的卷积层，得到卷积后的ROIs；
将所述卷积后的ROIs输入ROIPooling层，得到相同尺度的ROIs特征图。
第二方面，本发明还提供了一种绝缘子掉串区域的检测装置，所述装置包括：
获取模块，用于获取训练数据样本，所述训练数据样本包括：样本绝缘子图像及对应的样本类别标签；
构建模块，用于构建初始化的基于ASF和通道注意力增强的FPN；
提取模块，用于采用ResNeXt，提取所述样本绝缘子图像的原始深度特征图，得到所述样本绝缘子图像各个层级的参考特征图；
目标FPN获取模块，用于根据所述样本绝缘子图片及对应的样本类别标签，以及所述样本绝缘子图片各个层级的参考特征图，对所述初始化的基于ASF和通道注意力增强的FPN训练，得到基于ASF和通道注意力增强的目标FPN；
掉串区域确定模块，用于将待测绝缘子图像输入到所述基于ASF和通道注意力增强的目标FPN，得到所述待测绝缘子的掉串区域。
可选地，所述目标FPN获取模块包括：
融合子模块，用于对所述样本绝缘子图像各个层级的参考特征图自上而下进行融合，得到所述初始化的基于ASF和通道注意力增强的FPN的各个层级的特征金字塔参考图；
ASF输出特征图获取子模块，用于分别将所述各个层级的特征金字塔参考图输入ASF，得到ASF输出特征图；
样本类别标签获取子模块，用于从所述ASF输出特征图中提取ROIs特征图，确定所述样本绝缘子图片对应的样本类别标签。
从以上技术方案可以看出，本发明具有以下优点：
本发明提供了一种绝缘子掉串区域的检测方法，通过获取训练数据样本，所述训练数据样本包括：样本绝缘子图像及对应的样本类别标签；构建初始化的基于ASF和通道注意力增强的FPN；采用ResNeXt，提取所述样本绝缘子图像的原始深度特征图，得到所述样本绝缘子图像各个层级的参考特征图；根据所述样本绝缘子图片及对应的样本类别标签，以及所述样本绝缘子图片各个层级的参考特征图，对所述初始化的基于ASF和通道注意力增强的FPN训练，得到基于ASF和通道注意力增强的目标FPN；将待测绝缘子图像输入到所述基于ASF和通道注意力增强的目标FPN，得到所述待测绝缘子的掉串区域。通过基于ASF和通道注意力的增强FPN，对待测绝缘子进行检测，确定待测绝缘子掉串区域，从而大大提高检测效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图；
图1为本发明的一种绝缘子掉串区域的检测方法实施例一的步骤流程图；
图2为本发明的一种绝缘子掉串区域的检测方法实施例二的步骤流程图；
图3为本发明的一种绝缘子掉串区域的检测方法实施例三的步骤流程图；
图4为ASF算法的流程图；
图5为本发明的一种绝缘子掉串区域的检测方法实施例四的步骤流程图
图6为本发明的一种绝缘子掉串区域的检测装置实施例的结构框图。
具体实施方式
本发明实施例提供一种绝缘子掉串区域的检测方法及装置，通过基于ASF和通道注意力的增强FPN，对待测绝缘子进行检测，确定待测绝缘子掉串区域，从而大大提高检测效率。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例一，请参阅图1，图1为本发明的一种绝缘子掉串区域的检测方法实施例一的步骤流程图，具体包括如下步骤：
S101，获取训练数据样本，所述训练数据样本包括：样本绝缘子图像及对应的样本类别标签；
在本发明实施例中，首先后去只能变电站现场的正产绝缘子和绝缘子掉串等多类别的图像，每个类别的图像必须有4000张以上的数量作为训练样本，并且，图像的尺寸、绝缘子掉串的类型和图像中因天气造成的光线变化等的问题也应该能够在训练样本中得以体现，从而丰富训练样本的特征信息，有效增强后续基于ASF和通道注意力增强的目标FPN预测的准确性和鲁棒性。
此外，样本绝缘子图像对应的样本类别标签一般为手工标注。
S102，识构建初始化的基于ASF和通道注意力增强的FPN；
需要说明的是，FPN是一个检测高效的两阶段检测算法，它通过构建一个金字塔将高层语义信息传递给低层。而ASF是一种自适应空间特征融合方法，一般用于提取图像中的特征信息。
S103，采用ResNeXt，提取所述样本绝缘子图像的原始深度特征图，得到所述样本绝缘子图像各个层级的参考特征图；
需要说明的是，ResNeXt是基于ResNet，参考了Inception的多分支并联思想的模型，相比于ResNet其计算精度和计算时间表现更好。
S104，根据所述样本绝缘子图片及对应的样本类别标签，以及所述样本绝缘子图片各个层级的参考特征图，对所述初始化的基于ASF和通道注意力增强的FPN训练，得到基于ASF和通道注意力增强的目标FPN；
S105，将待测绝缘子图像输入到所述基于ASF和通道注意力增强的目标FPN，得到所述待测绝缘子的掉串区域。
本发明实施例提供了一种绝缘子掉串区域的检测方法，通过获取训练数据样本，所述训练数据样本包括：样本绝缘子图像及对应的样本类别标签；构建初始化的基于ASF和通道注意力增强的FPN；采用ResNeXt，提取所述样本绝缘子图像的原始深度特征图，得到所述样本绝缘子图像各个层级的参考特征图；根据所述样本绝缘子图片及对应的样本类别标签，以及所述样本绝缘子图片各个层级的参考特征图，对所述初始化的基于ASF和通道注意力增强的FPN训练，得到基于ASF和通道注意力增强的目标FPN；将待测绝缘子图像输入到所述基于ASF和通道注意力增强的目标FPN，得到所述待测绝缘子的掉串区域。通过基于ASF和通道注意力的增强FPN，对待测绝缘子进行检测，确定待测绝缘子掉串区域，从而大大提高检测效率。
实施例二，请参阅图2，图2为本发明的一种绝缘子掉串区域的检测方法实施例二的步骤流程图，具体包括如下步骤：
S201，获取训练数据样本，所述训练数据样本包括：样本绝缘子图像及对应的样本类别标签；
S202，构建初始化的基于ASF和通道注意力增强的FPN；
S203，采用ResNeXt，提取所述样本绝缘子图像的原始深度特征图，得到所述样本绝缘子图像各个层级的参考特征图；
S204，对所述样本绝缘子图像各个层级的参考特征图自上而下进行融合，得到所述初始化的基于ASF和通道注意力增强的FPN的各个层级的特征金字塔参考图；
在一个可选实施例中，对所述样本绝缘子图像各个层级的参考特征图自上而下进行融合，得到所述初始化的基于ASF和通道注意力增强的FPN的各个层级的特征金字塔参考图，包括：
从所述样本绝缘子图像各个层级的参考特征图中，选取C2层级特征图、C3层级特征图、C4层级特征图和C5层级特征图；
对所述C2层级特征图、所述C3层级特征图、所述C4层级特征图和所述C5层级特征图使用1×1卷积层变化至相同的维度并自上而下融合，得到所述初始化的基于ASF和通道注意力增强的FPN的P2层级参考图、P3层级参考图、P4层级参考图和P5层级参考图。
需要说明的是，通过ResNeXt提取的样本绝缘子图像的原始深度特征图都会存在五层参考特征图，但由于C1层级特征图的尺度过大，用于计算时会明显减慢速度，因此，在本发明实施例中，只选用C2层级特征图、C3层级特征图、C4层级特征图和C5层级特征图融合。
S205，分别将所述各个层级的特征金字塔参考图输入ASF，得到ASF输出特征图；
S206，从所述ASF输出特征图中提取ROIs特征图，确定所述样本绝缘子图片对应的样本类别标签；
S207，将待测绝缘子图像输入到所述基于ASF和通道注意力增强的目标FPN，得到所述待测绝缘子的掉串区域。
本发明提供了一种绝缘子掉串区域的检测方法，通过获取训练数据样本，所述训练数据样本包括：样本绝缘子图像及对应的样本类别标签；构建初始化的基于ASF和通道注意力增强的FPN；采用ResNeXt，提取所述样本绝缘子图像的原始深度特征图，得到所述样本绝缘子图像各个层级的参考特征图；根据所述样本绝缘子图片及对应的样本类别标签，以及所述样本绝缘子图片各个层级的参考特征图，对所述初始化的基于ASF和通道注意力增强的FPN训练，得到基于ASF和通道注意力增强的目标FPN；将待测绝缘子图像输入到所述基于ASF和通道注意力增强的目标FPN，得到所述待测绝缘子的掉串区域。通过基于ASF和通道注意力的增强FPN，对待测绝缘子进行检测，确定待测绝缘子掉串区域，从而大大提高检测效率。
实施例三，请参阅图3，图3为本发明的一种绝缘子掉串区域的检测方法实施例三的步骤流程图，具体包括如下步骤：
S301，获取训练数据样本，所述训练数据样本包括：样本绝缘子图像及对应的样本类别标签；
S302，构建初始化的基于ASF和通道注意力增强的FPN；
S303，采用ResNeXt，提取所述样本绝缘子图像的原始深度特征图，得到所述样本绝缘子图像各个层级的参考特征图；
S304，对所述样本绝缘子图像各个层级的参考特征图自上而下进行融合，得到所述初始化的基于ASF和通道注意力增强的FPN的各个层级的特征金字塔参考图；
S305，按照所述P2层级参考图的尺度，将采样所述P2层级参考图、所述P3层级参考图、所述P4层级参考图，得到各层级对应的采样参考图；
S306，将所述各层级对应的采样参考图进行拼接，得到拼接后的特征图；
S307，将所述拼接后的特征图输入所述ASF，得到所述ASF输出特征图；
请查阅图4，图4为ASF算法的流程图，在一个可选实施例中，所述ASF包括第一路径和第二路径；所述第一路径包括：1×1卷积层、3×3卷积层sigmoid激活层和重复层；将所述拼接后的特征图输入所述ASF，得到所述ASF输出特征图，包括：
将所述拼接后的特征图输入所述第一路径中的1×1卷积层、3×3卷积层sigmoid激活层和重复层，得到所述拼接后的特征图的各个通道特征图的注意力分数；
将所述拼接后的特征图与所述各个通道特征图的注意力分数相乘，得到所述ASF输出特征图。
S308，从所述ASF输出特征图中提取ROIs特征图，确定所述样本绝缘子图片对应的样本类别标签；
S309，将待测绝缘子图像输入到所述基于ASF和通道注意力增强的目标FPN，得到所述待测绝缘子的掉串区域。
本发明提供了一种绝缘子掉串区域的检测方法，通过获取训练数据样本，所述训练数据样本包括：样本绝缘子图像及对应的样本类别标签；构建初始化的基于ASF和通道注意力增强的FPN；采用ResNeXt，提取所述样本绝缘子图像的原始深度特征图，得到所述样本绝缘子图像各个层级的参考特征图；根据所述样本绝缘子图片及对应的样本类别标签，以及所述样本绝缘子图片各个层级的参考特征图，对所述初始化的基于ASF和通道注意力增强的FPN训练，得到基于ASF和通道注意力增强的目标FPN；将待测绝缘子图像输入到所述基于ASF和通道注意力增强的目标FPN，得到所述待测绝缘子的掉串区域。通过基于ASF和通道注意力的增强FPN，对待测绝缘子进行检测，确定待测绝缘子掉串区域，从而大大提高检测效率。
实施例五，请参阅图5，图5为本发明的一种绝缘子掉串区域的检测方法实施例五的步骤流程图，具体包括如下步骤：
S401，获取训练数据样本，所述训练数据样本包括：样本绝缘子图像及对应的样本类别标签；
S402，构建初始化的基于ASF和通道注意力增强的FPN；
S403，采用ResNeXt，提取所述样本绝缘子图像的原始深度特征图，得到所述样本绝缘子图像各个层级的参考特征图；
S404，对所述样本绝缘子图像各个层级的参考特征图自上而下进行融合，得到所述初始化的基于ASF和通道注意力增强的FPN的各个层级的特征金字塔参考图；
S405，分别将所述各个层级的特征金字塔参考图输入ASF，得到ASF输出特征图；
S406，采用RPN网络从所述ASF输出特征图中提取所述ROIs；
需要说明的是，RPN阶段的分类损失定义如下：
如上式所示，其中，i表示在一个小的训练批次中anchors的序号，pi是预测第i个anchor为目标的概率，
用于区分正负锚点，ti表示RPN阶段预测得到的边界框，
表示目标真实的边界框位置，Ncls为训练的一个小批次的大小，Nreg是anchors的数量，λ是平衡参数，用于平衡分类损失和回归损失。Lcls1分类损失函数采用了指数损失，而Lreg1回归损失函数则采用smooth L1损失。
在一个可选实施例中，采用RPN网络从所述ASF输出特征图中提取所述ROIs之前，还包括：
通过高斯非局部注意力机制，强化所述ASF输出特征图中的特征信息。
S407，将所述ROIs输入ROIPooling层，得到相同尺度的ROIs特征图；
在一个可选实施例中，将所述ROIs输入ROIPooling层，得到相同尺度的ROIs特征图，包括：
将ROIS输入具有通道注意力机制的卷积层，得到卷积后的ROIs；
将所述卷积后的ROIs输入ROIPooling层，得到相同尺度的ROIs特征图。
S408，根据所述ROIs特征图，确定所述样本绝缘子图像对应的样本类别标签；
S409，将待测绝缘子图像输入到所述基于ASF和通道注意力增强的目标FPN，得到所述待测绝缘子的掉串区域。
需要说明的是，对于待绝缘子的掉串区域检测的损失函数定义如下：
L(p,u,tu,v)＝Lcls2(p,u)+δ[u≥1]Lloc2(tu,v)
其中，p是预测目标的置信度，u是目标的真实类别，tu表示对应u类别的预测边界框，v表示对应u类别的真实边界框所在位置，Lcls2为分类损失，是对应真实类别u的对数损失，δ是平衡参数，Lloc2是smooth L1回归损失函数，[u≥1]是等级指示函数，当u≥1时，等级指示函数值为1，否则，函数值为0，从而可以只对前景目标计算边界框损失，而不计算背景的回归损失。
本发明提供了一种绝缘子掉串区域的检测方法，通过获取训练数据样本，所述训练数据样本包括：样本绝缘子图像及对应的样本类别标签；构建初始化的基于ASF和通道注意力增强的FPN；采用ResNeXt，提取所述样本绝缘子图像的原始深度特征图，得到所述样本绝缘子图像各个层级的参考特征图；根据所述样本绝缘子图片及对应的样本类别标签，以及所述样本绝缘子图片各个层级的参考特征图，对所述初始化的基于ASF和通道注意力增强的FPN训练，得到基于ASF和通道注意力增强的目标FPN；将待测绝缘子图像输入到所述基于ASF和通道注意力增强的目标FPN，得到所述待测绝缘子的掉串区域。通过基于ASF和通道注意力的增强FPN，对待测绝缘子进行检测，确定待测绝缘子掉串区域，从而大大提高检测效率。
请参阅图6，示出了一种绝缘子掉串区域的检测装置实施例的结构框图，
获取模块101，用于获取训练数据样本，所述训练数据样本包括：样本绝缘子图像及对应的样本类别标签；
构建模块102，用于构建初始化的基于ASF和通道注意力增强的FPN；
提取模块103，用于采用ResNeXt，提取所述样本绝缘子图像的原始深度特征图，得到所述样本绝缘子图像各个层级的参考特征图；
目标FPN获取模块104，用于根据所述样本绝缘子图片及对应的样本类别标签，以及所述样本绝缘子图片各个层级的参考特征图，对所述初始化的基于ASF和通道注意力增强的FPN训练，得到基于ASF和通道注意力增强的目标FPN；
掉串区域确定模块105，用于将待测绝缘子图像输入到所述基于ASF和通道注意力增强的目标FPN，得到所述待测绝缘子的掉串区域。
在一个可选实施例中，所述目标FPN获取模块包括：
融合子模块，用于对所述样本绝缘子图像各个层级的参考特征图自上而下进行融合，得到所述初始化的基于ASF和通道注意力增强的FPN的各个层级的特征金字塔参考图；
ASF输出特征图获取子模块，用于分别将所述各个层级的特征金字塔参考图输入ASF，得到ASF输出特征图；
样本类别标签获取子模块，用于从所述ASF输出特征图中提取ROIs特征图，确定所述样本绝缘子图片对应的样本类别标签。
在一个可选实施例中，所述融合子模块包括：
选取单元，用于从所述样本绝缘子图像各个层级的参考特征图中，选取C2层级特征图、C3层级特征图、C4层级特征图和C5层级特征图；
融合单元，用于对所述C2层级特征图、所述C3层级特征图、所述C4层级特征图和所述C5层级特征图使用1×1卷积层变化至相同的维度并自上而下融合，得到所述初始化的基于ASF和通道注意力增强的FPN的P2层级参考图、P3层级参考图、P4层级参考图和P5层级参考图。
在一个可选实施例中，所述ASF输出特征图获取子模块包括：
采样参考图获取单元，用于按照所述P2层级参考图的尺度，将采样所述P2层级参考图、所述P3层级参考图、所述P4层级参考图，得到各层级对应的采样参考图；
拼接单元，用于将所述各层级对应的采样参考图进行拼接，得到拼接后的特征图；
输出单元，用于将所述拼接后的特征图输入所述ASF，得到所述ASF输出特征图。
在一个可选实施例中，所述ASF包括第一路径和第二路径；所述第一路径包括：1×1卷积层、3×3卷积层sigmoid激活层和重复层；所述拼接单元包括：
注意力分数确定子单元，用于将所述拼接后的特征图输入所述第一路径中的1×1卷积层、3×3卷积层sigmoid激活层和重复层，得到所述拼接后的特征图的各个通道特征图的注意力分数；
输出子单元，用于将所述拼接后的特征图与所述各个通道特征图的注意力分数相乘，得到所述ASF输出特征图。
在一个可选实施例中，所述样本类别标签获取子模块包括：
ROIs提取单元，用于采用RPN网络从所述ASF输出特征图中提取所述ROIs；
ROIs特征图获取单元，用于将所述ROIs输入ROIPooling层，得到相同尺度的ROIs特征图；
标签确定单元，用于根据所述ROIs特征图，确定所述样本绝缘子图像对应的样本类别标签。
在一个可选实施例中，所述目标FPN获取模块还包括：
强化子模块，用于通过高斯非局部注意力机制，强化所述ASF输出特征图中的特征信息。
在一个可选实施例中，所述ROIs特征图获取单元包括：
第一输入子单元，用于将ROIS输入具有通道注意力机制的卷积层，得到卷积后的ROIs；
第二输入子单元，用于将所述卷积后的ROIs输入ROIPooling层，得到相同尺度的ROIs特征图。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种绝缘子掉串区域的检测方法，其特征在于，包括：
获取训练数据样本，所述训练数据样本包括：样本绝缘子图像及对应的样本类别标签；
构建初始化的基于ASF和通道注意力增强的FPN；
采用ResNeXt，提取所述样本绝缘子图像的原始深度特征图，得到所述样本绝缘子图像各个层级的参考特征图；
根据所述样本绝缘子图片及对应的样本类别标签，以及所述样本绝缘子图片各个层级的参考特征图，对所述初始化的基于ASF和通道注意力增强的FPN训练，得到基于ASF和通道注意力增强的目标FPN；
将待测绝缘子图像输入到所述基于ASF和通道注意力增强的目标FPN，得到所述待测绝缘子的掉串区域。
2.根据权利要求2所述的绝缘子掉串区域的检测方法，其特征在于，根据所述样本绝缘子图片及对应的样本类别标签，以及所述样本绝缘子图片各个层级的参考特征图，对所述初始化的基于ASF和通道注意力增强的FPN训练，得到基于ASF和通道注意力增强的目标FPN，包括：
对所述样本绝缘子图像各个层级的参考特征图自上而下进行融合，得到所述初始化的基于ASF和通道注意力增强的FPN的各个层级的特征金字塔参考图；
分别将所述各个层级的特征金字塔参考图输入ASF，得到ASF输出特征图；
从所述ASF输出特征图中提取ROIs特征图，确定所述样本绝缘子图片对应的样本类别标签。
3.根据权利要求2所述的绝缘子掉串区域的检测方法，其特征在于，对所述样本绝缘子图像各个层级的参考特征图自上而下进行融合，得到所述初始化的基于ASF和通道注意力增强的FPN的各个层级的特征金字塔参考图，包括：
从所述样本绝缘子图像各个层级的参考特征图中，选取C2层级特征图、C3层级特征图、C4层级特征图和C5层级特征图；
对所述C2层级特征图、所述C3层级特征图、所述C4层级特征图和所述C5层级特征图使用1×1卷积层变化至相同的维度并自上而下融合，得到所述初始化的基于ASF和通道注意力增强的FPN的P2层级参考图、P3层级参考图、P4层级参考图和P5层级参考图。
4.根据权利要求2或3所述的绝缘子掉串区域的检测方法，其特征在于，分别将所述各个层级的特征金字塔参考图输入ASF，得到ASF输出特征图，包括：
按照所述P2层级参考图的尺度，将采样所述P2层级参考图、所述P3层级参考图、所述P4层级参考图，得到各层级对应的采样参考图；
将所述各层级对应的采样参考图进行拼接，得到拼接后的特征图；
将所述拼接后的特征图输入所述ASF，得到所述ASF输出特征图。
5.根据权利要求4所述的绝缘子掉串区域的检测方法，其特征在于，所述ASF包括第一路径和第二路径；所述第一路径包括：1×1卷积层、3×3卷积层sigmoid激活层和重复层；将所述拼接后的特征图输入所述ASF，得到所述ASF输出特征图，包括：
将所述拼接后的特征图输入所述第一路径中的1×1卷积层、3×3卷积层sigmoid激活层和重复层，得到所述拼接后的特征图的各个通道特征图的注意力分数；
将所述拼接后的特征图与所述各个通道特征图的注意力分数相乘，得到所述ASF输出特征图。
6.根据权利要求2-5中任一所述的绝缘子掉串区域的检测方法，其特征在于，从所述ASF输出特征图中提取ROIs特征图，确定所述样本绝缘子图片对应的样本类别标签，包括：
采用RPN网络从所述ASF输出特征图中提取所述ROIs；
将所述ROIs输入ROIPooling层，得到相同尺度的ROIs特征图；
根据所述ROIs特征图，确定所述样本绝缘子图像对应的样本类别标签。
7.根据权利要求6所述的绝缘子掉串区域的检测方法，其特征在于，采用RPN网络从所述ASF输出特征图中提取所述ROIs之前，还包括：
通过高斯非局部注意力机制，强化所述ASF输出特征图中的特征信息。
8.根据权利要求6或7所述的绝缘子掉串区域的检测方法，其特征在于，将所述ROIs输入ROIPooling层，得到相同尺度的ROIs特征图，包括：
将ROIS输入具有通道注意力机制的卷积层，得到卷积后的ROIs；
将所述卷积后的ROIs输入ROIPooling层，得到相同尺度的ROIs特征图。
9.一种绝缘子掉串区域的检测装置，其特征在于，包括：
获取模块，用于获取训练数据样本，所述训练数据样本包括：样本绝缘子图像及对应的样本类别标签；
构建模块，用于构建初始化的基于ASF和通道注意力增强的FPN；
提取模块，用于采用ResNeXt，提取所述样本绝缘子图像的原始深度特征图，得到所述样本绝缘子图像各个层级的参考特征图；
目标FPN获取模块，用于根据所述样本绝缘子图片及对应的样本类别标签，以及所述样本绝缘子图片各个层级的参考特征图，对所述初始化的基于ASF和通道注意力增强的FPN训练，得到基于ASF和通道注意力增强的目标FPN；
掉串区域确定模块，用于将待测绝缘子图像输入到所述基于ASF和通道注意力增强的目标FPN，得到所述待测绝缘子的掉串区域。
10.根据权利要求9所述的绝缘子掉串区域的检测装置，其特征在于，所述目标FPN获取模块包括：
融合子模块，用于对所述样本绝缘子图像各个层级的参考特征图自上而下进行融合，得到所述初始化的基于ASF和通道注意力增强的FPN的各个层级的特征金字塔参考图；
ASF输出特征图获取子模块，用于分别将所述各个层级的特征金字塔参考图输入ASF，得到ASF输出特征图；
样本类别标签获取子模块，用于从所述ASF输出特征图中提取ROIs特征图，确定所述样本绝缘子图片对应的样本类别标签。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011624778.1A CN112651954A (zh) | 2020-12-30 | 2020-12-30 | 一种绝缘子掉串区域的检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011624778.1A CN112651954A (zh) | 2020-12-30 | 2020-12-30 | 一种绝缘子掉串区域的检测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112651954A true CN112651954A (zh) | 2021-04-13 |
Family
ID=75366742
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011624778.1A Pending CN112651954A (zh) | 2020-12-30 | 2020-12-30 | 一种绝缘子掉串区域的检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112651954A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023001059A1 (zh) * | 2021-07-19 | 2023-01-26 | 中国第一汽车股份有限公司 | 检测方法、装置、电子设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110136097A (zh) * | 2019-04-10 | 2019-08-16 | 南方电网科学研究院有限责任公司 | 一种基于特征金字塔的绝缘子故障识别方法与装置 |
| CN110827251A (zh) * | 2019-10-30 | 2020-02-21 | 江苏方天电力技术有限公司 | 一种基于航拍图像的输电线路锁紧销缺陷检测方法 |
| CN111008587A (zh) * | 2019-11-29 | 2020-04-14 | 江西崇政科技有限公司 | 一种应用于机器人的基于深度学习智能化视觉识别系统 |
| CN111583198A (zh) * | 2020-04-23 | 2020-08-25 | 浙江大学 | 结合FasterR-CNN+ResNet101+FPN的绝缘子图片缺陷检测方法 |
| CN111598030A (zh) * | 2020-05-21 | 2020-08-28 | 山东大学 | 一种航拍图像中车辆检测和分割的方法及系统 |
| CN111696137A (zh) * | 2020-06-09 | 2020-09-22 | 电子科技大学 | 一种基于多层特征混合与注意力机制的目标跟踪方法 |
-
2020
- 2020-12-30 CN CN202011624778.1A patent/CN112651954A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110136097A (zh) * | 2019-04-10 | 2019-08-16 | 南方电网科学研究院有限责任公司 | 一种基于特征金字塔的绝缘子故障识别方法与装置 |
| CN110827251A (zh) * | 2019-10-30 | 2020-02-21 | 江苏方天电力技术有限公司 | 一种基于航拍图像的输电线路锁紧销缺陷检测方法 |
| CN111008587A (zh) * | 2019-11-29 | 2020-04-14 | 江西崇政科技有限公司 | 一种应用于机器人的基于深度学习智能化视觉识别系统 |
| CN111583198A (zh) * | 2020-04-23 | 2020-08-25 | 浙江大学 | 结合FasterR-CNN+ResNet101+FPN的绝缘子图片缺陷检测方法 |
| CN111598030A (zh) * | 2020-05-21 | 2020-08-28 | 山东大学 | 一种航拍图像中车辆检测和分割的方法及系统 |
| CN111696137A (zh) * | 2020-06-09 | 2020-09-22 | 电子科技大学 | 一种基于多层特征混合与注意力机制的目标跟踪方法 |
Non-Patent Citations (2)
| Title |
|---|
| CHAOXU GUO等: "AugFPN: Improving Multi-scale Feature Learning for Object Detection", 《ARXIV》 * |
| 苏超等: "基于机器视觉深度学习的绝缘子前端定位方法", 《广东电力》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023001059A1 (zh) * | 2021-07-19 | 2023-01-26 | 中国第一汽车股份有限公司 | 检测方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111985455A (zh) | 一种光伏组件可见光故障模型的训练和识别方法及装置 | |
| CN113449769A (zh) | 输电线路覆冰识别模型训练方法、识别方法及存储介质 | |
| CN110705374A (zh) | 基于改进RetinaNet网络的输电线路缺陷识别方法 | |
| CN115565118B (zh) | 一种输电线路交叉跨越点单挂点单串的识别方法 | |
| CN110992307A (zh) | 基于yolo的绝缘子定位识别方法及装置 | |
| CN116188402A (zh) | 一种基于改进ssd算法的绝缘子缺陷识别方法 | |
| CN115546664A (zh) | 一种基于级联网络的绝缘子自爆检测方法及系统 | |
| CN115460647A (zh) | 基于eSIM卡和5G基站的物联网故障定位方法及系统 | |
| CN112651954A (zh) | 一种绝缘子掉串区域的检测方法及装置 | |
| CN114677357A (zh) | 航拍绝缘子自爆缺陷的检测模型、方法、设备及存储介质 | |
| CN114119528A (zh) | 一种配电线路绝缘子的缺陷检测方法及装置 | |
| CN114386654A (zh) | 一种多尺度数值天气预报模式融合的天气预报方法及装置 | |
| CN113536944A (zh) | 基于图像识别的配电线路巡检数据识别及分析方法 | |
| CN116778386A (zh) | 一种六氟化硫的泄露检测方法、装置、设备及存储介质 | |
| Singh et al. | Critical Electrical Infrastructure Segmentation in Arctic Conditions | |
| CN109377483A (zh) | 瓷绝缘子裂纹检测方法及装置 | |
| CN113625770B (zh) | 基于飞行无人机对光伏电站进行巡检的自主导航规划方法及装置 | |
| CN115100546A (zh) | 一种基于mobilenet的电力设备小目标缺陷识别方法及系统 | |
| CN115564174A (zh) | 生活性街道空间品质测度方法、系统、计算机设备及介质 | |
| Ma et al. | Edge Intelligent Perception Method for Power Grid Icing Condition Based on Multi-Scale Feature Fusion Target Detection and Model Quantization | |
| CN114494907A (zh) | 基于多时相图像的灾情评估方法及装置 | |
| Wang et al. | Image classification of missing insulators based on EfficientNet | |
| Peng et al. | Lightweight Disconnector State Detection Model Based on Improved yolov5s | |
| CN117649615A (zh) | 一种轻量化的输电线路绝缘子掉串缺陷定向检测方法 | |
| CN114332750A (zh) | 针对类别不平衡的双分支预警分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210413 |