CN114359285B - 基于视觉上下文约束学习的电网缺陷检测方法和装置 - Google Patents
基于视觉上下文约束学习的电网缺陷检测方法和装置 Download PDFInfo
- Publication number
- CN114359285B CN114359285B CN202210274284.8A CN202210274284A CN114359285B CN 114359285 B CN114359285 B CN 114359285B CN 202210274284 A CN202210274284 A CN 202210274284A CN 114359285 B CN114359285 B CN 114359285B
- Authority
- CN
- China
- Prior art keywords
- power grid
- layer
- picture
- detected
- different scales
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 178
- 238000001514 detection method Methods 0.000 title claims abstract description 76
- 230000000007 visual effect Effects 0.000 title claims abstract description 14
- 230000005540 biological transmission Effects 0.000 claims abstract description 16
- 238000010586 diagram Methods 0.000 claims description 65
- 238000012545 processing Methods 0.000 claims description 56
- 238000000034 method Methods 0.000 claims description 36
- 238000000605 extraction Methods 0.000 claims description 32
- 230000008569 process Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 4
- 229920002239 polyacrylonitrile Polymers 0.000 description 17
- 201000006292 polyarteritis nodosa Diseases 0.000 description 17
- 238000004804 winding Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000007689 inspection Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 239000012212 insulator Substances 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本申请涉及一种基于视觉上下文约束学习的电网缺陷检测方法、装置、计算机设备和存储介质。所述电网缺陷检测方法包括：获取待测电网图片；对所述待测电网图片进行场景识别，得到电网场景；其中，所述电网场景表征所述待测电网图片中输电线路所处的位置；根据所述电网场景对所述待测电网图片进行缺陷识别，得到缺陷检测结果。本发明利用缺陷与场景之间的依存关系，为缺陷检测提供有效的约束信息，在避免不合理的检测的同时，使不同场景的缺陷的区分度更大，从而提高电网缺陷识别的准确率。
Description
技术领域
本申请涉及电网缺陷检测技术领域，特别是涉及一种基于视觉上下文约束学习的电网缺陷检测方法和装置。
背景技术
输电线路缺陷有上百种类型，严重影响线路的安全稳定运行。过去线路巡检主要采用人工巡检的方式，随着无人机技术的发展成熟，采用无人机对输电线路进行巡检的方式得到广泛推广和应用。无人机巡检时会拍摄大量图片，目前的智能识别算法对图片中缺陷的识别存在误识别率高，检出率低的问题，并且大部分还是依赖后期人工查看图片中的缺陷，劳动强度大。
发明内容
基于此，有必要针对上述技术问题，提供一种能够准确识别不同电网场景下的输电线路缺陷的基于视觉上下文约束学习的电网缺陷检测方法和装置。
第一方面，本申请的实施例提供一种基于视觉上下文约束学习的电网缺陷检测方法，包括：
获取待测电网图片；
对所述待测电网图片进行场景识别，得到电网场景；其中，所述电网场景表征所述待测电网图片中输电线路所处的位置；
根据所述电网场景对所述待测电网图片进行缺陷识别，得到缺陷检测结果。
上述电网缺陷检测方法，利用缺陷与场景之间的依存关系，为缺陷检测提供有效的约束信息，在避免不合理的检测的同时，使不同场景的缺陷的区分度更大，从而提高电网缺陷识别的准确率。
在上述第一方面的其中一个实施例中，所述根据所述电网场景对所述待测电网图片进行缺陷识别，得到缺陷检测结果包括：
根据所述电网场景提取所述待测电网图片的目标区域；
对所述目标区域进行缺陷识别，得到缺陷检测结果。
在上述第一方面的其中一个实施例中，所述根据所述电网场景提取所述待测电网图片的目标区域包括：
通过所述电网场景对应的区域提取模型对所述待测电网图片进行处理，得到所述待测电网图片对应的目标区域。
在上述第一方面的其中一个实施例中，所述电网场景对应的区域提取模型为第一改进的YOLOv4模型；所述第一改进的YOLOv4模型包括：第一主干网络层、第一Bneck模块层、第一FPN层、第二Bneck模块层、第一PAN层以及第一预测网络层；
所述通过所述电网场景对应的区域提取模型，对所述待测电网图片进行处理，得到所述待测电网图片对应的目标区域包括：
通过所述第一主干网络层对所述待测电网图片进行处理，得到多个不同尺度的第一电网特征图；
通过所述第一Bneck模块层中与各尺度对应的第一Bneck模块对所述多个不同尺度的第一电网特征图分别进行处理，得到多个不同尺度的第二电网特征图；
通过所述第一FPN层对所述多个不同尺度的第二电网特征图进行处理，得到多个不同尺度的第三电网特征图；
通过所述第二Bneck模块层中与各尺度对应的第二Bneck模块对所述多个不同尺度的第三电网特征图分别进行处理；得到多个不同尺度的第四电网特征图；
通过所述第一PAN层对所述多个不同尺度的第四电网特征图进行处理，得到多个不同尺度的第五电网特征图；
通过所述第一预测网络层对所述多个不同尺度的第五电网特征图进行处理，得到所述待测电网图片对应的目标区域。
在上述第一方面的其中一个实施例中，所述对所述目标区域进行缺陷识别，得到缺陷检测结果包括：
通过所述电网场景对应的缺陷识别模型对所述待测电网图片对应的目标区域进行处理，得到缺陷检测结果。
在上述第一方面的其中一个实施例中，所述电网场景对应的缺陷识别模型为第二改进的YOLOv4模型；所述第二改进的YOLOv4模型包括：第二主干网络层、第三Bneck模块层、第二FPN层、第四Bneck模块层、第二PAN层以及第二预测网络层；
所述通过所述电网场景对应的缺陷识别模型对所述待测电网图片对应的目标区域进行处理，得到缺陷检测结果包括：
通过第二主干网络层对所述目标区域进行处理，得到多个不同尺度的第一区域特征图；
通过所述第三Bneck模块层中与各尺度对应的第三Bneck模块对所述多个不同尺度的第一区域特征图进行处理，得到多个不同尺度的第二区域特征图；
通过所述第二FPN层对所述多个不同尺度的第二区域特征图进行处理，得到多个不同尺度的第三区域特征图；
通过所述第四Bneck模块层中与各尺度对应的第四Bneck模块对所述多个不同尺度的第三区域特征图分别进行处理，得到多个不同尺度的第四区域特征图；
通过所述第二PAN层对所述多个不同尺度的第四区域特征图进行处理，得到多个不同尺度的第五区域特征图；
通过所述第二预测网络层对所述多个不同尺度的第五区域特征图进行处理，得到缺陷检测结果。
在上述第一方面的其中一个实施例中，在所述获取待测电网图片之后，所述对所述待测电网图片进行场景识别之前，还包括：对所述待测电网图片进行预处理。
第二方面，本申请的实施例提供一种基于视觉上下文约束学习的电网缺陷检测装置，包括：
获取模块，用于获取待测电网图片；
场景识别模块，用于对所述待测电网图片进行场景识别，得到电网场景；其中，所述电网场景表征所述待测电网图片中输电线路所处的位置；
缺陷检测模块，用于根据所述电网场景对所述待测电网图片进行缺陷识别，得到缺陷检测结果。
第三方面，本申请的实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所提供的任意一个实施例的电网缺陷检测方法。
第四方面，本申请的实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所提供的任意一个实施例的电网缺陷检测方法。
可以理解，上述提供的第二方面所述的电网缺陷检测装置、第三方面所述的计算机设备以及第四方面所述的计算机可读存储介质所能达到的有益效果，可以参考上述如第一方面所述的电网缺陷检测方法及其中任意一种实施例中的有益效果，在此不予赘述。
附图说明
为了更清楚地说明本申请实施例或传统技术中的技术方案，下面将对实施例或传统技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中电网缺陷检测方法的流程示意图；
图2为一个实施例中MobileNetv3算法的网络结构图；
图3为一个实施例中Bneck模块的结构图；
图4为一个实施例中改进YOLOv4模型的结构图。
具体实施方式
为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的实施例。但是，本申请可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使本申请的公开内容更加透彻全面。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。
可以理解，本申请所使用的术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。此外，在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在此使用时，单数形式的“一”、“一个”和“/该”也可以包括复数形式，除非上下文清楚指出另外的方式。还应当理解的是，术语“包括/包含”或“具有”等指定所陈述的特征、整体、步骤、操作、组件、部分或它们的组合的存在，但是不排除存在或添加一个或更多个其他特征、整体、步骤、操作、组件、部分或它们的组合的可能性。
正如背景技术，现有技术中的电网缺陷检测有识别不准确的问题，经发明人研究发现，出现这种问题的原因在于没有考虑到电网缺陷与场景类别、设备部件存在很大的空间依存关系，比如藤曼缠绕缺陷存在塔基图片中、工程车辆隐患存在通道图片中，玻璃绝缘子自爆存在局部图中的绝缘子串上，开口销缺失存在局部图中的金具连接处上等。目前的电网缺陷识别方法没有充分挖掘缺陷与场景和设备部件的依存关系，导致实际应用中存在大量误检。在实际的目标检测中，由于无法避免非同类缺陷之间的外观相似性的干扰，无法克服同类缺陷由于视角、自身形变、遮挡以及所处上下文环境的变化导致的类内差异，以及缺陷本身含有信息量太少，导致无法准确描述缺陷等原因，使得缺陷检测的准确性受到影响。
现有的电网缺陷识别方法在缺陷识别之前，是对每张图片直接进行所有缺陷的识别，导致缺陷识别效率较低。无人机巡检图片中主要包含通道图、塔基图、全景杆塔图、局部细节图四大类别，藤曼缠绕只存在塔基图片中，没必要在通道图、全景杆塔图、局部细节图中进行藤曼缠绕缺陷的识别，这样不仅增加了巡检图片缺陷识别的时间，而且会增加误检的情况。
基于以上原因，本发明提供了一种基于视觉上下文约束学习的电网缺陷检测方法，通过利用缺陷跟场景和部件的空间依存关系，为缺陷检测提供有效的约束信息，在避免不合理的检测的同时，使目标与目标之间的区分度更大，从而提升电网缺陷识别与定位准确率。
在一个实施例中，如图1所示，提供了一种基于视觉上下文约束学习的电网缺陷检测方法，该方法包括步骤S100至步骤S300。
步骤S100，获取待测电网图片。
其中，待测电网图片指的是无人机在对电网系统的输电线路进行巡检的过程中拍摄到的图片。无人机在巡检过程中拍摄大量的电网图片，电网图片中可能具有电网缺陷，也可能不具有电网缺陷，电网缺陷指的是电网输电线路的缺陷，通过对这些电网图片进行缺陷检测以确定对应的电网的输电线路是否存在缺陷。
步骤S200，对待测电网图片进行场景识别，得到电网场景；其中，电网场景表征待测电网图片中输电线路所处的位置。
其中，电网场景表征的是待测电网图片中待测输电线路所处的位置，例如电网场景包括但不限于塔基、杆塔、通道以及设备部件。而电网系统的不同位置出现的输电线路的缺陷类型不相同，例如：若电网场景为塔基，则该塔基通常会出现藤蔓缠绕、积水等缺陷；若电网场景为杆塔，则杆塔通常会出现杆塔倾斜、杆塔断裂等缺陷。由于不同场景的缺陷的外观可能会比较相似，若直接对获取的待测电网图片进行缺陷检测，缺陷检测结果的准确性可能会受到影响，因此先确定待测电网图片中的电网场景，将缺陷检测的范围缩小，再对该电网场景的缺陷进行识别。场景识别的方式可以采用场景识别模型进行识别，例如可以采用MobileNetv3算法、ResNet算法等。
在一个实施例中，采用MobileNetv3算法对待测电网图片进行场景识别。MobileNetv3算法具有识别速度快、准确率高的特点，MobileNetv3算法的网络结构如图2所示，该网络结构包括11个Bneck层，1个标准的卷积层（Conv），3个逐点卷积层（PW），1个池化层（Pool）。其中BN表示批规范化（Batch Norm），RE表示relu激活函数，HS表示h-swish激活函数。
步骤S300，根据电网场景对待测电网图片进行缺陷识别，得到缺陷检测结果。
其中，确定待测电网图片中的电网场景之后，可以针对性的只检测该场景下的缺陷，即缩小了需要识别的缺陷类型范围。缺陷识别的方式可以是通过对待测电网图片直接进行缺陷识别，也可以是首先在待测电网图片中找到确定的电网场景的图像大小范围，将图像识别范围缩小，再在具有电网场景的小范围图像中识别电网缺陷。缺陷检测结果可以是缺陷类型或者是无缺陷，若待测电网图片中不存在缺陷，则缺陷检测结果应该是无缺陷，若待测电网图片中存在缺陷，则缺陷检测结果为缺陷类型。
上述实施例中，通过获取待测电网图片；对待测电网图片进行场景识别，得到电网场景；其中，电网场景为待测电网图片中输电线路所处的位置；根据电网场景对待测电网图片进行缺陷识别，得到缺陷检测结果。本发明利用缺陷与场景之间的依存关系，为缺陷检测提供有效的约束信息，在避免不合理的检测的同时，使不同场景的缺陷的区分度更大，从而提高电网缺陷识别的准确率。
在一个实施例中，步骤S300具体包括：
S310、根据电网场景提取待测电网图片的目标区域；
S320、对目标区域进行缺陷识别，得到缺陷检测结果。
具体地，通常拍摄到的待测电网图片中存在场景区域以及背景区域，电网缺陷位于待测电网图片中的场景区域内，例如藤蔓缠绕缺陷位于具有塔基的图片中的塔基上，工程车辆缺陷位于具有通道的图片中的导线的下方，开口销缺失缺陷位于设备部件中金具的连接处，塔杆倾斜缺陷位于全景杆塔图中的杆塔上。可以利用这些缺陷与场景的依存关系，根据确定的电网场景从待测电网图片中提取包含电网场景的目标区域，进一步把缺陷识别的范围从整个图片缩小到图片中的某个目标区域，该目标区域包含的场景为缺陷依附的场景，再对该目标区域进行缺陷识别，通过前期的场景识别以及目标区域提取这些视觉上下文约束，进一步缩小了缺陷的识别范围，提高了缺陷的定位准确性，从而进一步提高了缺陷识别准确性。
在一个实施例中，步骤S310具体包括：
S311、通过电网场景对应的区域提取模型对待测电网图片进行处理，得到待测电网图片对应的目标区域。
具体地，不同的电网场景对应不同的区域提取模型，不同的区域提取模型用于提取对应的场景区域，也就是目标区域，例如，塔基对应塔基区域提取模型，塔基区域提取模型是用于提取塔基区域，全景杆塔对应杆塔区域提取模型，杆塔区域提取模型用于提取杆塔区域，通道对应通道区域提取模型，通道区域提取模型用于提取通道区域，设备部件对应设备部件区域提取模型，设备部件区域提取模型用于提取设备部件区域。经过步骤S200处理后，确定待测电网图片中的电网场景后，判断电网场景的类型，将待测电网图片输入对应的区域提取模型中，从而提取出目标区域。
在一个实施例中，电网场景对应的区域提取模型为第一改进的YOLOv4模型；第一改进的YOLOv4模型包括：第一主干网络层、第一Bneck模块层、第一FPN层、第二Bneck模块层、第一PAN层以及第一预测网络层；步骤S311具体包括：通过第一主干网络层对待测电网图片进行处理，得到多个不同尺度的第一电网特征图；通过第一Bneck模块层中与各尺度对应的第一Bneck模块对多个不同尺度的第一电网特征图分别进行处理，得到多个不同尺度的第二电网特征图；通过第一FPN层对多个不同尺度的第二电网特征图进行处理，得到多个不同尺度的第三电网特征图；通过第二Bneck模块层中与各尺度对应的第二Bneck模块对多个不同尺度的第三电网特征图分别进行处理；得到多个不同尺度的第四电网特征图；通过第一PAN层对多个不同尺度的第四电网特征图进行处理，得到多个不同尺度的第五电网特征图；通过第一预测网络层对多个不同尺度的第五电网特征图进行处理，得到待测电网图片对应的目标区域。
具体地，本实施例采用的区域提取模型的结构是从YOLOv4模型的基础上改进而来，具体是将MobileNetv3模型的Bneck模块嵌入到YOLOv4模型中的FPN层的操作前后，形成改进的YOLOv4模型，改进的YOLOv4模型的结构如图4所示。采用相关训练数据对改进的YOLOv4模型进行训练后得到第一改进的YOLOv4模型。
Bneck模块结构如图3所示，该模块是一个全局-局部上下文信息融合模块。图中PWConv为逐点卷积，也就是卷积核为1*1的卷积，第一个PWConv起到通道升维的作用，第二个PWConv起到通道降维的作用，C=C1*6，这与ResNet中的残差结构先降维后升维的操作正好相反。DW Conv表示深度卷积，深度卷积中一个卷积核只有一维，负责一个通道，一个通道只被一个卷积核卷积。DW Conv操作之后是一个聚合激励模块（SE block），SE block依次包括Global Pooling（全局池化层）、FC（全连接层）、Relu激活函数、FC（全连接层）以及H-swish激活函数，利用Global Pooling提取六个特征通道之间的全局信息，然后再把这个全局信息进行激励反馈到特征图的各个通道上。通过这样一个机制自动提取每个特征通道的重要性，根据这个重要程度分配给各个特征通道不同的权重，可以增强有用的特征通道同时抑制冗余的特征通道，从而显式地建模特征通道之间的相互依赖性来自适应地重新校准特征通道的响应。SERadio（缩放参数）为0.25，Scale操作就是把DW Conv输出的特征图每个通道与对应的权重值相乘。Add操作是把原始特征图与通道融合激励后的特征图进行对位相加（element-wise addition），最终生成融合了全局-局部上下文信息的特征图。
采用相关训练数据对改进的YOLOv4模型进行训练后得到第一改进的YOLOv4模型。以图4的改进的YOLOv4模型结构对第一改进的YOLOv4模型的结构以及图片处理流程进行说明。第一改进的YOLOv4模型依次包括：第一主干网络层、第一Bneck模块层、第一FPN层、第二Bneck模块层、第一PAN层以及第一预测网络层。FPN指的是特征金字塔网络，PAN指的是路径聚合网络。第一主干网络层可以采用例如MobileNetv3算法。待测电网图片经过第一主干网络层生成多个不同尺度的第一电网特征图，例如，生成三个尺寸大小分别为76×76、38×38、19×19的第一电网特征图。第一Bneck模块层中包括多个第一Bneck模块，每一个第一Bneck模块处理对应尺度的第一电网特征图，得到多个不同尺度的第二电网特征图。例如，第一Bneck模块层中包括三个Bneck模块，第一个Bneck模块对76×76的第一电网特征图进行处理，第二个Bneck模块对38×38的第一电网特征图进行处理，第三个Bneck模块对19×19的第一电网特征图进行处理。第一FPN层是将多个不同尺度的第二电网特征图中高尺度的电网特征图经过上采样后与低尺度的电网特征图进行合并，得到多个不同尺度的第三电网特征图。第二Bneck模块层中包括多个第二Bneck模块，每一个第二Bneck模块处理对应尺度的第三电网特征图，得到多个不同尺度的第四电网特征图。第一PAN层是一个自底向上的特征金字塔，其中包括两个第一PAN，第一PAN对两个宽高一样的第四电网特征图采用concat操作进行通道维度的拼接后，得到多个不同尺度的第五电网特征图。concat操作就是将两个以上的特征图在通道维度上拼接。多个不同尺度的第五电网特征图经过第一预测网络层处理后，得到待测电网图片对应的目标区域。例如，第一预测网络层预测输出三个尺寸大小分别为76×76、38×38、19×19的特征图，分别对应最小、中等、最大的anchor_box，特征图的通道维度为num_classes+5，根据这三个特征图，输出最终的目标区域。由于嵌入了Bneck模块，使得每一个尺度的特征图都有选择性地进行特征通道筛选和过滤，引入上下文信息，在增强有益的特征通道的同时抑制冗余的特征通道，使有待检测的目标信息得到一个聚焦，提了待测电网图片中目标区域的提取准确率和定位准确率。
在一个实施例中，步骤S320具体包括：
S321、通过电网场景对应的缺陷识别模型对待测电网图片对应的目标区域进行处理，得到缺陷检测结果。
具体地，不同的电网场景对应不同的缺陷识别模型，不同的缺陷识别模型能识别出的缺陷不相同。例如，塔基对应塔基类缺陷识别模型，塔基类缺陷识别模型用于对塔基区域的缺陷进行识别，塔基区域的缺陷包括藤曼缠绕、基础积水、堆积杂物等缺陷；全景杆塔对应杆塔缺陷识别模型，杆塔缺陷识别模型用于对杆塔区域的缺陷进行识别，杆塔区域的缺陷包括杆塔倾斜、塔材断裂等缺陷；通道对应通道类缺陷识别模型，通道类缺陷识别模型用于对通道区域的缺陷进行识别，通道区域的缺陷包括断股、散股、导线异物、工程车辆等缺陷；设备部件对应部件类缺陷识别模型，部件类缺陷识别模型用于识别设备部件区域的缺陷，设备部件区域的缺陷包括开口销缺失、玻璃绝缘子自爆、防震锤破损等缺陷。将待测电网图片的目标区域提取出后，将目标区域输入对应的缺陷识别模型中，例如，塔基区域提取模型提取的是塔基区域，则将塔基区域输入至塔基类缺陷识别模型中。通过对应的缺陷识别模型得到准确的缺陷识别结果。
在一个实施例中，电网场景对应的缺陷识别模型为第二改进的YOLOv4模型；第二改进的YOLOv4模型包括：第二主干网络层、第三Bneck模块层、第二FPN层、第四Bneck模块层、第二PAN层以及第二预测网络层；步骤S321具体包括：通过第二主干网络层对目标区域进行处理，得到多个不同尺度的第一区域特征图；通过第三Bneck模块层中与各尺度对应的第三Bneck模块对多个不同尺度的第一区域特征图进行处理，得到多个不同尺度的第二区域特征图；通过第二FPN层对多个不同尺度的第二区域特征图进行处理，得到多个不同尺度的第三区域特征图；通过第四Bneck模块层中与各尺度对应的第四Bneck模块对多个不同尺度的第三区域特征图分别进行处理，得到多个不同尺度的第四区域特征图；通过第二PAN层对多个不同尺度的第四区域特征图进行处理，得到多个不同尺度的第五区域特征图；通过第二预测网络层对多个不同尺度的第五区域特征图进行处理，得到缺陷检测结果。
具体地，本实施例采用的缺陷识别模型的结构与上述实施例中的区域提取模型的结构相同，均是从YOLOv4模型的基础上改进而来，形成改进的YOLOv4模型，并采用相关训练数据对改进的YOLOv4模型进行训练后得到第二改进的YOLOv4模型。
以图4的改进的YOLOv4模型结构对第二改进的YOLOv4模型的结构以及图片处理流程进行说明。第二改进的YOLOv4模型依次包括：第二主干网络层、第二Bneck模块层、第二FPN层、第三Bneck模块层、第二PAN层以及第二预测网络层。其中，第二主干网络层可以采用例如MobileNetv3算法。目标区域经过第二主干网络层生成多个不同尺度的第一区域特征图。第三Bneck模块层中包括多个第三Bneck模块，每一个第三Bneck模块处理对应尺度的第一区域特征图，得到多个不同尺度的第二区域特征图。第二FPN层是将多个不同尺度的第二区域特征图中高尺度的区域特征图经过上采样后与低尺度的区域特征图进行合并，得到多个不同尺度的第三区域特征图。第四Bneck模块层中包括多个第四Bneck模块，每一个第四Bneck模块处理对应尺度的第三区域特征图，得到多个不同尺度的第四区域特征图。第二PAN层是一个自底向上的特征金字塔，其中包括两个第二PAN，第二PAN对两个宽高一样的第四区域特征图采用concat函数进行通道维度的拼接后，得到多个不同尺度的第五区域特征图，多个不同尺度的第五区域特征图经过第二预测网络层处理后，预测得到待测电网图片对应的目标区域。由于嵌入了Bneck模块，使得每一个尺度的特征图都有选择性地进行特征通道筛选和过滤，引入上下文信息，在增强有益的特征通道的同时抑制冗余的特征通道，使有待检测的目标信息得到一个聚焦，提高了目标区域中缺陷的识别准确率和定位准确率。
在一个实施例中，在步骤S100之后，步骤S200之前，还包括步骤：对待测电网图片进行预处理。
具体地，无人机巡检获取的待测电网图像可能由于采光或环境等影响，图像可能会不清晰，在进行图片识别之前，需要对待测电网图片进行预处理，提高待测电网图片的清晰度。在一个实施例中，预处理过程包括但不限于亮度调节、去噪等处理。例如在识别开口销缺失等小目标缺陷时对于较暗的图片进行光照增强。
在一个实施例中，在模型的训练阶段，对无人机巡检图片进行预处理，通过亮度调节、随机裁剪、加噪、mosaic（mosaic指的是将四张图片进行随机裁剪，再拼接到一张图上作为训练数据）等数据增强手段，丰富数据的多样性，防止模型过拟合。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，还提供了一种基于视觉上下文约束学习的电网缺陷检测装置，包括：获取模块、场景识别模块以及缺陷检测模块，获取模块用于获取待测电网图片；场景识别模块用于对待测电网图片进行场景识别，得到电网场景，其中，所述电网场景表征所述待测电网图片中输电线路所处的位置；缺陷检测模块用于根据电网场景对待测电网图片进行缺陷识别，得到缺陷检测结果。
在一个实施例中，缺陷检测模块包括：目标区域提取单元以及检测单元，目标区域提取单元用于根据电网场景提取待测电网图片的目标区域；检测单元用于对目标区域进行缺陷识别，得到缺陷检测结果。
在一个实施例中，目标区域提取单元具体用于通过电网场景对应的区域提取模型对待测电网图片进行处理，得到待测电网图片对应的目标区域。
在一个实施例中，检测单元具体用于通过电网场景对应的缺陷识别模型对待测电网图片对应的目标区域进行处理，得到缺陷检测结果。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-Only Memory，ROM）、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic Random Access Memory，DRAM）等。
在本说明书的描述中，参考术语“有些实施例”、“其他实施例”、“理想实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特征包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性描述不一定指的是相同的实施例或示例。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于视觉上下文约束学习的电网缺陷检测方法，其特征在于，包括：
获取待测电网图片；
对所述待测电网图片进行场景识别，得到电网场景；其中，所述电网场景表征所述待测电网图片中输电线路所处的位置；
根据所述电网场景提取所述待测电网图片的目标区域；
对所述目标区域进行缺陷识别，得到缺陷检测结果；
所述根据所述电网场景提取所述待测电网图片的目标区域包括：
通过所述电网场景对应的区域提取模型对所述待测电网图片进行处理，得到所述待测电网图片对应的目标区域；
所述电网场景对应的区域提取模型为第一改进的YOLOv4模型；所述第一改进的YOLOv4模型包括：第一主干网络层、第一Bneck模块层、第一FPN层、第二Bneck模块层、第一PAN层以及第一预测网络层；
所述通过所述电网场景对应的区域提取模型，对所述待测电网图片进行处理，得到所述待测电网图片对应的目标区域包括：
通过所述第一主干网络层对所述待测电网图片进行处理，得到多个不同尺度的第一电网特征图；
通过所述第一Bneck模块层中与各尺度对应的第一Bneck模块对所述多个不同尺度的第一电网特征图分别进行处理，得到多个不同尺度的第二电网特征图；
通过所述第一FPN层对所述多个不同尺度的第二电网特征图进行处理，得到多个不同尺度的第三电网特征图；
通过所述第二Bneck模块层中与各尺度对应的第二Bneck模块对所述多个不同尺度的第三电网特征图分别进行处理；得到多个不同尺度的第四电网特征图；
通过所述第一PAN层对所述多个不同尺度的第四电网特征图进行处理，得到多个不同尺度的第五电网特征图；
通过所述第一预测网络层对所述多个不同尺度的第五电网特征图进行处理，得到所述待测电网图片对应的目标区域。
2.根据权利要求1所述的方法，其特征在于，所述对所述目标区域进行缺陷识别，得到缺陷检测结果包括：
通过所述电网场景对应的缺陷识别模型对所述待测电网图片对应的目标区域进行处理，得到缺陷检测结果。
3.根据权利要求2所述的方法，其特征在于，所述电网场景对应的缺陷识别模型为第二改进的YOLOv4模型；所述第二改进的YOLOv4模型包括：第二主干网络层、第三Bneck模块层、第二FPN层、第四Bneck模块层、第二PAN层以及第二预测网络层；
所述通过所述电网场景对应的缺陷识别模型对所述待测电网图片对应的目标区域进行处理，得到缺陷检测结果包括：
通过第二主干网络层对所述目标区域进行处理，得到多个不同尺度的第一区域特征图；
通过所述第三Bneck模块层中与各尺度对应的第三Bneck模块对所述多个不同尺度的第一区域特征图进行处理，得到多个不同尺度的第二区域特征图；
通过所述第二FPN层对所述多个不同尺度的第二区域特征图进行处理，得到多个不同尺度的第三区域特征图；
通过所述第四Bneck模块层中与各尺度对应的第四Bneck模块对所述多个不同尺度的第三区域特征图分别进行处理，得到多个不同尺度的第四区域特征图；
通过所述第二PAN层对所述多个不同尺度的第四区域特征图进行处理，得到多个不同尺度的第五区域特征图；
通过所述第二预测网络层对所述多个不同尺度的第五区域特征图进行处理，得到缺陷检测结果。
4.根据权利要求1所述的方法，其特征在于，所述第一主干网络层为MobileNetv3算法。
5.根据权利要求1至4任意一项所述的方法，其特征在于，在所述获取待测电网图片之后，所述对所述待测电网图片进行场景识别之前，还包括：
对所述待测电网图片进行预处理。
6.一种基于视觉上下文约束学习的电网缺陷检测装置，其特征在于，包括：
获取模块，用于获取待测电网图片；
场景识别模块，用于对所述待测电网图片进行场景识别，得到电网场景；其中，所述电网场景表征所述待测电网图片中输电线路所处的位置；
缺陷检测模块，用于根据所述电网场景对所述待测电网图片进行缺陷识别，得到缺陷检测结果；
所述缺陷检测模块包括目标区域提取单元以及检测单元；所述目标区域提取单元用于根据所述电网场景提取所述待测电网图片的目标区域；所述检测单元用于对所述目标区域进行缺陷识别，得到缺陷检测结果；
所述目标区域提取单元具体用于通过所述电网场景对应的区域提取模型对所述待测电网图片进行处理，得到所述待测电网图片对应的目标区域；
所述电网场景对应的区域提取模型为第一改进的YOLOv4模型；所述第一改进的YOLOv4模型包括：第一主干网络层、第一Bneck模块层、第一FPN层、第二Bneck模块层、第一PAN层以及第一预测网络层；
所述目标区域提取单元具体用于通过所述第一主干网络层对所述待测电网图片进行处理，得到多个不同尺度的第一电网特征图；通过所述第一Bneck模块层中与各尺度对应的第一Bneck模块对所述多个不同尺度的第一电网特征图分别进行处理，得到多个不同尺度的第二电网特征图；通过所述第一FPN层对所述多个不同尺度的第二电网特征图进行处理，得到多个不同尺度的第三电网特征图；通过所述第二Bneck模块层中与各尺度对应的第二Bneck模块对所述多个不同尺度的第三电网特征图分别进行处理；得到多个不同尺度的第四电网特征图；通过所述第一PAN层对所述多个不同尺度的第四电网特征图进行处理，得到多个不同尺度的第五电网特征图；通过所述第一预测网络层对所述多个不同尺度的第五电网特征图进行处理，得到所述待测电网图片对应的目标区域。
7.根据权利要求6所述的装置，其特征在于，所述检测单元具体用于通过所述电网场景对应的缺陷识别模型对所述待测电网图片对应的目标区域进行处理，得到缺陷检测结果。
8.根据权利要求7所述的装置，其特征在于，所述电网场景对应的缺陷识别模型为第二改进的YOLOv4模型；所述第二改进的YOLOv4模型包括：第二主干网络层、第三Bneck模块层、第二FPN层、第四Bneck模块层、第二PAN层以及第二预测网络层。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210274284.8A CN114359285B (zh) | 2022-03-18 | 2022-03-18 | 基于视觉上下文约束学习的电网缺陷检测方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210274284.8A CN114359285B (zh) | 2022-03-18 | 2022-03-18 | 基于视觉上下文约束学习的电网缺陷检测方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114359285A CN114359285A (zh) | 2022-04-15 |
| CN114359285B true CN114359285B (zh) | 2022-07-29 |
Family
ID=81095215
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210274284.8A Active CN114359285B (zh) | 2022-03-18 | 2022-03-18 | 基于视觉上下文约束学习的电网缺陷检测方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114359285B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116343132B (zh) * | 2023-05-26 | 2023-09-15 | 南方电网数字电网研究院有限公司 | 一种复杂场景电力设备缺陷识别方法、装置和计算机设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110689531A (zh) * | 2019-09-23 | 2020-01-14 | 云南电网有限责任公司电力科学研究院 | 一种基于yolo的输电线路机巡图像缺陷自动识别方法 |
| CN111008961A (zh) * | 2019-11-25 | 2020-04-14 | 深圳供电局有限公司 | 一种输电线路设备缺陷检测方法及其系统、设备、介质 |
| CN111784685A (zh) * | 2020-07-17 | 2020-10-16 | 国网湖南省电力有限公司 | 一种基于云边协同检测的输电线路缺陷图像识别方法 |
| CN113298789A (zh) * | 2021-05-28 | 2021-08-24 | 国网陕西省电力公司电力科学研究院 | 绝缘子缺陷检测方法、系统、电子设备及可读存储介质 |
| CN113658121A (zh) * | 2021-08-09 | 2021-11-16 | 国能榆林能源有限责任公司 | 一种线路缺陷检测方法、系统及计算机存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB0504913D0 (en) * | 2005-03-10 | 2005-04-13 | Eastman Kodak Co | Method and apparatus for digital processing of images |
| WO2018099473A1 (zh) * | 2016-12-02 | 2018-06-07 | 北京市商汤科技开发有限公司 | 场景分析方法和系统、电子设备 |
| CN113989487A (zh) * | 2021-10-20 | 2022-01-28 | 国网山东省电力公司信息通信公司 | 一种面向实景调度的故障缺陷检测方法及系统 |
-
2022
- 2022-03-18 CN CN202210274284.8A patent/CN114359285B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110689531A (zh) * | 2019-09-23 | 2020-01-14 | 云南电网有限责任公司电力科学研究院 | 一种基于yolo的输电线路机巡图像缺陷自动识别方法 |
| CN111008961A (zh) * | 2019-11-25 | 2020-04-14 | 深圳供电局有限公司 | 一种输电线路设备缺陷检测方法及其系统、设备、介质 |
| CN111784685A (zh) * | 2020-07-17 | 2020-10-16 | 国网湖南省电力有限公司 | 一种基于云边协同检测的输电线路缺陷图像识别方法 |
| CN113298789A (zh) * | 2021-05-28 | 2021-08-24 | 国网陕西省电力公司电力科学研究院 | 绝缘子缺陷检测方法、系统、电子设备及可读存储介质 |
| CN113658121A (zh) * | 2021-08-09 | 2021-11-16 | 国能榆林能源有限责任公司 | 一种线路缺陷检测方法、系统及计算机存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 基于YOLO v3的输电线路缺陷快速检测方法;周仿荣等;《云南电力技术》;20200815(第04期);第112-116、120页 * |
| 深度学习在输电线路中部件识别与缺陷检测的研究;汤踊等;《电子测量技术》;20180323(第06期);第60-65页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114359285A (zh) | 2022-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111325713B (zh) | 基于神经网络的木材缺陷检测方法、系统及存储介质 | |
| CN110402487B (zh) | 对从晶片检测的缺陷进行分类的方法和装置 | |
| CN111797890A (zh) | 一种用于检测输电线路设备缺陷的方法及系统 | |
| CN109902018B (zh) | 一种智能驾驶系统测试案例的获取方法 | |
| CN114743119B (zh) | 基于无人机的高铁接触网吊弦螺母缺陷检测方法 | |
| CN111242026B (zh) | 一种基于空间层次感知模块和度量学习的遥感图像目标检测方法 | |
| CN114359285B (zh) | 基于视觉上下文约束学习的电网缺陷检测方法和装置 | |
| CN115797314B (zh) | 零件表面缺陷检测方法、系统、设备及存储介质 | |
| CN112734739A (zh) | 一种基于注意力机制与ResNet融合的建筑裂缝可视化识别方法 | |
| CN114821282A (zh) | 一种基于域对抗神经网络的图像检测模型及方法 | |
| CN115631132A (zh) | 网络训练方法、缺陷检测方法、装置、存储介质和设备 | |
| CN116363532A (zh) | 基于注意力机制和重参数化的无人机图像交通目标检测方法 | |
| CN117456198A (zh) | 一种基于改进的Yolov5神经网络的输电线路故障检测方法 | |
| CN116630263A (zh) | 基于深度神经网络的焊缝x射线图像缺陷检测与识别方法 | |
| CN110334775B (zh) | 一种基于宽度学习的无人机线路故障识别方法和装置 | |
| CN116363136B (zh) | 一种机动车部件自动化生产在线筛选方法及系统 | |
| CN116311104B (zh) | 一种车辆改装识别模型的训练方法、装置、设备及介质 | |
| CN114596244A (zh) | 基于视觉处理和多特征融合的红外图像识别方法及系统 | |
| CN114863187B (zh) | 一种岩屑类型识别方法、装置、电子设备及存储介质 | |
| CN113902739B (zh) | Nut线夹缺陷识别方法、装置及设备、可读存储介质 | |
| CN107886049B (zh) | 一种基于摄像探头的能见度识别预警方法 | |
| CN115526855A (zh) | 电池片隐裂缺陷检测方法、装置、计算机设备和存储介质 | |
| CN115511821A (zh) | 管道缺陷识别方法、装置、电子设备及存储介质 | |
| CN114757941A (zh) | 变电站设备缺陷的识别方法、装置、电子设备及存储介质 | |
| CN114842192A (zh) | 一种航空发动机叶片损伤识别模型、损伤识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: Room 86, room 406, No.1, Yichuang street, Zhongxin Guangzhou Knowledge City, Huangpu District, Guangzhou City, Guangdong Province Patentee after: Southern Power Grid Digital Grid Research Institute Co.,Ltd. Country or region after: China Address before: Room 86, room 406, No.1, Yichuang street, Zhongxin Guangzhou Knowledge City, Huangpu District, Guangzhou City, Guangdong Province Patentee before: Southern Power Grid Digital Grid Research Institute Co.,Ltd. Country or region before: China |