CN116343132B - 一种复杂场景电力设备缺陷识别方法、装置和计算机设备 - Google Patents
一种复杂场景电力设备缺陷识别方法、装置和计算机设备 Download PDFInfo
- Publication number
- CN116343132B CN116343132B CN202310601996.0A CN202310601996A CN116343132B CN 116343132 B CN116343132 B CN 116343132B CN 202310601996 A CN202310601996 A CN 202310601996A CN 116343132 B CN116343132 B CN 116343132B
- Authority
- CN
- China
- Prior art keywords
- model
- power grid
- trunk
- defect
- neck
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 416
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000007689 inspection Methods 0.000 claims abstract description 220
- 238000005728 strengthening Methods 0.000 claims abstract description 79
- 238000000605 extraction Methods 0.000 claims abstract description 50
- 238000012216 screening Methods 0.000 claims abstract description 39
- 230000002787 reinforcement Effects 0.000 claims description 51
- 238000012549 training Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 20
- 239000013598 vector Substances 0.000 claims description 9
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000012876 topography Methods 0.000 description 5
- 238000013145 classification model Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000012212 insulator Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 235000005770 birds nest Nutrition 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 235000005765 wild carrot Nutrition 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本申请涉及一种复杂场景电力设备缺陷识别方法、装置和计算机设备。所述方法包括：将电网巡检图像，输入场景特征提取模型中，得到所述电网巡检图像的场景特征；根据所述场景特征，对缺陷识别主干模型图谱进行筛选，得到所述电网巡检图像对应的目标主干模型；将所述场景特征和所述电网巡检图像，输入所述目标主干模型中，得到所述电网巡检图像的主干特征；将所述主干特征，输入缺陷识别颈部模型中，得到所述电网巡检图像的目标强化特征；将所述目标强化特征，输入缺陷识别头部模型中，得到所述电网巡检图像的缺陷识别结果。采用本方法能够提高复杂场景中电力设备的缺陷识别准确率。
Description
技术领域
本申请涉及电力巡检技术领域，特别是涉及一种复杂场景电力设备缺陷识别方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
在电力巡检技术领域中，主要是针对绝缘子、架空线路、防震锤和间隔棒等电力设备进行故障识别和安全盘查，例如识别杆塔鸟巢、绝缘子破损和输电线路覆冰等异常情况，以确保电力设备的正常运行。
传统技术中，常通过人工对目标场景中电力设备进行逐个巡检，但人工巡检的方式效率较低。随着无人机技术的发展，还可以通过无人机对目标场景中的电力设备进行巡检，虽然利用无人机巡检电力设备的方法效率较高，但是无人机无法独立识别目标场景中电力设备的异常情况和设备缺陷，需要额外的缺陷识别方法配合使用。电力设备的部署环境地貌复杂，为电力设备缺陷识别方法带来了挑战。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高复杂场景中电力设备的缺陷识别准确率的一种复杂场景电力设备缺陷识别方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种复杂场景电力设备缺陷识别方法。所述方法包括：
将电网巡检图像，输入场景特征提取模型中，得到所述电网巡检图像的场景特征；
根据所述场景特征，对缺陷识别主干模型图谱进行筛选，得到所述电网巡检图像对应的目标主干模型；
将所述场景特征和所述电网巡检图像，输入所述目标主干模型中，得到所述电网巡检图像的主干特征；
将所述主干特征，输入缺陷识别颈部模型中，得到所述电网巡检图像的目标强化特征；
将所述目标强化特征，输入缺陷识别头部模型中，得到所述电网巡检图像的缺陷识别结果。
在其中一个实施例中，根据所述场景特征，对缺陷识别主干模型图谱进行筛选，得到所述电网巡检图像对应的目标主干模型，包括：
确定所述场景特征对应的主干模型索引；
根据所述主干模型索引，从所述缺陷识别主干模型图谱中筛选出所述目标主干模型；所述缺陷识别主干模型图谱中包含有多个缺陷识别主干模型；所述多个缺陷识别主干模型分别与不同的主干模型索引关联。
在其中一个实施例中，确定所述场景特征对应的主干模型索引，包括：
根据所述场景特征，对所述电网巡检图像进行图像分类处理，得到所述电网巡检图像对应的电网场景；
将所述电网场景对应的主干模型索引，作为所述场景特征对应的主干模型索引。
在其中一个实施例中，在将所述主干特征，输入缺陷识别颈部模型中，得到所述电网巡检图像的目标强化特征之前，还包括：
获取缺陷识别颈部模型图谱；所述缺陷识别颈部模型图谱中包含有多个缺陷识别颈部模型；
从所述缺陷识别颈部模型图谱中，筛选出至少两个缺陷识别颈部模型；所述至少两个缺陷识别颈部模型至少包括第一目标颈部模型和第二目标颈部模型。
在其中一个实施例中，将所述主干特征，输入缺陷识别颈部模型中，得到所述电网巡检图像的目标强化特征，包括：
将所述主干特征，输入所述第一目标颈部模型中，得到所述主干特征的第一强化特征；
将所述主干特征和所述第一强化特征，输入所述第二目标颈部模型中，得到所述主干特征的第二强化特征；
将所述第二强化特征作为所述电网巡检图像的目标强化特征。
在其中一个实施例中，将所述目标强化特征，输入缺陷识别头部模型中，得到所述电网巡检图像的缺陷识别结果，包括：
将所述目标强化特征，输入缺陷识别头部模型中，得到所述电网巡检图像中的候选缺陷，以及所述候选缺陷的检测框坐标、所述候选缺陷的类型和所述候选缺陷的置信度；
根据所述候选缺陷的置信度，确定所述电网巡检图像的缺陷识别结果。
在其中一个实施例中，在根据所述场景特征，对缺陷识别主干模型图谱进行筛选，得到所述电网巡检图像对应的目标主干模型之前，还包括：
获取不同电网场景的电网巡检图像；
根据所述不同电网场景的电网巡检图像，对待训练的缺陷识别主干模型进行训练，得到不同电网场景对应的缺陷识别主干模型；
生成所述不同电网场景对应的主干模型索引，并建立所述主干模型索引与所述缺陷识别主干模型之间的关联关系；
根据不同电网场景对应的缺陷识别主干模型，对初始缺陷识别主干模型图谱进行更新，得到所述缺陷识别主干模型图谱。
第二方面，本申请还提供了一种复杂场景架空线路缺陷识别装置。所述装置包括：
场景特征提取模块，用于将电网巡检图像，输入场景特征提取模型中，得到所述电网巡检图像的场景特征；
主干模型筛选模块，用于根据所述场景特征，对缺陷识别主干模型图谱进行筛选，得到所述电网巡检图像对应的目标主干模型；
主干特征提取模块，用于将所述场景特征和所述电网巡检图像，输入所述目标主干模型中，得到所述电网巡检图像的主干特征；
强化特征提取模块，用于将所述主干特征，输入缺陷识别颈部模型中，得到所述电网巡检图像的目标强化特征；
场景缺陷识别模块，用于将所述目标强化特征，输入缺陷识别头部模型中，得到所述电网巡检图像的缺陷识别结果。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
将电网巡检图像，输入场景特征提取模型中，得到所述电网巡检图像的场景特征；
根据所述场景特征，对缺陷识别主干模型图谱进行筛选，得到所述电网巡检图像对应的目标主干模型；
将所述场景特征和所述电网巡检图像，输入所述目标主干模型中，得到所述电网巡检图像的主干特征；
将所述主干特征，输入缺陷识别颈部模型中，得到所述电网巡检图像的目标强化特征；
将所述目标强化特征，输入缺陷识别头部模型中，得到所述电网巡检图像的缺陷识别结果。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
将电网巡检图像，输入场景特征提取模型中，得到所述电网巡检图像的场景特征；
根据所述场景特征，对缺陷识别主干模型图谱进行筛选，得到所述电网巡检图像对应的目标主干模型；
将所述场景特征和所述电网巡检图像，输入所述目标主干模型中，得到所述电网巡检图像的主干特征；
将所述主干特征，输入缺陷识别颈部模型中，得到所述电网巡检图像的目标强化特征；
将所述目标强化特征，输入缺陷识别头部模型中，得到所述电网巡检图像的缺陷识别结果。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
将电网巡检图像，输入场景特征提取模型中，得到所述电网巡检图像的场景特征；
根据所述场景特征，对缺陷识别主干模型图谱进行筛选，得到所述电网巡检图像对应的目标主干模型；
将所述场景特征和所述电网巡检图像，输入所述目标主干模型中，得到所述电网巡检图像的主干特征；
将所述主干特征，输入缺陷识别颈部模型中，得到所述电网巡检图像的目标强化特征；
将所述目标强化特征，输入缺陷识别头部模型中，得到所述电网巡检图像的缺陷识别结果。
上述复杂场景电力设备缺陷识别方法、装置、计算机设备、存储介质和计算机程序产品，将电网巡检图像，输入场景特征提取模型中，得到电网巡检图像的场景特征；根据场景特征，对缺陷识别主干模型图谱进行筛选，得到电网巡检图像对应的目标主干模型；将场景特征和电网巡检图像，输入目标主干模型中，得到电网巡检图像的主干特征；将主干特征，输入缺陷识别颈部模型中，得到电网巡检图像的目标强化特征；将目标强化特征，输入缺陷识别头部模型中，得到电网巡检图像的缺陷识别结果。采用本方法，能够通过场景特征提取模型自动识别出电网巡检图像的场景特征，从而通过与场景特征相对应的目标主干模型来提取出主干特征，实现了不同地区的电网巡检图像的自动识别，解决了不同场景的电力设备缺陷存在差异性的问题，提高了不同场景的电力设备缺陷识别的效率；此外，还通过主干特征的目标强化特征来得到缺陷识别结果，能够不断强化复杂地貌的电网巡检图像的特征信息，提高了复杂场景中电力设备的缺陷识别准确率。
附图说明
图1为一个实施例中复杂场景电力设备缺陷识别方法的应用环境图；
图2为一个实施例中复杂场景电力设备缺陷识别方法的流程示意图；
图3为一个实施例中复杂场景电力设备缺陷识别方法的原理示意图；
图4为一个实施例中得到电网巡检图像的目标强化特征步骤的流程示意图；
图5为另一个实施例中复杂场景电力设备缺陷识别方法的流程示意图；
图6为一个实施例中复杂场景电力设备缺陷识别装置的结构框图；
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的复杂场景电力设备缺陷识别方法，可以应用于如图1所示的应用环境中。其中，图像采集设备101通过网络与服务器102进行通信。数据存储系统可以存储服务器102需要处理的数据。数据存储系统可以集成在服务器102上，也可以放在云上或其他网络服务器上。图像采集设备101采集电网场景中的电网巡检图像，并将电网巡检图像发送至服务器102。服务器102将电网巡检图像，输入场景特征提取模型中，得到电网巡检图像的场景特征；根据场景特征，对缺陷识别主干模型图谱进行筛选，得到电网巡检图像对应的目标主干模型；将场景特征和电网巡检图像，输入目标主干模型中，得到电网巡检图像的主干特征；将主干特征，输入缺陷识别颈部模型中，得到电网巡检图像的目标强化特征；将目标强化特征，输入缺陷识别头部模型中，得到电网巡检图像的缺陷识别结果。其中，图像采集设备101是指携带拍摄图像功能的设备。图像采集设备101可以但不限于是无人机、监拍摄像头等。服务器102可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种复杂场景电力设备缺陷识别方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
步骤S201，将电网巡检图像，输入场景特征提取模型中，得到电网巡检图像的场景特征。
其中，电网巡检图像是指图像采集设备针对电网场景中的电力设备采集得到的图像。场景特征提取模型是指用于提取出输入的图像（如电网巡检图像）中的场景特征的模型。场景特征是指描述采集电网巡检图像的电网场景方面的特征信息；如场景特征可以包括地貌特征、植被特征和光照特征等。
具体地，图3为复杂场景电力设备缺陷识别方法的原理示意图，如图3所示，图像采集设备采集多个电网场景中的电网巡检图像，并通过网络将采集到的电网巡检图像发送至服务器。服务器将接收到的电网巡检图像输入至场景特征提取模型，通过场景特征提取模型从电网巡检图像中提取出场景特征。
步骤S202，根据场景特征，对缺陷识别主干模型图谱进行筛选，得到电网巡检图像对应的目标主干模型。
其中，缺陷识别主干模型图谱是指存储有多个缺陷识别主干模型的知识图谱。目标主干模型是指与电网巡检图像所属的电网场景相匹配的缺陷识别主干网络。
具体地，服务器可以通过场景特征确定出电网巡检图像所属的电网场景，进而从缺陷识别主干模型图谱中筛选出其所属的电网场景对应的目标主干模型。
进一步地，服务器还可以根据场景特征中的地貌特征（如城市、山丘和树林等）、图像采集设备反馈的采集电网巡检图像的海拔高度、以及图像采集设备的设备类型，对电网巡检图像进行图像分类，则服务器得到电网巡检图像对应的电网场景，进而从缺陷识别主干模型图谱中筛选出该电网场景对应的目标主干模型。
另外，服务器也可以从图像采集设备中得到采集电网巡检图像时的经纬度、海拔高度、采集时间和采集类型等图像采集信息，根据图像采集信息对电网巡检图像进行图像分类，则服务器得到电网巡检图像对应的电网场景，进而从缺陷识别主干模型图谱中筛选出该电网场景对应的目标主干模型。
步骤S203，将场景特征和电网巡检图像，输入目标主干模型中，得到电网巡检图像的主干特征。
其中，主干特征是指电网巡检图像中的基础通用特征；比如主干特征可以包括电力设备的颜色特征、设备坐标位置和形状特征等。
具体地，服务器在确定目标主干模型之后，可以先对场景特征再次进行特征提取处理，得到场景特征向量；然后将场景特征向量和电网巡检图像共同输入至目标主干模型，通过目标主干模型识别出电网巡检图像的主干特征。
步骤S204，将主干特征，输入缺陷识别颈部模型中，得到电网巡检图像的目标强化特征。
其中，目标强化特征是指从电网巡检图像中挖掘出的更深层次的特征信息。可以理解的是，主干特征描述的是电网巡检图像中电力设备的浅层次特征，如颜色特征、形状特征，而目标强化特征描述电网巡检图像中电力设备的更深层次特征，如纹理特征、结构特征。
其中，缺陷识别颈部模型是指用于提取出目标强化特征的网络模型。为提取出电网巡检图像中深层次的目标强化特征，缺陷识别颈部模型的模型结构与缺陷识别主干模型的模型结构不同，缺陷识别主干模型的感受野更宽、特征提取能力更强。
具体地，服务器从缺陷识别颈部模型图谱中筛选出一个或多个缺陷识别颈部模型，然后将主干特征输入至一个或多个缺陷识别颈部模型中，通过（最后一个）缺陷识别颈部模型输出电网巡检图像的目标强化特征。可以理解的是，部分电力设备部署在地貌复杂的电网场景中，如架空线路常部署在人迹罕至的深山中，图像采集设备往往需要从高空中拍摄电网巡检图像，所以电网巡检图像中电力设备的特征可能不太显著，需要通过缺陷识别颈部模型来增强电网巡检图像的特征，从而提高对电网巡检图像的缺陷识别的准确率。
步骤S205，将目标强化特征，输入缺陷识别头部模型中，得到电网巡检图像的缺陷识别结果。
其中，缺陷识别头部模型是指通过目标强化特征进行缺陷识别的模型。缺陷识别结果用于指示电网巡检图像中电力设备在设备缺陷方面的信息。
具体地，服务器将目标强化特征输入至缺陷识别头部模型，通过缺陷识别头部模型对目标强化特征进行缺陷识别处理，得到电网巡检图像中的候选缺陷和候选缺陷的相关信息。
上述复杂场景电力设备缺陷识别方法中，将电网巡检图像，输入场景特征提取模型中，得到电网巡检图像的场景特征；根据场景特征，对缺陷识别主干模型图谱进行筛选，得到电网巡检图像对应的目标主干模型；将场景特征和电网巡检图像，输入目标主干模型中，得到电网巡检图像的主干特征；将主干特征，输入缺陷识别颈部模型中，得到电网巡检图像的目标强化特征；将目标强化特征，输入缺陷识别头部模型中，得到电网巡检图像的缺陷识别结果。采用本方法，能够通过场景特征提取模型自动识别出电网巡检图像的场景特征，从而通过与场景特征相对应的目标主干模型来提取出主干特征，实现了不同地区的电网巡检图像的自动识别，解决了不同场景的电力设备缺陷存在差异性的问题，提高了不同场景的电力设备缺陷识别的效率；此外，还通过主干特征的目标强化特征来得到缺陷识别结果，能够不断强化复杂地貌的电网巡检图像的特征信息，提高了复杂场景中电力设备的缺陷识别准确率。
在一个实施例中，上述步骤S202，根据场景特征，对缺陷识别主干模型图谱进行筛选，得到电网巡检图像对应的目标主干模型，具体包括如下内容：确定场景特征对应的主干模型索引；根据主干模型索引，从缺陷识别主干模型图谱中筛选出目标主干模型；缺陷识别主干模型图谱中包含有多个缺陷识别主干模型；多个缺陷识别主干模型分别与不同的主干模型索引关联。
其中，主干模型索引用于判断电网巡检图像所属的电网场景，如广东场景、云南场景等。
具体地，由于缺陷识别主干模型图谱中每个缺陷识别主干模型均与主干模型索引相关联，所以服务器可以先获取场景特征对应的主干模型索引，然后从缺陷识别主干模型图谱中，查询得到与该主干模型索引相对应的缺陷识别主干模型，并将其作为目标主干模型。
本实施例中，通过场景特征对应的主干模型索引，从缺陷识别主干模型图谱中筛选出目标主干模型，实现了不同电网场景下目标主干模型的自动筛选，不仅提高了对不同场景的电力设备缺陷识别的效率，通过具有所属电网场景的目标主干模型进行特征识别，还能够提升得到的主干特征的可靠性。
在一个实施例中，确定场景特征对应的主干模型索引，具体包括如下内容：根据场景特征，对电网巡检图像进行图像分类处理，得到电网巡检图像对应的电网场景；将电网场景对应的主干模型索引，作为场景特征对应的主干模型索引。
具体地，场景特征提取模型还可以用于执行图像分类任务，则服务器通过场景特征提取模型对场景特征进行图像分类处理，输出电网巡检图像对应的电网场景。此外，服务器还可以获取图像分类模型，将场景特征和电网巡检图像输入该图像分类模型中，以通过图像分类模型对电网巡检图像进行图像分类处理，则服务器得到电网巡检图像对应的电网场景。
在本实施例中，通过根据场景特征，对电网巡检图像进行图像分类处理，得到电网巡检图像对应的电网场景；进而将电网场景对应的主干模型索引，作为场景特征对应的主干模型索引，实现了主干模型索引的合理获取，以便后续步骤中能够以主干模型索引为依据，执行后续的目标主干模型筛选步骤。
在一个实施例中，在上述步骤S204，将主干特征，输入缺陷识别颈部模型中，得到电网巡检图像的目标强化特征之前，还包括：获取缺陷识别颈部模型图谱；缺陷识别颈部模型图谱中包含有多个缺陷识别颈部模型；从缺陷识别颈部模型图谱中，筛选出至少两个缺陷识别颈部模型；至少两个缺陷识别颈部模型至少包括第一目标颈部模型和第二目标颈部模型。
其中，缺陷识别颈部模型图谱是指存储有多个缺陷识别颈部模型的知识图谱。
具体地，服务器先获取缺陷识别颈部模型图谱；然后从缺陷识别颈部模型图谱中，筛选出一个或多个缺陷识别颈部模型，可以是筛选与电网巡检图像所属的电网场景相匹配的一个缺陷识别颈部模型，还可以是随机选取至少两个缺陷识别颈部模型，并对至少两个缺陷识别颈部模型进行模型组合。为便于与缺陷识别颈部模型图谱中未选中的缺陷识别颈部模型进行区分，可以将选中的至少两个缺陷识别颈部模型分别称为第一目标颈部模型、第二目标颈部模型、第三目标颈部模型等。
进一步地，缺陷识别颈部模型图谱中的缺陷识别颈部模型可以是分别由不同的强化任务目标训练得到的，例如，第一目标颈部模型用于强化主干特征的；则服务器可以根据对主干特征的强化任务目标，从缺陷识别颈部模型图谱中，筛选出与该强化任务目标匹配的一个或多个缺陷识别颈部模型。通过由不同强化任务目标训练得到的缺陷识别颈部模型对主干特征进行处理，能够从多个方向对主干特征进行强化，从而有效的提高了处理得到的目标强化特征的特征质量。
在本实施例中，通过获取缺陷识别颈部模型图谱，并从缺陷识别颈部模型图谱中，筛选出至少两个缺陷识别颈部模型，实现了缺陷识别颈部模型的合理获取，以便后续步骤通过至少两个缺陷识别颈部模型组合后的模型从不同的强化任务目标出发来处理得到目标强化特征，有利于提高地貌复杂的电网场景中缺陷识别的可靠性。
在一个实施例中，如图4所示，上述步骤S204，将主干特征，输入缺陷识别颈部模型中，得到电网巡检图像的目标强化特征，具体包括如下内容：
步骤S401，将主干特征，输入第一目标颈部模型中，得到主干特征的第一强化特征。
具体地，在服务器从缺陷识别颈部模型图谱中筛选出至少两个缺陷识别颈部模型的情况下，还需对筛选出的至少两个缺陷识别颈部模型进行推理排序，即确定先启动哪一个缺陷识别颈部模型来处理主干特征。以第一目标颈部模型和第二目标颈部模型为例，服务器对第一目标颈部模型和第二目标颈部模型进行推理排序，得到第一目标颈部模型和第二目标颈部模型的推理顺序。在目标颈部模型的推理顺序优先于第二目标颈部模型的情况下，服务器可以先将主干特征输入到第一目标颈部模型中，通过第一目标颈部模型对主干特征进行特征强化，进而输出得到第一强化特征。
步骤S402，将主干特征和第一强化特征，输入第二目标颈部模型中，得到主干特征的第二强化特征。
具体地，如图3所示，在第一目标颈部模型输出第一强化特征之后，服务器可以将第一强化特征和主干特征输入到第二目标颈部模型中，通过第二目标颈部模型对第一强化特征进行特征强化，例如可以是进行与第一目标颈部模型不同方向的特征强化，进而服务器得到第二目标颈部模型输出的第二强化特征。
步骤S403，将第二强化特征作为电网巡检图像的目标强化特征。
具体地，在仅筛选出一个缺陷识别颈部模型的情况下，则将该筛选出的缺陷识别颈部模型输出的强化特征作为目标强化特征。在筛选出至少两个缺陷识别颈部模型的情况下，若第二目标颈部模型为推理顺序的末尾，则将该第二目标颈部模型输出的第二强化特征作为目标强化特征；若第二目标颈部模型不处于推理顺序的末尾，则将处于推理顺序末尾的缺陷识别颈部模型输出的强化特征作为目标强化特征。
在本实施例中，首先将主干特征，输入第一目标颈部模型中，得到主干特征的第一强化特征；然后将主干特征和第一强化特征，输入第二目标颈部模型中，得到主干特征的第二强化特征；最后将第二强化特征作为电网巡检图像的目标强化特征，实现了从多个方向对主干特征进行强化，使得处理得到的目标强化特征的比主干特征质量具有更强的语义表现，有助于提高复杂场景中电力设备缺陷识别的可靠性和准确率。
在一个实施例中，上述步骤S205，将目标强化特征，输入缺陷识别头部模型中，得到电网巡检图像的缺陷识别结果，具体包括如下内容：将目标强化特征，输入缺陷识别头部模型中，得到电网巡检图像中的候选缺陷，以及候选缺陷的检测框坐标、候选缺陷的类型和候选缺陷的置信度；根据候选缺陷的置信度，确定电网巡检图像的缺陷识别结果。
其中，候选缺陷是指通过缺陷识别头部模型识别出的电网巡检图像中疑似存在缺陷的对象。置信度用于衡量候选缺陷的可靠程度。
具体地，服务器将目标强化特征输入到缺陷识别头部模型中，通过缺陷识别头部模型识别得到电网巡检图像中的候选缺陷，并使用检测框标识候选缺陷。此外，还可以通过缺陷识别头部模型识别出候选缺陷的检测框坐标、候选缺陷的类型和候选缺陷的置信度。为进一步确定缺陷识别头部模型识别出的候选缺陷是否可靠，服务器还可以根据候选缺陷的置信度，从候选缺陷中筛选出置信度高于预设置信度阈值的目标缺陷，将目标缺陷确定为电网巡检图像的缺陷识别结果。
举例说明，如图3所示，假设缺陷识别头部模型识别得到电网巡检图像中存在三个候选缺陷，并用检测框标识候选缺陷，且这三个候选缺陷的置信度分别是0.5、0.2和0.3。若预设置信度阈值设为0.4，则将置信度为0.5的候选缺陷确认为目标缺陷，并将其作为电网巡检图像的缺陷识别结果。
在实际应用中，头部模型除了可以执行上述的缺陷识别任务以外，头部模型还可以以其他的计算机视觉任务为目标进行训练，以执行其他的计算机视觉任务，例如图像分类、语义分割、目标跟踪等。
在本实施例中，通过将目标强化特征输入到缺陷识别头部模型，以得到电网巡检图像中的候选缺陷，以及候选缺陷的检测框坐标、候选缺陷的类型和候选缺陷的置信度；进而根据候选缺陷的置信度，确定电网巡检图像的缺陷识别结果，不仅识别出了电网巡检图像中的候选缺陷，还能够根据置信度来进一步得到更可靠的缺陷识别结果，大大提高了电力设备的缺陷识别可靠性和准确率。
在一个实施例中，在上述步骤S202，根据场景特征，对缺陷识别主干模型图谱进行筛选，得到电网巡检图像对应的目标主干模型之前，还包括：获取不同电网场景的电网巡检图像；根据不同电网场景的电网巡检图像，对待训练的缺陷识别主干模型进行训练，得到不同电网场景对应的缺陷识别主干模型；生成不同电网场景对应的主干模型索引，并建立主干模型索引与缺陷识别主干模型之间的关联关系；根据不同电网场景对应的缺陷识别主干模型，对初始缺陷识别主干模型图谱进行更新，得到缺陷识别主干模型图谱。
具体地，服务器先获取不同电网场景（如不同省份的电网场景）的电网巡检图像、不同强化任务目标的特征集、以及初始缺陷识别主干模型图谱和初始缺陷识别颈部模型图谱；其中，初始缺陷识别主干模型图谱中包含有多个待训练的缺陷识别主干模型。初始缺陷识别颈部模型图谱中包含有多个待训练的缺陷识别颈部模型。然后服务器根据不同电网场景的电网巡检图像，对待训练的缺陷识别主干模型进行训练，以得到不同电网场景对应的缺陷识别主干模型；根据不同强化任务目标的特征集，对待训练的缺陷识别颈部模型进行训练，以得到不同强化任务目标对应的缺陷识别颈部模型。例如，可以是将场景特征提取模型、缺陷识别主干模型、缺陷识别颈部模型和缺陷识别头部模型的训练过程分为两个阶段。
在第一阶段，每一次训练时仅使用单一电网场景的电网巡检图像，场景特征提取模型不参与第一阶段的训练，将预设常数作为场景特征输入到待训练的缺陷识别主干模型中进行训练，或者将通过预先训练好的场景特征提取模型来提取单一电网场景的电网巡检图像的场景特征，然后将场景特征输入到待训练的缺陷识别主干模型中进行训练；同理，服务器将不同强化任务目标的特征集，输入到待训练的缺陷识别颈部模型中进行训练。最终服务器得到训练完成的缺陷识别主干模型和缺陷识别颈部模型。此外，还可以根据第一阶段得到的各个缺陷识别主干模型和缺陷识别颈部模型的训练情况，选择缺陷识别主干模型和/或缺陷识别颈部模型中的（部分或全部）模型参数进行固定。进而服务器生成不同电网场景对应的主干模型索引，并建立主干模型索引与缺陷识别主干模型之间的关联关系；根据不同电网场景的缺陷识别主干模型，对初始缺陷识别主干模型图谱进行更新，可以是使用缺陷识别主干模型替换缺陷识别主干模型图谱中电网场景相匹配的待训练的缺陷识别主干模型，则服务器得到缺陷识别主干模型图谱。同时，服务器根据不同强化任务目标对应的缺陷识别颈部模型，对初始缺陷识别颈部模型图谱进行更新，可以是使用缺陷识别颈部模型替换初始缺陷识别颈部模型图谱中强化任务目标相匹配的待训练的缺陷识别颈部模型，则服务器得到缺陷识别颈部模型图谱。
在第二阶段，仅训练场景特征提取模型，服务器将不同电网场景的电网巡检图像和不同强化任务目标的特征集进行融合，得到融合后训练集，将融合后训练集输入到待训练的场景特征提取模型中，并通过图像分类任务的形式来训练待训练的场景特征提取模型，使得训练后的场景特征提取模型不仅能够输出场景特征，还能输出该场景特征对应的主干模型索引。服务器对训练后的场景特征提取模型进行权重调整，得到训练完成的场景特征提取模型。
可以理解的是，研发人员可以根据实际情况，来灵活调整各个训练阶段的先后顺序和训练次数。
在本实施例中，通过根据不同电网场景的电网巡检图像，对待训练的缺陷识别主干模型进行训练，得到不同电网场景对应的缺陷识别主干模型；进而生成不同电网场景对应的主干模型索引，并建立主干模型索引与缺陷识别主干模型之间的关联关系；根据不同电网场景对应的缺陷识别主干模型，对初始缺陷识别主干模型图谱进行更新，得到缺陷识别主干模型图谱，同理，服务器还可以得到缺陷识别颈部模型图谱，实现了多任务模型的高效训练，以便后续步骤中能够根据电网场景和强化任务目标来选择相应的模型，解决了不同场景的电力设备缺陷存在差异性的问题，提高了不同场景的电力设备缺陷识别的效率。
在一个实施例中，如图5所示，提供了另一种复杂场景电力设备缺陷识别方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
步骤S501，将电网巡检图像，输入场景特征提取模型中，得到电网巡检图像的场景特征。
步骤S502，根据场景特征，对电网巡检图像进行图像分类处理，得到电网巡检图像对应的电网场景；将电网场景对应的主干模型索引，作为场景特征对应的主干模型索引。
步骤S503，根据主干模型索引，从缺陷识别主干模型图谱中筛选出目标主干模型。
步骤S504，将场景特征和电网巡检图像，输入目标主干模型中，得到电网巡检图像的主干特征。
步骤S505，获取缺陷识别颈部模型图谱；缺陷识别颈部模型图谱中包含有多个缺陷识别颈部模型。
步骤S506，从缺陷识别颈部模型图谱中，筛选出至少两个缺陷识别颈部模型；至少两个缺陷识别颈部模型至少包括第一目标颈部模型和第二目标颈部模型。
步骤S507，将主干特征，输入第一目标颈部模型中，得到主干特征的第一强化特征。
步骤S508，将主干特征和第一强化特征，输入第二目标颈部模型中，得到主干特征的第二强化特征；将第二强化特征作为电网巡检图像的目标强化特征。
步骤S509，将目标强化特征，输入缺陷识别头部模型中，得到电网巡检图像中的候选缺陷，以及候选缺陷的检测框坐标、候选缺陷的类型和候选缺陷的置信度；根据候选缺陷的置信度，确定电网巡检图像的缺陷识别结果。
上述复杂场景电力设备缺陷识别方法，能够实现以下有益效果：能够通过场景特征提取模型自动识别出电网巡检图像的场景特征，从而通过与场景特征相对应的目标主干模型来提取出主干特征，实现了不同地区的电网巡检图像的自动识别，解决了不同场景的电力设备缺陷存在差异性的问题，提高了不同场景的电力设备缺陷识别的效率；此外，还通过主干特征的目标强化特征来得到缺陷识别结果，能够不断强化复杂地貌的电网巡检图像的特征信息，提高了复杂场景中电力设备的缺陷识别准确率。
为了更清晰阐明本公开实施例提供的复杂场景电力设备缺陷识别方法，以下以一个具体的实施例对上述复杂场景电力设备缺陷识别方法进行具体说明。提供了又一种复杂场景电力设备缺陷识别方法，可以应用于图1中的服务器，具体包括如下内容：
利用多地区多场景多目标的训练集，构建得到大规模深度模型图谱仓库，如缺陷识别主干模型图谱和缺陷识别颈部模型图谱。通过图像采集设备采集得到不同地区的电网场景的电网巡检图像。通过场景特征提取模型提取出电网巡检图像的场景特征，并对场景特征进一步处理得到场景特征向量，进而依据场景特征向量对应的主干模型索引，从缺陷识别主干模型图谱筛选出目标主干网络，并通过场景特征向量对目标主干网络提供注意力信息，通过目标主干网络对电网场景的高泛化性特征提取，则服务器得到主干特征。从缺陷识别颈部模型图谱中筛选出至少两个缺陷识别颈部模型进行组合，并通过至少两个缺陷识别颈部模型输出目标强化特征。最后将目标强化特征输入到缺陷识别头部模型中，通过缺陷识别头部模型输出电网巡检图像的缺陷识别结果。
在本实施例中，在不同电网场景的光照条件、植被分布、设备特点等情况差异性较大的情况下，可以通过缺陷识别主干模型图谱和缺陷识别颈部模型图谱为不同地区的电网巡检图像提供针对性的模型进行处理，从而有效的提高了复杂场景中电力设备的缺陷识别准确率。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的复杂场景架空线路缺陷识别方法的复杂场景架空线路缺陷识别装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个复杂场景架空线路缺陷识别装置实施例中的具体限定可以参见上文中对于复杂场景架空线路缺陷识别方法的限定，在此不再赘述。
在一个实施例中，如图6所示，提供了一种复杂场景架空线路缺陷识别装置600，包括：场景特征提取模块601、主干模型筛选模块602、主干特征提取模块603、强化特征提取模块604和场景缺陷识别模块605，其中：
场景特征提取模块601，用于将电网巡检图像，输入场景特征提取模型中，得到电网巡检图像的场景特征。
主干模型筛选模块602，用于根据场景特征，对缺陷识别主干模型图谱进行筛选，得到电网巡检图像对应的目标主干模型。
主干特征提取模块603，用于将场景特征和电网巡检图像，输入目标主干模型中，得到电网巡检图像的主干特征。
强化特征提取模块604，用于将主干特征，输入缺陷识别颈部模型中，得到电网巡检图像的目标强化特征。
场景缺陷识别模块605，用于将目标强化特征，输入缺陷识别头部模型中，得到电网巡检图像的缺陷识别结果。
在一个实施例中，主干模型筛选模块602，还用于确定场景特征对应的主干模型索引；根据主干模型索引，从缺陷识别主干模型图谱中筛选出目标主干模型；缺陷识别主干模型图谱中包含有多个缺陷识别主干模型；多个缺陷识别主干模型分别与不同的主干模型索引关联。
在一个实施例中，复杂场景架空线路缺陷识别装置600还包括模型索引确定模块，用于根据场景特征，对电网巡检图像进行图像分类处理，得到电网巡检图像对应的电网场景；将电网场景对应的主干模型索引，作为场景特征对应的主干模型索引。
在一个实施例中，复杂场景架空线路缺陷识别装置600还包括颈部模型筛选模块，用于获取缺陷识别颈部模型图谱；缺陷识别颈部模型图谱中包含有多个缺陷识别颈部模型；从缺陷识别颈部模型图谱中，筛选出至少两个缺陷识别颈部模型；至少两个缺陷识别颈部模型至少包括第一目标颈部模型和第二目标颈部模型。
在一个实施例中，强化特征提取模块604，还用于将主干特征，输入第一目标颈部模型中，得到主干特征的第一强化特征；将主干特征和第一强化特征，输入第二目标颈部模型中，得到主干特征的第二强化特征；将第二强化特征作为电网巡检图像的目标强化特征。
在一个实施例中，场景缺陷识别模块605，还用于将目标强化特征，输入缺陷识别头部模型中，得到电网巡检图像中的候选缺陷，以及候选缺陷的检测框坐标、候选缺陷的类型和候选缺陷的置信度；根据候选缺陷的置信度，确定电网巡检图像的缺陷识别结果。
在一个实施例中，复杂场景架空线路缺陷识别装置600还包括模型图谱更新模块，用于获取不同电网场景的电网巡检图像；根据不同电网场景的电网巡检图像，对待训练的缺陷识别主干模型进行训练，得到不同电网场景对应的缺陷识别主干模型；生成不同电网场景对应的主干模型索引，并建立主干模型索引与缺陷识别主干模型之间的关联关系；根据不同电网场景对应的缺陷识别主干模型，对初始缺陷识别主干模型图谱进行更新，得到缺陷识别主干模型图谱。
上述复杂场景架空线路缺陷识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O）和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储电网巡检图像、缺陷识别颈部模型图谱和缺陷识别主干模型图谱等数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种复杂场景架空线路缺陷识别方法。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random AccessMemory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种复杂场景电力设备缺陷识别方法，其特征在于，所述方法包括：
将电网巡检图像，输入场景特征提取模型中，得到所述电网巡检图像的场景特征；
根据所述场景特征，对缺陷识别主干模型图谱进行筛选，得到所述电网巡检图像对应的目标主干模型；
对所述场景特征再次进行特征提取处理，得到场景特征向量；
将所述场景特征向量和所述电网巡检图像，输入所述目标主干模型中，得到所述电网巡检图像的主干特征；
将所述主干特征，输入从缺陷识别颈部模型图谱中筛选出的至少两个缺陷识别颈部模型中，得到所述电网巡检图像的目标强化特征；所述至少两个缺陷识别颈部模型分别是由不同的强化任务目标训练得到的；
将所述目标强化特征，输入缺陷识别头部模型中，得到所述电网巡检图像的缺陷识别结果；
所述将所述主干特征，输入从缺陷识别颈部模型图谱中筛选出的至少两个缺陷识别颈部模型中，得到所述电网巡检图像的目标强化特征，包括：
对所述至少两个缺陷识别颈部模型进行推理排序，得到各个缺陷识别颈部模型的推理顺序；
通过位于推理顺序第一位的缺陷识别颈部模型，对所述主干特征进行特征强化，得到所述主干特征的强化特征；
将所述主干特征和位于推理顺序上一位的缺陷识别颈部模型输出的强化特征，输入位于推理顺序下一位的缺陷识别颈部模型中，通过位于推理顺序下一位的缺陷识别颈部模型，对所述主干特征和位于推理顺序上一位的缺陷识别颈部模型输出的强化特征进行与前面推理顺序的各个缺陷识别颈部模型的强化任务目标均不同的特征强化，输出强化特征，重复本步骤，直到位于推理顺序末尾的缺陷识别颈部模型输出强化特征；
将位于推理顺序末尾的缺陷识别颈部模型输出的强化特征，作为所述电网巡检图像的目标强化特征。
2.根据权利要求1所述的方法，其特征在于，所述根据所述场景特征，对缺陷识别主干模型图谱进行筛选，得到所述电网巡检图像对应的目标主干模型，包括：
确定所述场景特征对应的主干模型索引；
根据所述主干模型索引，从所述缺陷识别主干模型图谱中筛选出所述目标主干模型；所述缺陷识别主干模型图谱中包含有多个缺陷识别主干模型；所述多个缺陷识别主干模型分别与不同的主干模型索引关联。
3.根据权利要求2所述的方法，其特征在于，所述确定所述场景特征对应的主干模型索引，包括：
根据所述场景特征，对所述电网巡检图像进行图像分类处理，得到所述电网巡检图像对应的电网场景；
将所述电网场景对应的主干模型索引，作为所述场景特征对应的主干模型索引。
4.根据权利要求1所述的方法，其特征在于，在将所述主干特征，输入从缺陷识别颈部模型图谱中筛选出的至少两个缺陷识别颈部模型中，得到所述电网巡检图像的目标强化特征之前，还包括：
获取缺陷识别颈部模型图谱；所述缺陷识别颈部模型图谱中包含有多个缺陷识别颈部模型；
从所述缺陷识别颈部模型图谱中，筛选出至少两个缺陷识别颈部模型；所述至少两个缺陷识别颈部模型至少包括第一目标颈部模型和第二目标颈部模型。
5.根据权利要求4所述的方法，其特征在于，所述将所述主干特征，输入从缺陷识别颈部模型图谱中筛选出的至少两个缺陷识别颈部模型中，得到所述电网巡检图像的目标强化特征，包括：
将所述主干特征，输入所述第一目标颈部模型中，得到所述主干特征的第一强化特征；
将所述主干特征和所述第一强化特征，输入所述第二目标颈部模型中，得到所述主干特征的第二强化特征；
将所述第二强化特征作为所述电网巡检图像的目标强化特征。
6.根据权利要求1所述的方法，其特征在于，所述将所述目标强化特征，输入缺陷识别头部模型中，得到所述电网巡检图像的缺陷识别结果，包括：
将所述目标强化特征，输入缺陷识别头部模型中，得到所述电网巡检图像中的候选缺陷，以及所述候选缺陷的检测框坐标、所述候选缺陷的类型和所述候选缺陷的置信度；
根据所述候选缺陷的置信度，确定所述电网巡检图像的缺陷识别结果。
7.根据权利要求1所述的方法，其特征在于，在根据所述场景特征，对缺陷识别主干模型图谱进行筛选，得到所述电网巡检图像对应的目标主干模型之前，还包括：
获取不同电网场景的电网巡检图像；
根据所述不同电网场景的电网巡检图像，对待训练的缺陷识别主干模型进行训练，得到不同电网场景对应的缺陷识别主干模型；
生成所述不同电网场景对应的主干模型索引，并建立所述主干模型索引与所述缺陷识别主干模型之间的关联关系；
根据不同电网场景对应的缺陷识别主干模型，对初始缺陷识别主干模型图谱进行更新，得到所述缺陷识别主干模型图谱。
8.一种复杂场景架空线路缺陷识别装置，其特征在于，所述装置包括：
场景特征提取模块，用于将电网巡检图像，输入场景特征提取模型中，得到所述电网巡检图像的场景特征；
主干模型筛选模块，用于根据所述场景特征，对缺陷识别主干模型图谱进行筛选，得到所述电网巡检图像对应的目标主干模型；
主干特征提取模块，用于对所述场景特征再次进行特征提取处理，得到场景特征向量；将所述场景特征向量和所述电网巡检图像，输入所述目标主干模型中，得到所述电网巡检图像的主干特征；
强化特征提取模块，用于将所述主干特征，输入从缺陷识别颈部模型图谱中筛选出的至少两个缺陷识别颈部模型中，得到所述电网巡检图像的目标强化特征；所述至少两个缺陷识别颈部模型分别是由不同的强化任务目标训练得到的；
场景缺陷识别模块，用于将所述目标强化特征，输入缺陷识别头部模型中，得到所述电网巡检图像的缺陷识别结果；
强化特征提取模块，还用于对所述至少两个缺陷识别颈部模型进行推理排序，得到各个缺陷识别颈部模型的推理顺序；将所述主干特征和位于推理顺序上一位的缺陷识别颈部模型输出的强化特征，输入位于推理顺序下一位的缺陷识别颈部模型中，通过位于推理顺序第一位的缺陷识别颈部模型，对所述主干特征进行特征强化，得到所述主干特征的强化特征；通过位于推理顺序下一位的缺陷识别颈部模型，对所述主干特征和位于推理顺序上一位的缺陷识别颈部模型输出的强化特征进行与前面推理顺序的各个缺陷识别颈部模型的强化任务目标均不同的特征强化，输出强化特征，重复本步骤，直到位于推理顺序末尾的缺陷识别颈部模型输出强化特征；将位于推理顺序末尾的缺陷识别颈部模型输出的强化特征，作为所述电网巡检图像的目标强化特征。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310601996.0A CN116343132B (zh) | 2023-05-26 | 2023-05-26 | 一种复杂场景电力设备缺陷识别方法、装置和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310601996.0A CN116343132B (zh) | 2023-05-26 | 2023-05-26 | 一种复杂场景电力设备缺陷识别方法、装置和计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116343132A CN116343132A (zh) | 2023-06-27 |
| CN116343132B true CN116343132B (zh) | 2023-09-15 |
Family
ID=86884342
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310601996.0A Active CN116343132B (zh) | 2023-05-26 | 2023-05-26 | 一种复杂场景电力设备缺陷识别方法、装置和计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116343132B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112288711A (zh) * | 2020-10-28 | 2021-01-29 | 浙江华云清洁能源有限公司 | 无人机巡检影像缺陷图像识别方法、装置、设备及介质 |
| CN112837315A (zh) * | 2021-03-05 | 2021-05-25 | 云南电网有限责任公司电力科学研究院 | 一种基于深度学习的输电线路绝缘子缺陷检测方法 |
| CN114332659A (zh) * | 2022-03-09 | 2022-04-12 | 南方电网数字电网研究院有限公司 | 基于轻量化模型下发的输电线路缺陷巡检方法和装置 |
| CN114359285A (zh) * | 2022-03-18 | 2022-04-15 | 南方电网数字电网研究院有限公司 | 基于视觉上下文约束学习的电网缺陷检测方法和装置 |
| CN115100681A (zh) * | 2022-06-24 | 2022-09-23 | 暨南大学 | 一种衣着识别方法、系统、介质及设备 |
| CN115829999A (zh) * | 2022-12-22 | 2023-03-21 | 国网新疆电力有限公司信息通信公司 | 一种绝缘子缺陷检测模型生成方法、装置、设备和存储介质 |
| CN116071309A (zh) * | 2022-12-27 | 2023-05-05 | 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） | 元器件的声扫缺陷检测方法、装置、设备和存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220165917A (ko) * | 2021-06-09 | 2022-12-16 | 인트플로우 주식회사 | 영상에 기반하여 동물 개체를 검출하는 장치 및 방법 |
-
2023
- 2023-05-26 CN CN202310601996.0A patent/CN116343132B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112288711A (zh) * | 2020-10-28 | 2021-01-29 | 浙江华云清洁能源有限公司 | 无人机巡检影像缺陷图像识别方法、装置、设备及介质 |
| CN112837315A (zh) * | 2021-03-05 | 2021-05-25 | 云南电网有限责任公司电力科学研究院 | 一种基于深度学习的输电线路绝缘子缺陷检测方法 |
| CN114332659A (zh) * | 2022-03-09 | 2022-04-12 | 南方电网数字电网研究院有限公司 | 基于轻量化模型下发的输电线路缺陷巡检方法和装置 |
| CN114359285A (zh) * | 2022-03-18 | 2022-04-15 | 南方电网数字电网研究院有限公司 | 基于视觉上下文约束学习的电网缺陷检测方法和装置 |
| CN115100681A (zh) * | 2022-06-24 | 2022-09-23 | 暨南大学 | 一种衣着识别方法、系统、介质及设备 |
| CN115829999A (zh) * | 2022-12-22 | 2023-03-21 | 国网新疆电力有限公司信息通信公司 | 一种绝缘子缺陷检测模型生成方法、装置、设备和存储介质 |
| CN116071309A (zh) * | 2022-12-27 | 2023-05-05 | 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） | 元器件的声扫缺陷检测方法、装置、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116343132A (zh) | 2023-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Song et al. | Automated pavement crack damage detection using deep multiscale convolutional features | |
| CN109086668B (zh) | 基于多尺度生成对抗网络的无人机遥感影像道路信息提取方法 | |
| CN111784685A (zh) | 一种基于云边协同检测的输电线路缺陷图像识别方法 | |
| CN110728295B (zh) | 半监督式的地貌分类模型训练和地貌图构建方法 | |
| CN112613375B (zh) | 一种轮胎受损检测识别方法和设备 | |
| CN114494837A (zh) | 一种渔业资源的密度智能识别方法及系统 | |
| CN114399644A (zh) | 一种基于小样本目标检测方法及装置 | |
| CN112766170B (zh) | 基于簇类无人机图像的自适应分割检测方法及装置 | |
| CN110599453A (zh) | 一种基于图像融合的面板缺陷检测方法、装置及设备终端 | |
| CN112101114B (zh) | 一种视频目标检测方法、装置、设备以及存储介质 | |
| CN114708518A (zh) | 基于半监督学习与先验知识嵌入策略的螺栓缺陷检测方法 | |
| CN114418021B (zh) | 模型优化方法、装置及计算机程序产品 | |
| CN115115863A (zh) | 水面多尺度目标检测方法、装置及系统和存储介质 | |
| CN109086737B (zh) | 基于卷积神经网络的航运货物监控视频识别方法及系统 | |
| CN112528058B (zh) | 基于图像属性主动学习的细粒度图像分类方法 | |
| CN114155551A (zh) | 基于YOLOv3改进的复杂环境下的行人检测方法及装置 | |
| CN116343132B (zh) | 一种复杂场景电力设备缺陷识别方法、装置和计算机设备 | |
| CN116524357A (zh) | 高压线路鸟巢检测方法、模型训练方法、装置及设备 | |
| CN115376023A (zh) | 基于形变卷积网络的养殖区域检测方法、无人机、介质 | |
| CN116543333A (zh) | 电力系统的目标识别方法、训练方法、装置、设备和介质 | |
| CN115797291A (zh) | 回路端子的识别方法、装置、计算机设备和存储介质 | |
| CN115937492A (zh) | 一种基于特征识别的变电设备红外图像识别方法 | |
| CN116246161A (zh) | 领域知识引导下的遥感图像目标精细类型识别方法及装置 | |
| CN116188998B (zh) | 输电架空线路缺陷识别方法、装置、设备和存储介质 | |
| CN115100546A (zh) | 一种基于mobilenet的电力设备小目标缺陷识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |