CN116452573A - 变电站设备缺陷检测方法、模型训练方法、装置和设备 - Google Patents

变电站设备缺陷检测方法、模型训练方法、装置和设备 Download PDF

Info

Publication number
CN116452573A
CN116452573A CN202310467262.8A CN202310467262A CN116452573A CN 116452573 A CN116452573 A CN 116452573A CN 202310467262 A CN202310467262 A CN 202310467262A CN 116452573 A CN116452573 A CN 116452573A
Authority
CN
China
Prior art keywords
sample
image
defect
visible light
registration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310467262.8A
Other languages
English (en)
Inventor
张云翔
高圣溥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Power Supply Co ltd
Original Assignee
Shenzhen Power Supply Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Power Supply Co ltd filed Critical Shenzhen Power Supply Co ltd
Priority to CN202310467262.8A priority Critical patent/CN116452573A/zh
Publication of CN116452573A publication Critical patent/CN116452573A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种变电站设备缺陷检测方法、模型训练方法、装置和设备。该变电站设备缺陷检测方法包括：获取目标变电站设备的待检测可见光图像和待检测红外图像；利用训练过的缺陷检测模型，对待检测可见光图像和待检测红外图像进行缺陷检测，确定目标变电站设备的缺陷位置和缺陷类别；其中，缺陷检测模型，用于：对待检测可见光图像和待检测红外图像进行图像配准，得到配准可见光图像和配准红外图像；对配准可见光图像和配准红外图像进行特征融合，得到融合后图像；根据融合后图像，确定目标变电站设备的缺陷位置和缺陷类别。采用本方法能够同时利用可见光图像清晰度高、红外图像穿透力强的优点，实现对变电站设备的全天候检测。

Description

变电站设备缺陷检测方法、模型训练方法、装置和设备
技术领域
本申请涉及计算机技术领域，特别是涉及一种变电站设备缺陷检测方法、模型训练方法、装置和设备。
背景技术
变电站是指电力系统中对电压和电流进行变换，接受电能及分配电能的场所。变电站是输电线路中极为重要的环节，其工作条件较为复杂，且站内设备对绝缘性能、机械性能等要求较高，所以站内多发设备故障缺陷。因此需要对变电站设备进行检测和维护，及时发现故障缺陷，确认故障缺陷的位置和故障缺陷类型，分析故障原因以及排除故障影响。
传统的判断变电站故障是通过拍摄变电站的照片，根据拍摄得到的照片来确定缺陷的位置和缺陷的类别。
然而，在变电站的运维当中，拍摄得到的照片往往单独分析处理，未能有效地识别，会对设备故障判断不全面，不完整，无法实现全天候检测。
发明内容
基于此，有必要针对上述技术问题，提供一种能够实现对变电站全天候检测的变电站设备缺陷检测方法、模型训练方法、装置和设备。
第一方面，本申请提供一种变电站设备缺陷检测方法。该方法包括：
获取目标变电站设备的待检测可见光图像和待检测红外图像；
利用训练过的缺陷检测模型，对待检测可见光图像和待检测红外图像进行缺陷检测，确定目标变电站设备的缺陷位置和缺陷类别；
其中，缺陷检测模型，用于：对待检测可见光图像和待检测红外图像进行图像配准，得到配准可见光图像和配准红外图像；对配准可见光图像和配准红外图像进行特征融合，得到融合后图像；根据融合后图像，确定目标变电站设备的缺陷位置和缺陷类别。
在其中一个实施例中，缺陷检测模型包括图像配准网络、特征融合网络和缺陷定位与识别网络；
图像配准网络，用于对待检测可见光图像和待检测红外图像进行图像配准，得到配准可见光图像和配准红外图像；
特征融合网络，用于对配准可见光图像和配准红外图像进行特征融合，得到融合后图像；
缺陷定位与识别网络，用于根据融合后图像，确定目标变电站设备的缺陷位置和缺陷类别。
在其中一个实施例中，图像配准网络具体用于：
提取待检测可见光图像的可见光图像特征和待检测红外图像的红外图像特征；
将可见光图像特征的第一模态转换为与红外图像特征一致的第二模态；
根据可见光图像特征和红外图像特征确定配准参数；
根据配准参数对待检测红外图像进行变换，得到配准可见光图像和配准红外图像。
在其中一个实施例中，缺陷定位与识别网络包括定位网络和检测网络；
定位网络用于提取融合后图像中缺陷的位置信息，并根据位置信息对融合后图像进行裁剪得到缺陷部件块；
检测网络用于提取缺陷部件块的特征信息，确定缺陷的类别。
第二方面，本申请还提供一种缺陷检测模型训练方法。该方法包括：
获取样本变电站设备的样本可见光图像和样本红外图像；样本可见光图像和样本红外图像均带有样本变电站设备的缺陷位置标签和缺陷类别标签；
利用待训练的缺陷检测模型，对样本可见光图像和样本红外图像进行缺陷检测，得到样本缺陷位置和样本缺陷类型；
根据缺陷位置标签和样本缺陷位置，以及缺陷类别标签和样本缺陷类型，对待训练的缺陷检测模型进行参数优化；
其中，待训练的缺陷检测模型，用于：对样本可见光图像和样本红外图像进行图像配准，得到样本配准可见光图像和样本配准红外图像；对样本配准可见光图像和样本配准红外图像进行特征融合，得到样本融合后图像；根据样本融合后图像，确定样本变电站设备的样本缺陷位置和样本缺陷类别。
在其中一个实施例中，样本红外图像还带有配准标签；在利用待训练的缺陷检测模型，对样本可见光图像和样本红外图像进行缺陷检测，得到样本缺陷位置和样本缺陷类型之前，方法还包括：
利用待训练的缺陷检测模型，提取样本可见光图像的样本可见光图像特征和样本红外图像的样本红外图像特征；
将样本可见光图像特征的第一模态转换为与样本红外图像特征一致的第二模态；
根据样本可见光图像特征和样本红外图像特征确定样本配准参数；
根据配准标签和样本配准参数，对待训练的缺陷检测模型进行参数优化。
第三方面，本申请还提供一种变电站设备缺陷检测装置。该装置包括：
待检测图像获取模块，用于获取目标变电站设备的待检测可见光图像和待检测红外图像；
图像缺陷检测模块，利用训练过的缺陷检测模型，对待检测可见光图像和待检测红外图像进行缺陷检测，确定目标变电站设备的缺陷位置和缺陷类别；
其中，缺陷检测模型，用于：对待检测可见光图像和待检测红外图像进行图像配准，得到配准可见光图像和配准红外图像；对配准可见光图像和配准红外图像进行特征融合，得到融合后图像；根据融合后图像，确定目标变电站设备的缺陷位置和缺陷类别。
第四方面，本申请还提供一种缺陷检测模型训练装置。该装置包括：
样本图像获取模块，用于获取样本变电站设备的样本可见光图像和样本红外图像；样本可见光图像和样本红外图像均带有样本变电站设备的缺陷位置标签和缺陷类别标签；
样本缺陷检测模块，用于利用待训练的缺陷检测模型，对样本可见光图像和样本红外图像进行缺陷检测，得到样本缺陷位置和样本缺陷类型；
参数优化模块，用于根据缺陷位置标签和样本缺陷位置，以及缺陷类别标签和样本缺陷类型，对待训练的缺陷检测模型进行参数优化；
其中，待训练的缺陷检测模型，用于：对样本可见光图像和样本红外图像进行图像配准，得到样本配准可见光图像和样本配准红外图像；对样本配准可见光图像和样本配准红外图像进行特征融合，得到样本融合后图像；根据样本融合后图像，确定样本变电站设备的样本缺陷位置和样本缺陷类别。
第五方面，本申请还提供了一种计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述的变电站设备缺陷检测方法的步骤；或者，实现上述的缺陷检测模型训练方法的步骤。
第六方面，本申请还提供了一种计算机可读存储介质。计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的变电站设备缺陷检测方法的步骤；或者，实现上述的缺陷检测模型训练方法的步骤。
第七方面，本申请还提供了一种计算机程序产品。计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的变电站设备缺陷检测方法的步骤；或者，实现上述的缺陷检测模型训练方法的步骤。
上述变电站设备缺陷检测方法、模型训练方法、装置和设备，先获取目标变电站设备的待检测可见光图像和待检测红外图像，之后将两者输入至训练完成的缺陷检测模型中进行缺陷检测，通过缺陷检测模型确定图像中缺陷的位置和缺陷的类别。具体地，由于两者处于不同模态对同一场景获得的图像，能够通过变换使待检测可见光图像和待检测红外图像配准实现图像配准，并确定两者的像素之间的对应关系。经图像配准得到的配准可见光图像和配准红外图像能够基于对应关系进行特征融合，得到融合后图像。对融合后图像进行目标识别即可确定融合后图像中缺陷的位置和缺陷类别。此外，融合后图像同时具有可见光的高清晰度优点以及红外光穿透烟雾的优点，使得全天候获得的图像均能满足清晰度要求。相比于传统技术中使用单一照片进行缺陷识别的方案，本实施例的方案同时利用了可见光图像清晰度高，红外图像能够在夜晚及有烟雾情况下拍摄的优点，使得实现对变电站设备的全天候检测。
附图说明
图1为一个实施例中变电站设备缺陷检测方法的应用环境图；
图2为一个实施例中变电站设备缺陷检测方法的流程示意图；
图3为另一个实施例中变电站设备缺陷检测方法的流程示意图；
图4为一个实施例中缺陷检测模型训练方法的流程示意图；
图5为另一个实施例中变电站设备缺陷检测方法的流程示意图；
图6为一个实施例中变电站设备缺陷检测装置的结构框图；
图7为一个实施例中缺陷检测模型训练装置的结构框图；
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的变电站设备缺陷检测方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。终端102用于拍摄变电站设备的图像，将拍摄得到的图像通过通信方式传输至服务器，由服务器对图像进行处理，确定变电站设备的故障缺陷位置及故障缺陷类别。其中，终端102可以但不限于是各种无人机、照相机、摄影机或其他便携式拍摄终端，能够用于拍摄变电站设备的可见光图像和红外图像。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种变电站设备缺陷检测方法，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：
S202，获取目标变电站设备的待检测可见光图像和待检测红外图像。
变电站是指电力系统中对电压和电流进行变换，接受电能及分配电能的场所。目标变电站设备是需要确定故障缺陷的变电站设备，示意性地，变电站设备可以是电气设备。
终端102对目标变电站设备进行拍摄，得到目标变电站设备的待检测可见光图像和待检测红外图像，并通过通信传输至服务器104。示意性地，终端102具有可见光拍摄模块和红外拍摄模块，能够同时获取可见光图像和红外图像。或者，由可见光相机和热红外相机分别拍摄可见光图像和红外图像后，共同传输至服务器104进行处理。
基于可见光成像获取的图像一般具有较高的分辨率，白天可以实现较高精度的设备故障识别与检测。但由于成像原理的限制，在夜晚或有烟雾的情况下，较难进行理想的成像，以至于检测和识别的效率较低，因此全天候工作能力较差。热红外相机能够获取场景中的热辐射信息，对于设备的热故障识别效率较高，且夜间工作能力，穿透烟雾的能力较好，但图像空间分辨率较低，目标细节较为模糊，对于检测和识别的精度有一定的限制。
S204，利用训练过的缺陷检测模型，对待检测可见光图像和待检测红外图像进行缺陷检测，确定目标变电站设备的缺陷位置和缺陷类别。其中，缺陷检测模型，用于：对待检测可见光图像和待检测红外图像进行图像配准，得到配准可见光图像和配准红外图像；对配准可见光图像和配准红外图像进行特征融合，得到融合后图像；根据融合后图像，确定目标变电站设备的缺陷位置和缺陷类别。
将获取的待检测可见光图像和待检测红外图像输入至训练完成的缺陷检测模型中，由缺陷检测模型确定目标变电站设备的缺陷位置和缺陷类别。示意性地，缺陷位置可以是图像中缺陷的中心点位置以及缺陷的宽度和高度，缺陷类别可以是破损、锈蚀或裂纹等。
具体地，待检测可见光图像和待检测红外图像输入至缺陷检测模型后，先将待检测可见光图像和待检测红外图像进行图像配准，配准后得到配准可见光图像和配准红外图像。此外，若仅对待检测红外图像进行配准处理，不对待检测可见光图像进行处理，配准可见光图像和待检测可见光图像可以一致。
可见光相机和红外相机在对目标变电站设备进行拍摄时，由于两者的分辨率、拍摄位置以及拍摄角度等问题，导致拍摄得到的待检测可见光图像和待检测红外图像具有不同模态。因此需要通过配准将可见光图像和红外图像进行变换，实现两者的匹配。模态指特定模式下的状态，本实施例中，指可见光相机获取的图像的模态与红外相机获取的图像的模态不一致。
可见光图像和红外图像配准后，即可将得到的配准可见光图像和配准红外图像进行融合，得到融合后图像。融合后图像具有可见光图像高分辨率的优点，同时解决了环境亮度低时的清晰度问题，使得全天候获得的图像均具有较高的分辨率。
融合后图像同时具有可见光图像和红外图像的优点，清晰度满足要求。通过对融合后图像进行特征识别，能够在融合后图像上显示缺陷位置的预测框，从而确定目标变电站设备缺陷的位置。进一步地，对预测框中的缺陷进行类别的确定。缺陷位置信息包括缺陷的中心点，缺陷的高度和宽度。缺陷类别信息包括缺陷类别和置信度分数。
本实施例中，先获取目标变电站设备的待检测可见光图像和待检测红外图像，之后将两者输入至训练完成的缺陷检测模型中进行缺陷检测，通过缺陷检测模型确定图像中缺陷的位置和缺陷的类别。具体地，由于两者处于不同模态对同一场景获得的图像，能够通过变换使待检测可见光图像和待检测红外图像配准实现图像配准，并确定两者的像素之间的对应关系。经图像配准得到的配准可见光图像和配准红外图像能够基于对应关系进行特征融合，得到融合后图像。对融合后图像进行目标识别即可确定融合后图像中缺陷的位置和缺陷类别。此外，融合后图像同时具有可见光的高清晰度优点以及红外光穿透烟雾的优点，使得全天候获得的图像均能满足清晰度要求。相比于传统技术中使用单一照片进行缺陷识别的方案，本实施例的方案同时利用了可见光图像清晰度高，红外图像能够在夜晚及有烟雾情况下拍摄的优点，使得实现对变电站设备的全天候检测。
在一个实施例中，缺陷检测模型包括图像配准网络、特征融合网络和缺陷定位与识别网络；图像配准网络，用于对待检测可见光图像和待检测红外图像进行图像配准，得到配准可见光图像和配准红外图像；特征融合网络，用于对配准可见光图像和配准红外图像进行特征融合，得到融合后图像；缺陷定位与识别网络，用于根据融合后图像，确定目标变电站设备的缺陷位置和缺陷类别。
待检测可见光图像和待检测红外图像输入至缺陷检测模型后，先进入图像配准网络。图像配准网络用于将待检测可见光图像和待检测红外图像进行配准，分别得到配准可见光图像和配准红外图像，并将两者输入至特征融合网络。特征融合网络用于将配准可见光图像和配准红外图像进行特征融合，得到融合后图像，并将融合后图像输入至缺陷定位与识别网络。由缺陷定位与识别网络根据融合后图像确认缺陷位置和缺陷类别。
在一种可行的实现方式中，特征融合网络采用端到端的融合架构，以Densenet(Dense Convolutional Network，稠密连接网络)为主要的网络，由卷积层、池化层、激活函数层、批量归一化层以及对应的跳线结构组成，每个层都将前面所有层的输出作为其输入，形成了一个密集的连接结构。将配准可见光图像和配准红外图像送入训练好的特征融合网络结构中，即可得到融合结果的输出，得到融合后图像。
示意性地，可以在Densenet网络结构中加入short-connect(跳跃连接)结构，加深网络层数，避免梯度消失，加强特征在层间的传播。
请参见图3，示意性地，待检测可见光图像可以称为可见光图像，待检测红外图像可以称为红外图像。图像配准网络可以称为多模态图像配准模块，特征融合网络可以称为多模态图像融合模块，缺陷定位与识别网络可以称为融合图像检测网络。可见光图像和红外图像输入至多模态图像配准模块中进行配准，得到两者配准后的图像。将配准后图像输入至多模态图像融合模块中进行融合，得到融合后图像。将融合后图像输入至融合图像检测网络中，确定融合后图像中缺陷的位置和缺陷类别，从而确定目标变电站设备的缺陷位置和缺陷类别。
本实施例中，缺陷检测模型包括图像配准网络、特征融合网络和缺陷定位与识别网络。待检测可见光图像和待检测红外图像输入至缺陷检测模型后，先输入至图像配准模块进行图像配准。将配准后的图像输入至特征融合网络中进行特征融合。将融合后的图像输入至缺陷定位和识别网络中，最终确定缺陷位置和缺陷类型。
在一个实施例中，图像配准网络具体用于：提取待检测可见光图像的可见光图像特征和待检测红外图像的红外图像特征；将可见光图像特征的第一模态转换为与红外图像特征一致的第二模态；根据可见光图像特征和红外图像特征确定配准参数；根据配准参数对待检测红外图像进行变换，得到配准可见光图像和配准红外图像。
待检测可见光图像和待检测红外图像属于不同模态图像，需要进行配准。具体地，提取待检测可见光图像的可见光图像特征和待检测红外图像的红外图像特征，以待检测红外图像作为参考图像，将可见光图像的模态转换为与红外图像一致。之后采用特征描述子对可见光图像特征和红外图像特征进行描述，最后根据描述子的相似程度对两幅图像的特征之间进行匹配，并确定配准参数。配准参数是指几何变换的方式，包括平移、旋转和缩放等。示意性地，提取的图像特征可以是点、线(边缘)或区域(面)等。确定配准参数后，即可根据配准参数对待检测红外图像进行变换，得到配准可见光图像和配准红外图像。
在一种可行的实现方式中，图像配准网络中利用GAN(Generative adversarialnetwork，生成对抗网络)实现配准。生成对抗网络先分别提取待检测可见光图像和待检测红外图像的图像特征，并将可见光图像的特征转换成与红外图像类似同质的特征，用以提高后续异源图像配准的精度。示意性地，该生成对抗网络可以使用U-Net架构，以简单高效的结构取得了较好的图像转换效果。这是由于U-Net网络与常规编码器-解码器结构的网络不同，它采用了拼接的特征融合方式。具体而言，通过在对应的下采样和上采样层中增加了连接，将特征在通道维度拼接在一起，充分利用底层信息，形成了更厚的特征。下采样指对分辨率高的图像进行降采样，上采样指对分辨率低的图像进行插值等处理。一般地，红外图像分辨率低，可见光图像分辨率较高。
进一步地，由以生成对抗网络转换而成的图像为基准，利用空间变换模块计算对待检测红外图像进行配准的配准参数，并根据配准参数得到配准红外图像。空间变换模块(Spatial Transformer Networks，STN)显式地在网络中对数据进行空间变换操作，不需要关键点的标定，能够自适应地将数据进行空间变换和对齐，包括平移、缩放、旋转以及其它几何变换。利用计算得到的配准参数对待检测红外图像进行双线性插值及计算，即可得到配准后的配准红外图像。示意性地，可以将可见光生成的配准可见光图像和配准图像送入判别器网络，用以判断是否完成配准。
本实施例中，图像配准网络通过提取可见光图像特征和红外图像特征，并根据两者确定配准参数，之后根据配准参数对待检测红外图像进行变换，从而得到配准可见光图像和配准红外图像。配准后即可实现后续步骤中对可见光图像和红外图像的融合。
在一个实施例中，缺陷定位与识别网络包括定位网络和检测网络；定位网络用于提取融合后图像中缺陷的位置信息，并根据位置信息对融合后图像进行裁剪得到缺陷部件块；检测网络用于提取缺陷部件块的特征信息，确定缺陷的类别。
缺陷的定位与识别网络包括定位网络和检测网络，先由定位网络对缺陷位置进行确定，之后由检测网络对缺陷进行类别的确定。
在一种可行的实现方式中，缺陷的定位与识别网络为一种基于卷积神经网络的既能定位缺陷位置又能检测缺陷类型的级联检测架构。首先使用目标检测算法来定位缺陷所依附部件的位置，然后再次使用目标检测的方法来确定缺陷类型。充分利用了卷积神经网络的强大特征提取和回归性能。
具体地，缺陷定位与识别网络分为两个大的模块，分别是缺陷部位的定位网络和缺陷检测网络，缺陷定位网络的特征提取基网络是VGG-16(Visual Geometry Group，16层)，后经过RPN(Region Proposal Network，区域选取网络)、ROI(Region of interest，感兴趣区域)池化等操作检测出缺陷在图像中的位置信息。再将该位置信息映射回输入图像剪裁得到部件块，接着将剪裁得到的部件块作为缺陷类别检测网络的输入。缺陷类别检测网络中的分类器的基网络是ResNet(Residual Network，残差网络)，后依次经过RPN、ROI池化操作得到缺陷的类别。引入RPN的主要目的在于可以有效低计算候选区域，可以生成可能包含图像种对象的检测框的集合。
本实施例中，缺陷定位与识别网络包括定位网络和检测网络，融合后图像进入缺陷定位与识别网络后，先进入定位网络，由定位网络确定缺陷的位置。之后将带有缺陷位置信息的图像输入至检测网络，确定缺陷的类别，从而最终确定缺陷的位置和缺陷类别。
在一个实施例中，如图4所示，提供了一种缺陷检测模型训练方法，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：
S402，获取样本变电站设备的样本可见光图像和样本红外图像；样本可见光图像和样本红外图像均带有样本变电站设备的缺陷位置标签和缺陷类别标签。
S404，利用待训练的缺陷检测模型，对样本可见光图像和样本红外图像进行缺陷检测，得到样本缺陷位置和样本缺陷类型。
S406，根据缺陷位置标签和样本缺陷位置，以及缺陷类别标签和样本缺陷类型，对待训练的缺陷检测模型进行参数优化。其中，待训练的缺陷检测模型，用于：对样本可见光图像和样本红外图像进行图像配准，得到样本配准可见光图像和样本配准红外图像；对样本配准可见光图像和样本配准红外图像进行特征融合，得到样本融合后图像；根据样本融合后图像，确定样本变电站设备的样本缺陷位置和样本缺陷类别。
样本变电站设备是已经确定缺陷位置和缺陷类型的变电站设备，用于对缺陷检测模型进行训练，以提高缺陷模型的准确率。可见光相机和红外相机拍摄样本变电站设备分别得到样本可见光图像和样本红外图像，示意性地，样本可见光图像和样本红外图像可以是存储在数据存储模块中的数据。
样本可见光图像和样本红外图像是已经确定缺陷位置和缺陷类别的图像，两者均带有缺陷位置标签和缺陷类别标签。将样本可见光图像和样本红外图像输入待训练的缺陷检测模型，由待训练的缺陷检测模型确定样本缺陷位置和样本缺陷类别。采用损失函数，根据缺陷位置标签和样本缺陷位置的差异，根据缺陷类别标签和样本缺陷类别的差异，对待训练的缺陷检测模型的进行优化，得到训练完成的缺陷检测模型。
待训练的缺陷检测模型包括图像配准网络、特征融合网络和缺陷定位与识别网络。在一种可行的训练过程方式中，针对图像配准网络，生成器的损失函数为：
La＝-logD(IT)-log(1-D(G(Ivis)))-μ||IT-G(Ivis)||
辨别器的损失函数为：
Lg＝-logD(G(Ivis))
其中，La是生成器的损失函数，Lg是辨别器的损失函数，IT为迁移到可见光特征域的红外图像，Ivis为可见光图像，D(*)为辨别器的输出，G(*)为生成器的输出，μ为手动设置的权重参数。
针对特征融合网络，损失函数为：
其中，代表损失函数，I1和I2为待融合图像，If为融合结果，/>为梯度算子，φj(*)为VGG16网络提取到的特征图，SSIM为结构相似度的计算，α，β为权重参数，通常设置为5e-5，3e3。
示意性地，为了确保融合后的图像最大限度的保留源图像的有用信息，在训练的过程中还可以引入Weight block对待融合图像所包含的信息量进行评价，信息量包含较多的图像块生成的权重较大，反之则较小。从而对损失函数各个损失项进行加权，合理地保留源图像中对变电站缺陷识别有用的信息。
对于缺陷定位与识别网络，损失函数定义为：
Lfl＝-((1-p)2q log(p)+p2(1-q)log(1-p))
其中，Lfl是损失函数，p和q代表候选样本的分类预测向量和对应的预测真值(目标标签或者背景标签)。
训练阶段的回归损失函数为：
其中，Ls1是损失函数，x＝bt-bp代表头网络在特征向量上预测的每个候选样本的预测值和真值之间的差值。
本实施例中，先获取样本变电站设备的带有缺陷位置标签和缺陷类别标签的样本可见光图像和样本红外图像。之后将样本可见光图像和样本红外图像输入至待训练的缺陷检测模型，输出样本缺陷位置和样本缺陷类型。将样本缺陷位置和缺陷位置标签进行比对，并将样本缺陷类型和缺陷类别标签进行比对，对待训练缺陷检测模型进行优化训练，得到训练完成的缺陷检测模型。
在一个实施例中，样本红外图像还带有配准标签；在利用待训练的缺陷检测模型，对样本可见光图像和样本红外图像进行缺陷检测，得到样本缺陷位置和样本缺陷类型之前，缺陷检测模型训练方法还包括：利用待训练的缺陷检测模型，提取样本可见光图像的样本可见光图像特征和样本红外图像的样本红外图像特征；将样本可见光图像特征的第一模态转换为与样本红外图像特征一致的第二模态；根据样本可见光图像特征和样本红外图像特征确定样本配准参数；根据配准标签和样本配准参数，对待训练的缺陷检测模型进行参数优化。
样本可见光图像和样本红外图像属于不同模态图像，需要进行配准。具体地，提取样本可见光图像的可见光图像特征和样本红外图像的红外图像特征，以样本红外图像作为参考图像，将可见光图像的模态转换为与红外图像一致。之后采用特征描述子对可见光图像特征和红外图像特征进行描述，最后根据描述子的相似程度对两幅图像的特征之间进行匹配，并确定样本配准参数，根据样本配准参数将样本红外图像转换为与样本可见光图像一致。配准参数是指几何变换的方式，包括平移、旋转和缩放等。
在样本红外图像带有配准标签时，能够根据配准标签和样本配准参数的差异，对缺陷检测模型进行参数优化，提高配准参数的准确率。
本实施例中，样本红外图像带有配准标签。待训练的缺陷检测模型确定样本配准参数后，根据配准标签和样本配准参数的差异，对待训练的缺陷检测模型进行优化，提高了缺陷检测模型确定配准参数的准确率。
在一个实施例中，如图5所示，提供了一种变电站设备缺陷检测方法，包括以下步骤：
S502，获取样本变电站设备的样本可见光图像和样本红外图像；样本可见光图像和样本红外图像均带有样本变电站设备的缺陷位置标签和缺陷类别标签。
S504，利用待训练的缺陷检测模型，对样本可见光图像和样本红外图像进行缺陷检测，得到样本缺陷位置和样本缺陷类型。
S506，根据缺陷位置标签和样本缺陷位置，以及缺陷类别标签和样本缺陷类型，对待训练的缺陷检测模型进行参数优化。其中，待训练的缺陷检测模型，用于：对样本可见光图像和样本红外图像进行图像配准，得到样本配准可见光图像和样本配准红外图像；对样本配准可见光图像和样本配准红外图像进行特征融合，得到样本融合后图像；根据样本融合后图像，确定样本变电站设备的样本缺陷位置和样本缺陷类别。
S508，获取目标变电站设备的待检测可见光图像和待检测红外图像。
S510，利用训练过的缺陷检测模型，对待检测可见光图像和待检测红外图像进行缺陷检测，确定目标变电站设备的缺陷位置和缺陷类别。其中，缺陷检测模型，用于：对待检测可见光图像和待检测红外图像进行图像配准，得到配准可见光图像和配准红外图像；对配准可见光图像和配准红外图像进行特征融合，得到融合后图像；根据融合后图像，确定目标变电站设备的缺陷位置和缺陷类别。
本实施例中，先获取样本变电站设备的带有缺陷位置标签和缺陷类别标签的样本可见光图像和样本红外图像。将样本可见光图像和样本红外图像输入至待训练的缺陷检测模型中，得到样本缺陷位置和样本缺陷类型。根据样本缺陷位置和缺陷位置标签的差异以及样本缺陷类型和缺陷类别标签的差异，对待训练的缺陷检测模型进行训练、优化，得到训练完成的缺陷检测模型。获取目标变电站设备的待检测可见光图像和待检测红外图像后，将待检测可见光图像和待检测红外图像输入至训练完成的缺陷检测模型，即可确定目标变电站设备的缺陷位置和缺陷类别。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的变电站设备缺陷检测方法的变电站设备缺陷检测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个变电站设备缺陷检测装置实施例中的具体限定可以参见上文中对于变电站设备缺陷检测方法的限定，在此不再赘述。
在一个实施例中，如图6所示，提供了一种变电站设备缺陷检测装置600，包括：待检测图像获取模块602和图像缺陷检测模块604，其中：
待检测图像获取模块602，用于获取目标变电站设备的待检测可见光图像和待检测红外图像。
图像缺陷检测模块604，利用训练过的缺陷检测模型，对待检测可见光图像和待检测红外图像进行缺陷检测，确定目标变电站设备的缺陷位置和缺陷类别。其中，缺陷检测模型，用于：对待检测可见光图像和待检测红外图像进行图像配准，得到配准可见光图像和配准红外图像；对配准可见光图像和配准红外图像进行特征融合，得到融合后图像；根据融合后图像，确定目标变电站设备的缺陷位置和缺陷类别。
在一个实施例中，缺陷检测模型包括图像配准网络、特征融合网络和缺陷定位与识别网络；图像配准网络，用于对待检测可见光图像和待检测红外图像进行图像配准，得到配准可见光图像和配准红外图像；特征融合网络，用于对配准可见光图像和配准红外图像进行特征融合，得到融合后图像；缺陷定位与识别网络，用于根据融合后图像，确定目标变电站设备的缺陷位置和缺陷类别。
在一个实施例中，图像配准网络具体用于：提取待检测可见光图像的可见光图像特征和待检测红外图像的红外图像特征；将可见光图像特征的第一模态转换为与红外图像特征一致的第二模态；根据可见光图像特征和红外图像特征确定配准参数；根据配准参数对待检测红外图像进行变换，得到配准可见光图像和配准红外图像。
在一个实施例中，缺陷定位与识别网络包括定位网络和检测网络；定位网络用于提取融合后图像中缺陷的位置信息，并根据位置信息对融合后图像进行裁剪得到缺陷部件块；检测网络用于提取缺陷部件块的特征信息，确定缺陷的类别。
上述变电站设备缺陷检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的缺陷检测模型训练方法的缺陷检测模型训练装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个缺陷检测模型训练装置实施例中的具体限定可以参见上文中对于缺陷检测模型训练方法的限定，在此不再赘述。
在一个实施例中，如图7所示，提供了一种缺陷检测模型训练装置700，包括：样本图像获取模块702、样本缺陷检测模块704和参数优化模块706，其中：
样本图像获取模块702，用于获取样本变电站设备的样本可见光图像和样本红外图像；样本可见光图像和样本红外图像均带有样本变电站设备的缺陷位置标签和缺陷类别标签。
样本缺陷检测模块704，用于利用待训练的缺陷检测模型，对样本可见光图像和样本红外图像进行缺陷检测，得到样本缺陷位置和样本缺陷类型。
参数优化模块706，用于根据缺陷位置标签和样本缺陷位置，以及缺陷类别标签和样本缺陷类型，对待训练的缺陷检测模型进行参数优化。
其中，待训练的缺陷检测模型，用于：对样本可见光图像和样本红外图像进行图像配准，得到样本配准可见光图像和样本配准红外图像；对样本配准可见光图像和样本配准红外图像进行特征融合，得到样本融合后图像；根据样本融合后图像，确定样本变电站设备的样本缺陷位置和样本缺陷类别。
在一个实施例中，样本红外图像还带有配准标签；参数优化模块706，还用于：利用待训练的缺陷检测模型，提取样本可见光图像的样本可见光图像特征和样本红外图像的样本红外图像特征；将样本可见光图像特征的第一模态转换为与样本红外图像特征一致的第二模态；根据样本可见光图像特征和样本红外图像特征确定样本配准参数；根据配准标签和样本配准参数，对待训练的缺陷检测模型进行参数优化。
上述缺陷检测模型训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储可见光图像和红外图像数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种变电站设备缺陷检测方法，或一种缺陷检测模型训练方法。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述的变电站设备缺陷检测方法实施例中的步骤；或者，实现上述的缺陷检测模型训练方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的变电站设备缺陷检测方法实施例中的步骤；或者，实现上述的缺陷检测模型训练方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的变电站设备缺陷检测方法实施例中的步骤；或者，实现上述的缺陷检测模型训练方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种变电站设备缺陷检测方法，其特征在于，所述方法包括：
获取目标变电站设备的待检测可见光图像和待检测红外图像；
利用训练过的缺陷检测模型，对所述待检测可见光图像和所述待检测红外图像进行缺陷检测，确定所述目标变电站设备的缺陷位置和缺陷类别；
其中，所述缺陷检测模型，用于：对所述待检测可见光图像和所述待检测红外图像进行图像配准，得到配准可见光图像和配准红外图像；对所述配准可见光图像和所述配准红外图像进行特征融合，得到融合后图像；根据所述融合后图像，确定所述目标变电站设备的缺陷位置和缺陷类别。
2.根据权利要求1所述的方法，其特征在于，所述缺陷检测模型包括图像配准网络、特征融合网络和缺陷定位与识别网络；
所述图像配准网络，用于对所述待检测可见光图像和所述待检测红外图像进行图像配准，得到配准可见光图像和配准红外图像；
所述特征融合网络，用于对所述配准可见光图像和所述配准红外图像进行特征融合，得到融合后图像；
所述缺陷定位与识别网络，用于根据所述融合后图像，确定所述目标变电站设备的缺陷位置和缺陷类别。
3.根据权利要求2所述的方法，其特征在于，所述图像配准网络具体用于：
提取所述待检测可见光图像的可见光图像特征和所述待检测红外图像的红外图像特征；
将所述可见光图像特征的第一模态转换为与所述红外图像特征一致的第二模态；
根据所述可见光图像特征和所述红外图像特征确定配准参数；
根据所述配准参数对所述待检测红外图像进行变换，得到配准可见光图像和配准红外图像。
4.根据权利要求2所述的方法，其特征在于，所述缺陷定位与识别网络包括定位网络和检测网络；
所述定位网络用于提取所述融合后图像中缺陷的位置信息，并根据所述位置信息对所述融合后图像进行裁剪得到缺陷部件块；
所述检测网络用于提取所述缺陷部件块的特征信息，确定所述缺陷的类别。
5.一种缺陷检测模型训练方法，其特征在于，所述方法包括：
获取样本变电站设备的样本可见光图像和样本红外图像；所述样本可见光图像和所述样本红外图像均带有样本变电站设备的缺陷位置标签和缺陷类别标签；
利用待训练的缺陷检测模型，对所述样本可见光图像和所述样本红外图像进行缺陷检测，得到样本缺陷位置和样本缺陷类型；
根据所述缺陷位置标签和所述样本缺陷位置，以及所述缺陷类别标签和所述样本缺陷类型，对所述待训练的缺陷检测模型进行参数优化；
其中，所述待训练的缺陷检测模型，用于：对所述样本可见光图像和所述样本红外图像进行图像配准，得到样本配准可见光图像和样本配准红外图像；对所述样本配准可见光图像和所述样本配准红外图像进行特征融合，得到样本融合后图像；根据所述样本融合后图像，确定所述样本变电站设备的样本缺陷位置和样本缺陷类别。
6.根据权利要求5所述的方法，其特征在于，所述样本红外图像还带有配准标签；在所述利用待训练的缺陷检测模型，对所述样本可见光图像和所述样本红外图像进行缺陷检测，得到样本缺陷位置和样本缺陷类型之前，所述方法还包括：
利用待训练的缺陷检测模型，提取所述样本可见光图像的样本可见光图像特征和所述样本红外图像的样本红外图像特征；
将所述样本可见光图像特征的第一模态转换为与所述样本红外图像特征一致的第二模态；
根据所述样本可见光图像特征和所述样本红外图像特征确定样本配准参数；
根据所述配准标签和所述样本配准参数，对所述待训练的缺陷检测模型进行参数优化。
7.一种变电站设备缺陷检测装置，其特征在于，所述装置包括：
待检测图像获取模块，用于获取目标变电站设备的待检测可见光图像和待检测红外图像；
图像缺陷检测模块，用于利用训练过的缺陷检测模型，对所述待检测可见光图像和所述待检测红外图像进行缺陷检测，确定所述目标变电站设备的缺陷位置和缺陷类别；
其中，所述缺陷检测模型，用于：对所述待检测可见光图像和所述待检测红外图像进行图像配准，得到配准可见光图像和配准红外图像；对所述配准可见光图像和所述配准红外图像进行特征融合，得到融合后图像；根据所述融合后图像，确定所述目标变电站设备的缺陷位置和缺陷类别。
8.一种缺陷检测模型训练装置，其特征在于，所述装置包括：
样本图像获取模块，用于获取样本变电站设备的样本可见光图像和样本红外图像；所述样本可见光图像和所述样本红外图像均带有样本变电站设备的缺陷位置标签和缺陷类别标签；
样本缺陷检测模块，用于利用待训练的缺陷检测模型，对所述样本可见光图像和所述样本红外图像进行缺陷检测，得到样本缺陷位置和样本缺陷类型；
参数优化模块，用于根据所述缺陷位置标签和所述样本缺陷位置，以及所述缺陷类别标签和所述样本缺陷类型，对所述待训练的缺陷检测模型进行参数优化；
其中，所述待训练的缺陷检测模型，用于：对所述样本可见光图像和所述样本红外图像进行图像配准，得到样本配准可见光图像和样本配准红外图像；对所述样本配准可见光图像和所述样本配准红外图像进行特征融合，得到样本融合后图像；根据所述样本融合后图像，确定所述样本变电站设备的样本缺陷位置和样本缺陷类别。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202310467262.8A 2023-04-19 2023-04-19 变电站设备缺陷检测方法、模型训练方法、装置和设备 Pending CN116452573A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310467262.8A CN116452573A (zh) 2023-04-19 2023-04-19 变电站设备缺陷检测方法、模型训练方法、装置和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310467262.8A CN116452573A (zh) 2023-04-19 2023-04-19 变电站设备缺陷检测方法、模型训练方法、装置和设备

Publications (1)

Publication Number Publication Date
CN116452573A true CN116452573A (zh) 2023-07-18

Family

ID=87135612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310467262.8A Pending CN116452573A (zh) 2023-04-19 2023-04-19 变电站设备缺陷检测方法、模型训练方法、装置和设备

Country Status (1)

Country Link
CN (1) CN116452573A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274899A (zh) * 2023-09-20 2023-12-22 中国人民解放军海军航空大学 基于可见光和红外光图像特征融合的仓储隐患检测方法
CN117470859A (zh) * 2023-12-25 2024-01-30 广州中科智巡科技有限公司 绝缘子内部缺陷检测方法和装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274899A (zh) * 2023-09-20 2023-12-22 中国人民解放军海军航空大学 基于可见光和红外光图像特征融合的仓储隐患检测方法
CN117274899B (zh) * 2023-09-20 2024-05-28 中国人民解放军海军航空大学 基于可见光和红外光图像特征融合的仓储隐患检测方法
CN117470859A (zh) * 2023-12-25 2024-01-30 广州中科智巡科技有限公司 绝缘子内部缺陷检测方法和装置
CN117470859B (zh) * 2023-12-25 2024-03-22 广州中科智巡科技有限公司 绝缘子内部缺陷检测方法和装置

Similar Documents

Publication Publication Date Title
CN112950667B (zh) 一种视频标注方法、装置、设备及计算机可读存储介质
CN116452573A (zh) 变电站设备缺陷检测方法、模型训练方法、装置和设备
CN109544501B (zh) 一种基于无人机多源图像特征匹配的输电设备缺陷检测方法
CN111222395A (zh) 目标检测方法、装置与电子设备
CN115526892B (zh) 基于三维重建的图像缺陷去重检测方法和装置
Charco et al. Deep learning based camera pose estimation in multi-view environment
CN112396053A (zh) 一种基于级联神经网络的环视鱼眼图像目标检测方法
CN116760937B (zh) 一种基于多机位的视频拼接方法、装置、设备及存储介质
WO2020259416A1 (zh) 图像采集控制方法、装置、电子设备及存储介质
Manninen et al. Multi-stage deep learning networks for automated assessment of electricity transmission infrastructure using fly-by images
CN117333440A (zh) 输配电线路缺陷检测方法、装置、设备、介质和程序产品
Zhang et al. Depth Monocular Estimation with Attention-based Encoder-Decoder Network from Single Image
WO2023222643A1 (en) Method for image segmentation matching
CN116664465A (zh) 一种多模态图像融合方法、装置及计算机设备
CN115861927A (zh) 电力设备巡检图像的图像识别方法、装置和计算机设备
US9930252B2 (en) Methods, systems and robots for processing omni-directional image data
Lafkih et al. Solar panel monitoring using a video frames mosaicing
CN115115713A (zh) 一种统一时空融合的环视鸟瞰图感知方法
Amamra et al. Crime scene reconstruction with RGB-D sensors
CN111489439B (zh) 一种三维线图重建方法、装置和电子设备
Zhang et al. UAV image matching from handcrafted to deep local features
CN110020624B (zh) 图像识别方法、终端设备及存储介质
Guo et al. Simultaneous object detection and association in connected vehicle platform
Liu et al. Star-Convolution for Image-Based 3D Object Detection
Vismaya et al. Fuzzy c-means algorithm based depth estimation in single image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination