CN113139955B - 一种基于双光图像的光伏组件故障识别方法及系统 - Google Patents
一种基于双光图像的光伏组件故障识别方法及系统 Download PDFInfo
- Publication number
- CN113139955B CN113139955B CN202110514797.7A CN202110514797A CN113139955B CN 113139955 B CN113139955 B CN 113139955B CN 202110514797 A CN202110514797 A CN 202110514797A CN 113139955 B CN113139955 B CN 113139955B
- Authority
- CN
- China
- Prior art keywords
- visible light
- picture
- photovoltaic module
- module
- photovoltaic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000003745 diagnosis Methods 0.000 claims abstract description 62
- 230000011218 segmentation Effects 0.000 claims abstract description 28
- 238000012549 training Methods 0.000 claims description 56
- 238000001514 detection method Methods 0.000 claims description 34
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 238000007635 classification algorithm Methods 0.000 claims description 15
- 238000013467 fragmentation Methods 0.000 claims description 6
- 238000006062 fragmentation reaction Methods 0.000 claims description 6
- 238000004140 cleaning Methods 0.000 claims description 5
- 230000009977 dual effect Effects 0.000 claims description 5
- 238000009825 accumulation Methods 0.000 claims 2
- 230000002159 abnormal effect Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000000691 measurement method Methods 0.000 description 6
- 238000010438 heat treatment Methods 0.000 description 3
- 238000009529 body temperature measurement Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 210000003608 fece Anatomy 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013145 classification model Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 238000001559 infrared map Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Photovoltaic Devices (AREA)
Abstract
本发明涉及一种基于双光图像的光伏组件故障识别方法及系统，同时拍摄光伏阵列的可见光图片和红外图片，对可见光图片进行光伏组件分割，根据光伏组件分割后的可见光图片对红外图片进行光伏组件分割，对光伏组件分割后的红外图片中的每一块光伏组件进行故障诊断，确定发生故障的光伏组件，根据可见光图片确定发生故障的光伏组件的故障类型。本发明利用可见光图边缘位置清晰，容易分割的特点，在可见光图上进行光伏阵列分割，并利用红外图片包含故障信息的特点，在分割后可见光图的对应红外区域进行故障诊断，将诊断后的信息返回到对应的可见光区域，获取了准确的故障区域，并在准确的故障区域内进行故障诊断，提高了诊断的准确度。
Description
技术领域
本发明涉及故障诊断技术领域，特别是涉及一种基于双光图像的光伏组件故障识别方法及系统。
背景技术
光伏组件的故障基本都体现在组件异常发热，异常发热又会进而影响组件的电压、电流、功率等电气特性。因此通过检测光伏组件异常发热部位和电气特性异常部位即可完成对光伏阵列的故障诊断。在此基础上光伏组件故障诊断可划分为两大类：基于电气特性的故障诊断方法和基于红外温度测量的故障诊断方法。
电气测量法利用电压、电流、功率等进行诊断，但是由于故障数据与大规模的非故障数据融合，很容易造成故障数据的丢失，而且在复杂电站与大规模的光伏阵列中去测量电气数据是一件不现实的事情。与此同时电气测量方法需要大量的传感器。
红外测量方法只需要一组红外成像仪，相比较于电气测量的方法，红外测量法的数据量与检测成本都有阶梯式下降。这些都使得红外测量的方法在光伏阵列故障诊断中更加适用。红外测量的方法是基于红外成像仪。使用红外成像仪获取阵列红外图片，判断红外图片的温度异常部位，进而获取组件异常区域。由于光伏电站现场环境因素以及红外成像仪器固有特性，红外热图普遍会存在图像边缘模糊，目标对比度差，非均匀成像及噪声较大等缺点。虽然红外图像包含故障组件的特性信息，但是光伏组件边缘信息模糊，难以做到组件与环境，组件与组件的有效分割，这就使得红外图像信息海量，数据依旧匮乏，难以有效利用。
因此，如何在准确的故障区域内进行故障诊断，提高诊断的准确度是目前亟待解决的技术问题。
发明内容
本发明的目的是提供一种基于双光图像的光伏组件故障识别方法及系统，以获取准确的故障区域，并在准确的故障区域内进行故障诊断，提高诊断的准确度。
为实现上述目的，本发明提供了如下方案：
一种基于双光图像的光伏组件故障识别方法，所述方法包括：
获取携带双光摄像头的无人机拍摄的光伏阵列的可见光图片和红外图片；
采用目标检测算法对所述可见光图片中的光伏阵列进行光伏组件分割，获得光伏组件分割后的可见光图片；
根据所述光伏组件分割后的可见光图片对所述红外图片进行光伏组件分割，获得光伏组件分割后的红外图片；
采用图片分类算法对所述光伏组件分割后的红外图片中的每一块光伏组件进行故障诊断，确定发生故障的光伏组件；
根据所述光伏组件分割后的可见光图片确定发生故障的光伏组件的故障类型。
进一步地，所述采用目标检测算法对所述可见光图片中的光伏阵列进行光伏组件分割，获得光伏组件分割后的可见光图片，具体包括：
选取光伏电站在不同时间段拍摄的多张可见光图片，并对每张可见光图片进行光伏组件分割，获得多张组件分割后的可见光图片；
以多张可见光图片作为输入量，多张分割后的可见光图片作为输出量构成可见光图片训练数据集；
利用所述可见光图片训练数据集对YOLOv5目标检测模型进行训练，获得训练好的YOLOv5目标检测模型；
采用训练好的YOLOv5目标检测模型对所述可见光图片中的光伏阵列进行光伏组件分割，获得光伏组件分割后的可见光图片。
进一步地，所述采用图片分类算法对所述光伏组件分割后的红外图片中的每一块光伏组件进行故障诊断，确定发生故障的光伏组件，具体包括：
采用图片分类算法中的ResNet模型对所述光伏组件分割后的红外图片中的每一块光伏组件进行故障诊断，确定发生故障的光伏组件。
进一步地，所述采用图片分类算法中的ResNet模型对所述光伏组件分割后的红外图片中的每一块光伏组件进行故障诊断，确定发生故障的光伏组件，之前还包括：
选取光伏电站在不同时间段拍摄的多张红外图片，并对每张红外图片进行故障诊断，获得多张组件诊断后的红外图片；
以多张红外图片作为输入量，多张组件诊断后的红外图片作为输出量构成红外图片训练数据集；
利用所述红外图片训练数据集对ResNet模型进行训练，获得训练好的ResNet模型。
进一步地，根据所述光伏组件分割后的可见光图片确定发生故障的光伏组件的故障类型，具体包括：
在所述光伏组件分割后的可见光图片上确定发生故障的光伏组件对应的光伏组件图片，确定为故障光伏组件的可见光图片；
若所述故障光伏组件的可见光图片显示完好无损，则光伏组件的故障类型为组件内部故障；
若所述故障光伏组件的可见光图片显示组件碎裂，则光伏组件的故障类型为组件碎裂；
若所述故障光伏组件的可见光图片显示有积盖物，则在清理所述积盖物后，返回步骤“获取携带双光摄像头的无人机拍摄的光伏阵列的可见光图片和红外图片”；
若所述故障光伏组件的可见光图片显示影子遮挡，则光伏组件的故障类型为正常。
一种基于双光图像的光伏组件故障识别系统，所述系统包括：
可见光图片和红外图片获取模块，用于获取携带双光摄像头的无人机拍摄的光伏阵列的可见光图片和红外图片；
光伏组件分割后的可见光图片获得模块，用于采用目标检测算法对所述可见光图片中的光伏阵列进行光伏组件分割，获得光伏组件分割后的可见光图片；
光伏组件分割后的红外图片获得模块，用于根据所述光伏组件分割后的可见光图片对所述红外图片进行光伏组件分割，获得光伏组件分割后的红外图片；
发生故障的光伏组件确定模块，用于采用图片分类算法对所述光伏组件分割后的红外图片中的每一块光伏组件进行故障诊断，确定发生故障的光伏组件；
故障类型确定模块，用于根据所述光伏组件分割后的可见光图片确定发生故障的光伏组件的故障类型。
进一步地，所述光伏组件分割后的可见光图片获得模块，具体包括：
组件分割后的可见光图片获得子模块，用于选取光伏电站在不同时间段拍摄的多张可见光图片，并对每张可见光图片进行光伏组件分割，获得多张组件分割后的可见光图片；
可见光图片训练数据集构成子模块，用于以多张可见光图片作为输入量，多张分割后的可见光图片作为输出量构成可见光图片训练数据集；
训练好的YOLOv5目标检测模型获得子模块，用于利用所述可见光图片训练数据集对YOLOv5目标检测模型进行训练，获得训练好的YOLOv5目标检测模型；
光伏组件分割后的可见光图片获得子模块，用于采用训练好的YOLOv5目标检测模型对所述可见光图片中的光伏阵列进行光伏组件分割，获得光伏组件分割后的可见光图片。
进一步地，所述发生故障的光伏组件确定模块，具体包括：
故障光伏组件确定子模块，用于采用图片分类算法中的ResNet模型对所述光伏组件分割后的红外图片中的每一块光伏组件进行故障诊断，确定发生故障的光伏组件。
进一步地，所述系统还包括：
组件诊断后的红外图片获得模块，用于选取光伏电站在不同时间段拍摄的多张红外图片，并对每张红外图片进行故障诊断，获得多张组件诊断后的红外图片；
红外图片训练数据集构成模块，用于以多张红外图片作为输入量，多张组件诊断后的红外图片作为输出量构成红外图片训练数据集；
训练好的ResNet模型获得模块，用于利用所述红外图片训练数据集对ResNet模型进行训练，获得训练好的ResNet模型。
进一步地，所述故障类型确定模块，具体包括：
故障光伏组件的可见光图片确定子模块，用于在所述光伏组件分割后的可见光图片上确定发生故障的光伏组件对应的光伏组件图片，确定为故障光伏组件的可见光图片；
组件内部故障确定子模块，用于若所述故障光伏组件的可见光图片显示完好无损，则光伏组件的故障类型为组件内部故障；
组件碎裂确定子模块，用于若所述故障光伏组件的可见光图片显示组件碎裂，则光伏组件的故障类型为组件碎裂；
步骤返回子模块，用于若所述故障光伏组件的可见光图片显示有积盖物，则在清理所述积盖物后，返回步骤“获取携带双光摄像头的无人机拍摄的光伏阵列的可见光图片和红外图片”；
正常类型确定子模块，用于若所述故障光伏组件的可见光图片显示影子遮挡，则光伏组件的故障类型为正常。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供了一种基于双光图像的光伏组件故障识别方法，采用携带双光摄像头的无人机拍摄光伏阵列，同时获得光伏阵列的可见光图片和红外图片，采用目标检测算法对可见光图片中的光伏阵列进行光伏组件分割，根据光伏组件分割后的可见光图片对红外图片进行光伏组件分割，采用图片分类算法对光伏组件分割后的红外图片中的每一块光伏组件进行故障诊断，确定发生故障的光伏组件，根据光伏组件分割后的可见光图片确定发生故障的光伏组件的故障类型。本发明利用可见光图边缘位置清晰，容易分割的特点，在可见光图上进行光伏阵列分割，并利用红外图片包含故障信息的特点，在分割后可见光图的对应红外区域进行故障诊断，将诊断后的信息返回到对应的可见光区域，获取了准确的故障区域，并在准确的故障区域内进行故障诊断，提高了诊断的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种基于双光图像的光伏组件故障识别方法的流程图；
图2为本发明提供的一种基于双光图像的光伏组件故障识别方法的原理图；
图3为本发明实施例提供的携带双光摄像头的无人机拍摄的光伏阵列的可见光图；
图4为本发明实施例提供的携带双光摄像头的无人机拍摄的光伏阵列的红外图；
图5为本发明实施例提供的光伏组件分割后的可见光图；
图6为本发明实施例提供的光伏组件分割后的红外图；
图7为本发明实施例提供的红外图片上发生故障的光伏组件图；
图8为本发明实施例提供的标记后的可见光图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于双光图像的光伏组件故障识别方法及系统，以获取准确的故障区域，并在准确的故障区域内进行故障诊断，提高诊断的准确度。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
一种基于双光图像的光伏组件故障识别方法，如图1-2，方法包括：
S101，获取携带双光摄像头的无人机拍摄的光伏阵列的可见光图片和红外图片。
S102，采用目标检测算法对可见光图片中的光伏阵列进行光伏组件分割，获得光伏组件分割后的可见光图片，具体包括：
选取光伏电站在不同时间段拍摄的多张可见光图片，并对每张可见光图片进行光伏组件分割，获得多张组件分割后的可见光图片；
以多张可见光图片作为输入量，多张分割后的可见光图片作为输出量构成可见光图片训练数据集；
利用可见光图片训练数据集对YOLOv5目标检测模型进行训练，获得训练好的YOLOv5目标检测模型；
采用训练好的YOLOv5目标检测模型对可见光图片中的光伏阵列进行光伏组件分割，获得光伏组件分割后的可见光图片。
S103，根据光伏组件分割后的可见光图片对红外图片进行光伏组件分割，获得光伏组件分割后的红外图片；
S104，采用图片分类算法对光伏组件分割后的红外图片中的每一块光伏组件进行故障诊断，确定发生故障的光伏组件，具体包括：
采用图片分类算法中的ResNet模型对所述光伏组件分割后的红外图片中的每一块光伏组件进行故障诊断，确定发生故障的光伏组件。
S104步骤之前，还包括：
选取光伏电站在不同时间段拍摄的多张红外图片，并对每张红外图片进行故障诊断，获得多张组件诊断后的红外图片；
以多张红外图片作为输入量，多张组件诊断后的红外图片作为输出量构成红外图片训练数据集；
利用红外图片训练数据集对ResNet模型进行训练，获得训练好的ResNet模型。
S105，根据光伏组件分割后的可见光图片确定发生故障的光伏组件的故障类型，具体包括：
在光伏组件分割后的可见光图片上确定发生故障的光伏组件对应的光伏组件图片，确定为故障光伏组件的可见光图片；
若故障光伏组件的可见光图片显示完好无损，则光伏组件的故障类型为组件内部故障；
若故障光伏组件的可见光图片显示组件碎裂，则光伏组件的故障类型为组件碎裂；
若故障光伏组件的可见光图片显示有积盖物，则在清理积盖物后，返回步骤“获取携带双光摄像头的无人机拍摄的光伏阵列的可见光图片和红外图片”；
若故障光伏组件的可见光图片显示影子遮挡，则光伏组件的故障类型为正常。
本发明提供了以下实施例来具体阐明基于双光图像的光伏组件故障识别方法的工作原理。
双光摄像头：同时搭载可见光与红外的摄像头，拍摄时可见光与红外角度是一致的。
步骤1：利用携带双光摄像头的无人机在光伏阵列高度为8-12m的高度拍摄角度基本与光伏阵列平行或倾斜角在15°范围内进行阵列图片的拍摄。
由于双光摄像头的使用，会同时、同角度的获得光伏阵列的同一位置的可见光与红外图片。这种红外与可见光图片内容完全一致，唯一的区别就是一张是正常的可见光图片，一张是红外图片。拍摄的可见光图片如图3所示，拍摄的红外图片如图4所示。
其中，倾角15°是做实验得出来的最佳拍摄角度范围。
8-12m的高度是为了保证低空拍摄，从而以提高后续图片分割的准确性。
步骤2：对采集到的可见光图片进行组件分割，把组件与环境，组件与组件分割开来。保证在可见光图范围内每一个完整的组件都被分割了出来，并按照从上到下，从左至右的顺序进行编号(1--N)。
组件分割采用的是YOLOv5目标检测算法。首先是先通过打好标签的训练集去训练模型。使用训练好的YOLOv5模型处理需要分割的可见光图片，这样YOLOv5模型会自动将图片上的光伏阵列区域分割出来，并将分割结果用方框在可见光图片上框出来。这样每一块光伏组件就清楚的在图片上被框出来了，分割后的可见光图如图5所示。
具体操作流程，选取光伏电站在不同时间(早(8点)中(2点)晚(五点))段拍摄的可见光图片3000张，使用lableimage软件人为打好分割标签形成可见光图片的数据集。从Github上下载开源的YOLOv5算法模型。使用开源的YOLOv5算法模型提供的Python脚本，导入训练集位置，设置训练参数，设计的参数为：epoch＝300batch_size＝128(附注：这两个参数都是可以变化的，根据数据集情况与硬件情况都可更改为更适合的大小)。训练结束后就可以在YOLOv5算法的模型包里拿到本次训练的权重文件。拿到YOLOv5权重文件后将需要分割的可见光图片输入权重模型就可以输出分割结果，以备后续使用。其中，epoch表示训练次数，batch_size表示GPU一次吞入的图片数量。
在这个训练过程中需要准备的电脑配置为：(这些配置都是Python的配置，可以在Python软件内部配置就行)，步骤四的ResNet训练时也是需要这些配置。
matplotlib>＝3.2.2
numpy>＝1.18.5
opencv-python>＝4.1.2
pillow
PyYAML>＝5.3
scipy>＝1.4.1
tensorboard>＝2.2
torch>＝1.6.0
torchvision>＝0.7.0
tqdm>＝4.41.0
在上面的Python配置中大于或等于符号的左侧matplotlib、numpy、opencv-python、pillow、PyYAML、scipy、tensorboard、torch、torchvision和tqdm均为Python依赖库的名称，右侧的数字为这些库的版本。
步骤3：将可见光图的分割信息对应在红外图片上，并且框出红外图片上每一块光伏组件区域。依旧按照从上到下，从左至右的顺序进行编号(1--N)。以保证和可见光图片上分割的区域一一对应。
从可见光上分割的光伏组件区域到红外图上的光伏组件区域，是因为在分割可见光图后输出的结果里包含每个分割组件框的坐标信息，因为可见光图与红外图是完全信息对应的，只要将这个框的坐标信息放在红外图上处理，那么可见光图的分割结果就展现在了红外图上，并且可以拿出红外图分割后的每一块光伏组件，分割后对应的红外图如图6所示。
步骤4：对每一个在红外图上分割好的光伏组件区域进行故障诊断。
故障诊断采用的方法是ResNet分类模型。首先是通过打好标签的训练集去训练模型。使用训练好的ResNet模型处理分割好的每一块光伏组件红外图片。ResNet模型会自动判断这个区域是好的，还是故障的，如果是故障的会记住故障区域的位置编号。
具体操作流程，同样选取光伏电站在不同时间(早(8点)中(2点)晚(五点))段拍摄的红外图片3000张，人为分类打好标签形成红外图片的数据集。从Github上下载开源的ResNet算法模型。使用开源的ResNet算法模型提供的Python脚本，导入训练集位置，设置训练参数，这一部分设计的参数同样为：epoch＝300batch_size＝128(附注：这两个参数都是可以变化的，根据数据集情况与硬件情况都可更改为更适合的大小)。训练结束后就可以在ResNet算法的模型包里拿到本次训练的权重文件。拿到ResNet权重文件后将分割好的红外图片区域一一输入权重模型就可以输出检测结果，这个结果只有两个：故障/非故障，因为提前知道输入进去的这个红外区域编号或者坐标，那么根据这个信息就可以在整个红外图上标出来故障区域信息。
标记好的红外图如图7所示。
步骤5：将步骤四故障编号对应的红外区域与可见光区域在红外图与可见光图上都标注框出来，这样就可以清楚的看到已经确定的红外故障区域与对应的可见光区域。标记后的可见光图如图8所示。
步骤6：对比标注好的可见光区域与红外区域。若可见光图区域是影子遮挡(这个是人为去断定，人为根据输出这两张图去对比看，结果很直白的体现在图片上，人为断定就行，这个就是肉眼可见的东西的影子，没有判定规则，肉眼很明确就能看出来是影子，在太阳物体的影子一样)，红外区域是温度异常，那么这个故障可以排除。如果可见光区域完好无损，红外区域是温度异常，那么这就是组件内部故障，需警报运行人员。如果可见光图上出现鸟屎等积盖物，红外区域是温度异常，那么这个区域需通知运行人员清理后再更近一步判断。如果可见光区域是组件碎裂，红外区域是温度异常，那么这是组件碎裂，需警报运行人员。这样运行人员就可以更清楚的知道故障类型与故障位置，为进一步的故障排除打好基础。
根据步骤4与步骤5提供的图片对比，可以发现左侧两个框出来的位置在红外图上存在异常，但在可将光图上不存在异常，判断为组件内部损坏，右侧一个框出来的区域在红外图上存在异常，可见光图上为一个影子遮挡，判断为遮挡，故障排除。
为了解决电气特性的故障诊断方法数据丢失，数据难以采集，单纯就红外温度测量方法中红外难以有效分割，并且不能直接定位到故障位置的缺点。本发明提出了一种融合双光图像的光伏组件故障识别方法。利用可见光图边缘位置清晰，容易分割的特点，在可见光图上进行光伏阵列分割。利用红外图片包含故障信息的特点，在分割后可见光图的对应红外区域进行故障诊断。并将诊断后的信息返回到对应的可见光区域。这种方法不仅可以在准确的区域内进行故障诊断，从而提高诊断的准确度。也可以通过分割诊断的红外故障区域与对应的可见光区域进行比对，从而排除一些遮挡，鸟类粪便等误报。
本发明的优点：
1)因为融合了可见光与红外图片，所以组件被完美的分割，完美分割后的组件进行故障诊断，这就提高了诊断的准确率。
2)由于红外与可见光图片的融合，所以红外的故障区域与对应的可见光区域可以一次性看到并且做对比，从而可以排除一些误报。
3)由于是低空(8-12m)拍摄基本平行角度(拍摄倾角小于15°)，所以拍摄后的图片更清楚与精细，可以使得分割结果更好，进一步提高诊断准确率。
本发明还提供了一种基于双光图像的光伏组件故障识别系统，系统包括：
可见光图片和红外图片获取模块，用于获取携带双光摄像头的无人机拍摄的光伏阵列的可见光图片和红外图片。
光伏组件分割后的可见光图片获得模块，用于采用目标检测算法对可见光图片中的光伏阵列进行光伏组件分割，获得光伏组件分割后的可见光图片。
光伏组件分割后的红外图片获得模块，用于根据光伏组件分割后的可见光图片对红外图片进行光伏组件分割，获得光伏组件分割后的红外图片。
发生故障的光伏组件确定模块，用于采用图片分类算法对光伏组件分割后的红外图片中的每一块光伏组件进行故障诊断，确定发生故障的光伏组件。
故障类型确定模块，用于根据光伏组件分割后的可见光图片确定发生故障的光伏组件的故障类型。
光伏组件分割后的可见光图片获得模块，具体包括：
组件分割后的可见光图片获得子模块，用于选取光伏电站在不同时间段拍摄的多张可见光图片，并对每张可见光图片进行光伏组件分割，获得多张组件分割后的可见光图片；
可见光图片训练数据集构成子模块，用于以多张可见光图片作为输入量，多张分割后的可见光图片作为输出量构成可见光图片训练数据集；
训练好的YOLOv5目标检测模型获得子模块，用于利用可见光图片训练数据集对YOLOv5目标检测模型进行训练，获得训练好的YOLOv5目标检测模型；
光伏组件分割后的可见光图片获得子模块，用于采用训练好的YOLOv5目标检测模型对可见光图片中的光伏阵列进行光伏组件分割，获得光伏组件分割后的可见光图片。
发生故障的光伏组件确定模块，具体包括：
故障光伏组件确定子模块，用于采用图片分类算法中的ResNet模型对光伏组件分割后的红外图片中的每一块光伏组件进行故障诊断，确定发生故障的光伏组件。
系统还包括：
组件诊断后的红外图片获得模块，用于选取光伏电站在不同时间段拍摄的多张红外图片，并对每张红外图片进行故障诊断，获得多张组件诊断后的红外图片；
红外图片训练数据集构成模块，用于以多张红外图片作为输入量，多张组件诊断后的红外图片作为输出量构成红外图片训练数据集；
训练好的ResNet模型获得模块，用于利用红外图片训练数据集对ResNet模型进行训练，获得训练好的ResNet模型。
故障类型确定模块，具体包括：
故障光伏组件的可见光图片确定子模块，用于在光伏组件分割后的可见光图片上确定发生故障的光伏组件对应的光伏组件图片，确定为故障光伏组件的可见光图片；
组件内部故障确定子模块，用于若故障光伏组件的可见光图片显示完好无损，则光伏组件的故障类型为组件内部故障；
组件碎裂确定子模块，用于若故障光伏组件的可见光图片显示组件碎裂，则光伏组件的故障类型为组件碎裂；
步骤返回子模块，用于若故障光伏组件的可见光图片显示有积盖物，则在清理积盖物后，返回步骤“获取携带双光摄像头的无人机拍摄的光伏阵列的可见光图片和红外图片”；
正常类型确定子模块，用于若故障光伏组件的可见光图片显示影子遮挡，则光伏组件的故障类型为正常。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种基于双光图像的光伏组件故障识别方法，其特征在于，所述方法包括：
获取携带双光摄像头的无人机拍摄的光伏阵列的可见光图片和红外图片；
采用目标检测算法对所述可见光图片中的光伏阵列进行光伏组件分割，获得光伏组件分割后的可见光图片；
根据所述光伏组件分割后的可见光图片对所述红外图片进行光伏组件分割，获得光伏组件分割后的红外图片；在分割可见光图后输出的结果里包含每个分割组件框的坐标信息，因为可见光图片与红外图片是完全信息对应的，只要将分割组件框的坐标信息放在红外图片上处理，那么可见光图片的分割结果就展现在了红外图片上，并且可以拿出红外图片分割后的每一块光伏组件；
采用图片分类算法对所述光伏组件分割后的红外图片中的每一块光伏组件进行故障诊断，确定发生故障的光伏组件；
根据所述光伏组件分割后的可见光图片确定发生故障的光伏组件的故障类型。
2.根据权利要求1所述的基于双光图像的光伏组件故障识别方法，其特征在于，所述采用目标检测算法对所述可见光图片中的光伏阵列进行光伏组件分割，获得光伏组件分割后的可见光图片，具体包括：
选取光伏电站在不同时间段拍摄的多张可见光图片，并对每张可见光图片进行光伏组件分割，获得多张组件分割后的可见光图片；
以多张可见光图片作为输入量，多张分割后的可见光图片作为输出量构成可见光图片训练数据集；
利用所述可见光图片训练数据集对YOLOv5目标检测模型进行训练，获得训练好的YOLOv5目标检测模型；
采用训练好的YOLOv5目标检测模型对所述可见光图片中的光伏阵列进行光伏组件分割，获得光伏组件分割后的可见光图片。
3.根据权利要求1所述的基于双光图像的光伏组件故障识别方法，其特征在于，所述采用图片分类算法对所述光伏组件分割后的红外图片中的每一块光伏组件进行故障诊断，确定发生故障的光伏组件，具体包括：
采用图片分类算法中的ResNet模型对所述光伏组件分割后的红外图片中的每一块光伏组件进行故障诊断，确定发生故障的光伏组件。
4.根据权利要求1所述的基于双光图像的光伏组件故障识别方法，其特征在于，所述采用图片分类算法中的ResNet模型对所述光伏组件分割后的红外图片中的每一块光伏组件进行故障诊断，确定发生故障的光伏组件，之前还包括：
选取光伏电站在不同时间段拍摄的多张红外图片，并对每张红外图片进行故障诊断，获得多张组件诊断后的红外图片；
以多张红外图片作为输入量，多张组件诊断后的红外图片作为输出量构成红外图片训练数据集；
利用所述红外图片训练数据集对ResNet模型进行训练，获得训练好的ResNet模型。
5.根据权利要求1所述的基于双光图像的光伏组件故障识别方法，其特征在于，根据所述光伏组件分割后的可见光图片确定发生故障的光伏组件的故障类型，具体包括：
在所述光伏组件分割后的可见光图片上确定发生故障的光伏组件对应的光伏组件图片，确定为故障光伏组件的可见光图片；
若所述故障光伏组件的可见光图片显示完好无损，则光伏组件的故障类型为组件内部故障；
若所述故障光伏组件的可见光图片显示组件碎裂，则光伏组件的故障类型为组件碎裂；
若所述故障光伏组件的可见光图片显示有积盖物，则在清理所述积盖物后，返回步骤“获取携带双光摄像头的无人机拍摄的光伏阵列的可见光图片和红外图片”；
若所述故障光伏组件的可见光图片显示影子遮挡，则光伏组件的故障类型为正常。
6.一种基于双光图像的光伏组件故障识别系统，其特征在于，所述系统包括：
可见光图片和红外图片获取模块，用于获取携带双光摄像头的无人机拍摄的光伏阵列的可见光图片和红外图片；
光伏组件分割后的可见光图片获得模块，用于采用目标检测算法对所述可见光图片中的光伏阵列进行光伏组件分割，获得光伏组件分割后的可见光图片；
光伏组件分割后的红外图片获得模块，用于根据所述光伏组件分割后的可见光图片对所述红外图片进行光伏组件分割，获得光伏组件分割后的红外图片；在分割可见光图后输出的结果里包含每个分割组件框的坐标信息，因为可见光图片与红外图片是完全信息对应的，只要将分割组件框的坐标信息放在红外图片上处理，那么可见光图片的分割结果就展现在了红外图片上，并且可以拿出红外图片分割后的每一块光伏组件；
发生故障的光伏组件确定模块，用于采用图片分类算法对所述光伏组件分割后的红外图片中的每一块光伏组件进行故障诊断，确定发生故障的光伏组件；
故障类型确定模块，用于根据所述光伏组件分割后的可见光图片确定发生故障的光伏组件的故障类型。
7.根据权利要求6所述的基于双光图像的光伏组件故障识别系统，其特征在于，所述光伏组件分割后的可见光图片获得模块，具体包括：
组件分割后的可见光图片获得子模块，用于选取光伏电站在不同时间段拍摄的多张可见光图片，并对每张可见光图片进行光伏组件分割，获得多张组件分割后的可见光图片；
可见光图片训练数据集构成子模块，用于以多张可见光图片作为输入量，多张分割后的可见光图片作为输出量构成可见光图片训练数据集；
训练好的YOLOv5目标检测模型获得子模块，用于利用所述可见光图片训练数据集对YOLOv5目标检测模型进行训练，获得训练好的YOLOv5目标检测模型；
光伏组件分割后的可见光图片获得子模块，用于采用训练好的YOLOv5目标检测模型对所述可见光图片中的光伏阵列进行光伏组件分割，获得光伏组件分割后的可见光图片。
8.根据权利要求6所述的基于双光图像的光伏组件故障识别系统，其特征在于，所述发生故障的光伏组件确定模块，具体包括：
故障光伏组件确定子模块，用于采用图片分类算法中的ResNet模型对所述光伏组件分割后的红外图片中的每一块光伏组件进行故障诊断，确定发生故障的光伏组件。
9.根据权利要求8所述的基于双光图像的光伏组件故障识别系统，其特征在于，所述系统还包括：
组件诊断后的红外图片获得模块，用于选取光伏电站在不同时间段拍摄的多张红外图片，并对每张红外图片进行故障诊断，获得多张组件诊断后的红外图片；
红外图片训练数据集构成模块，用于以多张红外图片作为输入量，多张组件诊断后的红外图片作为输出量构成红外图片训练数据集；
训练好的ResNet模型获得模块，用于利用所述红外图片训练数据集对ResNet模型进行训练，获得训练好的ResNet模型。
10.根据权利要求6所述的基于双光图像的光伏组件故障识别系统，其特征在于，所述故障类型确定模块，具体包括：
故障光伏组件的可见光图片确定子模块，用于在所述光伏组件分割后的可见光图片上确定发生故障的光伏组件对应的光伏组件图片，确定为故障光伏组件的可见光图片；
组件内部故障确定子模块，用于若所述故障光伏组件的可见光图片显示完好无损，则光伏组件的故障类型为组件内部故障；
组件碎裂确定子模块，用于若所述故障光伏组件的可见光图片显示组件碎裂，则光伏组件的故障类型为组件碎裂；
步骤返回子模块，用于若所述故障光伏组件的可见光图片显示有积盖物，则在清理所述积盖物后，调用可见光图片和红外图片获取模块；
正常类型确定子模块，用于若所述故障光伏组件的可见光图片显示影子遮挡，则光伏组件的故障类型为正常。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110514797.7A CN113139955B (zh) | 2021-05-12 | 2021-05-12 | 一种基于双光图像的光伏组件故障识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110514797.7A CN113139955B (zh) | 2021-05-12 | 2021-05-12 | 一种基于双光图像的光伏组件故障识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113139955A CN113139955A (zh) | 2021-07-20 |
| CN113139955B true CN113139955B (zh) | 2024-02-27 |
Family
ID=76817008
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110514797.7A Active CN113139955B (zh) | 2021-05-12 | 2021-05-12 | 一种基于双光图像的光伏组件故障识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113139955B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116977907A (zh) * | 2023-06-25 | 2023-10-31 | 国网山东省电力公司金乡县供电公司 | 基于图像识别的电力巡检故障诊断方法及系统 |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007036055A1 (en) * | 2005-09-30 | 2007-04-05 | Simon Fraser University | Methods and apparatus for detecting defects in imaging arrays by image analysis |
| CN102129564A (zh) * | 2011-02-14 | 2011-07-20 | 西南交通大学 | 基于无人飞行器的接触网故障检测与诊断方法 |
| CN105263000A (zh) * | 2015-10-16 | 2016-01-20 | 广西大学 | 基于无人机载双相机的大型光伏电站巡检装置 |
| CN105262441A (zh) * | 2015-09-08 | 2016-01-20 | 西安交通大学 | 基于红外图像的光伏阵列故障等级划分方法 |
| CN107729907A (zh) * | 2016-08-12 | 2018-02-23 | 南京理工大学 | 一种基于红外热成像系统的故障识别方法 |
| CN109584222A (zh) * | 2018-11-19 | 2019-04-05 | 国网江西省电力有限公司电力科学研究院 | 一种基于无人机的光伏组件图像的故障分类及辨识方法 |
| CN110266268A (zh) * | 2019-06-26 | 2019-09-20 | 武汉理工大学 | 一种基于图像融合识别的光伏组件故障检测方法 |
| CN210927565U (zh) * | 2019-12-05 | 2020-07-03 | 国家电投集团阜城东方新能源发电有限公司 | 一种利用无人机采集光伏组件故障的装置 |
| CN111985455A (zh) * | 2020-09-08 | 2020-11-24 | 国网江西省电力有限公司电力科学研究院 | 一种光伏组件可见光故障模型的训练和识别方法及装置 |
| CN112200764A (zh) * | 2020-09-02 | 2021-01-08 | 重庆邮电大学 | 一种基于热红外图像的光伏电站热斑检测与定位方法 |
| CN112211793A (zh) * | 2020-08-25 | 2021-01-12 | 华北电力大学（保定） | 一种基于视频图像分析的风电机组故障自动识别方法 |
| CN112233092A (zh) * | 2020-10-16 | 2021-01-15 | 广东技术师范大学 | 一种用于无人机电力巡检智能缺陷检测的深度学习方法 |
| CN112465738A (zh) * | 2020-12-21 | 2021-03-09 | 国网山东省电力公司电力科学研究院 | 基于红外与可见光图像的光伏电站在线运维方法及系统 |
| CN112557815A (zh) * | 2020-11-27 | 2021-03-26 | 广东电网有限责任公司肇庆供电局 | 一种基于固定式和移动式巡视图像的配网线路树障识别与故障定位方法 |
| CN112712516A (zh) * | 2021-01-08 | 2021-04-27 | 哈尔滨市科佳通用机电股份有限公司 | 一种基于YOLOv5的高铁底部胶条故障检测方法及系统 |
| CN112733950A (zh) * | 2021-01-18 | 2021-04-30 | 湖北工业大学 | 一种基于图像融合与目标检测结合的电力设备故障诊断方法 |
-
2021
- 2021-05-12 CN CN202110514797.7A patent/CN113139955B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007036055A1 (en) * | 2005-09-30 | 2007-04-05 | Simon Fraser University | Methods and apparatus for detecting defects in imaging arrays by image analysis |
| CN102129564A (zh) * | 2011-02-14 | 2011-07-20 | 西南交通大学 | 基于无人飞行器的接触网故障检测与诊断方法 |
| CN105262441A (zh) * | 2015-09-08 | 2016-01-20 | 西安交通大学 | 基于红外图像的光伏阵列故障等级划分方法 |
| CN105263000A (zh) * | 2015-10-16 | 2016-01-20 | 广西大学 | 基于无人机载双相机的大型光伏电站巡检装置 |
| CN107729907A (zh) * | 2016-08-12 | 2018-02-23 | 南京理工大学 | 一种基于红外热成像系统的故障识别方法 |
| CN109584222A (zh) * | 2018-11-19 | 2019-04-05 | 国网江西省电力有限公司电力科学研究院 | 一种基于无人机的光伏组件图像的故障分类及辨识方法 |
| CN110266268A (zh) * | 2019-06-26 | 2019-09-20 | 武汉理工大学 | 一种基于图像融合识别的光伏组件故障检测方法 |
| CN210927565U (zh) * | 2019-12-05 | 2020-07-03 | 国家电投集团阜城东方新能源发电有限公司 | 一种利用无人机采集光伏组件故障的装置 |
| CN112211793A (zh) * | 2020-08-25 | 2021-01-12 | 华北电力大学（保定） | 一种基于视频图像分析的风电机组故障自动识别方法 |
| CN112200764A (zh) * | 2020-09-02 | 2021-01-08 | 重庆邮电大学 | 一种基于热红外图像的光伏电站热斑检测与定位方法 |
| CN111985455A (zh) * | 2020-09-08 | 2020-11-24 | 国网江西省电力有限公司电力科学研究院 | 一种光伏组件可见光故障模型的训练和识别方法及装置 |
| CN112233092A (zh) * | 2020-10-16 | 2021-01-15 | 广东技术师范大学 | 一种用于无人机电力巡检智能缺陷检测的深度学习方法 |
| CN112557815A (zh) * | 2020-11-27 | 2021-03-26 | 广东电网有限责任公司肇庆供电局 | 一种基于固定式和移动式巡视图像的配网线路树障识别与故障定位方法 |
| CN112465738A (zh) * | 2020-12-21 | 2021-03-09 | 国网山东省电力公司电力科学研究院 | 基于红外与可见光图像的光伏电站在线运维方法及系统 |
| CN112712516A (zh) * | 2021-01-08 | 2021-04-27 | 哈尔滨市科佳通用机电股份有限公司 | 一种基于YOLOv5的高铁底部胶条故障检测方法及系统 |
| CN112733950A (zh) * | 2021-01-18 | 2021-04-30 | 湖北工业大学 | 一种基于图像融合与目标检测结合的电力设备故障诊断方法 |
Non-Patent Citations (5)
| Title |
|---|
| "Fusion of Infrared-Visible Images in UE-IoT for Fault Point Detection Based on GAN";BIN LIAO, YOU DU，et al;《IEEE》;20201231;全文 * |
| "Infrared machine vision and infrared thermography with deep learning: A review";Yunze He，et al;《Infrared Physics&Technology》;20210430;全文 * |
| 基于FAsT-Match算法的电力设备红外图像分割;邹辉;黄福珍;红外技术(第001期);第0-4小节 * |
| 基于红外图像的太阳能光伏阵列故障分析;王培珍;郑诗程;;太阳能学报(第02期);全文 * |
| 王培珍;郑诗程.基于红外图像的太阳能光伏阵列故障分析.太阳能学报.2010,(第02期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113139955A (zh) | 2021-07-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10746763B2 (en) | Apparatus and method for diagnosing electric power equipment using thermal imaging camera | |
| CN111047568B (zh) | 一种漏汽缺陷检测识别方法及系统 | |
| CN102175700B (zh) | 数字x射线图像焊缝分割和缺陷检测方法 | |
| CN103471512B (zh) | 一种基于机器视觉的玻璃板宽检测系统 | |
| CN112033965B (zh) | 基于差分图像分析的3d弧形表面缺陷检测方法 | |
| CN108732507A (zh) | 一种基于电池温度场以及可见光图像的锂电池缺陷检测装置 | |
| CN107564111A (zh) | 基于计算机视觉的电力线空间安全分析方法 | |
| CN112164048B (zh) | 一种基于深度学习的磁瓦表面缺陷自动检测方法和装置 | |
| CN117677969A (zh) | 一种缺陷检测的方法和装置 | |
| CN116109635B (zh) | 复合悬式绝缘子表面质量检测方法、装置、设备及介质 | |
| CN114972177A (zh) | 道路病害识别管理方法、装置及智能终端 | |
| CN113139955B (zh) | 一种基于双光图像的光伏组件故障识别方法及系统 | |
| CN110097531A (zh) | 一种用于无人机电力巡检的异构图像融合检测方法 | |
| CN110376475B (zh) | 玻璃表面线路缺陷快速检测装置及方法 | |
| CN114219758A (zh) | 缺陷检测方法、系统、电子设备和计算机可读存储介质 | |
| CN117456371B (zh) | 一种组串热斑检测方法、装置、设备及介质 | |
| CN108180871A (zh) | 一种定量评价复合绝缘子表面粉化粗糙度的方法 | |
| EP4010873B1 (en) | Use of an hdr image in a visual inspection process | |
| CN116580026B (zh) | 精密零部件外观缺陷自动光学检测方法、设备及存储介质 | |
| CN114399764A (zh) | 一种病理切片的扫描方法及系统 | |
| CN113888408A (zh) | 一种多相机图像采集方法及装置 | |
| CN117292277A (zh) | 基于双目无人机系统与深度学习的绝缘子故障检测方法 | |
| CN116993654B (zh) | 摄像头模组缺陷检测方法、装置、设备、存储介质及产品 | |
| CN116091506A (zh) | 一种基于yolov5的机器视觉缺陷质检方法 | |
| CN115937555A (zh) | 一种基于标准化流模型的工业缺陷检测算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |