CN116310859B - 一种基于多源遥感数据的光伏阵列故障智能检测方法 - Google Patents

一种基于多源遥感数据的光伏阵列故障智能检测方法 Download PDF

Info

Publication number
CN116310859B
CN116310859B CN202310066039.2A CN202310066039A CN116310859B CN 116310859 B CN116310859 B CN 116310859B CN 202310066039 A CN202310066039 A CN 202310066039A CN 116310859 B CN116310859 B CN 116310859B
Authority
CN
China
Prior art keywords
photovoltaic array
fault
remote sensing
label
optical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310066039.2A
Other languages
English (en)
Other versions
CN116310859A (zh
Inventor
张伟
郑利娟
艾萍
齐建伟
王光辉
张涛
刘宇
李沛川
陆尘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ministry Of Natural Resources Land Satellite Remote Sensing Application Center
Original Assignee
Ministry Of Natural Resources Land Satellite Remote Sensing Application Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ministry Of Natural Resources Land Satellite Remote Sensing Application Center filed Critical Ministry Of Natural Resources Land Satellite Remote Sensing Application Center
Priority to CN202310066039.2A priority Critical patent/CN116310859B/zh
Publication of CN116310859A publication Critical patent/CN116310859A/zh
Application granted granted Critical
Publication of CN116310859B publication Critical patent/CN116310859B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/50—Photovoltaic [PV] energy

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Photovoltaic Devices (AREA)

Abstract

本发明公开了一种基于多源遥感数据的光伏阵列故障智能检测方法，本方法首先利用光学遥感影像为光伏阵列板进行自动化编号处理，然后分别利用光学遥感的广域光伏阵列表面监测和热红外影像光伏阵列内部特征反演，实现大范围内光伏阵列故障的精确检测。本发明由深度学习光伏阵列板实例分割为基础，光学遥感故障检测与热红外遥感故障检测级联的多源遥感光伏阵列故障检测完全性技术体系。本发明形成的故障识别模型级联结构不依赖于遥感影像的时相变化，突破了传统遥感只能表面监测的不足，极大了提升了光伏阵列故障检测的全面性和可靠性，为光电绿色产能行业对于光伏阵列的管理提供良好的技术支撑。

Description

一种基于多源遥感数据的光伏阵列故障智能检测方法
技术领域
本发明涉及遥感数据技术领域，尤其涉及一种基于多源遥感数据的光伏阵列故障智能检测方法。
背景技术
面向光伏电力系统，快速获得光伏阵列设施运行状态和故障排查具有重要意义，不仅可以为光伏电站的高效发展节约管理与维护成本，同时也为我国低碳发展提供重要保障。基于人工智能的遥感的广域监测与多源协同识别技术快速发展，并逐步应用于光伏电站阵列检测与系统维护当中，成为遥感绿色产能应用的重要研究热点。
目前，光伏电站遥感监测通常是以单一高分辨率光学遥感数据源为主，使用基于深度学习的语义分割或者目标检测算法实现对光伏电站内的光伏阵列板外围轮廓进行精确定位，进而计算出整个区域内光伏阵列的使用面积与占地面积。这种遥感监测算法较传统遥感影像分类算法，已经达到了较高的识别精度，也广泛应用于光伏电站光伏阵列设施的面积统计、变化监测和光伏产能监管维护等方面。然而光学遥感监测只能应用于光伏阵列的正常运作时的统计和占地规划，以及对于光伏阵列块中出现表面积灰过多、鸟粪附着或者树枝遮挡这种外物引发的故障或者故障隐患识别，但由于位于内部发生的故障(短路、部分老化、裂纹)的光伏阵列在光学遥感影像上特征表现并不明显，因而不能进行其此部分故障检测与排查。
随着热红外遥感成像仪技术的快速发展，基于热红外遥感技术，利用将光能转换电能时所产生的热量信息差异特点，可以对光伏阵列板中内部损坏部位所程现的高亮光班异常特征检测，实现针对运行工作中的光伏阵列板实施故障检测，而且在小范围内取得较为高效的监测效果，很好地弥补了光学遥感光伏阵列监测的不足。但是，由于热红外影像的几何定位精度和成像质量问题，仅依赖这单一数据源，当面对大范围监测需求时，会造成光伏阵列板识别精度与定位精度不高等问题，不能做到高精度定位光伏阵列板的故障排查，从而造成基于热红外遥感光伏阵形故障检测中错误诊断。
因此只依靠单一遥感数据源对光伏阵列故障检测，不能达到遥感光伏电站日常高效和低成本管理和维护的目标。尤其面对当前非可生能源消耗与环境破坏，光能等绿色能源大力发展的国际形式和基于大范围内光伏电站中的阵列板的故障检测与高效管理成为绿色产能发展领域中更加迫切的需求下，需要更加合理可行的遥感智能监测算法和技术策略。
发明内容
本发明的目的在于提供一种基于多源遥感数据的光伏阵列故障智能检测方法，从而解决现有技术中存在的上述问题。
为了实现上述目标，本发明采用的技术方案如下：
一种基于多源遥感数据的光伏阵列故障智能检测方法，包括以下步骤：
S1，获取待检测的光伏阵列的多源遥感影像数据，划分为训练区和验证区，基于训练区制作多源遥感光伏阵列板实例分割编号标记样本集Spv_label：
选取高分辨率光学无人机正射遥感影像数据，影像数据选择红、绿、蓝三波段真彩色组合，位深为8bit。掩膜标注信息为标绘光伏阵列板最小独立单元多边形矢量数据(.shp格式)。利用实例分割样本制作工具，将影像和矢量标裁切为1024*1024像素大小的样本集，采样间隔为512像素，对应于每个瓦片数据的标记信息以多边形节点点位坐标组合结构进行存储；
S2，基于分割编号标记样本集Spv_label，构建并训练光伏阵列实例分割模型Mpv_label，得到训练后的光伏阵列实例分割模型Mpv_label；
S3，基于步骤S2中训练后的光伏阵列实例分割模型Mpv_label，分别推理得到训练区和验证区的光伏阵列块的编号数据集TRpv_label和VRpv_label：
在一幅新的光伏电站光学遥感影像中，通过分块提取策略，逐一正向推理每块的光学影像数据，去除外光伏板外接框结果，只保留光伏阵列表的掩膜分割结果，并利用非极大值抑制NMS算法，去除重复结果掩膜，最后得到两类区域的光伏阵列编号数据集TRpv_label和VRpv_label，文件格式为面状矢量.shp数据格式；
S4，在训练区的光伏阵列块的编号数据集TRpv_label的基础上制作多源遥感光伏阵列故障场景样本集Sfault，并进行标记分类；
S6、采用标记分类后的样本集Sfault训练多源遥感光伏阵列故障检测模型集合Ms_fault；
S7、采用验证区的光伏阵列块的编号数据集VRpv_label，对训练后的多源遥感光伏阵列故障检测模型集合Ms_fault进行多源遥感光伏阵列板故障级联模型推理，得到光伏阵列故障分类结果，包括：仅光学影像故障，仅热红外影像故障，光学影像和热红外均故障以及光学影像和热红外均无故障。
优选的，步骤S1中多源遥感光伏阵列板实例分割编号标记样本集Spv_label中的只涉及到光伏阵列目标与背景两个类别信息，实例分割样本工具将光学遥感影像和同位置中标记光伏阵列多边形的矢量数据，切割为成实例分割样本集，其中样本图片以.jpg格式存储存，样本label为与jpg同名的txt文本文件，其中的每一行数据为jpg中对应的一个多边形mask表达，其格式为[x1,y1,x2,y2,...,xn,yn]，其中[xi,yi],i∈[1,n]为每个多边形的顶点像素坐标。
优选的，训练光伏阵列实例分割模型Mpv_label，具体包括：选取pytorch作为开发框架，以实例分割模型Mask_RCNN构建光伏阵列板编号标记网络，采用基于swin-transformer作为特征编码器提取光伏阵列板影像特征，使用区域生成网络生成候选目标框，并结合全卷积神经网络，对框内目标进行语义分割，考虑到光伏阵列板的边界提取精度和召回度，使用DiceLoss和CrossEntropyLoss相结合的混合loss作为mask部分的损失进行反向传播，最后经过迭代训练获取光学遥感光伏阵板块的实例分割模型文件；
使用的Mask_RCNN网络在最后mask头部训练时使用的loss函数为DiceLoss和交叉熵函数损失的智能组合，主要表达式为：
Loss＝λ·LossDice+(1-λ)·LossCE,λ∈[0,1]
式中，y为标签真实值，y'为模型正向推理值，j为输出样本类别个数，σ为一个极小值，可防止在计算中出现分母为0的情况，同时还可以起到平滑LossDice和反馈梯度；
式中，为正向推理值的概率；
式中，λ为误差调和系数，表示这两种loss对检测光伏阵列目标的语义信息贡献量相同。
优选的，步骤S4中所述的多源遥感光伏阵列故障场景样本集Sfault包括光学遥感光伏阵列故障场景样本集Sop_fault和热红外遥感光伏阵列故障场景样本集Shot_fault；
更优选的，制作训练区光学遥感光伏阵列故障场景样本集Sop_fault具体包括：依据步骤S3中得到的光伏阵列编号多边形矢量数据TRpv_label，提取每个矢量多边形内光学影像光伏阵列影像块，由于每个影像块的范围过小且图片的尺寸不同，采用上采样算法扩大至330*330像素大小，增加影像信息表达的同时确保样本尺寸一致，同时由于发生表面故障的光伏阵列总数占比较小，利用样本增强算法，扩容发生故障的样本数量，并依据光学影像的故障特征进行光学故障场景样本分类，最终以光学故障类别文件夹命名的形式存储；
步骤S3中的得到的光伏阵列数据结果为多边形面状矢量数据，其ID是乱序的，为了保证光伏板块之间的序列连接，重新建立编号属性列，使用自然数填充算法，完成要素序号的自动填充。
对光学遥感光伏阵列故障场景样本集Sop_fault进行标记分类，具体包括：①opt_cls0:完好、②opt_cls1:积灰、③opt_cls2:鸟粪遮挡、④opt_cls3:树枝遮挡；分别以类别文件夹形式存储，样本文件夹代表故障类别，每个文件夹内为.jpg格式的光学遥感影像瓦片。
对光学遥感光伏阵列故障场景样本集Sop_fault中的多源遥感影像随机采取旋转、模糊、色彩增强、对比度增强、锐化增强以及噪声增强处理过程。同时由于故障样本类别占比较少，通过增强算法，扩充至4个类别里的样本数基本一致。
更优选的，热红外遥感光伏阵列故障场景样本集Shot_fault制备方法：
选择的热红外数据是经过辐射校正并通过真彩色渲染得到的三波段数据，位深为8bit。利用热红外遥感影像和光学影像的高精度配准，依据S3得到的TRpv_label，提供相同范围内每个矢量多边形内热红外影像光伏阵列影像块，由于热红外分辨率较低，每个陈列的热红外影像块的范围更小，采用上采样算法扩大至和Sop_fault同样像素大小330*330的故障分类场景瓦片数据，同时由于发生内部故障的光伏阵列总数占比较小，利用样本增强算法，扩容发生故障的样本数量，并依据热红外影像的故障特征进行热红外故障场景样本分类，最终以热红外故障类别文件夹命名的形式存储；
热红外故障分为3类：①hot_cls0:完好、②hot_cls1:点状故障、③hot_cls2:带状故障，并分别以类别文件夹形式存储，样本文件夹代表故障类别，每个文件夹内为.jpg格式的热红外遥感影像瓦片。
基于热红外遥感光伏阵列故障场景分类样本集增强算法主要包含：旋转、噪声增强、对比度增强，这是由于色彩增强算法会破坏热红外彩色图片的故障信息，以防引入更多的误差。由于故障样本类别占比较少，通过增强算法，扩充至3个类别里的样本数基本一致。
优选的，步骤S7中所述多源遥感光伏阵列故障检测模型集合Ms_fault包括光学遥感光伏阵列故障检测模型Mop_fault和热红外遥感光伏阵列故障检测模型Mhot_fault，
其中，所述光学遥感光伏阵列故障检测模型Mop_fault最后一层输出维度为4，和其类别一致，使用的CrossEntropyLoss函数如下：
式中，yopt_i为光学遥感光伏阵列故障标签，为4维的one-hot向量，y'opt_i为光学遥感光伏阵列正向推理的故障预测值，也为4维向量；
热红外遥感光伏阵列故障检测模型Mhot_fault最后一层输出维度为3，使用的CrossEntropyLoss函数如下：
式中，yhot_i为热红外遥感光伏阵列故障标签，为3维的one-hot向量，y'opt_i为光学遥感光伏阵列正向推理的故障预测值，也为3维向量。
优选的，验证区多源遥感光伏阵列故障级联模型推理主要分为两个串行步骤，输入为验证区域的光学遥感影像和光伏阵列块编号数据集VRpv_label，通过逐一历遍VRpv_label数据集中每个元素，经过Mop_fault推理后，则在VRpv_label后创建新一属性列名：故障光学检测，填入对应的故障预测值：①opt_cls0、②opt_cls1、③opt_cls2、④opt_cls3，完成之后得到更新后的VRpv_label'；再次以VRpv_label'和同区域的热红外遥感影像为输入，逐一历遍VRpv_label'数据集中的每个元素，经过Mhot_fault推理，则在VRpv_label'后再创建新的属性列名：故障热红外检测，填入对应的故障预测值：①hot_cls0、②hot_cls1、③hot_cls2，再次更新VRpv_label'文件，得到该区域的最终光伏阵列故障检测文件VRpv_label"，后面分别带有“故障光学检测”和“故障热红外检测”属性标签。
本发明的有益效果是：
本发明提供了一种基于多源遥感数据的光伏阵列故障智能检测方法，本发明利用光学遥感数据和同一区域的热红外遥感数据混合作为多源遥感输入数据源，首先基于高分辨率光学遥感影像，利用深度学习实例分割技术自动为待检测区内光伏阵列板进行编号标记，然后依据编号进行两部分故障识别：(1)利用每个标记光伏阵列中光学影像可识别的故障(表面积灰、鸟粪附着和树木遮挡)，进行这些故障场景类别差异性分析，构建基于深度学习的光学遥感光伏阵列故障差别网络，训练并推理，实现光伏阵列表面故障的检测；(2)利用标记位置中的热红外遥感影像数据，通过对光伏阵列热红外特征差异先验知识场景分析，构建深度学习场景判别网络，利用热红外数据特征自动判断被标记的光伏阵列内部损坏故障类别，实现光伏陈列内部故障的排查。最后，形成基于光学遥感光伏阵列实例分割、光学与热红外遥感数据光伏阵列故障场景差别的协同级联智能故障检测网络，实现了遥感光伏阵列组件故障的高精度与高鲁棒性检测。
附图说明
图1是实施例1中提供的基于多源遥感数据的光伏阵列故障智能检测方法流程图；
图2是本发明实施例中训练区内的光学遥感光伏阵列编号实例分割标记样本集Spv_label的制作示意图；
图3是本发明实施例中验证区中依据光学遥感光伏阵列实例分割模型推理得到的编号数据集VRpv_label(图3A)，图3B为A图白色框内细节放大图。
图4是本发明实施例中使用的光学光伏阵列故障样本集Sop_fault示意图，图4A图为原始经过上采样后统一为330*300的图片样本结果，AB图之间为标记的故障场景分类标签，图4B图为经过增强后的光学故障样本集。
图5是本发明实施例中热红外光伏阵列故障样本集Mop_fault示意图，A图为最原始采集的故障样本图片，大小为25*35，AB图之间为热红外故障标签，B图为经过统一上采样为330*330的热红外故障样本图片，C图为增强后的热红外故障样本图片。
图6是本发明实施例中经过光学遥感实例分割之后的编号数据集VRpv_label，经过和光学遥感影像，利用Mop_fault光学故障推理，各进一步级联利用热红外遥感影像利用Mhot_fault热红外故障推理的部分结果展示，经过两次故障推理，由C图可知，本区域内的337号光伏阵列板，既有外表面鸟粪遮挡，又有内部坏点故障；519号光伏阵列板，在光学遥感影像看着完好，其实内部已有坏点故障；编号671号光伏阵列板，在光学遥感影像看着完好的情况下，其实内部左边已出现带状故障。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。
实施例1
本实施例提供了一种基于多源遥感数据的光伏阵列故障智能检测方法，如图1所示，包括以下步骤：
S1、在一批光伏电站光学遥感影像当中，划分为训练区和验证区，使用一部分作为训练区域，在训练区域中选择一景制备实例分割编号标记样本集，具体包括以下步骤：
被选中的其中一景尺寸范围为19653*30798的真彩色遥感影像，如图2所示，几何分辨率为0.05米，像素位深为8bit，结合每个光伏阵列块掩膜标记多边形矢量数据，制作遥感光伏阵列板实例分割样本集Spv_label，依据实例分割样本制作策略，x方向一共37块，y方向一共59块，所以，此景遥感影像一共生成2183个样本图像和标签对，图像样本文件为jpg格式，标签样本文件为txt格式；
S2、应用实例分割编号标记样本集Spv_label执行基于骨干网络为swin-transformer的Mask_RCNN的光伏阵列编号标记网络训练，并使用DiceLoss和CrossEntropyLoss相结合的混合loss作为mask头部分分支的损失进行反向传播，使用单机4GPU(NVIDIA TESLA V10032G)训练，设置批训练大小为8，每块GPU单次输入2个样本，设置训练迭代次数75个epoch，合计86100循环，初始学习率设置为0.002，最终得到光伏阵列实例分割模型文件Mpv_label，格式为.pth；
S3、在训练区内，选择一景光学遥感影像，利用S2得到的光伏阵列实例分割模型Mpv_label执行分块推理，保留光伏阵列表的掩膜分割结果，并利用非极大值抑制NMS算法，去除重复结果掩膜，最后得到光伏阵列编号数据集TRpv_label，文件结果为面状矢量.shp格式数据；
S4、在训练区的光伏阵列块的编号数据集TRpv_label的基础上制作多源遥感光伏阵列故障场景样本集Sfault，并进行标记分类，具体包括制作光学遥感阵列故障场景样本集Sop_fault和热红外遥感光伏阵列故障场景样本集Shot_fault；
其中，制作光学遥感阵列故障场景样本集Sop_fault的过程如下：
结合TRpv_label和对应的光学遥感影像数据，依据表面故障类别属性进行场景分类，制作光学遥感阵列故障场景样本集Sop_fault，经过统一采样处理，Sop_fault内所有图片大小均为330*330，具体故障类别有4种，并以类别作为文件夹命令试存储，分别为①类故障标签：opt_cls0完好、②类故障标签：opt_cls1积灰、③类故障标签：opt_cls2鸟粪遮挡、④类故障标签：opt_cls3树枝遮挡，光学光伏阵列故障样本示例如图4所示。
由于非故障阵列占绝大比例，所以制作的类别样本极奇不均衡，完好类别是积灰故障的8000多倍，如直接用于训练，则会导致严重类间不平衡问题，所以采用包含旋转、模糊、色彩增强、对比度增强、锐化增强、噪声增强等方法对样本增强非等比扩充，故障类别少的，则使较多种方法，故障类别多的，使用较少种方法，如表1所示，最终形成4个类别基本样本数量级一样。
表1光学故障样本增强前后数量统计表
序号 类别 增强前数量 类别比例 增强后样本数量 类别比例
1 opt_cls0 41936 8387.2 41936 1.0
2 opt_cls1 5 1.0 42000 1.0
3 opt_cls2 1855 371.0 41932 1.0
4 opt_cls3 28 5.6 42000 1.0
制备热红外遥感光伏阵列故障场景样本集Shot_fault的过程具体包括：
结合TRpv_label和对应的热红外遥感影像数据，分辨率为0.4米，依据光伏阵列内部损坏在热红外影像上呈现的故障类别属性进行场景分类，制作热红外遥感阵列故障场景样本集Shot_fault，由于热红外样本空间分辨率较光学遥感数据低，直接提取编号框里的图片尺寸仅为25*35大小，如图5A所示，经过统一上采样处理，Shot_fault内所有图片大小均为330*330(如图5B所示)，依据热红外影像特征判定，光伏阵列内部故障类别主要有3种，同样以类别作为文件夹命令试存储，分别为①类故障标签：hot_cls0完好、②类故障标签：hot_cls1点状故障、③类故障标签：hot_cls2带状故障，具体如图5B所示。
利用旋转、噪声增强、对比度方法对热红外光伏阵列故障样本进行增强，减少类间样本不均衡的同时，增加样本复杂度，如表2所示，最终形成的3个类别基本样本数量级一样。
表2热红外故障样本增强前后数量统计表
序号 类别 增强前数量 类别比例 增强后样本数量 类别比例
1 hot_cls0 17888 42.3 17888 1.00
2 hot_cls1 423 1.0 18612 1.04
3 hot_cls2 670 1.6 18760 1.05
S5,采用标记分类后的样本集Sfault训练多源遥感光伏阵列故障检测模型集合Ms_fault，其中，包含光学遥感阵列故障场景检测模型Mop_fault和热红外遥感光伏阵列故障场景检测模型Mhot_fault；
S51、光学遥感阵列故障场景检测模型文件获取流程：利用S4得到的光学遥感阵列故障场景样本集Sop_fault，使用ResNet101作为特征提取网络，交叉熵作为损失函数进行反向传播更新权重梯度，使用单机4GPU(NVIDIA TESLA V100 32G)训练，设置批训练大小为48，每块GPU单次输入16个样本，初始学习率设置为0.1，训练迭代次数达到60个epoch时完成收敛，停止训练，最终得到训练后的光学遥感光伏阵列故障场景检测模型文件Mop_fault，格式为.pkl；
S52、热红外遥感光伏阵列故障场景检测模型文件获取流程如下：利用S4得到的热红外遥感阵列故障场景样本集Shot_fault，使用DenseNet201作为特征提取网络，交叉熵作为损失函数进行反向传播更新权重梯度，使用单机4GPU(NVIDIA TESLA V100 32G)训练，设置批训练大小为36，每块GPU单次输入9个样本，初始学习率设置为0.01，训练迭代次数达到70个epoch时完成收敛，停止训练，最终得到训练后的热红外遥感光伏阵列故障场景检测模型文件Mhot_fault，格式为.pth；
S6、采用验证区的光伏阵列块的编号数据集VRpv_label，对训练后的多源遥感光伏阵列故障检测模型集合Ms_fault进行多源遥感光伏阵列板故障级联模型推理，得到光伏阵列故障分类结果，包括：仅光学影像故障，仅热红外影像故障，光学影像和热红外均故障以及光学影像和热红外均无故障,具体包括以下步骤：
在验证区内，选择一景光学遥感影像，利用S2得到的光伏阵列实例分割模型Mpv_label执行分块推理，保留光伏阵列表的掩膜分割结果，并利用非极大值抑制NMS算法，去除重复结果掩膜，最后得到验证区域内光伏阵列编号数据集VRpv_label，如图3所示，文件结果为面状矢量.shp格式数据；
得到的VRpv_label基础上，结合同区的光学遥感影像数据，使用S5得到的训练后的故障检测模型集合Ms_fault进行故障检测，首先利用光学遥感光伏阵列故障场景检测模型文件Mop_fault，进行验证区光伏阵列的表面故障场景推理，如图6A所示，由于本区域内光伏阵列表面只有鸟粪遮挡，所以故障识别结果只有opt_cls0和opt_cls2，写在VRpv_label的属性列表中，更新为光伏阵列表面故障检测结果VRpv_label'。
再次，在光伏阵列表面故障检测结果VRpv_label'的基础上，结合同区域的热红外遥感影像数据，使用S5得到的训练后的热红外遥感光伏阵列故障场景检测模型文件Mhot_fault，进行验证区光伏阵列的内部故障场景推理，如图6B所示，结果如图6C所示，此区域分别出现点状故障和带状故障，最终内部故障识别结果有hot_cls0、hot_cls1和hot_cls2，写入光伏阵列表面故障检测结果VRpv_label'的属性列表中，更新为光伏阵列整体故障检测结果VRpv_label”，如图6C所示，新增两个属性列分别为“故障光学检测”和“故障热红外检测”。
最终结果表明，此区域内存在：(1)表面和内部均完全的光伏阵列，即光学影像和热红外均无故障；(2)表面良好但内部存在坏点故障的光伏阵列，即仅热红外影像故障(如图6C中的519号阵列板)；(3)表面良好但内部存在带状故障的光伏阵列，即仅热红外影像故障(如图6C中的671号阵列板)；(4)表面存在鸟粪遮挡同时存在坏点故障的光伏阵列，即光学影像和热红外均故障(如图6C中的337号阵列板)。
通过采用本发明公开的上述技术方案，得到了如下有益的效果：
本发明公开了一种基于多源遥感数据的光伏阵列故障智能检测方法，该方法有效结合光学遥感数据和热红外遥感数据，以光学为基本准确识别并标记光伏阵列组件编号，在深度学习目标检测与场景分类技术的支持下，分别利用光学遥感检测表面故障信息和利用热红外遥感检测光伏阵列内部故障，是一条完整遥感深度学习光伏阵列故障智能检测技术体系。可以实现大范围光伏阵列板的内外故障的快速识别，并精确定位，为光伏电力产业中对于光伏阵列的管理和维护提高了管理效率和极大降低了人力监管成本，是遥感技术结合深度学习技术在光伏电力产业深化技术应用。同时本发明为遥感影像其他产能监管技术策略提供了可靠的参考模式。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (7)

1.一种基于多源遥感数据的光伏阵列故障智能检测方法，其特征在于，包括以下步骤：
S1，获取待检测的光伏阵列的多源遥感影像数据，划分为训练区和验证区，基于训练区制作多源遥感光伏阵列板实例分割编号标记样本集Spv_label；
S2，基于分割编号标记样本集Spv_label，构建并训练光伏阵列实例分割模型Mpv_label，得到训练后的光伏阵列实例分割模型Mpv_label；
S3，基于步骤S2中训练后的光伏阵列实例分割模型Mpv_label，分别推理得到训练区和验证区的光伏阵列块的编号数据集TRpv_label和VRpv_label；
S4，在训练区的光伏阵列块的编号数据集TRpv_label的基础上制作多源遥感光伏阵列故障场景样本集Sfault，并进行标记分类；
S5，采用标记分类后的样本集Sfault训练多源遥感光伏阵列故障检测模型集合Ms_fault；
S6，采用验证区的光伏阵列块的编号数据集VRpv_label，对训练后的多源遥感光伏阵列故障检测模型集合Ms_fault进行多源遥感光伏阵列板故障级联模型推理，得到光伏阵列故障分类结果，包括：仅光学影像故障，仅热红外影像故障，光学影像和热红外均故障以及光学影像和热红外均无故障。
2.根据权利要求1所述的基于多源遥感数据的光伏阵列故障智能检测方法，其特征在于，步骤S1中多源遥感光伏阵列板实例分割编号标记样本集Spv_label中只涉及到光伏阵列目标与背景两个类别信息，实例分割样本工具将光学遥感影像和同位置中标记光伏阵列多边形的矢量数据，切割为实例分割样本集，其中样本图片以.jpg格式存储，样本label为与jpg同名的txt文本文件，其中的每一行数据为jpg中对应的一个多边形mask表达，其格式为[x1,y1,x2,y2,...,xn,yn]，其中[xt,yt],t∈[1,n]为每个多边形的顶点像素坐标。
3.根据权利要求1所述的基于多源遥感数据的光伏阵列故障智能检测方法，其特征在于，训练光伏阵列实例分割模型Mpv_label，具体包括：选取pytorch作为开发框架，以实例分割模型Mask_RCNN构建光伏阵列板编号标记网络，采用基于swin-transformer作为特征编码器提取光伏阵列板影像特征，使用区域生成网络生成候选目标框，并结合全卷积神经网络，对框内目标进行语义分割，考虑到光伏阵列板的边界提取精度和召回度，使用DiceLoss和CrossEntropyLoss相结合的混合loss作为mask部分的损失进行反向传播，最后经过迭代训练获取光学遥感光伏阵列板的实例分割模型文件；
使用的Mask_RCNN网络在最后mask头部训练时使用的loss函数为DiceLoss和交叉熵函数损失的智能组合，主要表达式为：
Loss＝λ·LossDice+(1-λ)·LossCE,λ∈[0,1]
式中，y为标签真实值，y'为模型正向推理值，j为输出样本类别个数，σ为一个极小值，可防止在计算中出现分母为0的情况，同时还可以起到平滑LossDice和反馈梯度；
式中， 为正向推理值的概率；
式中，λ为误差调和系数，表示这两种loss对检测光伏阵列目标的语义信息贡献量相同。
4.根据权利要求1所述的基于多源遥感数据的光伏阵列故障智能检测方法，其特征在于，步骤S4中所述的多源遥感光伏阵列故障场景样本集Sfault包括光学遥感光伏阵列故障场景样本集Sop_fault和热红外遥感光伏阵列故障场景样本集Shot_fault；
分别对其进行标记分类，具体包括：
光学故障分为4类：①opt_cls0:完好、②opt_cls1:积灰、③opt_cls2:鸟粪遮挡、④opt_cls3:树枝遮挡；
热红外故障分为3类：①hot_cls0:完好、②hot_cls1:点状故障、③hot_cls2:带状故障。
5.根据权利要求4所述的基于多源遥感数据的光伏阵列故障智能检测方法，其特征在于，光学遥感光伏阵列故障场景样本集Sop_fault经过数据增强过程，具体包括：对样本集中的多源遥感影像随机采取旋转、模糊、色彩增强、对比度增强、锐化增强以及噪声增强处理过程；
热红外遥感光伏阵列故障场景样本集Shot_fault经过数据增强，具体包括：旋转、噪声增强和对比度增强。
6.根据权利要求1所述的基于多源遥感数据的光伏阵列故障智能检测方法，其特征在于，步骤S6中所述多源遥感光伏阵列故障检测模型集合Ms_fault包括光学遥感光伏阵列故障检测模型Mop_fault和热红外遥感光伏阵列故障检测模型Mhot_fault，
其中，所述光学遥感光伏阵列故障检测模型Mop_fault最后一层输出维度为4，和其类别一致，使用的CrossEntropyLoss函数如下：
式中，yopt_i为光学遥感光伏阵列故障标签，为4维的one-hot向量，y'opt_i为光学遥感光伏阵列正向推理的故障预测值，也为4维向量；
热红外遥感光伏阵列故障检测模型最后一层输出维度为3，使用的CrossEntropyLoss函数如下：
式中，yhot_i为热红外遥感光伏阵列故障标签，为3维的one-hot向量，y'hot_i为光学遥感光伏阵列正向推理的故障预测值，也为3维向量。
7.根据权利要求1所述的基于多源遥感数据的光伏阵列故障智能检测方法，其特征在于，验证区多源遥感光伏阵列故障级联模型推理主要分为两个串行步骤，输入为验证区域的光学遥感影像和光伏阵列块编号数据集VRpv_label，通过逐一遍历VRpv_label数据集中每个元素，经过Mop_fault推理后，则在VRpv_label后创建新一属性列名：故障光学检测，填入对应的故障预测值：①opt_cls0、②opt_cls1、③opt_cls2、④opt_cls3，完成之后得到更新后的VRpv_label'；再次以VRpv_label'和同区域的热红外遥感影像为输入，逐一遍历VRpv_label'数据集中的每个元素，经过Mhot_fault推理，则在VRpv_label'后再创建新的属性列名：故障热红外检测，填入对应的故障预测值：①hot_cls0、②hot_cls1、③hot_cls2，再次更新VRpv_label'文件，得到该区域的最终光伏阵列故障检测文件VRpv_label”，后面分别带有“故障光学检测”和“故障热红外检测”属性标签。
CN202310066039.2A 2023-01-16 2023-01-16 一种基于多源遥感数据的光伏阵列故障智能检测方法 Active CN116310859B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310066039.2A CN116310859B (zh) 2023-01-16 2023-01-16 一种基于多源遥感数据的光伏阵列故障智能检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310066039.2A CN116310859B (zh) 2023-01-16 2023-01-16 一种基于多源遥感数据的光伏阵列故障智能检测方法

Publications (2)

Publication Number Publication Date
CN116310859A CN116310859A (zh) 2023-06-23
CN116310859B true CN116310859B (zh) 2023-09-12

Family

ID=86817630

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310066039.2A Active CN116310859B (zh) 2023-01-16 2023-01-16 一种基于多源遥感数据的光伏阵列故障智能检测方法

Country Status (1)

Country Link
CN (1) CN116310859B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105141255A (zh) * 2015-08-12 2015-12-09 河海大学常州校区 一种光伏阵列故障诊断方法
CN106961249A (zh) * 2017-03-17 2017-07-18 广西大学 一种光伏阵列故障诊断和预警方法
CN107860370A (zh) * 2017-12-19 2018-03-30 商丘师范学院 一种利用遥感和地理信息系统技术的监测装置
CN108092623A (zh) * 2017-12-16 2018-05-29 西安理工大学 一种光伏阵列多传感器故障检测定位方法
CN109034220A (zh) * 2018-07-13 2018-12-18 福州大学 一种基于最优旋转森林的智能光伏阵列故障诊断方法
CN109344769A (zh) * 2018-09-29 2019-02-15 中国资源卫星应用中心 一种基于遥感影像的光伏电站检测方法及系统
CN109766952A (zh) * 2019-01-21 2019-05-17 福州大学 基于偏最小二乘法和极限学习机的光伏阵列故障检测方法
WO2019214268A1 (zh) * 2018-05-09 2019-11-14 北京理工大学 一种基于复合信息的光伏阵列故障诊断方法
CN110555474A (zh) * 2019-08-28 2019-12-10 上海电力大学 一种基于半监督学习的光伏面板故障检测方法
CA3050788A1 (en) * 2018-12-24 2020-06-24 Sungrow Power Supply Co., Ltd. Method for photovoltaic module fault diagnosis, edge calculation processing device, and inverter
CN112053322A (zh) * 2020-07-31 2020-12-08 上海电机学院 光伏电池板表面遮挡的分割与检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109150104A (zh) * 2018-08-10 2019-01-04 江南大学 一种基于随机森林算法的光伏阵列故障诊断方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105141255A (zh) * 2015-08-12 2015-12-09 河海大学常州校区 一种光伏阵列故障诊断方法
CN106961249A (zh) * 2017-03-17 2017-07-18 广西大学 一种光伏阵列故障诊断和预警方法
CN108092623A (zh) * 2017-12-16 2018-05-29 西安理工大学 一种光伏阵列多传感器故障检测定位方法
CN107860370A (zh) * 2017-12-19 2018-03-30 商丘师范学院 一种利用遥感和地理信息系统技术的监测装置
WO2019214268A1 (zh) * 2018-05-09 2019-11-14 北京理工大学 一种基于复合信息的光伏阵列故障诊断方法
CN109034220A (zh) * 2018-07-13 2018-12-18 福州大学 一种基于最优旋转森林的智能光伏阵列故障诊断方法
CN109344769A (zh) * 2018-09-29 2019-02-15 中国资源卫星应用中心 一种基于遥感影像的光伏电站检测方法及系统
CA3050788A1 (en) * 2018-12-24 2020-06-24 Sungrow Power Supply Co., Ltd. Method for photovoltaic module fault diagnosis, edge calculation processing device, and inverter
CN109766952A (zh) * 2019-01-21 2019-05-17 福州大学 基于偏最小二乘法和极限学习机的光伏阵列故障检测方法
CN110555474A (zh) * 2019-08-28 2019-12-10 上海电力大学 一种基于半监督学习的光伏面板故障检测方法
CN112053322A (zh) * 2020-07-31 2020-12-08 上海电机学院 光伏电池板表面遮挡的分割与检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
光伏阵列故障检测中的无人机红外图像拼接;毛峡 等;《太阳能学报》;第41卷(第3期);第262-269页 *

Also Published As

Publication number Publication date
CN116310859A (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN111047554B (zh) 一种基于实例分割的复合绝缘子过热缺陷检测方法
CN113160062B (zh) 一种红外图像目标检测方法、装置、设备及存储介质
CN111598843A (zh) 基于深度学习的电力变压器呼吸器目标缺陷检测方法
CN114973032B (zh) 一种基于深度卷积神经网络的光伏板热斑检测方法及装置
CN115546565A (zh) 基于yolocbf电厂关键区域管道油液泄漏检测方法
CN113076816A (zh) 基于红外与可见光图像的太阳能光伏组件热斑识别方法
CN116883801A (zh) 基于注意力机制与多尺度特征融合的YOLOv8目标检测方法
CN106530345A (zh) 一种同机影像辅助下的建筑物三维激光点云特征提取方法
CN115661032A (zh) 一种适用于复杂背景的路面病害智能检测方法
Zou et al. Automatic segmentation, inpainting, and classification of defective patterns on ancient architecture using multiple deep learning algorithms
CN113298767A (zh) 一种能克服反光现象的围棋图谱可靠识别方法
CN114283137A (zh) 基于多尺度特征图推理网络的光伏组件热斑缺陷检测方法
CN115456955A (zh) 一种球笼防尘罩内部毛刺缺陷检测方法
CN112749741A (zh) 一种基于深度学习的手闸紧固故障识别方法
CN115937461A (zh) 多源融合模型构建及纹理生成方法、装置、介质及设备
CN109558801B (zh) 道路网络提取方法、介质、计算机设备及系统
CN116485802B (zh) 一种绝缘子闪络缺陷检测方法、装置、设备及存储介质
CN114627044A (zh) 一种基于深度学习的太阳能光伏组件热斑检测方法
CN116310859B (zh) 一种基于多源遥感数据的光伏阵列故障智能检测方法
CN111091533B (zh) 一种基于改进ssd算法的电池片el缺陷检测方法
CN112287895A (zh) 用于河流排污口检测的模型构建方法、识别方法及系统
CN116664549A (zh) 一种基于特征感知的光伏电站热斑缺陷检测方法
CN116311006A (zh) 一种地下电缆管道场景异物识别和分类方法
CN116051530A (zh) 基于图像修复的半监督光伏电池表面异常检测方法
CN116129327A (zh) 一种基于改进YOLOv7算法的红外车辆检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant