CN116503354A - 基于多模态融合的光伏电池热斑检测及评估方法与装置 - Google Patents
基于多模态融合的光伏电池热斑检测及评估方法与装置 Download PDFInfo
- Publication number
- CN116503354A CN116503354A CN202310470679.XA CN202310470679A CN116503354A CN 116503354 A CN116503354 A CN 116503354A CN 202310470679 A CN202310470679 A CN 202310470679A CN 116503354 A CN116503354 A CN 116503354A
- Authority
- CN
- China
- Prior art keywords
- data
- network
- image
- feature extraction
- hot spot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000000605 extraction Methods 0.000 claims abstract description 57
- 230000011218 segmentation Effects 0.000 claims abstract description 49
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000001514 detection method Methods 0.000 claims abstract description 16
- 238000011156 evaluation Methods 0.000 claims abstract description 15
- 238000011158 quantitative evaluation Methods 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims description 23
- 230000007246 mechanism Effects 0.000 claims description 22
- 230000005012 migration Effects 0.000 claims description 17
- 238000013508 migration Methods 0.000 claims description 17
- 238000001914 filtration Methods 0.000 claims description 13
- 238000003709 image segmentation Methods 0.000 claims description 7
- 230000003190 augmentative effect Effects 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 2
- 230000036541 health Effects 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000004913 activation Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 239000000306 component Substances 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013434 data augmentation Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000004870 electrical engineering Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E10/00—Energy generation through renewable energy sources
- Y02E10/50—Photovoltaic [PV] energy
Abstract
本发明公开了基于多模态融合的光伏电池热斑检测及评估方法与装置，该方法包括：获取光伏热斑的红外图像数据和标签数据；对红外图像数据和标签数据进行处理得到图像数据集；将图像数据集输入至训练好的语义分割网络模型得到分割图像；对分割图像的热斑面积进行特征提取得到热斑占比数据，基于热斑占比数据和光伏系统的电气数据进行多模态融合的光伏系统状态量化评估，以得到热斑位置检测结果和状态评估结果。本发明可以很好的对对光伏系统健康程度进行量化评估。
Description
技术领域
本发明涉及电气工程光伏技术领域，特别是涉及基于多模态融合的光伏电池热斑检测及评估方法与装置。
背景技术
我国光伏产业经过十几年的发展，已成长为可以同步参与国际竞争并达到国际前列水平的战略性新兴产业。大力发展光伏也已成为全球能源革命和应对气候变化的主导方向和一致行动。光伏组件作为光伏发电系统中的核心部件，其可靠性是影响整个光伏系统性能的关键，然而光伏系统长久运行期间，在户外复杂恶劣的环境条件下可能会导致不同类型的故障发生。光伏组件热斑的故障率比重最高且最为严重，如何准确的检测出光伏组件热斑的位置并对热斑的影响程度进行量化评估已经成为促进光伏产业发展良性发展的研究热点。目前针对光伏组件热斑故障的研究多集中于其发热机理方面，通过光伏组件的I-V特性，通过I-V曲线上两点的电流变化率来进行故障诊断，其需要依赖昂贵的设备或外部电路来实现，增加了系统的成本，加之并不能对热斑的影响程度进行评估，使得系统的可靠性难以保证。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明提出一种基于多模态融合的光伏电池热斑检测及评估方法。通过基于深度迁移网络的UNet语义分割网路对光伏组件热斑的红外图像进行分割，检测热斑的位置，识别热斑的面积，融合电气数据以及气象数据，对光伏系统健康程度进行量化评估。
本发明的另一个目的在于提出一种基于多模态融合的光伏电池热斑检测及评估装置。
为达上述目的，本发明一方面提出一种基于多模态融合的光伏电池热斑检测及评估方法，包括：
获取光伏热斑的红外图像数据和标签数据；
对所述红外图像数据和标签数据进行处理得到图像数据集；
将所述图像数据集输入至训练好的语义分割网络模型得到分割图像；
对所述分割图像的热斑面积进行特征提取得到热斑占比数据，基于所述热斑占比数据和光伏系统的电气数据进行多模态融合的光伏系统状态量化评估，以得到热斑位置检测结果和状态评估结果。
另外，根据本发明上述实施例的基于多模态融合的光伏电池热斑检测及评估方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述对红外图像数据和标签数据进行处理得到图像数据集之前，所述方法，还包括：
利用高斯模糊化和高斯高通滤波对所述红外图像数据和标签数据进行数据增强操作得到增广数据集。
进一步地，在本发明的一个实施例中，所述将图像数据集输入至训练好的语义分割网络模型得到分割图像之前，所述方法，还包括训练语义分割网络模型，包括：
构建UNet语义分割网络；其中，所述UNet语义分割网络，包括注意力机制模块、主干特征提取网络和加强特征提取网络，所述主干特征提取网络包括迁移VGG网络；
将所述图像数据集的训练样本集输入至所述迁移VGG网络，并通过所述注意力机制模块提取初始图像特征，利用所述加强特征提取网络提取所述初始图像特征的最终图像特征；
融合所述初始图像特征和所述最终图像特征，根据特征融合结果得到分割图像样本集并利用所述分割图像样本集训练语义分割网络模型得到训练好的语义分割网络模型。
进一步地，在本发明的一个实施例中，通过逐步上采样将所述加强特征提取网络与所述主干特征提取网络的有效特征层进行堆叠融合操作得到所述特征融合结果。
进一步地，在本发明的一个实施例中，所述主干特征提取网络采用预训练网络，所述加强特征提取网络的最后两层卷积为空洞卷积。
为达上述目的，本发明另一方面提出基于多模态融合的光伏电池热斑检测及评估装置，包括：
数据获取模块，用于获取光伏热斑的红外图像数据和标签数据；
数据处理模块，用于对所述红外图像数据和标签数据进行处理得到图像数据集；
图像分割模块，用于将所述图像数据集输入至训练好的语义分割网络模型得到分割图像；
检测评估模块，用于对所述分割图像的热斑面积进行特征提取得到热斑占比数据，基于所述热斑占比数据和光伏系统的电气数据进行多模态融合的光伏系统状态量化评估，以得到热斑位置检测结果和状态评估结果。
本发明实施例的基于多模态融合的光伏电池热斑检测及评估方法和装置，可以将图像数据与电气数据融合后进行量化评估，准确检测热斑的位置并能够对光伏系统的状态进行评估。
本发明的有益效果为：
1)基于原始红外图像以及标注数据，通过高斯模糊以及高斯图像锐化对图像数据增广，考虑实施中的环境影响间接的扩充图像数据。
2)通过在UNet主干特征提取网络使用通道注意力机制以及迁移网络的结合加强特征的提取，并同时在加强特征提取网络使用空洞卷积增加图像上下文信息的联系，提高图像分割的准确率。
3)通过语义分割得到的预测分割图，对其进行面积提取，将图像数据与电气数据融合后进行量化评估，准确检测热斑的位置并能够对光伏系统的状态进行评估。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本发明实施例的基于多模态融合的光伏电池热斑检测及评估方法的流程图；
图2是根据本发明实施例的语义分割网络架构示意图；
图3是根据本发明实施例的注意力机制示意图；
图4是根据本发明实施例的图像语义分割效果图；
图5为根据本发明实施例的图像指标结果对比图；
图6为根据本发明实施例的多模态融合的评估量化图；
图7是根据本发明实施例的基于多模态融合的光伏电池热斑检测及评估装置的结构示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
下面参照附图描述根据本发明实施例提出的基于多模态融合的光伏电池热斑检测及评估方法和装置。
图1是本发明实施例的基于多模态融合的光伏电池热斑检测及评估方法的流程图。
如图1所示，该方法包括但不限于以下步骤：
S1，获取光伏热斑的红外图像数据和标签数据。
可以理解的是，本发明实施例采集光伏组件多尺度下的红外图像数据，再进行标签图像的制作。
具体地，可以通过红外成像测温仪采集正常光伏组件与热斑存在的组件图像数据，使用Labelme软件对原始图像进行语义标注，制作标签图像数据，对取得的标签进行灰度以及像素值的处理，得到最终的图像数据。
进一步地，通过图像数据增强的方法对光伏组件热斑的红外图像数据集进行数据增广。针对光伏组件红外图像的特性，红外图像的分辨率比较低，加之实际光伏系统采集的图像由于环境因素可能会比较模糊，对图像进行高斯低通滤波以及高斯锐化。本发明根据提取的图像可能会由于环境因素造成图像模糊，对图像进行高斯模糊化以及高斯高通滤波对图像进行锐化，增广图像数据集。
优选地，高斯低通滤波对图像进行线性平滑滤波，消除原红外图像数据集的高斯噪声。高斯低通滤波通过正态分布的高斯函数来分配周围像素的权重，越接近中心的位置取值越大，远离中心的位置取值越小。在计算时将像素中心作为原点，其他点按高斯函数分配权重，便得到一个加权平均值。这个权重就是高斯模板Gσ，高斯模糊就是将灰度图像I和一个高斯模板进行卷积操作：
Iσ＝I*Gσ1 (1)
式中，Gσ表示高斯权重，x和y表示卷积参数坐标，σ表示标准差，I表示原图像，Iσ表示通过高斯权重处理后的图像。
高斯锐化(高斯高通滤波)，与低通滤波方法上的不同之处在于，低通滤波让原图像直接与高斯模板进行卷积，而高通滤波让原图像与(1-高斯模板Gσ)进行卷积：
Iσ＝I*(1-Gσ) (3)
S2，对红外图像数据和标签数据进行处理得到图像数据集。
具体地，本发明实施例对提取到的红外图像数据和标签数据进行处理，制作用于语义分割网络的图像数据集，对数据集进行训练集以及测试集的划分，并对图像数据进行批量归一化处理，有利于后续的卷积神经网络对图像的处理。其次规范图片的输入大小，以用于后续卷积网络的输入
优选地，本发明将图像数据通过tensorflow处理成张量切片得到可训练数据集并对数据集中的数据进行归一化处理，将[0,255]区间的数据转化到[-1，1]之间，同时对数据集的数据规范化，得到标准输入规格的数据。将图像数据集按照4：1的比例划分成训练集和测试集。
S3，将图像数据集输入至训练好的语义分割网络模型得到分割图像。
作为一种示例，本发明对UNet语义分割网络进行改进，如图2所示，在主干特征提取网络使用迁移VGG网络对数据特征进行提取，并在迁移网络与输入图像数据之间，加入通道注意力机制模块加强数据特征的提取，如图3所示。在加强特征提取网络中，在卷积层使用空洞卷积，增强数据上下文之间的联系。在本发明一实施例中，所述光伏面板类检测模型对应的改进UNet网络参数为：主干卷积特征提取网络为通道注意力机制模块与VGG16的结合，加强特征提取网络每层使用一个卷积层和一个上采样，分成50批次进行训练，优化器采用Adam优化器，其中学习率为0.001。进行训练以及测试，并与其余网络(VGG-FCN、FCN、UNet、Linknet)进行效果对比，如图5所示，添加注意力机制以及VGG迁移网络的UNet网络对图像的分割在最小的批次内，损耗、精确度以及平均交并比指标就已经达到了极佳的效果，损耗为0.0551，准确率为98.34％，平均交并比为91.10％。实施网络得到最终分割结果的图像效果，如图4所示。
具体地，本发明首先构建基于VGG迁移网络的UNet语义分割网络。语义分割网络包括注意力机制模块，主干特征提取网络和加强特征提取网络，其中主干特征提取网络采用迁移VGG网络进行特征提取，加强特征提取网络与主干特征提取网络的四个有效的特征层进行特征融合，采用的方式为通过逐步上采样依次与各个特征层进行堆叠融合。在主干特征提取网络中，加入通道注意力机制网络，对输入的图像的特征通过注意力机制网络实现信息处理资源的高效分配。在图像处理过程中中，以高权重去聚集重要信息，以低权重去忽略不相关的信息，并且可以不断调整权重，使得在不同的情况下，根据数据集的特点选取重要的信息。
进一步地，通道注意力机制主要包含两部分，分别是Squeeze和Excitation，进行基础的卷积操作，首先提取特征图Ftr:X→U,X∈RW′*H′*C′,U∈RW*H*C,得到C个大小为H*W的特征图，公式如下：
式中，Vc表示第c个卷积核，Xs表示第s个输入，uc表示经过卷积后得到的输出。为了通过显式地建模通道的相互依赖性增强卷积特征的学习，使得网络能够提高对信息特征的敏感性，便于后续的转换利用，因此，为其提供获取全局信息的途径，在下一次转换之前，分两部分重新对滤波器响应进行校准。Squeeze通过全局平均池化将H*W*C(图像的高度*宽度*通道数)的输入转变成1*1*C的输出，表征出该层中的与通道数等同数量的特征图的数值分布情况，其公式如下：
式中，W、H分别是图像的宽度和高度，Zc是对特征U在空间维度执行全局平均池化后的结果。
为了将聚合的信息加以利用，因此需要完全捕获通道依赖关系。通过sigmoid激活函数简单门控机制实现学习通道之间的非线性关系以及学习非互斥关系，使得多个通道均被加强。具体如下：
s＝Fex(z,W)＝σ(g(z,W))＝σ(W2δ(W1z)) (6)
式中，σ表示sigmoid激活函数，δ表示relu激活函数，其中为了提高模型的通用程度并同时降低模型的复杂度，使用具有降维率的降维层，一个ReLU层和维度升高层，最后转到输出特征图的通道维度，使用激活函数得到最终输出：
其中uc∈RH×W，Fscale是通道上的乘积。
可以理解的是，主干特征提取网络采用预训练网络，即在大型数据集上训练效果优良的卷积神经网络，预训练网络学到的空间层次结构能够有效的提取视觉世界特征，最后通过加强特征提取网络进行像素点的分类。在此过程中，加强特征提取网络的最后两层的卷积方式使用空洞卷积，来增加上下文信息联系，在不丢失分辨率的情况下，扩大感受野同时调整扩张率来获得多尺度的信息。通过损失函数、准确率以及平均交并比指标对网络效果进行评价。采用稀疏多分类交叉熵损失函数(SCCE)，其数学公式如下：
式中，c表示类别数，N表示样本数，yij表示类别对应的标签，表示类别标签的概率值。
均交并比(Mean Intersection over Union，MIoU)：语义分割的标准度量，计算所有类别交集和并集之比的平均值，公式如下：
式中，令k表示类别，(k+1)表示加上了背景类，i表示真实值，j表示预测值，Pij表示将i预测成j为假负(FN)，Pii表示将i预测成i为真正(TP)，Pji表示将j预测成i为假正(FP)。
语义分割的像素准确率PA(Pixel Accuracy)公式如下：
式中，Pij表示将i预测成j为假负(FN)，Pii表示将i预测成i为真正(TP)。
S4，对分割图像的热斑面积进行特征提取得到热斑占比数据，基于热斑占比数据和光伏系统的电气数据进行多模态融合的光伏系统状态量化评估，以得到热斑位置检测结果和状态评估结果。
作为一种示例，本发明将语义分割得到的分割图通过opencv软件进行热斑面积的提取，将图像数据和电气数据进行融合，建立多模态融合的光伏系统状态评估机制，对图像以及电气数据进行量化评级，数值结果与量化评级的对应关系如图6所示。
具体地，本发明通过语义分割得到光伏热斑的分割图，用opencv对网络中的热斑面积进行提取，得出热斑面积的占比。通过实验提取相应的功率数据以及图像中的热斑的温度数据，通过以下公式对光伏系统的健康程度进行评估：
式中，Score1表示对图像语义分割检测的热斑面积进行量化评分；Score2表示通过电气数据中的功率值对系统状态进行量化评分；N为选取的连续时间内的状态点总数；ST表示检测到的光伏组件的面积；Si表示第i点状态下的光伏组件的热斑面积；Pi表示第i点状态下的光伏组件的功率值；PT表示选取时间段正常情况下的功率值。
进一步地，通过将图像语义分割得到的面积评分与电气数据量化的分数进行融合，得出最终的量化分数评级。
综上，本发明根据光伏组件中电池单元热斑的温度比正常电池温度之间的差异性，通过红外热成像测温仪提取光伏组件表面的红外图像数据。其次根据提取的图像数据特征，通过对图像通过改进的UNet图像语义分割网络对提取的图像进行分割处理，其中在UNet网络进行改进，引入迁移网络，并在迁移网络和输入之前加入注意力机制模块，以此加强对图像的特征提取，并在后续加强网络使用空洞卷积增加上下文之间的联系。对语义分割分割得到的图像进行面积提取，融合电气数据对光伏系统的健康状态进行量化评估。
根据本发明实施例的基于多模态融合的光伏电池热斑检测及评估方法，可以准确检测热斑的位置并能够对光伏系统的健康状态进行评估。
为了实现上述实施例，如图7所示，本实施例中还提供了基于多模态融合的光伏电池热斑检测及评估装置10，该装置10包括，数据获取模块100、数据处理模块200、图像分割模块300和检测评估模块400。
数据获取模块100，用于获取光伏热斑的红外图像数据和标签数据；
数据处理模块200，用于对红外图像数据和标签数据进行处理得到图像数据集；
图像分割模块300，用于将图像数据集输入至训练好的语义分割网络模型得到分割图像；
检测评估模块400，用于对分割图像的热斑面积进行特征提取得到热斑占比数据，基于热斑占比数据和光伏系统的电气数据进行多模态融合的光伏系统状态量化评估，以得到热斑位置检测结果和状态评估结果。
进一步地，上述数据处理模块200之前，还包括预处理模块，用于：
利用高斯模糊化和高斯高通滤波对红外图像数据和标签数据进行数据增强操作得到增广数据集。
进一步地，上述图像分割模块300之前，还包括模型训练模块，用于：
构建UNet语义分割网络；其中，UNet语义分割网络，包括注意力机制模块、主干特征提取网络和加强特征提取网络，主干特征提取网络包括迁移VGG网络；
将图像数据集的训练样本集输入至迁移VGG网络，并通过注意力机制模块提取初始图像特征，利用加强特征提取网络提取初始图像特征的最终图像特征；
融合初始图像特征和最终图像特征，根据特征融合结果得到分割图像样本集并利用分割图像样本集训练语义分割网络模型得到训练好的语义分割网络模型。
进一步地，通过逐步上采样将加强特征提取网络与主干特征提取网络的有效特征层进行堆叠融合操作得到特征融合结果。
进一步地，主干特征提取网络采用预训练网络，加强特征提取网络的最后两层卷积为空洞卷积。
根据本发明实施例的基于多模态融合的光伏电池热斑检测及评估装置，可以准确检测热斑的位置并能够对光伏系统的健康状态进行评估。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
Claims (10)
1.一种基于多模态融合的光伏电池热斑检测及评估方法，其特征在于，包括以下步骤：
获取光伏热斑的红外图像数据和标签数据；
对所述红外图像数据和标签数据进行处理得到图像数据集；
将所述图像数据集输入至训练好的语义分割网络模型得到分割图像；
对所述分割图像的热斑面积进行特征提取得到热斑占比数据，基于所述热斑占比数据和光伏系统的电气数据进行多模态融合的光伏系统状态量化评估，以得到热斑位置检测结果和状态评估结果。
2.根据权利要求1所述的方法，其特征在于，在所述对红外图像数据和标签数据进行处理得到图像数据集之前，所述方法，还包括：
利用高斯模糊化和高斯高通滤波对所述红外图像数据和标签数据进行数据增强操作得到增广数据集。
3.根据权利要求2所述的方法，其特征在于，所述将图像数据集输入至训练好的语义分割网络模型得到分割图像之前，所述方法，还包括训练语义分割网络模型，包括：
构建UNet语义分割网络；其中，所述UNet语义分割网络，包括注意力机制模块、主干特征提取网络和加强特征提取网络，所述主干特征提取网络包括迁移VGG网络；
将所述图像数据集的训练样本集输入至所述迁移VGG网络，并通过所述注意力机制模块提取初始图像特征，利用所述加强特征提取网络提取所述初始图像特征的最终图像特征；
融合所述初始图像特征和所述最终图像特征，根据特征融合结果得到分割图像样本集并利用所述分割图像样本集训练语义分割网络模型得到训练好的语义分割网络模型。
4.根据权利要求3所述的方法，其特征在于，通过逐步上采样将所述加强特征提取网络与所述主干特征提取网络的有效特征层进行堆叠融合操作得到所述特征融合结果。
5.根据权利要求3所述的方法，其特征在于，所述主干特征提取网络采用预训练网络，所述加强特征提取网络的最后两层卷积为空洞卷积。
6.一种基于多模态融合的光伏电池热斑检测及评估装置，其特征在于，包括：
数据获取模块，用于获取光伏热斑的红外图像数据和标签数据；
数据处理模块，用于对所述红外图像数据和标签数据进行处理得到图像数据集；
图像分割模块，用于将所述图像数据集输入至训练好的语义分割网络模型得到分割图像；
检测评估模块，用于对所述分割图像的热斑面积进行特征提取得到热斑占比数据，基于所述热斑占比数据和光伏系统的电气数据进行多模态融合的光伏系统状态量化评估，以得到热斑位置检测结果和状态评估结果。
7.根据权利要求6所述的装置，其特征在于，所述数据处理模块之前，还包括预处理模块，用于：
利用高斯模糊化和高斯高通滤波对所述红外图像数据和标签数据进行数据增强操作得到增广数据集。
8.根据权利要求7所述的装置，其特征在于，所述图像分割模块之前，还包括模型训练模块，用于：
构建UNet语义分割网络；其中，所述UNet语义分割网络，包括注意力机制模块、主干特征提取网络和加强特征提取网络，所述主干特征提取网络包括迁移VGG网络；
将所述图像数据集的训练样本集输入至所述迁移VGG网络，并通过所述注意力机制模块提取初始图像特征，利用所述加强特征提取网络提取所述初始图像特征的最终图像特征；
融合所述初始图像特征和所述最终图像特征，根据特征融合结果得到分割图像样本集并利用所述分割图像样本集训练语义分割网络模型得到训练好的语义分割网络模型。
9.根据权利要求8所述的装置，其特征在于，通过逐步上采样将所述加强特征提取网络与所述主干特征提取网络的有效特征层进行堆叠融合操作得到所述特征融合结果。
10.根据权利要求8所述的装置，其特征在于，所述主干特征提取网络采用预训练网络，所述加强特征提取网络的最后两层卷积为空洞卷积。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310470679.XA CN116503354A (zh) | 2023-04-27 | 2023-04-27 | 基于多模态融合的光伏电池热斑检测及评估方法与装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310470679.XA CN116503354A (zh) | 2023-04-27 | 2023-04-27 | 基于多模态融合的光伏电池热斑检测及评估方法与装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116503354A true CN116503354A (zh) | 2023-07-28 |
Family
ID=87324362
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310470679.XA Pending CN116503354A (zh) | 2023-04-27 | 2023-04-27 | 基于多模态融合的光伏电池热斑检测及评估方法与装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116503354A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117237590A (zh) * | 2023-11-10 | 2023-12-15 | 华能新能源股份有限公司山西分公司 | 基于图像识别的光伏组件热斑识别方法及系统 |
-
2023
- 2023-04-27 CN CN202310470679.XA patent/CN116503354A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117237590A (zh) * | 2023-11-10 | 2023-12-15 | 华能新能源股份有限公司山西分公司 | 基于图像识别的光伏组件热斑识别方法及系统 |
| CN117237590B (zh) * | 2023-11-10 | 2024-04-02 | 华能新能源股份有限公司山西分公司 | 基于图像识别的光伏组件热斑识别方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110598736B (zh) | 一种电力设备红外图像故障定位、识别与预测方法 | |
| CN108647716B (zh) | 一种基于复合信息的光伏阵列故障诊断方法 | |
| CN109614981B (zh) | 基于斯皮尔曼等级相关的卷积神经网络的电力系统智能故障检测方法及系统 | |
| CN109165623B (zh) | 基于深度学习的水稻病斑检测方法及系统 | |
| CN111444939B (zh) | 电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法 | |
| CN111783590A (zh) | 一种基于度量学习的多类别小目标检测方法 | |
| CN112380952A (zh) | 基于人工智能的电力设备红外图像实时检测及识别方法 | |
| CN116503354A (zh) | 基于多模态融合的光伏电池热斑检测及评估方法与装置 | |
| CN112084860A (zh) | 目标对象检测、火力发电厂检测方法和装置 | |
| Du et al. | Convolutional neural network-based data anomaly detection considering class imbalance with limited data | |
| Jiang et al. | Attention classification-and-segmentation network for micro-crack anomaly detection of photovoltaic module cells | |
| CN114881286A (zh) | 一种基于深度学习的短时降水预测方法 | |
| CN101630369B (zh) | 一种基于小波分形特征的行人检测方法 | |
| CN114155186A (zh) | 基于无监督学习的缺陷检测系统及方法 | |
| CN116342894B (zh) | 基于改进YOLOv5的GIS红外特征识别系统及方法 | |
| CN117056865A (zh) | 一种基于特征融合的机泵设备运行故障诊断方法及装置 | |
| CN115830302A (zh) | 一种多尺度特征提取融合配电网设备定位识别方法 | |
| CN112036410B (zh) | 基于深度学习和图像梯度的电力设备红外图像分割方法 | |
| CN114972871A (zh) | 基于图像配准的少样本图像异常检测方法及系统 | |
| CN114332715A (zh) | 气象自动观测积雪识别方法、装置、设备及存储介质 | |
| CN112465821A (zh) | 一种基于边界关键点感知的多尺度害虫图像检测方法 | |
| CN113409237A (zh) | 一种基于YOLOv3的新型太阳能电池板热斑检测方法 | |
| CN116485802B (zh) | 一种绝缘子闪络缺陷检测方法、装置、设备及存储介质 | |
| CN117274903B (zh) | 基于智能ai芯片的电力巡检智能预警设备及其方法 | |
| CN117315380B (zh) | 一种基于深度学习的肺炎ct图像分类方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |