CN115311238A - 一种基于图像分析的光伏组件缺陷损伤的识别方法 - Google Patents

一种基于图像分析的光伏组件缺陷损伤的识别方法 Download PDF

Info

Publication number
CN115311238A
CN115311238A CN202210973574.1A CN202210973574A CN115311238A CN 115311238 A CN115311238 A CN 115311238A CN 202210973574 A CN202210973574 A CN 202210973574A CN 115311238 A CN115311238 A CN 115311238A
Authority
CN
China
Prior art keywords
model
convolution
photovoltaic module
module
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210973574.1A
Other languages
English (en)
Inventor
王艳
申宗旺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China Electric Power University
Original Assignee
North China Electric Power University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China Electric Power University filed Critical North China Electric Power University
Priority to CN202210973574.1A priority Critical patent/CN115311238A/zh
Publication of CN115311238A publication Critical patent/CN115311238A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/50—Photovoltaic [PV] energy

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图像分析的光伏组件缺陷损伤的识别方法，包括：通过在LSGAN网络模型的生成器和判别器的结构中应用卷积网络代替GAN的全连接层，构建LS‑DCGAN模型；基于DenseNet网络，通过融合分组卷积和注意力机制模块，构建GCSE‑DenseNet模型；通过LS‑DCGAN模型，对光伏组件图像进行数据增强，并对光伏组件的缺陷类型进行编码，生成用于训练GCSE‑DenseNet模型的数据集；采集光伏组件图像，根据LS‑DCGAN模型，以及通过利用扩充数据集训练得到的GCSE‑DenseNet模型，识别光伏组件图像中的缺陷损伤；本发明有效提高网络的学习能力以及光伏组件缺陷识别的精度。

Description

一种基于图像分析的光伏组件缺陷损伤的识别方法
技术领域
本发明涉及信号发生器电路设计技术领域，具体而言，涉及一种基于图像分析的光伏组件缺陷损伤的识别方法。
背景技术
随着新能源为主体的新型电力系统不断发展，光伏装机量也不断增加。然而受太阳辐射强度、温度和湿度等天气因素影响以及在生产、安装及运行过程中的不可控因素，光伏组件会出现不同程度的缺陷损伤，会极大降低光伏电站的发电效率，所以通过对光伏组件故障进行检测的方法，及时识别并更新故障组件能够有效提高光伏电站的发电效率以及经济性。
目前常用的光伏组件的缺陷检测的常用方法主要有以下几种：
方法1：电路结构法：通过改变光伏组件的连接方式，并搭配一定数目的传感器，来对每一个光伏电池板的电压电流进行检测，从而确定其是否正常工作。
方法2：I-V曲线法：对光伏系统的I-V曲线进行测量，比较测量得到的曲线和理论曲线就能够判断光伏系统是否发生了故障。
方法3：数学模型法：通过光伏电池的等效电路(如图1所示) 以及基尔霍夫电流和电压定律就可以推导出一系列的数学公式，根据这些公式在仿真软件中建立相应的光伏系统数学模型。将实际测量到的光伏系统输出电压、电流信号输入搭建的数学模型，即可对实际的光伏系统进行故障状态估计。
方法4：图像分析法：对光伏组件进行成像，然后利用算法进行图像分析就可以进行故障诊断。该方法所依据的原理是当光伏组件出现故障时，故障图像与正常图像的特征不同，通过对所测光伏组件图像的特征分析就可以进行故障诊断。
上文技术方案中对现有光伏组件故障诊断方法进行了说明，其中电路结构法往往会提高光伏系统的安装难度与安装成本；I-V曲线法只能判断个别故障类型；数学模型法受光伏系统工作环境的影响，建立准确的数学模型十分困难；基于图像分析的方法是唯一不需要测量光伏组件参数的方法，通过对光伏组件进行成像，使用相应算法对图像数据进行处理即可检测出缺陷。然而通常情况下实际运行的光伏组件因工作条件和环境的差异，各缺陷类型发生概率不尽相同，光伏组件图像数据中正常样本与各缺陷类型样本之间数量差异较大，样本不平衡问题显著，不利于算法的准确识别，急需一种基于图像分析的光伏组件缺陷损伤的识别方法，来解决现有技术存在的缺陷。
发明内容
为了解决上述问题，本发明提供了一种基于图像分析的光伏组件缺陷损伤的识别方法，包括：
通过在LSGAN网络模型的生成器和判别器的结构中应用卷积网络代替其中的全连接层，构建最小二乘深度卷积生成对抗网络 LS-DCGAN模型；
基于密集连接卷积网络DenseNet，通过融合分组卷积和注意力机制模块，构建GCSE-DenseNet模型；
通过LS-DCGAN模型，对光伏组件图像进行数据增强，并对光伏组件的缺陷类型进行编码，生成用于训练GCSE-DenseNet模型的数据集；
采集光伏组件图像，根据LS-DCGAN模型，以及通过利用扩充数据集训练得到的GCSE-DenseNet模型，识别光伏组件图像中的缺陷损伤。优选地，在构建GCSE-DenseNet模型的过程中，分组卷积用于把输入的特征图分解成几组，在每一个组别上分别进行卷积计算后，并将各组别卷积结果进行连接。其中，分组卷积用于减少模型参数量，降低冗余程度，削弱过拟合。
优选地，在进行分组卷积的过程中，当输入特征图通道数为Cin，输出特征图通道数为Cout，卷积层的卷积核尺寸为K×K时，将输入特征图分为N组，每组的通道数为
Figure RE-GDA0003863567660000031
卷积核尺寸保持K×K不变，对每组分别进行卷积运算，输出特征图通道数为
Figure RE-GDA0003863567660000032
则总卷积核参数总量为
Figure RE-GDA0003863567660000033
参数量降为原来的
Figure RE-GDA0003863567660000034
优选地，在融合注意力机制模块的过程中，注意力机制模块为 SE模块，用于对通道的重要程度进行学习。其中，SE模块用于通过进行通道特征选择，进而加强有效特征，削弱无效特征，提高网络学习能力。
优选地，在融合SE模块的过程中，SE模块包括：
挤压操作单元，用于通过全局池化层将特征图的每个通道压缩为实数，以获得全局描述特征；
激励操作单元，用于为每个特征通道生成权重，表征通道间的相关性及重要性；
重标定操作单元，用于将激励操作获得的权重依次加权到相应通道的初始特征中，增强有效特征，削弱无效特征，完成特征的重新标定。
优选地，在通过挤压操作单元进行挤压操作的过程中，挤压操作的表达式为：
Figure RE-GDA0003863567660000041
式中，zc表示c通道挤压的输出，Fsq表示通道挤压操作，uc表示c通道元素值，H表示输出特征图高度，W表示输出特征图宽度，(i,j)表示坐标值。
优选地，在通过激励操作单元进行激励操作的过程中，激励操作的表达式为：
s＝Fex(z，W)＝σ(g(z，W))＝σ(W2δ(W1z))
式中，s表示激励操作所得权重；Fex表示激励操作；z表示挤压操作的输出；W表示权重系数；σ(·)表示Sigmoid函数；W2表示权重系数；δ(·)表示ReLU函数；W1表示权重系数。
优选地，在通过重标定操作单元进行重标定操作的过程中，重标定操作的表达式为：
Figure RE-GDA0003863567660000042
其中，
Figure RE-GDA0003863567660000043
表示c通道特征重标定输出，Fscale表示重标定操作，uc表示c通道元素值，sc表示c通道权重。
优选地，在构建GCSE-DenseNet模型的过程中，密集连接卷积网络DenseNet包括密集模块和过渡模块，其中，密集模块用来提取图像的特征，过渡模块用来连接两个相邻的密集模块，并对特征图进行适当变换；
在密集模块中引入卷积核为3×3的双分组卷积操作，以减少模型参数量，降低模型冗余度；
在密集模块中引入SE注意力机制模块，通过融合注意力机制，在多层级特征重用的同时进行通道特征选择，用于突出有效的通道特征，削弱无效的通道特征，有效提高网络的学习能力。
优选地，在识别光伏组件图像中的缺陷损伤的过程中，将光伏组件图像数据进行压缩和降噪操作后，输入LS-DCGAN模型进行数据增强，将生成图像与原始图像合并，形成扩充数据集。
对光伏组件的缺陷类型进行编码，并将扩充数据集划分为训练集和测试集，对划分好的数据集进行数据归一化处理；
将训练集输入GCSE-DenseNet模型进行训练，并将测试集输入训练好的模型进行光伏组件缺陷识别。
本发明公开了以下技术效果：
1.本发明所提LS-DCGAN数据增强方法在利用最小二乘损失函数使得生成器更新时产生更多的梯度，有效缓解了梯度消失问题的同时利用卷积结构能够有效提高生成图片的质量，生成更加逼真的光伏组件图像样本；
2.本发明提到的GCSE-DenseNet模型，在减少网络参数的同时，突出了有效的通道特征，削弱了无效的通道特征，有效提高网络的学习能力以及光伏组件缺陷识别的精度；
3.本发明所提LS-DCGAN和GCSE-DenseNet的光伏组件缺陷识别方法，在结合LS-DCGAN数据增强模型和GCSE-DenseNet分类模型后相比无数据增强时识别准确率有显著提高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明所述的光伏电池等效电路示意图；
图2是本发明所述的LS-DCGAN结构示意图；
图3是本发明所述的密集模块结构示意图；
图4是本发明所述的分组卷积结构示意图；
图5是本发明所述的SE模块结构示意图；
图6是本发明所述的GCSE-DenseNet模型示意图；
图7是本发明所述的光伏组件缺陷识别流程示意图；
图8是本发明所述的光伏组件数据集类型；
图9是本发明所述的生成样本图像；
图10是本发明所述的GCSE-DenseNet模型训练曲线。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
如图1-10所示，本发明提供了一种基于图像分析的光伏组件缺陷损伤的识别方法，包括：
通过在LSGAN网络模型的生成器和判别器的模型结构中应用卷积网络代替其中的全连接层，构建最小二乘深度卷积生成对抗网络 LS-DCGAN模型；
基于密集连接卷积网络DenseNet，通过融合分组卷积和注意力机制模块，构建GCSE-DenseNet模型；
通过LS-DCGAN模型，对光伏组件图像进行数据增强，并对光伏组件的缺陷类型进行编码，生成用于训练GCSE-DenseNet模型的数据集；
采集光伏组件图像，根据LS-DCGAN模型，以及通过利用扩充数据集训练得到的GCSE-DenseNet模型，识别光伏组件图像中的缺陷损伤。进一步优选地，本发明在构建GCSE-DenseNet模型的过程中，本发明提到的分组卷积用于把输入的特征图分解成几组，在每一个组别上分别进行卷积计算后，并将各组别卷积结果进行连接。其中，分组卷积用于减少模型参数量，降低冗余程度，削弱过拟合。
进一步优选地，本发明在进行分组卷积的过程中，当输入特征图通道数为Cin，输出特征图通道数为Cout，卷积层的卷积核尺寸为K×K 时，本发明将输入特征图分为N组，每组的通道数为
Figure RE-GDA0003863567660000081
卷积核尺寸保持K×K不变，对每组分别进行卷积运算，输出特征图通道数为
Figure RE-GDA0003863567660000082
则总卷积核参数总量为
Figure RE-GDA0003863567660000083
参数量降为原来的
Figure RE-GDA0003863567660000084
进一步优选地，本发明在融合注意力机制模块的过程中，本发明提到的注意力机制模块为SE模块，用于对通道的重要程度进行学习。其中，SE模块用于通过进行通道特征选择，进而加强有效特征，削弱无效特征，提高网络学习能力。
进一步优选地，在融合SE模块的过程中，本发明提到的SE模块包括：
挤压操作单元，用于通过全局池化层将特征图的每个通道压缩为实数，以获得全局描述特征；
激励操作单元，用于为每个特征通道生成权重，表征通道间的相关性及重要性；
重标定操作单元，用于将激励操作获得的权重依次加权到相应通道的初始特征中，增强有效特征，削弱无效特征，完成特征的重新标定。
进一步优选地，本发明在通过挤压操作单元进行挤压操作的过程中，本发明提到的挤压操作的表达式为：
Figure RE-GDA0003863567660000091
式中，zc表示c通道挤压的输出，Fsq表示通道挤压操作，uc表示c通道元素值，H表示输出特征图高度，W表示输出特征图宽度， (i,j)表示坐标值。
进一步优选地，本发明在通过激励操作单元进行激励操作的过程中，本发明提到的激励操作的表达式为：
s＝Fex(z，W)＝σ(g(z，W))＝σ(W2δ(W1z))
式中，s表示激励操作所得权重；Fex表示激励操作；z表示挤压操作的输出；W表示权重系数；σ(·)表示Sigmoid函数；W2表示权重系数；δ(·)表示ReLU函数；W1表示权重系数。
进一步优选地，本发明在通过重标定操作单元进行重标定操作的过程中，本发明提到的重标定操作的表达式为：
Figure RE-GDA0003863567660000092
其中，
Figure RE-GDA0003863567660000093
表示c通道特征重标定输出，Fscale表示重标定操作，uc表示c通道元素值，sc表示c通道权重。
进一步优选地，本发明在构建GCSE-DenseNet模型的过程中，本发明提到的密集连接卷积网络DenseNet包括密集模块和过渡模块，其中，密集模块用来提取图像的特征，过渡模块用来连接两个相邻的密集模块，并对特征图进行适当变换；
在密集模块中引入卷积核为3×3的双分组卷积操作，以减少模型参数量，降低模型冗余度；
在密集模块中引入SE注意力机制模块，通过融合注意力机制，在多层级特征重用的同时进行通道特征选择，用于突出有效的通道特征，削弱无效的通道特征，有效提高网络的学习能力。
进一步优选地，本发明在识别光伏组件图像中的缺陷损伤的过程中，本发明将光伏组件图像数据进行压缩和降噪操作后，输入 LS-DCGAN模型进行数据增强，将生成图像与原始图像合并，形成扩充数据集。
对光伏组件的缺陷类型进行编码，并将扩充数据集划分为训练集和测试集，对划分好的数据集进行数据归一化处理；
将训练集输入GCSE-DenseNet模型进行训练，并将测试集输入训练好的模型进行光伏组件缺陷识别。
本发明还公开了一种基于图像分析的光伏组件缺陷损伤的识别系统，用于实现上述的识别方法，包括：
数据增强模块，用于通过在LSGAN网络模型的生成器和判别器的结构中应用卷积网络代替全其中的连接层，构建最小二乘深度卷积生成对抗网络LS-DCGAN模型。其中，LS-DCGAN模型用于对光伏组件图像进行数据增强，并对光伏组件的缺陷类型进行编码，生成用于训练GCSE-DenseNet模型的数据集；
特征识别模块，用于基于密集连接卷积网络DenseNet，通过融合分组卷积和注意力机制模块，构建GCSE-DenseNet模型；
缺陷识别模块，用于通过采集光伏组件图像，根据LS-DCGAN模型，以及通过利用扩充数据集训练得到的GCSE-DenseNet网络模型，识别光伏组件图像中的缺陷损伤。本发明公开的方法具备包括以下技术过程：
1、基于LS-DCGAN网络的图像数据增强方法
1.1、GAN基本原理：
GAN是一种基于零和博弈论的深度学习模型，主要由生成器和判别器两个模块组成：生成器接收随机噪声，在学习真实样本分布特征的基础上生成人工样本；判别器对真实样本与生成样本进行真假判断。两者之间构成了一个动态博弈过程，不断提升各自的生成能力与判断能力，最终达到纳什均衡，最终生成器能够生成尽可能真实的数据，生成器与判别器之间的最大最小博弈目标函数可表示如下：
Figure RE-GDA0003863567660000111
式中：D—判别器；G—生成器；E[]—期望运算；x—真实样本，分布服从PX；D()—判别器的判别结果；z—噪声向量，分布服从PZ； G(z)—生成器的生成样本。
1.2、LSGAN基本原理：
GAN模型判别器的损失函数为Sigmoid交叉熵损失函数，主要对输入样本是否正确分类作出判断，而对生成样本的判别情况不进行惩罚，导致GAN训练时容易出现梯度消失的问题。LSGAN最小二乘损失函数代替Sigmoid交叉熵损失函数，网络在判别器判别错误的情况下依然提供学习误差，而对判别正确的样本会根据其到决策边界的距离进行惩罚，将远离决策边界的生成样本拉向决策边界，这种方式使得生成器更新时产生更多的梯度，有效缓解了梯度消失问题。LSGAN网络判别器的损失为：
Figure RE-GDA0003863567660000121
生成器的损失为：
Figure RE-GDA0003863567660000122
本发明在LSGAN的基础上，在生成器和判别器的模型结构中应用卷积网络代替其中的全连接层，以提高生成样本质量，构建了最小二乘深度卷积生成对抗网络(LS-DCGAN)。改进的LS-DCGAN的结构如图2所示。
2、GCSE-DenseNet分类模型
2.1、DenseNet模型：
DenseNet模型主要包括密集模块(DenseBlock)和过渡模块 (TransitionLayer)，其中密集模块用来提取图像的特征，过渡模块用来连接两个相邻的密集模块，并对特征图进行适当变换。密集模块如图3所示，密集模块将前层网络与后面各层网络进行稠密连接，加强了特征的传播。其输入与输出的关系为：
Figure RE-GDA0003863567660000123
式中：Xl—第l层提取的特征；Wl3—第l层3×3卷积的权重；
Figure RE-GDA0003863567660000124
—卷积运算符；δ(·)—ReLU激活函数；BN(·)—批归一化操作；Wl1—第l层 1×1卷积的权重；bl1—第l层1×1卷积的偏置；bl3—第l层3×3卷积的偏置。
2.2、分组卷积：
分组卷积首先把输入的特征图分解成几组，然后在每一个组别上分别进行卷积计算，最后将各组别卷积结果进行连接，其结构如图4 所示。
当输入特征图通道数为Cin，输出特征图通道数为Cout，卷积层的卷积核尺寸为K×K时，传统卷积操作的卷积核参数总量为 Cin×Cout×K×K；若采用分组卷积，将输入特征图分为N组，每组的通道数为
Figure RE-GDA0003863567660000131
卷积核尺寸保持K×K不变，对每组分别进行卷积运算，输出特征图通道数为
Figure RE-GDA0003863567660000132
则总卷积核参数总量为
Figure RE-GDA0003863567660000133
参数量降为原来的
Figure RE-GDA0003863567660000134
通过分组卷积，能够有效减少模型参数量，降低冗余程度，削弱过拟合。
2.3、SE模块：
SE模块是一个专注于通道相关性的注意力机制模块，能够对通道的重要程度进行学习。在对光伏组件样本进行特征提取时，通常会包含部分无用特征，干扰网络的学习效果。本发明通过引入SE模块，进行通道特征选择，进而加强有效特征，削弱无效特征，提高网络学习能力。SE模块结构如图5所示，共包含三个部分：
1)挤压操作(Squeeze)：该部分通过全局池化层将特征图的每个通道压缩为实数，以获得全局描述特征，数学表示如下：
Figure RE-GDA0003863567660000141
式中：zc—c通道挤压的输出；Fsq—通道挤压操作，uc—c通道元素值；H—输出特征图高度；W—输出特征图宽度；(i,j)—坐标值。
2)激励操作(Excitation)：该部分为每个特征通道生成权重，表征通道间的相关性及重要性，数学表示如下：
s＝Fex(z，W)＝σ(g(z，W))＝σ(W2δ(W1z)) (6)
式中：s—激励操作所得权重；Fex—激励操作；z—挤压操作的输出；W—权重系数；σ(·)—Sigmoid函数；W2—权重系数；δ(·)—ReLU 函数；W1—权重系数。
3)重标定操作(Scale)：将激励操作获得的权重依次加权到相应通道的初始特征中，增强有效特征，削弱无效特征，完成特征的重新标定，数学表示如下：
Figure RE-GDA0003863567660000142
式中：
Figure RE-GDA0003863567660000143
—c通道特征重标定输出；Fscale—重标定操作；uc—c通道元素值；sc—c通道权重。
2.4、GCSE-DenseNet模型结构：
本发明方法在传统密集连接卷积网络(DenseNet)的基础上，融合SE注意力机制模块和分组卷积操作，提出了一种基于分组卷积和注意力机制的GCSE-DenseNet网络模型。针对传统DenseNet模型中密集模块参数量较多、计算成本过高问题，本发明模型在密集模块中引入卷积核为3×3的双分组卷积操作，以减少模型参数量，降低模型冗余度。其次，针对传统DenseNet模型特征通道数目多，有效特征不明显，特征提取效率低问题，本发明改进模型引入SE注意力机制模块，通过融合注意力机制，在多层级特征重用的同时进行通道特征选择，突出有效的通道特征，削弱无效的通道特征，有效提高网络的学习能力。所提出的GCSE-DenseNet模型结构如图6所示。
首先，输入光伏组件图像样本，经卷积层提取低级特征后，经池化层进行降采样，将降采样结果输入4个改进的密集模块 (GCSE-DenseBlock)中进行深度特征提取。相邻密集模块之间由过渡模块连接，过渡模块由1×1卷积和平均池化组成，最后通过池化层、全连接以及Softmax分类器输出识别结果。
3、基于LS-DCGAN和GCSE-DenseNet的光伏组件缺陷识别流程：
基于LS-DCGAN和改进GCSE-DenseNet的光伏组件缺陷识别流程主要由数据增强阶段、数据处理阶段以及缺陷识别阶段三部分组成，具体流程如图7所示：
1)将光伏组件图像数据进行压缩和降噪操作，得到适合所提数据增强模型的像素尺寸素为128×128的图像，将压缩后的图像输入 LS-DCGAN模型进行数据增强，将生成图像与原始图像合并，形成扩充数据集。
2)对光伏组件的缺陷类型进行编码，并将扩充数据集划分为训练集和测试集，对划分好的数据集进行数据归一化处理。
3)将训练集输入GCSE-DenseNet模型进行训练，并将测试集输入训练好的模型进行光伏组件缺陷识别。
4、实验结果分析：
4.1数据集
数据集是从不同光伏组件中分割得到的像素为300×300的光伏组件EL灰度图像，本发明选取其中的单晶硅片组件进行实验，根据其样式、缺陷情况共划分为8种类型，其中包含无缺陷片4类，分别为粗栅线、细栅线、三点栅线和多点栅线；以及有缺陷片4类，分别为黑心、缺损、隐裂和分流故障，各类型如图8所示。
4.1数据集扩充
针对光伏组件数据集样本数目较少以及各类型样本数量不平衡的问题，本发明采用所提LS-DCGAN网络模型对光伏组件初始数据集进行数据增强。首先，对原始数据集进行压缩和降噪操作，得到像素为128×128的图像；其次，将图像输入LS-DCGAN网络模型进行训练，生成的样本图像如图9所示。
本发明采用结构相似性指标(Structural Similarity,SSIM)和皮尔逊相关系数(Pearson correlation coefficient,PCC)两个评价指标，来评估生成样本图像的质量。其中SSIM为原始图像与生成图像的结构相似度，值介于0-1，SSIM数值越大代表图像感知上越相似；PCC用来衡量原始数据与生成数据的分布相关性，其值越大代表分布越相似。将本发明LS-DCGAN模型、传统GAN模型和DCGAN模型所得的生成图像进行了评价指标的对比，如表1所示。由表1可知，本发明所提数据增强模型的生成图像质量较高。
表1
模型 SSIM值 PCC
GAN 0.6952 0.7538
DCGAN 0.7394 0.7856
LS-DCGAN 0.8061 0.8287
利用光伏组件扩充数据集对本发明所提GCSE-DenseNet网络模型进行训练，图10为模型的训练准确率与损失曲线。图10表明，随着迭代次数的增长，模型逐渐趋于收敛，最终准确率和损失值都在小范围内波动。
最后，将未经数据增强的原始数据集利用GCSE-DenseNet模型进行识别，以及在LS-DCGAN数据增强法生成的扩充数据集基础上，分别利用残差网络模型(ResidualNetwork,ResNet)、人工神经网络 (ArtificialNeuralNetwork,ANN)模型、基于迁移学习的VGG-19模型以及本发明GCSE-DenseNet模型进行了仿真对比分析，结果如表2所示。表2表明，利用本发明所提LS-DCGAN数据增强模型生成的图像集相比不进行数据增强的原始数据集能够有效提高各种分类算法的识别准确率，同时在利用本发明所提LS-DCGAN数据增强方法的基础上，本发明所提GCSE-DenseNet模型的光伏组件识别准确率最高。
表2
Figure RE-GDA0003863567660000171
Figure RE-GDA0003863567660000181
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/ 或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于图像分析的光伏组件缺陷损伤的识别方法，其特征在于，包括：
通过在LSGAN网络模型的生成器和判别器的结构中应用卷积网络代替其中的全连接层，构建最小二乘深度卷积生成对抗网络LS-DCGAN模型；
基于密集连接卷积网络DenseNet，通过融合分组卷积和注意力机制模块，构建GCSE-DenseNet模型；
通过所述LS-DCGAN模型，对光伏组件图像进行数据增强，并对光伏组件的缺陷类型进行编码，生成用于训练所述GCSE-DenseNet模型的数据集；
采集光伏组件图像，根据所述LS-DCGAN模型，以及通过利用扩充数据集训练得到的所述GCSE-DenseNet模型，识别所述光伏组件图像中的缺陷损伤。
2.根据权利要求1所述一种基于图像分析的光伏组件缺陷损伤的识别方法，其特征在于：
在构建GCSE-DenseNet模型的过程中，所述分组卷积用于把输入的特征图分解成几组，在每一个组别上分别进行卷积计算后，并将各组别卷积结果进行连接。其中，所述分组卷积用于减少模型参数量，降低冗余程度，削弱过拟合。
3.根据权利要求2所述一种基于图像分析的光伏组件缺陷损伤的识别方法，其特征在于：
在进行分组卷积的过程中，当输入特征图通道数为Cin，输出特征图通道数为Cout，卷积层的卷积核尺寸为K×K时，将输入特征图分为N组，每组的通道数为
Figure FDA0003797197050000021
卷积核尺寸保持K×K不变，对每组分别进行卷积运算，输出特征图通道数为
Figure FDA0003797197050000022
则总卷积核参数总量为
Figure FDA0003797197050000023
参数量降为原来的
Figure FDA0003797197050000024
4.根据权利要求3所述一种基于图像分析的光伏组件缺陷损伤的识别方法，其特征在于：
在融合注意力机制模块的过程中，所述注意力机制模块为SE模块，用于对通道的重要程度进行学习。其中，所述SE模块用于通过进行通道特征选择，进而加强有效特征，削弱无效特征，提高网络学习能力。
5.根据权利要求4所述一种基于图像分析的光伏组件缺陷损伤的识别方法，其特征在于：
在融合SE模块的过程中，所述SE模块包括：
挤压操作单元，用于通过全局池化层将特征图的每个通道压缩为实数，以获得全局描述特征；
激励操作单元，用于为每个特征通道生成权重，表征通道间的相关性及重要性；
重标定操作单元，用于将激励操作获得的权重依次加权到相应通道的初始特征中，增强有效特征，削弱无效特征，完成特征的重新标定。
6.根据权利要求5所述一种基于图像分析的光伏组件缺陷损伤的识别方法，其特征在于：
在通过挤压操作单元进行挤压操作的过程中，所述挤压操作的表达式为：
Figure FDA0003797197050000031
式中，zc表示c通道挤压的输出，Fsq表示通道挤压操作，uc表示c通道元素值，H表示输出特征图高度，W表示输出特征图宽度，(i,j)表示坐标值。
7.根据权利要求6所述一种基于图像分析的光伏组件缺陷损伤的识别方法，其特征在于：
在通过激励操作单元进行激励操作的过程中，所述激励操作的表达式为：
s＝Fex(z，W)＝σ(g(z，W))＝σ(W2δ(W1z))
式中，s表示激励操作所得权重；Fex表示激励操作；z表示挤压操作的输出；W表示权重系数；σ(·)表示Sigmoid函数；W2表示权重系数；δ(·)表示ReLU函数；W1表示权重系数。
8.根据权利要求7所述一种基于图像分析的光伏组件缺陷损伤的识别方法，其特征在于：
在通过重标定操作单元进行重标定操作的过程中，所述重标定操作的表达式为：
Figure FDA0003797197050000032
其中，
Figure FDA0003797197050000033
表示c通道特征重标定输出，Fscale表示重标定操作，uc表示c通道元素值，sc表示c通道权重。
9.根据权利要求8所述一种基于图像分析的光伏组件缺陷损伤的识别方法，其特征在于：
在构建GCSE-DenseNet模型的过程中，所述密集连接卷积网络DenseNet包括密集模块和过渡模块，其中，所述密集模块用来提取图像的特征，所述过渡模块用来连接两个相邻的密集模块，并对特征图进行适当变换；
在所述密集模块中引入卷积核为3×3的双分组卷积操作，以减少模型参数量，降低模型冗余度；
在所述密集模块中引入SE注意力机制模块，通过融合注意力机制，在多层级特征重用的同时进行通道特征选择，用于突出有效的通道特征，削弱无效的通道特征，有效提高网络的学习能力。
10.根据权利要求9所述一种基于图像分析的光伏组件缺陷损伤的识别方法，其特征在于：
在识别所述光伏组件图像的缺陷损伤的过程中，将光伏组件图像数据进行压缩和降噪操作后，输入所述LS-DCGAN模型进行数据增强，将生成图像与原始图像合并，形成扩充数据集。
对光伏组件的缺陷类型进行编码，并将扩充数据集划分为训练集和测试集，对划分好的数据集进行数据归一化处理；
将训练集输入所述GCSE-DenseNet模型进行训练，并将测试集输入训练好的模型进行光伏组件缺陷识别。
CN202210973574.1A 2022-08-15 2022-08-15 一种基于图像分析的光伏组件缺陷损伤的识别方法 Pending CN115311238A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210973574.1A CN115311238A (zh) 2022-08-15 2022-08-15 一种基于图像分析的光伏组件缺陷损伤的识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210973574.1A CN115311238A (zh) 2022-08-15 2022-08-15 一种基于图像分析的光伏组件缺陷损伤的识别方法

Publications (1)

Publication Number Publication Date
CN115311238A true CN115311238A (zh) 2022-11-08

Family

ID=83862785

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210973574.1A Pending CN115311238A (zh) 2022-08-15 2022-08-15 一种基于图像分析的光伏组件缺陷损伤的识别方法

Country Status (1)

Country Link
CN (1) CN115311238A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117435980A (zh) * 2023-12-21 2024-01-23 国网浙江省电力有限公司 基于小样本学习的海岛光伏智能运维状态分析方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117435980A (zh) * 2023-12-21 2024-01-23 国网浙江省电力有限公司 基于小样本学习的海岛光伏智能运维状态分析方法
CN117435980B (zh) * 2023-12-21 2024-04-12 国网浙江省电力有限公司 基于小样本学习的海岛光伏智能运维状态分析方法

Similar Documents

Publication Publication Date Title
CN110533631B (zh) 基于金字塔池化孪生网络的sar图像变化检测方法
CN111161224A (zh) 基于深度学习的铸件内部缺陷分级评估系统及方法
CN110610475A (zh) 一种深度卷积神经网络的视觉缺陷检测方法
CN111899225A (zh) 基于多尺度金字塔结构的核电管道缺陷检测方法
CN112765908B (zh) 一种基于图像序列分析的燃气涡轮发动机燃烧室稳定性分析方法
CN114170478A (zh) 基于跨图像局部特征对齐的缺陷检测、定位的方法及系统
CN114565594A (zh) 基于软掩膜对比损失的图像异常检测方法
CN111597941A (zh) 一种面向大坝缺陷图像的目标检测方法
CN115294033A (zh) 一种基于语义分割网络的轮胎带束层差级和错边缺陷检测方法
CN115311238A (zh) 一种基于图像分析的光伏组件缺陷损伤的识别方法
CN114897855A (zh) 基于x射线图片灰度值分布判定缺陷类型的方法
CN114511521A (zh) 基于多重表示与多重子域自适应的轮胎瑕疵检测方法
CN110633739A (zh) 基于并行模块深度学习的偏光片缺陷图像实时分类方法
CN117484031A (zh) 光伏组件焊接加工设备
CN115830302B (zh) 一种多尺度特征提取融合配电网设备定位识别方法
CN109859141B (zh) 一种深立井井壁图像去噪方法
CN115953387A (zh) 一种基于深度学习的射线图像焊缝缺陷检测方法
CN114119562B (zh) 一种基于深度学习的刹车盘外表面缺陷检测方法及系统
CN116503354A (zh) 基于多模态融合的光伏电池热斑检测及评估方法与装置
CN110610136A (zh) 一种基于深度学习的变电站设备识别模块及识别方法
CN116703812A (zh) 一种基于深度学习的光伏组件裂纹检测方法与系统
CN116030292A (zh) 基于改进ResNext的混凝土表面粗糙度检测方法
CN114861771A (zh) 基于特征提取和深度学习的工业ct图像缺陷分类方法
CN114897858A (zh) 一种基于深度学习的快速绝缘子缺陷检测方法及其系统
CN116485802B (zh) 一种绝缘子闪络缺陷检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination