CN114862814A - 太阳能电池板缺陷检测方法及系统、存储介质及终端 - Google Patents

太阳能电池板缺陷检测方法及系统、存储介质及终端 Download PDF

Info

Publication number
CN114862814A
CN114862814A CN202210550523.8A CN202210550523A CN114862814A CN 114862814 A CN114862814 A CN 114862814A CN 202210550523 A CN202210550523 A CN 202210550523A CN 114862814 A CN114862814 A CN 114862814A
Authority
CN
China
Prior art keywords
image
solar cell
defect detection
model
cell panel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210550523.8A
Other languages
English (en)
Inventor
凌旭峰
樊江玲
周丽婕
钮佳超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI NORMAL UNIVERSITY TIANHUA COLLEGE
Original Assignee
SHANGHAI NORMAL UNIVERSITY TIANHUA COLLEGE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI NORMAL UNIVERSITY TIANHUA COLLEGE filed Critical SHANGHAI NORMAL UNIVERSITY TIANHUA COLLEGE
Priority to CN202210550523.8A priority Critical patent/CN114862814A/zh
Publication of CN114862814A publication Critical patent/CN114862814A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/50—Photovoltaic [PV] energy

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Quality & Reliability (AREA)
  • Photovoltaic Devices (AREA)

Abstract

本发明提供一种太阳能电池板缺陷检测方法及系统、存储介质及终端，包括以下步骤：基于自监督学习方法训练图像特征识别模型；基于所述图像特征识别模型提取包含表面缺陷的太阳能电池板图像的图像特征；基于有监督学习方法，根据所述图像特征训练太阳能电池板缺陷检测模型；将太阳能电池板图像依次输入所述图像特征识别模型和所述太阳能电池板缺陷检测模型，获取太阳能电池板缺陷检测结果。本发明的太阳能电池板缺陷检测方法及系统、存储介质及终端基于双通道的生成式自监督学习的方法，能够准确地识别太阳能电池板的表面缺陷。

Description

太阳能电池板缺陷检测方法及系统、存储介质及终端
技术领域
本发明涉及太阳能电池板的技术领域，特别是涉及一种太阳能电池板缺陷检测方法及系统、存储介质及终端。
背景技术
随着光伏发电技术的日益成熟，光伏发电已经成为我国新能源发展重要领域。光伏发电应用的核心部件是太阳能电池板，其生产工艺复杂，容易产生缺陷。在生产和使用过程中，检测并替换有缺陷的太阳电池板能显著提高发电效率并延长太阳能电站寿命。现有技术中，太阳能电池板缺陷检测方法主要包括以下三种：
(1)太阳能电池板的人工目视检测
人工目视检测由专门人员通过可见光相机或红外相机拍摄的太阳能电池板图像来判断是否存在缺陷，需要耗费大量的人力资源，且检测效率低；同时对于不同的缺陷严重受主观判断影响，影响了准确度。
(2)太阳能电池板的物理检测
物理检测是指使用声波、红外、激光扫描、共振超声振动等方法检测太阳能电池板缺陷。王亚丽等设计一种基于红外热像技术进行太阳能板缺陷检测和分类方法，可根据常见的黑片、断栅、隐裂和碎片等缺陷，提取红外图像平均灰度值差、长宽比和边沿曲率等特征进行缺陷检测。实验表明该方法能检测定位缺陷,并对缺陷进行准确分类。白恺等根据晶硅光伏组件缺陷形成机理，提出一种适用于现场应用的缺陷光伏组件检测方案，包括红外热成像排查、绝缘电阻测试、EL测试和光伏组件特性测试，能够鉴别光伏组件缺陷产生原因及对发电性能的影响。施光辉提出通过EL(Electroluminescent)测试技术，发现电池组件的黑心、黑斑、隐裂、断栅等缺陷，结合光伏组件V-I特性曲线确定缺陷存在。杨瑞珍提出电磁感应主动激励下晶体硅光伏电池红外热成像缺陷检测方法，具有检测灵敏度高、可发现内部缺陷、检测缺陷种类多等优势，在脉冲式和锁相式两种激励模式下获得了硅电池的热成像序列，并处理热像图序列，实现晶体硅光伏电池中热斑、裂纹、断栅、重掺杂等缺陷的可视化检测。石磊基于太阳电池电致发光原理，设计了EL缺陷检测单元，通过机器视觉系统采集数据，生成光伏组件EL图像，辅助人工完成光伏组件的缺陷检测，降低人工疲劳等人为因素对检测结果的影响。
(3)太阳能电池板的机器视觉检测
相对于物理检测方法，机器视觉测量作为一种新的测量技术，具有髙效、精确、实时、灵活、非接触、远距离测量等特点。随着信息处理软硬件技术的不断发展，机器视觉检测技术的优势日益显著。检测速度快，仅需几百毫秒；应用部署灵活，可根据环境的不同进行配置，以满足用户的要求，实现远程检测操作；检测精度高，检测标准化、一致性不断完善。
孙海蓉等提出一种深度卷积自编码网络模型用于小样本光伏热斑识别与定位，自动学习并提取小样本图像中的有效特征。实验结果表明，针对小样本光伏热斑图像数据集，该方法比传统卷积神经网络识别准确率提升7.98％，并有更强的泛化能力和鲁棒性。都胡平等提出一种在生产过程中检测电池片破损的方法，用Sobel算子检测图像边缘，计算电池片偏转角度，基于角点检测法检测电池片是否破损。实验结果显示该方法精度较高，能检测出电池片串焊过程中位置偏转、破损等问题。陈凤妹设计出一种基于深度学习的太阳能电池板缺陷检测模型SSNBDL，在SegNet网络框架基础上，使用空洞卷积替代池化层，增大感受野，保留了图像边缘信息，该模型明显提高了检测的准确率。邓堡元提出一种基于光流法处理光伏电池热流场的热图像序列分析方法，能够准确找到异常发热源，并与短波红外成像找到的异常发光源融合，通过深度卷积神经网络，实现对光伏电池内部缺陷与划痕、覆盖、裂纹、缺损等人工缺陷的有效识别。实验结果表明在卷积网络的训练中能更快地收敛。周德永利用YOLOv3目标检测模型对太阳能电池板电致发光图片进行缺陷检测，在测试集上平均精度均值达到81.81％。实验结果表明YOLOv3目标检测模型对于含有断栅、隐裂缺陷的太阳能电池板能够实现比较准确的检测。刘怀广建立了一种特征增强型轻量化卷积神经网络模型，设计特征增强提取模块，提高了弱边界的提取能力，同时根据多尺度识别原理，增加了小目标预测层，实现多尺度特征预测。实验测试中该模型平均精度均值达到87.55％，比传统模型提高6.78个百分点，并满足精准性与实时性检测要求。
然而，现有的基于监督学习的机器视觉检测方法以下三个缺点：
1)需要进行精确定位缺陷位置才能实现进行缺陷识别。而缺陷定位难度较大，这是因为缺陷是开放性的，局部缺陷和全局缺陷是同一类缺陷。比如，一条裂纹长中间有间断，是定位为一条长裂纹还是两段短裂纹，这就是缺陷检测定位的两难问题。
2)基于监督学习的方法需要大数据量人工标注数据集支持，并在数据集上进行大量训练才能获得训练收敛的模型。数据集需要人工标注，既耗时又昂贵，特殊领域如医疗领域样本标注极其昂贵，日益成为人工智能发展的瓶颈。
3)数据标注会导致信息损失，一幅图像所包含的信息非常丰富，除了被标注对象之外，还有背景信息、次要目标信息等，而单一的训练任务仅提取出图像中的标注信息而忽略其他有用信息。正由于信息损失，导致监督学习模型的特征提取能力扭曲和泛化能力较差。
自监督学习方法可以克服监督学习方法的缺点。自监督学习可以分为判别式自监督学习和生成式自监督学习两种类型。典型的判别式自监督学习方法是对比学习，主要思想是通过自动构造相似实例和不相似实例，要求习得一个特征表征的学习模型，使得相似实例在投影空间聚集，不相似的实例在投影空间中分离。生成式自监督学习方法的主要是训练一个深度学习模型，以重建被遮盖的部分图像。训练收敛的重建模型类似一个图像编码器，具有图像的特征提取能力。图像重建任务难度比较高，一般要求像素级的重构。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种太阳能电池板缺陷检测方法及系统、存储介质及终端，基于双通道的生成式自监督学习的方法，能够准确地识别太阳能电池板的缺陷。
为实现上述目的及其他相关目的，本发明提供一种太阳能电池板缺陷检测方法，包括以下步骤：基于自监督学习方法训练图像特征识别模型；基于所述图像特征识别模型提取包含表面缺陷的太阳能电池板图像的图像特征；基于有监督学习方法，根据所述图像特征训练太阳能电池板缺陷检测模型；将太阳能电池板图像依次输入所述图像特征识别模型和所述太阳能电池板缺陷检测模型，获取太阳能电池板缺陷检测结果。
于本发明一实施例中，基于自监督学习方法训练图像特征识别模型包括以下步骤：
将输入图像均分为多个图像块；
对每个所述图像块进行编码，生成与所述图像块对应的编码值；
对所述多个图像块按照预设比例进行随机遮盖，将遮盖后得到的图像块序列输入ViT模型，获取遮盖的图像块的特征向量；
将所述特征向量输入MIM模型，获取所述特征向量的编码值；
获取所述遮盖的图像块的编码值与特征向量的编码值的误差；若所述误差不在预设范围内，调整所述ViT模型和所述MIM模型的参数值，直至所述误差在所述预设范围内，并将所述ViT模型作为所述图像特征识别模型。
于本发明一实施例中，对每个所述图像块进行编码采用离散变分编码器，所述离散变分编码器用于将所述图像块转换为离散的编码值。
于本发明一实施例中，所述ViT模型的参数值包括批次大小为32，优化器选择Adm，学习率为余弦优化方案，热身周期为5，层衰减为0.75，下降路径为0.2，权重衰减为0.05，训练周期为200次。
于本发明一实施例中，所述预设比例为40％。
于本发明一实施例中，基于有监督学习方法，根据所述图像特征训练太阳能电池板缺陷检测模型包括以下步骤：
获取所述图像特征识别模型提取的太阳能电池板图像的图像特征；
将所述图像特征输入所述太阳能电池板缺陷检测模型；
获取所述太阳能电池板缺陷检测模型输出的太阳能电池板缺陷检测结果；
若所述太阳能电池板缺陷检测结果准确度未达到预设阈值，调整所述太阳能电池板缺陷检测模型的参数，直至所述太阳能电池板缺陷检测结果准确度达到预设阈值。
于本发明一实施例中，所述太阳能电池板缺陷检测模型采用全连接的MLP网络。
本发明提供一种太阳能电池板缺陷检测系统，包括图像特征训练模块、提取模块、缺陷检测训练模块和检测模块；
所述图像特征训练模块用于基于自监督学习方法训练图像特征识别模型；
所述提取模块用于基于所述图像特征识别模型提取包含表面缺陷的太阳能电池板图像的图像特征；
所述缺陷检测训练模块用于基于有监督学习方法，根据所述图像特征训练太阳能电池板缺陷检测模型；
所述检测模块用于将太阳能电池板图像依次输入所述图像特征识别模型和所述太阳能电池板缺陷检测模型，获取太阳能电池板缺陷检测结果。
本发明提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的太阳能电池板缺陷检测方法。
本发明提供一种太阳能电池板缺陷检测终端，包括：处理器及存储器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器存储的计算机程序，以使所述太阳能电池板缺陷检测终端执行上述的太阳能电池板缺陷检测方法。
如上所述，本发明所述的太阳能电池板缺陷检测方法及系统、存储介质及终端，具有以下有益效果：
(1)生成式自监督学习方法能够对未标注数据集构造自监督任务进行训练，生成特征提取模型，且无需使用人工标注的大样本数据集集，从而极大减少人工标注工作量，降本增效；
(2)能够通过自注意力模糊定位缺陷所在位置，避免缺陷精确定位的难题，无需显性判别缺陷位置即可检测缺陷，适合检测开放性错误；
(3)使用自监督学习方法完成特征提取模型训练后，与有监督模型相比，能够捕捉数据集局部细节特征和全局语义特征，仅需使用少量标注典型缺陷样本训练分类器即可达到良好的分类效果；
(4)通过采用双通道模式训练模型，避免了从像素层面恢复原始图像，显著减少了运算量，满足工业生产实际的需求；通过采用具有普适性的语义生成式自监督学习方法，可应用于大范围的工业表面检测，有非常广泛的应用前景；
(5)在太阳能电池板缺陷数据集上训练和测试，仅需120个训练周期，即可以达到81.79％的分类准确率，且稳健性好，有很强的泛化能力。
附图说明
图1显示为本发明的太阳能电池板缺陷检测方法于一实施例中的流程图；
图2显示为本发明的基于双通道的生成式自监督学习算法于一实施例中的流程图；
图3显示为本发明的太阳能电池板缺陷图像于一实施例中的示意图；
图4(a)显示为本发明的训练误差与验证误差于一实施例中的示意图；
图4(b)显示为本发明的训练准确率与验证准确率于一实施例中的示意图
图5显示为本发明的太阳能电池板缺陷检测系统于一实施例中的结构示意图；
图6显示为本发明的太阳能电池板缺陷检测终端于一实施例中的结构示意图。
元件标号说明
51 图像特征训练模块
52 提取模块
53 缺陷检测训练模块
54 检测模块
61 处理器
62 存储器
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本发明的太阳能电池板缺陷检测方法及系统、存储介质及终端首先基于离散变分编码器对输入图像进行离散编码，形成输入图像特征的编码表征；再使用自注意力通道随机遮盖预设比例的图像块并输入一个基于自注意力的遮盖模型，使用全连接分类网络将自注意力表征映射为图像离散编码表征，最后训练模型使其习得能够重建被遮盖图像块的能力，从而能够根据图像特征准确地识别太阳能电池板的缺陷，具有准确率高、运算量小的特点，具有广泛的应用场景。
如图1所示，于一实施例中，本发明的太阳能电池板缺陷检测方法包括以下步骤：
步骤S1、基于自监督学习方法训练图像特征识别模型。
具体地，本发明采用基于双通的生成式自监督学习算法来基于自监督学习方法训练图像特征识别模型。如图1所示，基于自监督学习方法训练图像特征识别模型包括以下步骤：
11)将输入图像均分为多个图像块。
具体地，将输入图像X平均分割为多个图像块，即把
Figure BDA0003650478080000061
的图像分成变形为N＝HW/P2个图像块，图像块
Figure BDA0003650478080000062
其中，(H，W)是输入图像的分辨率，C是图像通道数，(P，P)是每个图像块的分辨率。当所述输入图像分辨率为224×224时，每个图像块的分辨率为16×16，故所述输入图像可分割为14×14＝196个图像块。将所有图像块堆叠起来，形成长度为196的图像块向量。
12)对每个所述图像块进行编码，生成与所述图像块对应的编码值。
具体地，在第一通道，使用离散变分编码器(Discrete Variational AutoEncoder，dVAE编码器)和解码器对图像编码和解码，所述dVAE编码器和解码器都是由深度学习残差网络组成，是需要通过训练而得到的。本发明采用预训练好的dVAE编码器给图像建立一个词汇表，词汇表字典包括有8192个词，且为均匀离散分布。也就是说，使用dVAE对图像的每个图像块进行编码，能够将图像的每个图像块映射到一个规模为8192的词典中一个码字。故dVAE编码器可以极大地压缩图像，提取图像特征；所述解码器使用196个码字重建原始图像。重建图像的好坏标志着dVAE编码器特征提取能力和解码器生成能力的强弱。其中，将输入图像X分割得到的196个16×16的图像块输入编码器，得到196个离散编码，每个编码取值0～8191。所述输入图像就转化为长度为196、取值为0～8191的数组。
13)对所述多个图像块按照预设比例进行随机遮盖，将遮盖后得到的图像块序列输入ViT(Vision Transformer)模型，获取遮盖的图像块的特征向量。
具体地，在第二通道，将输入图像X的图像块进行随机遮盖，例如遮盖40％的图像块，即遮盖5个图像块。遮盖后的图像块与其对应的位置信息构建成一图像块序列，并输入ViT模型。
ViT模型由Attention、前馈层、跳接并联、dropout层等组成。如图1所示，全黑的方块表示被遮盖的图像块，输入ViT模型后，所有图像块的特征向量。其中，丢弃未遮盖的图像块的特征向量，保留被遮盖的图像块的特征向量h2，h4，h7，h10，h14。
14)将所述特征向量输入MIM(Masked Image Model)模型，获取所述特征向量的编码值。
具体地，将所述ViT模型得到的遮盖图像块的特征向量输入MIM(Masked ImageModeling Head)模型，得到所述特征向量对应的编码值。
15)获取所述遮盖的图像块的编码值与特征向量的编码值的误差；若所述误差不在预设范围内，调整所述ViT模型和所述MIM模型的参数值，直至所述误差在所述预设范围内，并将所述ViT模型作为所述图像特征识别模型。
具体地，本发明的图像特征识别模型的目的是尽可能地减小所述遮盖的图像块的编码值与特征向量的编码值的误差。因此，对于当前得到的误差进行阈值范围判断。当所述误差在所述预设范围内，则表明所述图像特征识别模型训练目标已经完成，可结束训练。当所述误差不在所述预设范围内，则需要调整所述ViT模型和所述MIM模型的参数值，继续进行模型训练，直至得到的误差在所述预设范围内。训练完毕后，只需保留ViT模型，丢弃后面的所述MIM模型，就得到所述图像特征识别模型。于本发明一实施例中，所述ViT模型的参数值包括批次大小(Batch Size)为32，优化器选择Adm，学习率(Lean Rate)为余弦优化方案，热身周期(Warmup Epochs)为5，层衰减(Layer Decay)为0.75，下降路径(Drop Path)为0.2，权重衰减(Weight Decay)为0.05，训练周期为200次。
步骤S2、基于所述图像特征识别模型提取包含表面缺陷的太阳能电池板图像的图像特征。
具体地，将包含有表面缺陷的太阳能电池板图像输入训练好的图像特征识别模型，从而能够提取所述太阳能电池板图像的图像特征，即提取太阳能电池板图像的表面缺陷特征。
步骤S3、基于有监督学习方法，根据所述图像特征训练太阳能电池板缺陷检测模型。
具体地，所述太阳能电池板缺陷检测模型实质上为一个分类模块，其根据输入的图像特征来给出是否存在缺陷的太阳能电池板缺陷检测结果。
于本发明一实施例中，基于有监督学习方法，根据所述图像特征训练太阳能电池板缺陷检测模型包括以下步骤：
31)获取所述图像特征识别模型提取的太阳能电池板图像的图像特征。
32)将所述图像特征输入所述太阳能电池板缺陷检测模型。
优选地，所述太阳能电池板缺陷检测模型采用全连接的MLP网络。
33)获取所述太阳能电池板缺陷检测模型输出的太阳能电池板缺陷检测结果。
34)若所述太阳能电池板缺陷检测结果准确度未达到预设阈值，调整所述太阳能电池板缺陷检测模型的参数，直至所述太阳能电池板缺陷检测结果准确度达到预设阈值。
步骤S4、将太阳能电池板图像依次输入所述图像特征识别模型和所述太阳能电池板缺陷检测模型，获取太阳能电池板缺陷检测结果。
具体地，对于待检测的太阳能电池板图像，将其依次输入所述图像特征识别模型和所述太阳能电池板缺陷检测模型，即可得到所述太阳能电池板缺陷检测模型输出的太阳能电池板缺陷检测结果。
为了测试本发明的太阳能电池板缺陷检测方法的实际效果，进行实验验证。实验环境在Linux系统上完成，操作系统版本为Ubuntu 20.04，服务器安装有128G内存，配备4块RTX2080Ti GPU显卡。实验开发平台选择主流深度学习平台PyTorch 1.7.1，使用Python编程语言实现，开发环境使用Minconda3创建独立实验环境。
太阳能电池板缺陷数据集ELPV包含2624幅8位灰度图像，分辨率为300x300像素，具体分布如表1所示。缺陷太阳能电池样本中太阳能电池具有不同程度的退化，从44个不同的太阳能电池板模块中提取。标注图像中的缺陷是内在或外在类型的，并且会降低太阳能模块的功率效率。所有图像都根据大小和透视图进行标准化。此外，在提取太阳能电池之前，消除了用于捕获EL图像的相机镜头引起的任何失真。每个图像都用缺陷概率(介于0和1之间的浮点值)和太阳能电池图像最初从中提取的太阳能组件类型(单晶或多晶)进行标注。
表1、太阳能电池板缺陷数据集样本分布
Figure BDA0003650478080000081
Figure BDA0003650478080000091
其中，类别mono表示单晶硅太阳能电池，类别poly表示多晶硅太阳能电池，缺陷概率为0表示无缺陷，缺陷概率0.33表示存在缺陷的可能性为33％，缺陷概率0.66表示存在缺陷的可能性为66％，缺陷概率1表示有缺陷。
具体地，将2,624幅图像按照7:2:1比率，分为训练集、验证集和数据集，即训练集包含1834幅图像，训练集包含526幅图像，测试集包含264幅图像。从表1可以看出，数据集的不同类别之间样本数量非常不均衡，类别mono和类别poly的缺陷概率为0和1的图像样本多，而缺陷概率为0.33和为0.66的图像样本数量少，尤其是mono类别概率0.66的样本数仅为50，尤其是poly类别概率0.66的样本数仅为50，给模型训练和泛化带来一定困难。
从图3可以的缺陷图像可知，类内样本差异大。例如：Poly类别且缺陷概率为1呈现极为丰富的多样性，Mono类别且缺陷概率为1也呈现极为丰富的多样性；从表面图像看，存在着poly缺陷概率为1的图片比poly缺陷概率为0.33的还要干净的情况；存在Mono缺陷概率为0的图像比Mono缺陷概率为0.66的图像纹理更复杂的情况。数据集的类内存在差异巨大的样本，同时，类间存在差异不大的样本，这给缺陷分类带了巨大困难，尤其是训练好的模型泛化难度加大。
现有的预训练模型已有广谱二维图像特征提取能力，尤其在提取自然界图像特征方面的能力得到充分训练，而太阳能电池板是工业产品，缺陷视觉特征显著不同，不能直接使用预训练模型。本发明导入预训练模型，在太阳能电池板数据集上进行调优，使得调优后的模型可以针对性地提取缺陷特征。
使用训练集调优时，训练周期设置为200，训练误差和验证误差变化曲线如图4(a)所示。随着训练周期的增加，训练误差下降，验证误差下降。当训练周期到80左右时，验证误差达到最低，这时训练误差继续下降。当训练周期到150时，训练误差收敛到0.75左右，这时训练误差已经基本收敛，不再下降。从经验来说，训练误差和验证误差的交汇点，就是模型训练的最优训练点。再往后训练，虽然训练误差继续下降，然而验证误差却上升，此时模型有过拟合的危险。训练和验证的准确率变化曲线如图4(b)所示。随着训练周期次数的增加，训练集和验证集的准确率随之提高，训练周期到114时，验证集准确率达到81.74％，然后验证准确率基本稳定，几乎不再上升。
将本发明与采用监督学习的CNN标杆模型ResNet和2021年最佳模型SwinTransformer做对比试验。试验结果显示，如果不做缺陷区域检测等工作，直接使用监督学习的ResNet50、SwinTransformer网络来分类，网络训练分类准确率低于75％。原因是太阳能电池板的缺陷是开放式的，没有固定模式，在这种情况下，缺陷区域定位难度大。在无法定位缺陷区域的情况下，传统的有监督学习方法难以准确提取磁瓦特征，也就难以实现准确的分类识别。
如表2所示的对比结果所示，Dino是采用基于对比学习的自监督学习，主干网络为ViT方法，效果比较好。自监督学习注意力模型可以依托其注意力机制，非显性地提升缺陷区域的自注意力，从而达到好的特征提取效果。其中Dino KNN方法的识别准确率达到了76.67％，Dino Linear方法的识别准确率达到了78.90％。由于Dino的对比学习是判别式自监督学习，特征提取能力不如生成式自监督学习，分类准确率低于BEiT的81.75％。
表2、不同模型比对结果
Figure BDA0003650478080000101
如图5所示，于一实施例中，本发明的太阳能电池板缺陷检测系统包括图像特征训练模块51、提取模块52、缺陷检测训练模块53和检测模块54。
所述图像特征训练模块51用于基于自监督学习方法训练图像特征识别模型。
所述提取模块52与所述图像特征训练模块51相连，用于基于所述图像特征识别模型提取包含表面缺陷的太阳能电池板图像的图像特征。
所述缺陷检测训练模块53与所述提取模块52相连，用于基于有监督学习方法，根据所述图像特征训练太阳能电池板缺陷检测模型。
所述检测模块54与所述图像特征训练模块51和所述缺陷检测训练模块53相连，用于将太阳能电池板图像依次输入所述图像特征识别模型和所述太阳能电池板缺陷检测模型，获取太阳能电池板缺陷检测结果。
其中，图像特征训练模块51、提取模块52、缺陷检测训练模块53和检测模块54的结构和原理与上述太阳能电池板缺陷检测方法中的步骤一一对应，故在此不再赘述。
需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现，也可以全部以硬件的形式实现，还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如：x模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现。此外，x模块也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，一个或多个微处理器(Digital Signal Processor，简称DSP)，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。这些模块可以集成在一起，以片上系统(System-on-a-chip，简称SOC)的形式实现。
本发明的存储介质上存储有计算机程序，该程序被处理器执行时实现上述的太阳能电池板缺陷检测方法。优选地，所述存储介质包括：ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。
如图6所示，于一实施例中，本发明的太阳能电池板缺陷检测终端包括：处理器61和存储器62。
所述存储器62用于存储计算机程序。
所述存储器62包括：ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。
所述处理器61与所述存储器62相连，用于执行所述存储器存储的计算机程序，以使所述太阳能电池板缺陷检测终端执行上述的太阳能电池板缺陷检测方法。
优选地，所述处理器61可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
综上所述，本发明的太阳能电池板缺陷检测方法及系统、存储介质及终端生成式自监督学习方法能够对未标注数据集构造自监督任务进行训练，生成特征提取模型，且无需使用人工标注的大样本数据集集，从而极大减少人工标注工作量，降本增效；能够通过自注意力模糊定位缺陷所在位置，避免缺陷精确定位的难题，无需显性判别缺陷位置即可检测缺陷，适合检测开放性错误；使用自监督学习方法完成特征提取模型训练后，与有监督模型相比，能够捕捉数据集局部细节特征和全局语义特征，仅需使用少量标注典型缺陷样本训练分类器即可达到良好的分类效果；通过采用双通道模式训练模型，避免了从像素层面恢复原始图像，显著减少了运算量，满足工业生产实际的需求；通过采用具有普适性的语义生成式自监督学习方法，可应用于大范围的工业表面检测，有非常广泛的应用前景；在太阳能电池板缺陷数据集上训练和测试，仅需120个训练周期，即可以达到81.79％的分类准确率，且稳健性好，有很强的泛化能力。因此，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种太阳能电池板缺陷检测方法，其特征在于，包括以下步骤：
基于自监督学习方法训练图像特征识别模型；
基于所述图像特征识别模型提取包含表面缺陷的太阳能电池板图像的图像特征；
基于有监督学习方法，根据所述图像特征训练太阳能电池板缺陷检测模型；
将太阳能电池板图像依次输入所述图像特征识别模型和所述太阳能电池板缺陷检测模型，获取太阳能电池板缺陷检测结果。
2.根据权利要求1所述的太阳能电池板缺陷检测方法，其特征在于，基于自监督学习方法训练图像特征识别模型包括以下步骤：
将输入图像均分为多个图像块；
对每个所述图像块进行编码，生成与所述图像块对应的编码值；
对所述多个图像块按照预设比例进行随机遮盖，将遮盖后得到的图像块序列输入ViT模型，获取遮盖的图像块的特征向量；
将所述特征向量输入MIM模型，获取所述特征向量的编码值；
获取所述遮盖的图像块的编码值与特征向量的编码值的误差；若所述误差不在预设范围内，调整所述ViT模型和所述MIM模型的参数值，直至所述误差在所述预设范围内，并将所述ViT模型作为所述图像特征识别模型。
3.根据权利要求2所述的太阳能电池板缺陷检测方法，其特征在于，对每个所述图像块进行编码采用离散变分编码器，所述离散变分编码器用于将所述图像块转换为离散的编码值。
4.根据权利要求2所述的太阳能电池板缺陷检测方法，其特征在于，所述ViT模型的参数值包括批次大小为32，优化器选择Adm，学习率为余弦优化方案，热身周期为5，层衰减为0.75，下降路径为0.2，权重衰减为0.05，训练周期为200次。
5.根据权利要求2所述的太阳能电池板缺陷检测方法，其特征在于，所述预设比例为40％。
6.根据权利要求1所述的太阳能电池板缺陷检测方法，其特征在于，基于有监督学习方法，根据所述图像特征训练太阳能电池板缺陷检测模型包括以下步骤：
获取所述图像特征识别模型提取的太阳能电池板图像的图像特征；
将所述图像特征输入所述太阳能电池板缺陷检测模型；
获取所述太阳能电池板缺陷检测模型输出的太阳能电池板缺陷检测结果；
若所述太阳能电池板缺陷检测结果准确度未达到预设阈值，调整所述太阳能电池板缺陷检测模型的参数，直至所述太阳能电池板缺陷检测结果准确度达到预设阈值。
7.根据权利要求6所述的太阳能电池板缺陷检测方法，其特征在于，所述太阳能电池板缺陷检测模型采用全连接的MLP网络。
8.一种太阳能电池板缺陷检测系统，其特征在于，包括图像特征训练模块、提取模块、缺陷检测训练模块和检测模块；
所述图像特征训练模块用于基于自监督学习方法训练图像特征识别模型；
所述提取模块用于基于所述图像特征识别模型提取包含表面缺陷的太阳能电池板图像的图像特征；
所述缺陷检测训练模块用于基于有监督学习方法，根据所述图像特征训练太阳能电池板缺陷检测模型；
所述检测模块用于将太阳能电池板图像依次输入所述图像特征识别模型和所述太阳能电池板缺陷检测模型，获取太阳能电池板缺陷检测结果。
9.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7中任一项所述的太阳能电池板缺陷检测方法。
10.一种太阳能电池板缺陷检测终端，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器存储的计算机程序，以使所述太阳能电池板缺陷检测终端执行权利要求1至7中任一项所述的太阳能电池板缺陷检测方法。
CN202210550523.8A 2022-05-18 2022-05-18 太阳能电池板缺陷检测方法及系统、存储介质及终端 Pending CN114862814A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210550523.8A CN114862814A (zh) 2022-05-18 2022-05-18 太阳能电池板缺陷检测方法及系统、存储介质及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210550523.8A CN114862814A (zh) 2022-05-18 2022-05-18 太阳能电池板缺陷检测方法及系统、存储介质及终端

Publications (1)

Publication Number Publication Date
CN114862814A true CN114862814A (zh) 2022-08-05

Family

ID=82638577

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210550523.8A Pending CN114862814A (zh) 2022-05-18 2022-05-18 太阳能电池板缺陷检测方法及系统、存储介质及终端

Country Status (1)

Country Link
CN (1) CN114862814A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115940809A (zh) * 2023-03-09 2023-04-07 深圳市迪晟能源技术有限公司 基于功率数据及视觉分析的太阳能板故障检测方法
CN116071309A (zh) * 2022-12-27 2023-05-05 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 元器件的声扫缺陷检测方法、装置、设备和存储介质
CN117173182A (zh) * 2023-11-03 2023-12-05 厦门微亚智能科技股份有限公司 基于编码解码网络的缺陷检测方法、系统、设备及介质
CN117474806A (zh) * 2023-12-26 2024-01-30 松立控股集团股份有限公司 一种基于全局结构编码的全景图像修复方法
WO2024061309A1 (zh) * 2022-09-22 2024-03-28 中广核核电运营有限公司 缺陷识别方法、装置、计算机设备及其存储介质
CN117972487A (zh) * 2024-01-26 2024-05-03 常州润来科技有限公司 一种铜管铣面刀盘缺陷检测方法及系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024061309A1 (zh) * 2022-09-22 2024-03-28 中广核核电运营有限公司 缺陷识别方法、装置、计算机设备及其存储介质
CN116071309A (zh) * 2022-12-27 2023-05-05 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 元器件的声扫缺陷检测方法、装置、设备和存储介质
CN116071309B (zh) * 2022-12-27 2024-05-17 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 元器件的声扫缺陷检测方法、装置、设备和存储介质
CN115940809A (zh) * 2023-03-09 2023-04-07 深圳市迪晟能源技术有限公司 基于功率数据及视觉分析的太阳能板故障检测方法
CN117173182A (zh) * 2023-11-03 2023-12-05 厦门微亚智能科技股份有限公司 基于编码解码网络的缺陷检测方法、系统、设备及介质
CN117173182B (zh) * 2023-11-03 2024-03-19 厦门微亚智能科技股份有限公司 基于编码解码网络的缺陷检测方法、系统、设备及介质
CN117474806A (zh) * 2023-12-26 2024-01-30 松立控股集团股份有限公司 一种基于全局结构编码的全景图像修复方法
CN117474806B (zh) * 2023-12-26 2024-04-12 松立控股集团股份有限公司 一种基于全局结构编码的全景图像修复方法
CN117972487A (zh) * 2024-01-26 2024-05-03 常州润来科技有限公司 一种铜管铣面刀盘缺陷检测方法及系统

Similar Documents

Publication Publication Date Title
CN114862814A (zh) 太阳能电池板缺陷检测方法及系统、存储介质及终端
WO2019214268A1 (zh) 一种基于复合信息的光伏阵列故障诊断方法
CN109840889A (zh) 基于仿生算法的高精度视觉测量方法、装置和系统
CN116310785B (zh) 基于YOLO v4的无人机影像路面病害检测方法
CN111768365A (zh) 基于卷积神经网络多特征融合的太阳能电池缺陷检测方法
CN113837994B (zh) 一种基于边缘检测卷积神经网络的光伏板缺陷诊断方法
CN113516656A (zh) 一种基于ACGAN和Cameralink相机的缺陷图像数据处理仿真方法
CN113076816A (zh) 基于红外与可见光图像的太阳能光伏组件热斑识别方法
CN115953666B (zh) 一种基于改进Mask-RCNN的变电站现场进度识别方法
CN114612406A (zh) 一种基于可见光和红外视觉的光伏板缺陷检测方法
CN116597224A (zh) 基于改进yolo v8网络模型的马铃薯缺陷检测方法
CN115984543A (zh) 一种基于红外与可见光图像的目标检测算法
CN113554630A (zh) 芯片表面缺陷检测方法、系统、计算机设备和存储介质
CN113780423A (zh) 一种基于多尺度融合的单阶段目标检测神经网络及工业品表面缺陷检测模型
Avola et al. Real-time deep learning method for automated detection and localization of structural defects in manufactured products
CN109919215B (zh) 基于聚类算法改进特征金字塔网络的目标检测方法
Saleh et al. Tire defect detection model using machine learning
CN116577345B (zh) 一种锂电池极耳数量检测方法及系统
CN115830302B (zh) 一种多尺度特征提取融合配电网设备定位识别方法
CN110751005A (zh) 融合深度感知特征和核极限学习机的行人检测方法
Xu et al. A deep neural network-based intelligent detection model for manufacturing defects of automobile parts
Wang et al. Conditional TransGAN‐Based Data Augmentation for PCB Electronic Component Inspection
Heng et al. Anti-vibration hammer detection in UAV image
US20220343479A1 (en) Image processing method and system, and non-transitory computer readable medium
Tian et al. Surface defect detection method of wooden spoon based on improved YOLOv5 algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination