CN116051530A - 基于图像修复的半监督光伏电池表面异常检测方法 - Google Patents

基于图像修复的半监督光伏电池表面异常检测方法 Download PDF

Info

Publication number
CN116051530A
CN116051530A CN202310101607.8A CN202310101607A CN116051530A CN 116051530 A CN116051530 A CN 116051530A CN 202310101607 A CN202310101607 A CN 202310101607A CN 116051530 A CN116051530 A CN 116051530A
Authority
CN
China
Prior art keywords
cbr
module
image
abnormal
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310101607.8A
Other languages
English (en)
Inventor
陈海永
谭江恒
史世杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Original Assignee
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology filed Critical Hebei University of Technology
Priority to CN202310101607.8A priority Critical patent/CN116051530A/zh
Publication of CN116051530A publication Critical patent/CN116051530A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/50—Photovoltaic [PV] energy

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明为基于图像修复的半监督光伏电池表面异常检测方法，该方法使用的异常检测模型包括修复子网络和分割子网络，修复子网络用于将输入图像修复为无异常图像，分割子网络用于判别输入图像是否为异常图像并进行异常区域定位；通过对无异常图像进行处理，采用混合掩码策略生成异常掩码图，同时生成模拟异常图像，将无异常图像、模拟异常图像和异常掩码图输入到初始化后的模型中，修复子网络输出修复图像，修复图像与模拟异常图像拼接后再输入分割子网络中，对模型进行训练；将训练后的异常检测模型用于光伏电池异常检测。该方法引入异常先验知识，训练修复子网络将模拟异常修复为正常的能力，同时通过CAM模块捕获长、短距离信息，提升图像修复质量，提高异常检测和定位精度。

Description

基于图像修复的半监督光伏电池表面异常检测方法
技术领域
本发明属于光伏电池异常检测技术领域，具体为一种基于图像修复的半监督光伏电池表面异常检测方法。
背景技术
光伏电池(PV)是光伏发电的载体，在生产制造、运输、安装以及使用过程中不可避免地会导致光伏电池出现黑斑、隐裂和断栅等缺陷，限制了光伏电池的使用寿命。因此，对光伏电池进行异常检测，对于提升电池的使用寿命和确保发电效率都具有重要意义。
电致发光(Electroluminescence，EL)成像技术已经被广泛用于检测光伏电池和组件产品的潜在缺陷，其原理是在暗室条件下，给晶体硅太阳能电池外加正向偏置电压，电源向光伏电池注入大量非平衡载流子，非平衡载流子不断地复合发光，放出光子，再利用工业相机捕捉这些光子，通过计算机处理后显示成图像。有缺陷的地方在电致发光图像中显示较暗，因此通过电致发光图像可以有效检测光伏电池是否存在异常。
传统的人工检测方法通过采集光伏电池图像，采用目测方式判断是否存在缺陷，存在成本高、错误率高、效率低等不足，对于缺陷判断还存在主观导向。随着卷积神经网络的发展，深度学习技术被广泛用于解决光伏电池异常检测问题，按照训练样本标签的有无可分为监督学习和无监督学习。监督学习通常是基于目标检测技术，例如Yolo、Faster R-cnn等网络，需要收集大量异常样本，且需要进行精确标注，样本收集和标注工作量大，不适用于工业场景。无监督学习可以在模型训练时只使用正常样本，使模型获得将异常重建为正常的能力，根据重建前后的差异检测异常，由于训练过程中模型没有学习过异常，容易退化为恒等映射，无法较好地获得将异常重建为正常的能力，导致异常无法识别。
因此，本申请针对上述问题，提出一种基于图像修复的半监督光伏电池表面异常检测方法。
发明内容
针对现有技术的不足，本发明拟解决的技术问题是，提供一种基于图像修复的半监督光伏电池表面异常检测方法。
本发明解决所述技术问题采用的技术方案如下：
一种基于图像修复的半监督光伏电池表面异常检测方法，其特征在于，该方法包括如下步骤：
第一步、采集光伏电池的电致发光图像，包括异常和无异常图像；对图像进行归一化处理，随机选取多张无异常图像组成训练集，其余图像组成测试集；
第二步、构建异常检测模型；异常检测模型包括修复子网络和分割子网络，修复子网络用于将输入图像修复为无异常图像，分割子网络用于判别输入图像是否为异常图像并进行异常区域定位；
第三步、训练集进行预处理，预处理后的训练集包括无异常图像、模拟异常图像和异常掩码图，利用预处理后的训练集对异常检测模型进行训练；
输入训练集，生成一个大于零小于1的随机数，若随机数大于等于0.5，不需要进行数据增强，则生成与训练集中无异常图像一一对应且像素值全为零的异常掩码图，并将每张异常掩码图与对应的无异常图像进行叠加，形成模拟异常图像；
若随机数小于0.5，需要进行数据增强，则采用混合掩码策略生成异常掩码图；异常掩码图分别与无异常图像和增强后的异常纹理源图像和相乘后，再比例混合相加得到模拟异常区域；将异常掩码图的背景图像与无异常图像相乘后，再与模拟异常区域相加，得到模拟异常图像；其中，异常纹理源图像从可描述纹理数据集中采样得到；
将预处理后的训练集输入到初始化后的异常检测模型中，修复子网络输出修复图像；将修复图像与模拟异常图像拼接后再输入分割子网络；模型收敛后，得到训练后的异常检测模型；
第四步、将待检测的光伏电池图像进行归一化处理，再输入到训练后的异常检测模型中进行异常检测。
进一步的，第三步中，混合掩码策略是指异常掩码图通过两种手段获得，一种是对异常图像的异常区域进行标注，得到异常掩码图；另一种是通过噪声生成噪声图像，对噪声图像进行二值化处理，得异常掩码图。
进一步的，所述修复子网络包括CBR*2_MaxPool模块、CBR模块、CAM模块和Up_CBR-CBR*2模块，四个CBR*2_MaxPool模块依次连接，四个Up_CBR-CBR*2模块依次连接，第四个CBR*2_MaxPool模块经过一个CBR模块和CAM模块与第一个Up_CBR-CBR*2模块连接，第四个Up_CBR-CBR*2模块经过一个卷积层得到修复子网络的输出；
分割子网络包括CBR*2_MaxPool模块、CBR模块和Up_CBR-CBR*2模块，五个CBR*2_MaxPool模块依次连接，五个Up_CBR-CBR*2模块依次连接，第五个CBR*2_MaxPool模块经过一个CBR模块与第一个Up_CBR-CBR*2模块连接；第五个CBR*2_MaxPool模块与第一个Up_CBR-CBR*2模块、第四个CBR*2_MaxPool模块与第二个Up_CBR-CBR*2模块、第三个CBR*2_MaxPool模块与第三个Up_CBR-CBR*2模块、第二个CBR*2_MaxPool模块与第四个Up_CBR-CBR*2模块以及第一个CBR*2_MaxPool模块与第五个Up_CBR-CBR*2模块之间存在跳跃连接，即CBR*2_MaxPool模块输出的特征图与对应Up_CBR-CBR*2模块的Up_CBR模块输出的特征图拼接后，再输入到Up_CBR-CBR*2模块的CBR*2模块；第五个Up_CBR-CBR*2模块输出的特征图经过一个卷积层，得到分割掩码图；对分割掩码图进行局部平均池化，得到异常检测模型的输出；
其中，CAM模块用于捕获长、短距离信息；CBR*2_MaxPool模块包括两个CBR模块和一个最大池化层，两个CBR模块依次连接，最大池化层位于第二个CBR模块之后；Up_CBR-CBR*2模块包括依次连接的一个Up_CBR模块和两个CBR模块，Up_CBR模块位于第一个CBR模块之前；CBR模块包括依次连接的卷积层、归一化层和激活层；Up_CBR模块包括依次连接的上采样、卷积层、归一化层和激活层。
进一步的，所述CAM模块包括两个分支，其中一个分支是CAM模块的输入图像经过一个CBR模块后，分别经过两个内核大小不同的条带池化层，两个条带池化层输出的特征图经过拼接后，再依次经过一个CBR模块和通道分离操作分为两个特征图，两个特征图分别经过一个CB模块后相加，相加得到的特征图再经过一个激活层和一个CBR模块，得到该分支输出的特征图；另一个分支是CAM模型的输入图像经过一个CBR模块后，分别经过两个内核大小不同的平均池化层，内核大的平均池化层输出的特征图经过一个CBR模块和上采样后与内核小的平均池化层输出的特征图相加，相加后的特征图经过一个CBR模块和上采样并与该分支的第一个CBR模块输出的特征图相加，相加后的特征图经过一个CBR模块，得到该分支输出的特征图；两个分支输出的特征图相加后经过一个CB模块，再与CAM模块的输入图像相加后经过一个激活层，得到CAM模块输出的特征图；其中，CB模块包括一个卷积层和归一化层。
进一步的，两个条带池化层的内核分别为1×N、N×1，N为正整数；两个平均池化层的内核分别为2×2、4×4。
与现有技术相比，本发明的有益效果是：
1.本发明的异常检测模型包括修复子网络和分割子网络，通过修复子网络将输入图像修复为无异常图像，分割子网络通过对比输入图像和修复图像，判断输入图像是否为异常图像并进行异常定位。修复子网络的CAM模块为上下文关注模块，用于捕获长、短距离信息，以提升修复子网络的修复性能，提高图像修复质量，进而提高异常检测和定位精度。
2.在训练样本预处理过程中，采用混合掩码策略生成模拟异常区域，进而生成模拟异常图像，参与训练的样本包括无异常图像、模拟异常图像和异常掩码图三部分，引入异常先验知识，训练修复子网络将模拟异常区域修复为正常的能力，防止模型退化，也可充分利用大量易收集的正常样本与少量可收集的异常样本，使模型保持对多种异常识别的泛化能力的同时，提高了模型对真实异常的检测能力。
附图说明
图1为本发明的异常检测模型的结构图；
图2为本发明的CAM模块的结构图；
图3为CB模块、CBR模块以及Up_CBR模块的结构图；
图4为模拟异常图像的生成原理图；
图5为本发明生成的模拟异常图像；
图6为待检测的光伏电池图像；
图7为异常检测模型得到的检测结果图。
具体实施方式
下面结合附图和具体实施方式对本发明的技术方案进行详细描述，但并不以此限定本申请的保护范围。
本发明提供一种基于图像修复的半监督光伏电池表面异常检测方法(简称方法)，包括如下步骤：
第一步：构建光伏电池数据集；
基于电致发光成像技术，通过工业相机获取光伏电池图像，包括异常和无异常图像；每张图像中包含多个电池片，故原始大小为3600×618像素，将原始图像按两个电池片为一组切分并归一化处理为640×590像素；一共获取了1508张图像，其中无异常图像1100张，异常图像408张；人机随机选取无异常图像的90％作为训练集；随机选取多张异常图像，对异常区域进行二值化的像素级标注，得到异常掩码图，用于步骤三中异常检测模型的训练；其余的无异常图像和异常图像作为测试集，测试集中异常图像的异常区域进行二值化的像素级标注，用于模型测试时的异常区域定位计算；异常图像的标注主要包括黑斑、隐裂、断栅和线状缺陷等区域，标注信息只代表该区域为异常区域，而不具体到异常类别。
第二步、构建异常检测模型；
如图1所示，异常检测模型包括修复子网络和分割子网络，修复子网络用于将输入图像修复为无异常图像，分割子网络用于定位异常区域，判别输入图像是否为异常图像；修复子网络包括CBR*2_MaxPool模块、CBR模块、CAM模块和Up_CBR-CBR*2模块，四个CBR*2_MaxPool模块依次连接，四个Up_CBR-CBR*2模块依次连接，第四个CBR*2_MaxPool模块经过一个CBR模块和CAM模块与第一个Up_CBR-CBR*2模块连接，第四个Up_CBR-CBR*2模块经过一个卷积层(CONV)得到修复子网络的输出，即修复图像；
分割子网络包括CBR*2_MaxPool模块、CBR模块和Up_CBR-CBR*2模块，五个CBR*2_MaxPool模块依次连接，五个Up_CBR-CBR*2模块依次连接，第五个CBR*2_MaxPool模块经过一个CBR模块与第一个Up_CBR-CBR*2模块连接，第五个CBR*2_MaxPool模块与第一个Up_CBR-CBR*2模块、第四个CBR*2_MaxPool模块与第二个Up_CBR-CBR*2模块、第三个CBR*2_MaxPool模块与第三个Up_CBR-CBR*2模块、第二个CBR*2_MaxPool模块与第四个Up_CBR-CBR*2模块以及第一个CBR*2_MaxPool模块与第五个Up_CBR-CBR*2模块之间存在跳跃连接，即第五个CBR*2_MaxPool模块输出的特征图与第一个Up_CBR-CBR*2模块的Up_CBR模块输出的特征图拼接后，再输入到第一个Up_CBR-CBR*2模块的CBR*2模块，其余跳跃连接同理；第五个Up_CBR-CBR*2模块输出的特征图经过一个卷积层，得到分割掩码图；对分割掩码图进行局部平均池化(Local AvgPool)，选取局部平均池化的最大值作为异常检测模型输出的标签，即待检测图像的异常得分。
其中，CAM模块包括两个分支，其中一个分支是CAM模块的输入图像经过一个CBR模块后，分别经过两个内核大小不同的条带池化层(StripPool)，两个条带池化层输出的特征图经过拼接(Concat)后，再依次经过一个CBR模块和通道分离(Channel Split)操作分为两个特征图，两个特征图分别经过一个CB模块后相加(Add)，相加得到的特征图再经过一个激活层和一个CBR模块，得到该分支输出的特征图；另一个分支是CAM模型的输入图像经过一个CBR模块后，分别经过两个内核大小不同的平均池化层(AvgPool)，内核大的平均池化层输出的特征图经过一个CBR模块和上采样后与内核小的平均池化层输出的特征图相加，相加后的特征图经过一个CBR模块和上采样并与该分支的第一个CBR模块输出的特征图相加，相加后的特征图经过一个CBR模块，得到该分支输出的特征图；两个分支输出的特征图相加后经过一个CB模块，再与CAM模块的输入图像相加后经过一个激活层，得到CAM模块输出的特征图。CAM模块使用两个带有不同方向内核的条带池化层捕获长距离信息，同时使用两个内核大小不同的平均池化层汇聚短距离信息，最后将长、短距离信息结合有利于修复出高质量的图像，从而提升定位异常区域的能力。
所述CBR*2_MaxPool模块包括两个CBR模块和一个最大池化层(MaxPool)，两个CBR模块依次连接，最大池化层位于第二个CBR模块之后，最大池化层是使特征图的宽高减半通道数保持不变；Up_CBR-CBR*2模块包括依次连接的一个Up_CBR模块和两个CBR模块，Up_CBR模块位于第一个CBR模块之前；所述CBR模块包括依次连接的卷积层、归一化层(BN)和激活层(ReLu)；Up_CBR模块包括依次连接的上采样、卷积层、归一化层和激活层；CB模块包括一个卷积层和归一化层。
两个条带池化层的内核分别为1×N、N×1，两个平均池化层的内核分别为2×2、4×4；所有卷积层的卷积核大小为3×3。
第三步、基于半监督方式对异常检测模型进行训练；
3.1)模型参数初始化：初始化所有权重值、偏置值和批量归一化尺度因子值，设置模型的批处理参数(batch_size)为4，最大迭代次数(epoch)设置为200，前120次迭代的学习率设置为0.0001，120-160次迭代的学习率设置为0.00001，最后40次迭代的学习率设置为0.000001，学习率的下降因子为0.1；
3.2)训练集的预处理
输入训练集，生成一个大于零小于1的随机数，若随机数大于等于0.5，不需要进行数据增强，则生成与训练集中无异常图像一一对应且像素值全为零的异常掩码图，并将每张异常掩码图与对应的无异常图像进行叠加，形成模拟异常图像；若随机数小于0.5，需要进行数据增强，则采用混合掩码策略生成异常掩码图；异常掩码图叠加异常纹理源图像形成模拟异常区域，异常纹理源图像从与输入图像分布无关的可描述纹理数据集(DTD)中采样得到；采用RandAugment策略对异常纹理源图像进行增强，将增强后的异常纹理源图像与异常掩码图进行相乘，异常掩码图与无异常图像相乘，两个相乘得到的图像相加形成模拟异常区域；将无异常图像与异常掩码图的背景图像相乘后，再与模拟异常区域相加，得到模拟异常图像；预处理后的训练集由无异常图像、模拟异常图像和异常掩码图三部分组成。
混合掩码策略是指异常掩码图通过两种手段获得，一种是通过对异常图像的异常区域进行标注，得到含有真实异常信息的异常掩码图；另一种是通过Perlin噪声生成噪声图像，噪声图像通过随机均匀采样的阈值进行二值化，得到人工生成的异常掩码图；参见图4，异常纹理源图像A通过随机增强(RandAugment)，得到增强后的异常纹理源图像Aa，随机增强可以高效的从单一的纹理源图像中生成多种含有不同属性信息的异常区域；将增强后的异常纹理源图像Aa和无异常图像I分别与异常掩码图M相乘，得到图像Aa⊙M和I⊙M，两者按照比例混合相加得到模拟异常区域As；最后，将异常掩码图的背景图像1-M与无异常图像I相乘后，再与模拟异常区域As相加，得到模拟异常图像Ia；故模拟异常图像Ia被定义为：
Ia＝(1-M)⊙I+As
As＝α(M⊙I)+(1-α)(Aa⊙M)
Aa＝RandAugment(A)
其中，RandAugment(·)表示随机增强操作，⊙表示相乘操作，α表示混合比例，从[0,1]中随机生成；
通过在无异常图像上叠加掩码图的方式模拟异常，训练模型具有修复图像的能力，但这会造成模型对模拟异常的过度拟合，并导致模型学习到的决策边界不能很好地概括真实异常；利用Perlin噪声随机地模拟异常，能够缓解对模拟异常的过拟合的同时取得高效的性能。但随机生成异常并不能取代真实的异常区域，同时在工业场景中并不是所有的异常样本都无法获得，利用少量标注的异常样本与随机生成异常，可以在极少的标注工作量下使得模型获得更好的性能。
3.3)异常检测模型的训练
将步骤3.2)中完成预处理的训练集输入到初始化后的异常检测模型中，利用修复子网络将每张图像进行修复，得到修复图像，将修复图像与对应的无异常图像进行对比，得到损失值；将修复图像与步骤3.2)得到的模拟异常图像拼接后输入到分割子网络中，利用分割子网络定位异常区域，计算分割子网络得到的掩码图中各个像素点的置信度，并与训练集中对应的掩码图进行对比，得到损失值；采用Adam优化器进行反向传播更新模型参数，直至损失值收敛，完成异常检测模型的训练；
3.4)异常检测模型的测试
对第一步得到的验证集输入到训练后的异常检测模型中，将网络模型输出的标签与真实标签对比，得到异常分类和定位结果，以测试该模型的可靠性，用于监控模型是否发生过拟合；最终结果显示，缺陷分类的AUC大于97％，缺陷定位的AUC大于99％，证明了该异常检测模型的有效性。
第四步、将训练得到的异常检测模型用于光伏电池表面异常检测；
将待检测的光伏电池图像进行归一化处理，然后输入到训练得到的异常检测模型中，异常检测模型根据是否有异常对待检测的光伏电池图像进行分类，同时得到异常光伏电池的异常位置信息。
图6为待检测的光伏电池图像，图7为异常检测模型的检测结果，检测结果表明，模型的异常分类和定位的AUC分别为97.4％、99.2％，能够准确检测光伏电池是否存在异常，并进行异常定位，如果不采用混合掩码策略和CAM模块，模型的异常分类和定位的AUC分别为95.2％、96.4％，表明了混合掩码策略和CAM模块可以明显提升检测精度。
本发明未述及之处适用于现有技术。

Claims (5)

1.一种基于图像修复的半监督光伏电池表面异常检测方法，其特征在于，该方法包括如下步骤：
第一步、采集光伏电池的电致发光图像，包括异常和无异常图像；对图像进行归一化处理，随机选取多张无异常图像组成训练集，其余图像组成测试集；
第二步、构建异常检测模型；异常检测模型包括修复子网络和分割子网络，修复子网络用于将输入图像修复为无异常图像，分割子网络用于判别输入图像是否为异常图像并进行异常区域定位；
第三步、训练集进行预处理，预处理后的训练集包括无异常图像、模拟异常图像和异常掩码图，利用预处理后的训练集对异常检测模型进行训练；
输入训练集，生成一个大于零小于1的随机数，若随机数大于等于0.5，不需要进行数据增强，则生成与训练集中无异常图像一一对应且像素值全为零的异常掩码图，并将每张异常掩码图与对应的无异常图像进行叠加，形成模拟异常图像；
若随机数小于0.5，需要进行数据增强，则采用混合掩码策略生成异常掩码图；异常掩码图分别与无异常图像和增强后的异常纹理源图像和相乘后，再比例混合相加得到模拟异常区域；将异常掩码图的背景图像与无异常图像相乘后，再与模拟异常区域相加，得到模拟异常图像；其中，异常纹理源图像从可描述纹理数据集中采样得到；
将预处理后的训练集输入到初始化后的异常检测模型中，修复子网络输出修复图像；将修复图像与模拟异常图像拼接后再输入分割子网络；模型收敛后，得到训练后的异常检测模型；
第四步、将待检测的光伏电池图像进行归一化处理，再输入到训练后的异常检测模型中进行异常检测。
2.根据权利要求1所述的基于图像修复的半监督光伏电池表面异常检测方法，其特征在于，第三步中，混合掩码策略是指异常掩码图通过两种手段获得，一种是对异常图像的异常区域进行标注，得到异常掩码图；另一种是通过噪声生成噪声图像，对噪声图像进行二值化处理，得异常掩码图。
3.根据权利要求1或2所述的基于图像修复的半监督光伏电池表面异常检测方法，其特征在于，所述修复子网络包括CBR*2_MaxPool模块、CBR模块、CAM模块和Up_CBR-CBR*2模块，四个CBR*2_MaxPool模块依次连接，四个Up_CBR-CBR*2模块依次连接，第四个CBR*2_MaxPool模块经过一个CBR模块和CAM模块与第一个Up_CBR-CBR*2模块连接，第四个Up_CBR-CBR*2模块经过一个卷积层得到修复子网络的输出；
分割子网络包括CBR*2_MaxPool模块、CBR模块和Up_CBR-CBR*2模块，五个CBR*2_MaxPool模块依次连接，五个Up_CBR-CBR*2模块依次连接，第五个CBR*2_MaxPool模块经过一个CBR模块与第一个Up_CBR-CBR*2模块连接；第五个CBR*2_MaxPool模块与第一个Up_CBR-CBR*2模块、第四个CBR*2_MaxPool模块与第二个Up_CBR-CBR*2模块、第三个CBR*2_MaxPool模块与第三个Up_CBR-CBR*2模块、第二个CBR*2_MaxPool模块与第四个Up_CBR-CBR*2模块以及第一个CBR*2_MaxPool模块与第五个Up_CBR-CBR*2模块之间存在跳跃连接，即CBR*2_MaxPool模块输出的特征图与对应Up_CBR-CBR*2模块的Up_CBR模块输出的特征图拼接后，再输入到Up_CBR-CBR*2模块的CBR*2模块；第五个Up_CBR-CBR*2模块输出的特征图经过一个卷积层，得到分割掩码图；对分割掩码图进行局部平均池化，得到异常检测模型的输出；
其中，CAM模块用于捕获长、短距离信息；CBR*2_MaxPool模块包括两个CBR模块和一个最大池化层，两个CBR模块依次连接，最大池化层位于第二个CBR模块之后；Up_CBR-CBR*2模块包括依次连接的一个Up_CBR模块和两个CBR模块，Up_CBR模块位于第一个CBR模块之前；CBR模块包括依次连接的卷积层、归一化层和激活层；Up_CBR模块包括依次连接的上采样、卷积层、归一化层和激活层。
4.根据权利要求3所述的基于图像修复的半监督光伏电池表面异常检测方法，其特征在于，所述CAM模块包括两个分支，其中一个分支是CAM模块的输入图像经过一个CBR模块后，分别经过两个内核大小不同的条带池化层，两个条带池化层输出的特征图经过拼接后，再依次经过一个CBR模块和通道分离操作分为两个特征图，两个特征图分别经过一个CB模块后相加，相加得到的特征图再经过一个激活层和一个CBR模块，得到该分支输出的特征图；另一个分支是CAM模型的输入图像经过一个CBR模块后，分别经过两个内核大小不同的平均池化层，内核大的平均池化层输出的特征图经过一个CBR模块和上采样后与内核小的平均池化层输出的特征图相加，相加后的特征图经过一个CBR模块和上采样并与该分支的第一个CBR模块输出的特征图相加，相加后的特征图经过一个CBR模块，得到该分支输出的特征图；两个分支输出的特征图相加后经过一个CB模块，再与CAM模块的输入图像相加后经过一个激活层，得到CAM模块输出的特征图；其中，CB模块包括一个卷积层和归一化层。
5.根据权利要求4所述的基于图像修复的半监督光伏电池表面异常检测方法，其特征在于，两个条带池化层的内核分别为1×N、N×1，N为正整数；两个平均池化层的内核分别为2×2、4×4。
CN202310101607.8A 2023-02-13 2023-02-13 基于图像修复的半监督光伏电池表面异常检测方法 Pending CN116051530A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310101607.8A CN116051530A (zh) 2023-02-13 2023-02-13 基于图像修复的半监督光伏电池表面异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310101607.8A CN116051530A (zh) 2023-02-13 2023-02-13 基于图像修复的半监督光伏电池表面异常检测方法

Publications (1)

Publication Number Publication Date
CN116051530A true CN116051530A (zh) 2023-05-02

Family

ID=86131635

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310101607.8A Pending CN116051530A (zh) 2023-02-13 2023-02-13 基于图像修复的半监督光伏电池表面异常检测方法

Country Status (1)

Country Link
CN (1) CN116051530A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117114254A (zh) * 2023-10-25 2023-11-24 山东电力工程咨询院有限公司 一种电网新能源异常数据监测方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117114254A (zh) * 2023-10-25 2023-11-24 山东电力工程咨询院有限公司 一种电网新能源异常数据监测方法及系统
CN117114254B (zh) * 2023-10-25 2024-03-19 山东电力工程咨询院有限公司 一种电网新能源异常数据监测方法及系统

Similar Documents

Publication Publication Date Title
CN110555474B (zh) 一种基于半监督学习的光伏面板故障检测方法
Pratt et al. Defect detection and quantification in electroluminescence images of solar PV modules using U-net semantic segmentation
CN113469953B (zh) 一种基于改进YOLOv4算法的输电线路绝缘子缺陷检测方法
Chen et al. Automated defect identification in electroluminescence images of solar modules
CN114022420A (zh) 一种自动识别光伏电池el组件缺陷的检测方法
CN114973032B (zh) 一种基于深度卷积神经网络的光伏板热斑检测方法及装置
CN115862073B (zh) 一种基于机器视觉的变电站危害鸟种目标检测和识别方法
CN115861263A (zh) 一种基于改进YOLOv5网络的绝缘子缺陷图像检测方法
NL2030315B1 (en) Computer-implemented ai method for detecting surface defects of electroluminescent semiconductor panel
CN113781466A (zh) 基于多尺度注意力密集网络的太阳能电池板缺陷识别方法
CN116645369B (zh) 基于孪生自编码器和双向信息深度监督的异常检测方法
CN116051530A (zh) 基于图像修复的半监督光伏电池表面异常检测方法
CN111079645A (zh) 一种基于AlexNet网络的绝缘子自爆识别方法
CN115908354A (zh) 一种基于双尺度策略和改进的yolov5网络的光伏面板缺陷检测方法
CN114596278A (zh) 一种用于光伏电站的光伏面板热斑缺陷检测方法及装置
Jiang et al. Attention M-net for automatic pixel-level micro-crack detection of photovoltaic module cells in electroluminescence images
CN117541534A (zh) 一种基于无人机和CNN-BiLSTM模型的输电线路巡检方法
Peng et al. Non-uniform illumination image enhancement for surface damage detection of wind turbine blades
CN116485802B (zh) 一种绝缘子闪络缺陷检测方法、装置、设备及存储介质
CN117113066A (zh) 一种基于计算机视觉的输电线路绝缘子缺陷检测方法
Özer et al. An approach based on deep learning methods to detect the condition of solar panels in solar power plants
CN116596851A (zh) 一种基于知识蒸馏和异常模拟的工业瑕疵检测方法
CN115049856A (zh) 基于改进的YOLOv5的风机桨叶故障检测方法及系统
Terzoglou et al. Employing deep learning framework for improving solar panel defects using drone imagery
CN112686915A (zh) 一种基于全卷积神经网络的光伏组件图片切割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination