CN116630285A - 基于显著性特征分级蒸馏的光伏电池类增量缺陷检测方法 - Google Patents
基于显著性特征分级蒸馏的光伏电池类增量缺陷检测方法 Download PDFInfo
- Publication number
- CN116630285A CN116630285A CN202310629870.4A CN202310629870A CN116630285A CN 116630285 A CN116630285 A CN 116630285A CN 202310629870 A CN202310629870 A CN 202310629870A CN 116630285 A CN116630285 A CN 116630285A
- Authority
- CN
- China
- Prior art keywords
- model
- teacher
- distillation
- student
- defect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 137
- 238000001514 detection method Methods 0.000 title claims abstract description 85
- 238000004821 distillation Methods 0.000 title claims abstract description 45
- 238000012549 training Methods 0.000 claims abstract description 44
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000013140 knowledge distillation Methods 0.000 claims abstract description 3
- 238000010586 diagram Methods 0.000 claims description 11
- 238000004508 fractional distillation Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 2
- 238000007689 inspection Methods 0.000 abstract description 14
- 238000012360 testing method Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 7
- 206010027146 Melanoderma Diseases 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E10/00—Energy generation through renewable energy sources
- Y02E10/50—Photovoltaic [PV] energy
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Photovoltaic Devices (AREA)
Abstract
本发明为基于显著性特征分级蒸馏的光伏电池类增量缺陷检测方法，包括：建立光伏电池旧类别缺陷数据集；构建缺陷检测模型并训练，将训练后的缺陷检测模型作为原缺陷检测模型；建立光伏电池新类别缺陷数据集；将原缺陷检测模型作为教师模型，学生模型与教师模型的架构相同，学生模型的输出维度为缺陷新类别和旧类别的数量之和，对教师模型和学生模型进行显著性特征分级蒸馏，将光伏电池新类别缺陷数据集同时输入到教师模型和初始化后的学生模型中，基于知识蒸馏对学生模型进行增量训练，利用最小化上述的损失训练学生模型；将训练后的学生模型作为最终的缺陷检测模型，用于光伏电池的缺陷检测。满足质检对检测模型快速更新迭代、快速部署的需求。
Description
技术领域
本发明属于光伏电池缺陷检测技术领域，具体为一种基于显著性特征分级蒸馏的光伏电池类增量缺陷检测方法。
背景技术
缺陷检测是保障光伏电池质量的必要环节。基于卷积神经网络(CNN)的计算机视觉检测方法和人工视检相比，具有精度高、鲁棒性强、检测速度快等诸多优点，因此被广泛应用于光伏电池缺陷检测任务。
基于CNN的检测方法需要根据当前质检需求，确定需要检测的缺陷种类建立数据集，训练模型以实现对当前缺陷类别的有效检测。然而随着质检要求的提高，需要检测的缺陷种类可能逐步增加。模型不具备持续学习的能力，如果仅使用新类别的缺陷样本和标签对当前模型进行增量式训练，其对旧类别的检测性能将大幅度下降。为了适应检测需求的变化，通常需要整合旧类别和新类别缺陷的所有标注样本重新训练模型，这种训练方式时间复杂度高，每当缺陷类别增加时都需要重启训练，耗时长，难以满足质检任务对检测模型快速更新迭代、快速部署的要求。
因此，为了适应质检过程中缺陷类别的动态变化，本申请提出基于显著性特征分级蒸馏的方式，当需要检测的缺陷类别增加时，模型能够快速迭代更新，在动态开放的实际光伏电池质检过程中持续学习。
发明内容
针对现有技术的不足，本发明拟解决的技术问题是，提供一种基于显著性特征分级蒸馏的光伏电池类增量缺陷检测方法。
本发明解决所述技术问题采用的技术方案如下：
一种基于显著性特征分级蒸馏的光伏电池类增量缺陷检测方法，其特征在于，该方法包括如下步骤：
第一步：建立光伏电池旧类别缺陷数据集；
第二步：构建缺陷检测模型，利用光伏电池旧类别缺陷数据集对缺陷检测模型进行训练，将训练后的缺陷检测模型作为原缺陷检测模型；
第三步：建立光伏电池新类别缺陷数据集；
第四步：将原缺陷检测模型作为教师模型，学生模型与教师模型的架构相同，学生模型的输出维度为缺陷新类别和旧类别的数量之和，利用教师模型的参数对学生模型进行初始化；
对教师模型和学生模型进行显著性特征分级蒸馏，所述显著性特征分级蒸馏的过程是：
提取Q组教师模型和学生模型的特征，每组特征为教师模型和学生模型特征提取部分和特征融合部分相同位置的关键层，获取教师模型和学生模型对应的关键层输出的特征图，对特征图进行空间注意力掩码和通道注意力掩码计算，并获得教师模型检测结果的分离前景和背景特征的二值掩码；
将光伏电池新类别缺陷数据集同时输入到教师模型和初始化后的学生模型中，基于知识蒸馏对学生模型进行增量训练；增量训练的损失函数为：
L＝Ldis+Ldet (4)
其中，L表示学生模型的总损失，Ldet表示学生模型学习新类别产生的检测损失，Ldis表示总体的显著性特征分级蒸馏产生的损失，其用于保持模型对旧类别缺陷的检测能力，Ldis表示为：
其中，和/>为任一组特征的特征蒸馏损失和注意力蒸馏损失，可以分别表示为：
其中，M为分离前景和背景特征的二值掩码，由教师模型的检测结果获得；和 和/>分别为第q组特征的教师模型与学生模型的空间注意力掩码和通道注意力掩码，每组特征/>与/>经过零均值化处理，表示为/>与/>α和β为为平衡前景和背景特征蒸馏损失的超参数，α+β＝1。通过空间注意力和通道注意力自适应地提取教师模型关于旧类别的显著特征，同时分离特征图的前景和背景区域进行分级蒸馏，平衡大范围背景产生压倒性蒸馏损失。
第五步：将训练后的学生模型作为最终的缺陷检测模型，用于光伏电池的缺陷检测；当需要检测的缺陷类别增加时，重复执行步骤三和四，对学生模型进行重新训练。
进一步的，第四步中，教师模型所提取的关键层的特征图进行空间注意力和通道注意力掩码计算的过程是：将教师模型C×H×W维度的特征分别映射为H×W维度和C维度的张量，按照式(4)和(5)得到基于激活的教师模型空间注意力掩码和通道注意力掩码/>
其中为该组教师模型的特征图，H、W、C表示该组特征的高、宽和通道数。通过类似方法，可以求得学生模型空间注意力掩码/>和通道注意力掩码/>
进一步地，第四步中，二值掩码M由教师模型的检测结果获得。如果训练样本中存在旧类别缺陷，教师模型输出对训练样本的检测结果，根据检测结果的预测框生成二值掩码M：
其中b表示教师模型对训练样本中旧类别的预测框。将二值掩码M位于预测框内的像素置为1，其他像素置为0。此时，M的尺度和训练样本相同，在式(3)中参与运算时进行上采样操作改变二值掩码M的尺度，使其高度H和宽度W与零均值化处理后的特征fT和fS相同。
进一步的，第四步中，学生模型学习新类别产生的检测损失Ldet的表达式为：
Ldet＝λ1Lcls+λ2Lobj+λ3Lbox (1)
式中，Lcls、Lobj和Lbox分别为类别交叉熵损失、置信度交叉熵损失和定位交叉熵损失，λ1、λ2和λ3均为超参数，λ1+λ2+λ3＝1。
进一步的，所述原缺陷检测模型为任意目标检测模型，如Faster R-CNN、YOLO系列模型等。
与现有技术相比，本发明的有益效果是：
1.在实际光伏电池质检过程中，需要检测的缺陷种类可能持续增加。现有基于CNN的模型不具备持续学习的能力，当需要检测的缺陷类别增加时，必须整合新旧类别的所有数据重新训练模型来适应类别的变化。为了避免重新训练，本申请提出显著性特征分级蒸馏方式，使模型在学习新类别的同时不遗忘旧类别，在动态开放的光伏电池质检任务中持续学习，满足质检对检测模型快速更新迭代、快速部署的需求。
2.本申请提出显著性特征分级蒸馏，通过对教师模型关键层的特征图进行空间注意力与通道注意力计算，聚焦于教师模型旧类别的显著特征自适应地进行蒸馏，同时利用教师模型的检测结果分离前景和背景特征进行分级蒸馏，避免大范围背景特征产生冗余的蒸馏损失，从而获得更好的稳定性-可塑性平衡。本发明方法通过对教师模型进行空间注意力与通道注意力引导蒸馏过程和分离前景与背景分级蒸馏，利用教师模型和学生模型，将教师模型的知识传递到学生模型，解决类增量目标检测问题。
附图说明
图1为本发明方法流程示意图。
具体实施方式
下面结合附图和具体实施方式对本发明的技术方案进行详细描述，但并不以此限定本申请的保护范围。
本发明为一种基于显著性特征分级蒸馏的光伏电池类增量缺陷检测方法，包括如下步骤：
第一步：建立光伏电池旧类别缺陷数据集；
将当前质检要求检测的缺陷类别作为旧类别，基于电致发光成像技术，通过工业相机获取光伏电池旧类别缺陷图像，对图像中的缺陷区域进行位置标注并添加类别标签，得到光伏电池旧类别缺陷数据集；
第二步：构建缺陷检测模型并对其进行训练，将训练后的缺陷检测模型作为原缺陷检测模型；根据质检需求选择合适的目标检测模型作为缺陷检测模型，例如Faster R-CNN模型、YOLO系列模型等；将第一步得到光伏电池旧类别缺陷数据集按8:2的比例随机划分为训练集和测试集，采用Mosaic数据增强方式对训练集进行数据扩充，利用扩充后的训练集对缺陷检测模型进行训练；通过下式的损失函数计算训练过程中的损失；
Ldet＝λ1Lcls + λ2Lobj + λ3Lbox (1)
式中，Ldet为训练总损失(即后面的检测损失)，Lcls、Lobj和Lbox分别为类别交叉熵损失、置信度交叉熵损失和定位交叉熵损失，λ1、λ2和λ3均为超参数，λ1+λ2+λ3＝1；
利用测试集对训练后的缺陷检测模型进行测试，通过反向传播调整模型参数，直至损失收敛；将训练后的缺陷检测模型用于光伏电池的缺陷检测，此时训练后的缺陷检测模型能够检测旧类别缺陷，记为原缺陷检测模型；
第三步：建立光伏电池新类别缺陷数据集；
假定原缺陷检测模型可以检测隐裂、断栅和黑斑三种缺陷；若待检测的缺陷类别发生变化，需要检测的缺陷类别为隐裂、断栅、黑斑和线状缺陷，则将隐裂、断栅、黑斑三种缺陷作为基缺陷类别，线状缺陷作为新缺陷类别；基于电致发光成像技术，通过工业相机获取新缺陷类别的光伏电池缺陷图像，并对图像中的缺陷区域进行位置标注，添加类别标签；
第四步：将原缺陷检测模型作为教师模型，学生模型与教师模型的架构相同，学生模型的输出维度为缺陷新类别和旧类别的数量之和，利用教师模型的参数对学生模型进行初始化；
将光伏电池新类别缺陷数据集输入教师模型和学生模型进行双网络训练。在增量训练过程中，教师模型不更新参数，学生模型根据损失函数反向传播优化模型，其中损失函数可以表示为：
L＝Ldet+Ldis(2)
其中Ldet为检测损失，用于学习新类别，使教师模型获得对新类别缺陷的检测能力；Ldis为总体的显著性特征分级蒸馏产生的损失，引入Ldis通过产生额外的正则化项，约束教师模型遗忘旧知识。
所述显著性特征分级蒸馏：通过教师模型关键层的特征图的空间和通道注意力引导蒸馏过程，聚焦于旧类别的显著特征进行蒸馏，同时分离前景和背景，引入超参数对前景和背景特征蒸馏进行分级，避免前景和背景蒸馏损失的不平衡。
具体是：提取Q组教师模型和学生模型的特征，每组特征为教师模型和学生模型特征提取部分和特征融合部分相同位置的关键层，例如以Faster R-CNN为检测模型，取教师模型和学生模型特征提取部分C3、C4、C5的输出和特征融合部分P3、P4、P5的输出；以YOLOv5为检测模型，取教师模型和学生模型特征提取部分第二个C3模块、第三个C3模块和SPPF模块的输出和特征融合部分自底向上支路的三个输出。分别计算每组特征间的特征蒸馏损失和注意力蒸馏损失，求和得到总体的显著性特征分级蒸馏损失Ldis。
对于任一组教师模型和学生模型的特征与/>首先计算特征蒸馏损失，/>表示为：
其中，M为分离前景和背景特征的二值掩码，和/>分别为第q组特征教师模型的空间注意力掩码和通道注意力掩码，每组特征/>与/>经过零均值化处理，表示为/>与α和β为平衡前景和背景特征蒸馏损失的超参数，α+β＝1。C、H、W分别为该组特征的通道数、高度和宽度，上标T表示学生，上标S表示教师。
进一步的，将教师模型C×H×W维度的特征分别映射为H×W维度和C维度的张量，根据公式(4)和(5)得到该组特征基于激活的教师模型空间注意力掩码和通道注意力掩码/>
其中为该组教师模型的特征图，H、W、C表示特征图的高、宽和通道数。通过类似方法，可以求得学生模型空间注意力和通道注意力掩码/>和/>
进一步地，二值掩码M由教师模型的检测结果获得。如果训练样本中存在旧类别缺陷，教师模型输出对训练样本的检测结果，根据检测结果的预测框生成二值掩码M：
其中b表示教师模型对训练样本中旧类别的预测框。将二值掩码M位于预测框内的像素置为1，其他像素置为0。此时，M的尺度和训练样本相同，在式(3)中参与运算时进行上采样操作改变二值掩码M的尺度，使其高度H和宽度W与零均值化处理后的特征f T和f S相同。
此外，迫使学生模型的空间与通道注意力掩码模仿教师模型的空间与通道注意力掩码，注意力蒸馏损失可以表示为：
最后，总体的显著性特征分级蒸馏损失Ldis为每组特征间的特征蒸馏损失与注意力损失之和，表示为：
本发明中显著性特征分级蒸馏不存在卷积核等实体模块，通过计算的蒸馏损失，其作用为保持识别旧类别的能力，和学习新类别的损失一起优化模型，如式(2)所示，可以使模型在学习新类的同时保持识别旧类别的能力，避免了现有技术中仅使用新类别数据训练原模型(可以识别旧类别的模型)，按式(1)计算损失优化模型，使其获得识别新类别的能力，但同时识别旧类别的能力将会失去的不足。教师模型和学生模型是完全独立的，取教师模型和学生模型的关键层的特征图进行蒸馏损失计算。本申请提出的方法使模型仅使用包含新类别缺陷的数据集对模型进行更新，从而实现能够检测新类和旧类缺陷，避免了重新训练。
本发明中的目标检测模型包括特征提取部分和特征融合部分，教师模型只是在第四步参与学生模型的训练过程，训练后的学生模型可以检测新类和旧类缺陷。
在增量训练过程中，只对学生模型的网络参数进行优化，直至总损失函数收敛，增量训练过程结束；训练后的学生模型既能检测旧类别缺陷，又能检测新类别缺陷；利用光伏电池旧类别缺陷数据集和新类别缺陷数据集对训练后的学生模型进行测试。
第五步：将训练后的学生模型作为最终的缺陷检测模型，用于光伏电池的缺陷检测；当待检测的缺陷类别增加时，重复执行步骤三和四，对学生模型进行重新训练，使学生模型具有检测新类型缺陷的能力。
综上，面对动态开放的光伏电池质检任务中需要检测的缺陷类别持续增加的问题，本申请提出显著性特征分级蒸馏方式(参见公式(3)和(7))计算的蒸馏损失，通过引入额外的正则化项，在模型学习新类别的同时约束旧知识不被覆盖，赋予模型持续学习能力，对于实现光伏电池持续质量监测具有重要意义。
实施例1
本实施例1中，旧类别缺陷为隐裂、断栅和黑斑三个类别，新类别缺陷为线状缺陷；对于光伏电池旧类别缺陷数据集，训练集中的隐裂样本图像903张，断栅样本图像1480张，黑斑样本图像1009张，测试集中隐裂样本图像2280张，断栅样本图像11995张，黑斑样本图像3824张。线状缺陷样本图像2001张，其中773张用于训练，1228张用于测试。图像的原始大小为1024×1024像素。
选取YOLOv5s模型作为缺陷检测模型，利用光伏电池旧类别缺陷数据集对缺陷检测模型进行训练和测试，并根据公式(1)计算损失，得到训练后的缺陷检测模型，记为原缺陷检测模型，即教师模型。
学生模型与教师模型的架构相同，学生模型的输出维度为缺陷新类别和旧类别的数量之和，即本实施例中学生模型的输出维度为4；利用教师模型参数对学生模型进行初始化，对学生模型进行增量训练。选取教师模型和学生模型的特征提取部分第二个C3模块、第三个C3模块和SPPF模块的输出特征图，记为和/>选取教师模型和学生模型特征融合部分自底向上支路的三个输出特征图，记为/>和通过式(8)计算损失；训练后的学生模型作为最终的缺陷检测模型，将四类缺陷样本图像输入到最终的缺陷检测模型中，测试最终的缺陷检测模型对所有类别的检测性能，同时将本发明方法与现有常见方法进行对比，对比结果参见表1。
表1
其中，方法一使用的模型利用光伏电池缺陷旧类别和新类别数据重建数据集对原来的缺陷检测模型重新训练得到，方法二使用的模型只利用光伏电池缺陷新类别缺陷数据集对原来的缺陷检测模型进行增量训练得到。测试结果表明，本发明方法平均精确率的平均(mean Average Precision,mAP)为76.8％，增量训练时长为1.56小时，相较于方法二mAP提升了41.7％，相较于方法一mAP仅有3.8％的性能差距，但是训练时长缩短了5.3小时，在尽量保证检测性能的基础上，本发明方法具备检测新类别和旧类别缺陷的能力，模型具备了持续学习的能力，能够满足质检过程中模型快速迭代更新的要求。
本发明未述及之处适用于现有技术。
Claims (5)
1.一种基于显著性特征分级蒸馏的光伏电池类增量缺陷检测方法，其特征在于，该方法包括如下步骤：
第一步：建立光伏电池旧类别缺陷数据集；
第二步：构建缺陷检测模型，利用光伏电池旧类别缺陷数据集对缺陷检测模型进行训练，将训练后的缺陷检测模型作为原缺陷检测模型；
第三步：建立光伏电池新类别缺陷数据集；
第四步：将原缺陷检测模型作为教师模型，学生模型与教师模型的架构相同，学生模型的输出维度为缺陷新类别和旧类别的数量之和，利用教师模型的参数对学生模型进行初始化；
对教师模型和学生模型进行显著性特征分级蒸馏，所述显著性特征分级蒸馏的过程是：
提取Q组教师模型和学生模型的特征，每组特征为教师模型和学生模型特征提取部分和特征融合部分相同位置的关键层，获取教师模型和学生模型对应的关键层输出的特征图，对特征图进行空间注意力掩码和通道注意力掩码计算，并获得教师模型检测结果的分离前景和背景特征的二值掩码；
对于任一组教师模型和学生模型的特征与/>计算特征蒸馏损失/>和注意力蒸馏损失/>其中，
其中，M为分离前景和背景特征的二值掩码，和/>分别为第q组特征教师模型的空间注意力掩码和通道注意力掩码，每组特征/>与/>经过零均值化处理，表示为/>与/>α和β为平衡前景和背景特征蒸馏损失的超参数，α+β＝1；C、H、W分别为该组特征的通道数、高度和宽度；
总体的显著性特征分级蒸馏损失Ldis为每组特征间的特征蒸馏损失与注意力蒸馏损失之和，表示为：
将光伏电池新类别缺陷数据集同时输入到教师模型和初始化后的学生模型中，基于知识蒸馏对学生模型进行增量训练，增量训练的损失函数为：
L＝Ldis+Ldet (4)
其中，L表示学生模型的总损失，Ldet表示学生模型学习新类别产生的检测损失，Ldis表示总体的显著性特征分级蒸馏产生的损失；
利用最小化上述的损失训练学生模型；
第五步：将训练后的学生模型作为最终的缺陷检测模型，用于光伏电池的缺陷检测；当需要检测的缺陷类别增加时，重复执行步骤三和四，对学生模型进行重新训练。
2.根据权利要求1所述的基于显著性特征分级蒸馏的光伏电池类增量缺陷检测方法，其特征在于，
教师模型所提取的关键层的特征图进行空间注意力和通道注意力掩码计算的过程是：对于任一组提取的特征与/>将教师模型C×H×W维度的特征/>分别映射为H×W维度和C维度的张量，按照式(4)和(5)得到该组特征基于激活的教师模型空间注意力掩码/>和通道注意力掩码/>
其中，H、W、C表示特征图的高、宽和通道数。
3.根据权利要求1所述的基于显著性特征分级蒸馏的光伏电池类增量缺陷检测方法，其特征在于，
所述二值掩码M由教师模型的检测结果获得，如果训练样本中存在旧类别缺陷，教师模型输出对训练样本的检测结果，根据检测结果的预测框生成二值掩码M：
其中b表示教师模型对训练样本中旧类别的预测框；将二值掩码M位于预测框内的像素置为1，其他像素置为0；此时，M的尺度和训练样本相同，在式(3)中参与运算时进行上采样操作改变二值掩码M的尺度，使其高度H和宽度W与零均值化处理后的特征fT和fS相同。
4.根据权利要求1所述的基于显著性特征分级蒸馏的光伏电池类增量缺陷检测方法，其特征在于，所述学生模型学习新类别产生的检测损失Ldet的表达式为：
Ldet＝λ1Lcls+λ2Lobj+λ3Lbox (1)
式中，Lcls、Lobj和Lbox分别为类别损失、置信度损失和定位损失，λ1、λ2和λ3均为超参数，λ1+λ2+λ3＝1。
5.根据权利要求1所述的基于显著性特征分级蒸馏的光伏电池类增量缺陷检测方法，其特征在于，所述原缺陷检测模型为任意目标检测模型，包括FasterR-CNN、YOLO系列模型中的一种。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310629870.4A CN116630285A (zh) | 2023-05-31 | 2023-05-31 | 基于显著性特征分级蒸馏的光伏电池类增量缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310629870.4A CN116630285A (zh) | 2023-05-31 | 2023-05-31 | 基于显著性特征分级蒸馏的光伏电池类增量缺陷检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116630285A true CN116630285A (zh) | 2023-08-22 |
Family
ID=87590518
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310629870.4A Pending CN116630285A (zh) | 2023-05-31 | 2023-05-31 | 基于显著性特征分级蒸馏的光伏电池类增量缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116630285A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117152154A (zh) * | 2023-10-31 | 2023-12-01 | 成都理工大学 | 一种基于双教师架构的类增量柔性电路板缺陷检测方法 |
| CN117314892A (zh) * | 2023-11-27 | 2023-12-29 | 中南大学 | 一种基于增量学习的太阳能电池缺陷检测持续优化方法 |
| CN117435980A (zh) * | 2023-12-21 | 2024-01-23 | 国网浙江省电力有限公司 | 基于小样本学习的海岛光伏智能运维状态分析方法 |
-
2023
- 2023-05-31 CN CN202310629870.4A patent/CN116630285A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117152154A (zh) * | 2023-10-31 | 2023-12-01 | 成都理工大学 | 一种基于双教师架构的类增量柔性电路板缺陷检测方法 |
| CN117152154B (zh) * | 2023-10-31 | 2024-01-26 | 成都理工大学 | 一种基于双教师架构的类增量柔性电路板缺陷检测方法 |
| CN117314892A (zh) * | 2023-11-27 | 2023-12-29 | 中南大学 | 一种基于增量学习的太阳能电池缺陷检测持续优化方法 |
| CN117314892B (zh) * | 2023-11-27 | 2024-02-13 | 中南大学 | 一种基于增量学习的太阳能电池缺陷检测持续优化方法 |
| CN117435980A (zh) * | 2023-12-21 | 2024-01-23 | 国网浙江省电力有限公司 | 基于小样本学习的海岛光伏智能运维状态分析方法 |
| CN117435980B (zh) * | 2023-12-21 | 2024-04-12 | 国网浙江省电力有限公司 | 基于小样本学习的海岛光伏智能运维状态分析方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113674247B (zh) | 一种基于卷积神经网络的x射线焊缝缺陷检测方法 | |
| CN108399406B (zh) | 基于深度学习的弱监督显著性物体检测的方法及系统 | |
| CN116630285A (zh) | 基于显著性特征分级蒸馏的光伏电池类增量缺陷检测方法 | |
| CN112966684B (zh) | 一种注意力机制下的协同学习文字识别方法 | |
| CN111340738B (zh) | 一种基于多尺度渐进融合的图像去雨方法 | |
| CN110738697A (zh) | 基于深度学习的单目深度估计方法 | |
| CN111368690B (zh) | 基于深度学习的海浪影响下视频图像船只检测方法及系统 | |
| CN112488025B (zh) | 基于多模态特征融合的双时相遥感影像语义变化检测方法 | |
| CN112036447A (zh) | 零样本目标检测系统及可学习语义和固定语义融合方法 | |
| CN112801182B (zh) | 一种基于困难样本感知的rgbt目标跟踪方法 | |
| CN110648310A (zh) | 基于注意力机制的弱监督铸件缺陷识别方法 | |
| CN111612051A (zh) | 一种基于图卷积神经网络的弱监督目标检测方法 | |
| CN113505670B (zh) | 基于多尺度cam和超像素的遥感图像弱监督建筑提取方法 | |
| CN113160246A (zh) | 一种基于深度监督的图像语义分割方法 | |
| CN111222519A (zh) | 一种层次化彩绘文物线稿提取模型构建、方法及装置 | |
| CN114897738A (zh) | 一种基于语义不一致性检测的图像盲修复方法 | |
| Chen et al. | Exchange means change: An unsupervised single-temporal change detection framework based on intra-and inter-image patch exchange | |
| CN115731237A (zh) | 一种基于半监督迁移学习的热轧钢带表面缺陷检测方法 | |
| CN117372854A (zh) | 一种大坝深水结构隐患病害实时检测方法 | |
| CN112785629A (zh) | 一种基于无监督深度光流网络的极光运动表征方法 | |
| CN116433633A (zh) | 基于知识蒸馏的光伏电池类增量缺陷检测方法 | |
| Meng et al. | A modified fully convolutional network for crack damage identification compared with conventional methods | |
| CN111578956A (zh) | 一种基于深度学习的视觉slam定位方法 | |
| CN115019183B (zh) | 基于知识蒸馏和图像重构的遥感影像模型迁移方法 | |
| CN113688789B (zh) | 一种基于深度学习的在线学习投入度识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |