CN113298797B - 太阳能电池表面缺陷检测方法 - Google Patents

太阳能电池表面缺陷检测方法 Download PDF

Info

Publication number
CN113298797B
CN113298797B CN202110646252.1A CN202110646252A CN113298797B CN 113298797 B CN113298797 B CN 113298797B CN 202110646252 A CN202110646252 A CN 202110646252A CN 113298797 B CN113298797 B CN 113298797B
Authority
CN
China
Prior art keywords
solar cell
detection
network
data set
surface defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110646252.1A
Other languages
English (en)
Other versions
CN113298797A (zh
Inventor
张�雄
候婷
上官宏
王安红
武晓嘉
李进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan University of Science and Technology
Original Assignee
Taiyuan University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Science and Technology filed Critical Taiyuan University of Science and Technology
Priority to CN202110646252.1A priority Critical patent/CN113298797B/zh
Publication of CN113298797A publication Critical patent/CN113298797A/zh
Application granted granted Critical
Publication of CN113298797B publication Critical patent/CN113298797B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/50—Photovoltaic [PV] energy

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Photovoltaic Devices (AREA)

Abstract

本发明属于太阳能电池表面缺陷检测技术领域，具体技术方案为：太阳能电池表面缺陷检测方法，具体步骤为：一、收集太阳能电池EL图像；二、对太阳能电池表面缺陷图像数据进行类别分类、标注、格式转换操作，获得太阳能电池标明缺陷检测数据集；三、对缺陷数据集进行训练；四、对太阳能电池表面缺陷数据集进行测试；在步骤三的步骤中，本发明在特征提取阶段使用跨层连接，充分保留了浅层的细节纹理信息，进一步增强了太阳能电池表面缺陷特征的表达能力，在RPN中融合了三支路空洞卷积块，更好地学习不同尺度范围内的特征，使得提取到的候选框更加准确，适用性更强，本发明提出了新的评判标准，可以广泛地应用在使用NMS策略的检测网络中。

Description

太阳能电池表面缺陷检测方法
技术领域
本发明属于太阳能电池表面缺陷检测技术领域，具体涉及一种基于卷积神经网络多特征融合与相似度非极大值抑制机制研究的太阳能电池板缺陷检测方法。
背景技术
太阳能光伏发电技术是太阳能技术的典型代表，该技术的广泛应用很好地缓解了因煤炭、石油等不可再生能源的过度使用和大量消耗造成的环境问题。而太阳能电池板的质量决定了太阳能光伏发电技术的效率，但是由于太阳能电池板基体易碎且生产工艺复杂，非常容易因为工艺缺陷或者人为失误而导致太阳能电池表面出现裂片、裂纹、虚焊等比较细微且难以检测的缺陷，这些缺陷将严重降低电池板的光电转化效率和使用寿命，因此深入研究太阳能电池板缺陷检测技术就显得十分重要。
目测法、物理方法和计算机视觉是传统的太阳能电池表面缺陷检测的主要方法。目测法主要依靠工人的既定标准和经验常识，工作内容枯燥且效率低下；物理方法对显著性缺陷检测有一定效果，但是对细微的裂纹等缺陷检测效果很差。传统的机器学习仅通过将输入信号转化成处理特定问题的空间而将其转化成相应的简单的特征结构，受限于样本数量和计算能力，因而对复杂函数的表达能力有限。而深度学习通过使用不同激活函数和不同层次的网络进一步模仿人脑机制，从而实现复杂函数的逼近，具有较强的特征提取能力。
近年来随着深度学习的发展，卷积神经网络(convolution neural network.简称CNN)在许多领域得到了广泛的应用，使得实时地获取、保存和检测到太阳能电池板缺陷成为可能。此外，由于具有检测实时、判断精确、速度快以及操作便捷等优点，基于计算机视觉的缺陷检测方法已经成为当前表面缺陷检测领域的重要发展方向，许多卷积神经网络算法被应用于太阳能电池表面缺陷检测中。
2010年，Tsai DM等人提出了用于检测太阳能晶片制造中微裂纹缺陷的机器视觉方案，通过将在LED(Light Emitting Diode)灯照明下用CCD(电耦合器件，Charge-coupledDevice)相机捕捉到的图像的梯度和灰度作为的特征进行调整扩散系数，并使用自适应平滑和二元阈值处理等运算得到分割出的微裂纹；丁叶飞等通过使用观察和分析太阳能电池片发光致电的成像图而检测出太阳能电池表面的诸多缺陷，进而为太阳能电池表面缺陷检测方法拓展出广阔的应用前景；李迪、张舞杰等人提出了一种依据太阳能电池板不同特点而进行检测的基于机器视觉的太阳能电池硅片缺陷检测方法，针对不同缺陷类型进一步提出结合差阴影以及多模板匹配法。
2012年，李斌等人通过训练支持向量机(SVM)搭建了基于生物视觉感知机制的模型，从而实现了对太阳能电池表面缺陷的分类，基本实现了太阳能电池表面缺陷检测的自动化，但是可以检测到的表面缺陷检测类别不多，准确率普遍较低，无法在太阳能电池表面缺陷检测中实现集成使用。
2014年，王宪宝等人提出的基于深度学习的检测方法通过无监督学习训练网络层次较深的置信度网络重构出太阳能电池板图像，实现了太阳能电池表面缺陷的检测。
2015年，李梦园等人通过分析卷积神经网络(CNNs)与深度信念网络(DBNs)应用在缺陷检测中的诸多不足进而提出了基于深度卷积信念网络的太阳能电池表面缺陷识别方法，但是由于数据集样本较少，导致网络模型参数过度拟合，从而无法分辨出裂纹缺陷，同时过拟合现象严重。
2016年，颜伟鑫等人提出了基于深度学习的工件缺陷检测算法，并验证了FasterR-CNN网络在缺陷检测中的适应性，平均检测准确度达到了69％。
此外，外国学者也已经在太阳能电池表面缺陷检测领域进行了很多研究，并总结了很多方法，但是由于太阳能电池表面缺陷形态多样、尺度变化范围较大，同时大量缺陷细微难以识别且与背景较为相似，而经过固定卷积层输出的特征不能充分表示特征的丰富性，导致检测精度普遍不高。
发明内容
为解决现有技术存在的技术问题，本发明提供了一种基于Faster R-CNN的多特征融合与相似度非极大值抑制机制的太阳能电池表面缺陷检测算法。
为实现上述目的，本发明所采用的技术方案为：太阳能电池表面缺陷检测方法，具体包括以下步骤：
一、收集太阳能电池EL(Electroluminescent)图像；
二、对太阳能电池表面缺陷图像数据使用进行类别分类并使用LabelImg软件进行人工标注，再进行格式转换操作，获得PASCAL VOC2007格式的太阳能电池标明缺陷检测数据集；
三、对太阳能电池表面缺陷数据集进行训练；
四、对太阳能电池表面缺陷数据集进行测试。
步骤三中的训练过程具体分为以下5个步骤：
一、将太阳电池表面缺陷数据集放进预处理模块进行预处理；
二、将太阳能电池表面缺陷数据集送入以VGG或Resnet为主干网络的跨层；
三、连接多特征融合检测网络，进行初级特征提取，得到基础特征图；
将得到的基础特征图送入RPN多尺度感受野融合网络，先通过三支路空洞卷积块进一步提取和融合不同尺度、同感受野的特征，再分别通过RPN的分类分支和回归分支网络进行初步分类和回归，并分别使用交叉熵损失和Smooth L1损失对分类和回归进行约束；
四、然后通过使用非极大值抑制NMS对得到的大量ROI进行去冗余，并保留较高质量的预测框；
五、最后通过分类回归网络进行分类和回归。
测试过程和训练过程基本相同，区别在于在测试阶段使用S-NMS进行候选框筛选。
本发明在特征提取阶段使用跨层连接，得到的太阳能电池表面特征不仅包含高层次丰富的语义信息，更充分地保留了浅层的细节纹理信息，进一步增强了太阳能电池表面缺陷特征的表达能力。
本发明在RPN中融合了三支路空洞卷积块，通过使用不同空洞率使卷积核获得不同感受野，更好地学习不同尺度范围内的特征，进而使得RPN提取到的候选框更加准确，适用性更强。
本发明提出了新的NMS评判标准S-NMS，可以广泛地应用在使用NMS策略的检测网络中。
附图说明
图1为本发明的整体框架图。
图2为三支路空洞卷积块的结构图。
图3为太阳能电池表面缺陷数据集的缺陷类型图。
图4为Faster R-CNN与本发明的检测结果图。
图5为不同算法下，整体检测结果mAP值统计图。
图6为不同算法下，整体检测结果统计图。
图7为不同检测模型对裂片缺陷检测回归框的局部放大图。
图8为不同检测模型对裂纹缺陷检测回归框的局部放大图。
图9为不同检测模型对虚焊缺陷检测回归框的局部放大图。
图10为不同检测模型对多缺陷检测回归框的局部放大图。
图11为使用NMS和S-NMS缺陷检测回归精度框的局部放大图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，太阳能电池表面缺陷检测方法，具体包括以下步骤：
一、收集太阳能电池EL(Electroluminescent)图像；
二、对太阳能电池表面缺陷图像数据进行类别分类，并使用LabelImg软件进行人工标注，再进行格式转换操作，获得PASCAL VOC2007格式的太阳能电池标明缺陷检测数据集；
三、对太阳能电池表面缺陷数据集进行训练；
四、对太阳能电池表面缺陷数据集进行测试。
步骤三中的训练过程具体分为以下5个步骤：
一、将太阳电池表面缺陷数据集输入预处理模块进行预处理；
二、将太阳能电池表面缺陷数据集送入以VGG或Resnet为主干网络的跨层；
三、连接多特征融合检测网络(ATLC)，进行初级特征提取得到基础特征图；本发明在特征提取阶段使用跨层连接(ATLC)，得到的太阳能电池表面特征不仅包含高层次丰富的语义信息，更充分地保留了浅层的细节纹理信息，进一步增强了太阳能电池表面缺陷特征的表达能力。
将得到的基础特征图送入RPN多尺度感受野融合网络，先通过三支路空洞卷积块(TDC)进一步提取和融合不同尺度、不同感受野的特征，再分别通过RPN的分类分支和回归分支网络进行初步分类和回归，并分别使用交叉熵损失和Smooth L1损失对分类和回归进行约束；本发明在RPN中融合了三支路空洞卷积块(TDC)，通过使用不同空洞率使卷积核获得不同感受野，更好地学习不同尺度范围内的特征，进而使得RPN提取到的候选框更加准确，适用性更强。
四、然后通过使用非极大值抑制NMS对得到的大量ROI感兴趣区域进行去冗余，并保留较高质量的预测框；本发明提出了新的NMS评判标准S-NMS，可以广泛地应用在使用NMS策略的检测网络中。
五、最后通过分类回归网络进行分类和回归。
测试过程和训练过程基本相同，区别在于在测试阶段使用相似性NMS(S-NMS)进行候选框筛选。
如图3所示，首先通过跨层连接多特征融合检测网络(ATLC)得到含有丰富语义特征的基础特征图；然后通过三支路空洞卷积块(TDC)将不同尺度、不同感受野的特征充分融合后，再生成候选框，最后在测试阶段使用S-NMS筛选出更准确的检测框，进一步提升了检测的准确度。
在跨层连接多特征融合检测网络(ATLC)中，使用VGG或Resnet网络进行特征提取的过程中，随着特征提取网络的加深，得到的特征愈加丰富，但包含的目标位置信息愈加粗略；而浅层的特征语义信息比较少，但目标位置信息比较准确。此外，在后续RPN生成候选建议区域时，由于RPN模块仅采用图像的深层特征进行ROI区域生成，而深层特征比较抽象，导致缺陷图像的细节信息丢失严重，更加不利于缺陷和背景的区分。太阳能电池表面缺陷尺寸细小，形态多样，特征提取难度较大，导致检测精度较低，框选的位置也不准确。本发明将深层和浅层的语义信息更好地结合，能够在保留浅层细节纹理信息的同时，更好地利用深层语义信息，从而提高太阳能缺陷检测的准确度和位置回归的精度。
在多特征融合检测网络结构中，将图像输入预训练模型中，分别提取图像的第二层和第三层特征，并经过Shuffle操作转换成和第五层特征相同大小的特征并进行级联(Shuffle操作在调整特征图尺寸的过程中，既保留了不同尺度的信息，又没有引入额外的参数，大大加快了网络的运行速度)，再通过1×1的卷积进行降维，最终得到基础特征图。该设计保留了浅层的细节纹理信息和深层丰富的语义信息，且没有增加网络的运算代价。
在RPN多尺度感受野融合网络中，太阳能电池表面缺陷形态多样、尺度变化范围大，而不同形态、不同尺度的表面缺陷需要具有不同感受野的神经元对其进行处理，采用从某一固定卷积层的输出特征来对不同形态、不同尺度的缺陷进行表征，很难有最佳的特征表示效果，从而导致检测效果不佳。故在得到基础特征图后，在将其输入RPN的过程中，首先会经过一个3×3的卷积层进一步将特征进行融合，然后再进行后续生成建议框的操作。但是不同的感受野对目标检测任务中不同尺度大小的目标有很大的影响，网络的层次越深，一般感受野越大，从而处理大目标的能力较强；而网络的层次越浅，感受野越小，更适合处理小目标。
太阳能数据集中的三种类型缺陷不仅细微难观察，同时，同种类型的缺陷大小尺度都不一致。为了能够更全面地提取到不同尺度上的特征，本发明设计了一种由三支路空洞卷积块(TDC)组成的RPN特征融合网络，如图2所示，将单尺度特征图像作为输入，以Resnet结构为例，对于瓶颈层中的单个残差块，通过并行分支创建特定尺度的特征映射，同时，在3×3的卷积层中，使用不同的空洞率构成不同的感受野分支，不同的分支拥有相同的结构，因此可以共享权值。此外，由于在卷积核上使用零填补，在不增加网络计算量的同时，又增大了感受野。
在相似性NMS(S-NMS)的评判过程中，对于检测任务，NMS是一种去除冗余框的后处理算法，传统的NMS为手工设计的基于一个固定的距离阈值进行贪婪聚类，即贪婪地选取得分高的检测结果并删除那些超过阈值的相邻结果，使得在recall(召回率)和precision(准确率)之间取得权衡。但是，传统的NMS评判标准仅仅依赖IOU，即只考虑两个框的重叠面积，这对描述Bounding box(边框回归)重叠关系不够全面，导致NMS剔除机制太过于简单；而后期诸多关于NMS的研究都是针对在多目标或者涉及遮挡的情景中、NMS策略导致错检和漏检等问题的改进。由于本发明是基于太阳能电池板缺陷检测，不存在遮挡或者目标密集等情况，因此，本发明提出了新的NMS评判标准S-NMS，同时本发明提出的S-NMS可以广泛应用在使用NMS策略的检测网络中。
本发明在计算IOU的基础上，通过计算余弦相似度引入框的纵横比相似度作为约束条件，使得S-NMS的筛选结果更加准确；此外，在S-NMS计算过程中没有引入额外的参数。
本发明针对太阳能电池表面数据集的构建：太阳能电池表面缺陷数据集目前尚无共享数据集，本发明通过收集太阳能电池EL图像、使用LabelImg软件标注数据集、编写XML格式文件来制作基于太阳能电池表面缺陷的PASCAL VOC2007数据格式的数据集。
如图3所示，太阳能电池表面缺陷类型共三种：裂片(brokencell)、裂纹(crack)和虚焊(unsoldered)，数据集中训练、验证和测试集具体分布如表1和表2所示。
Figure BDA0003109599160000071
表1数据集统计表
Figure BDA0003109599160000072
表2数据集缺陷分布统计表
本发明采用的实验环境为：64位Linux系统，并配置Quadro M4000显卡(8G显存)，使用pytorch深度学习平台，采用GPU(GTX2080)加速。实验使用在ImageNet上预训练的VGG16和Resnet101模型作为特征提取的主干网络，Faster R-CNN作为基线模型，训练完成后，将数据集中的测试图像依次输入模型，对brokencell、crack和unsoldered这3类缺陷进行识别与定位，并输出测试图像中缺陷的类别和定位框。训练过程中网络设置的基本参数具体如下：Batch_size为6，Base lr为0.001，权值衰减和动量因子分别为0.0005和0.9，最大迭代次数N为100。
为了全面评估基于Faster R-CNN的多特征融合与相似度非极大值抑制研究的太阳能电池表面缺陷检测算法的性能，本发明使用自制的太阳能电池表面缺陷PASCALVOC2007格式的数据集进行训练和测试，以验证本发明算法的有效性，具体检测精度对比如表3和图4所示。
Figure BDA0003109599160000073
表3 Faster R-CNN与本算法的检测精度
通过观察表3可明确看出：在两种不同的主干网络的基础上，本发明所提出方法的mAP值分别达到了89.46％和91.19％，其中，以VGG16为主干网络的方法比基线Faster R-CNN网络提高了3.27％，在brokencell的检测精度上提高了3.94％，在crack的检测精度上提高了5.54％；以Resnet101为主干网络的方法比基线Faster R-CNN网络提高了0.83％，brokencell的检测精度达到了91.33％，crack的检测精度达到了91.29％，unsoldered的检测精度达到了90.94％。由于缺陷brokencell和crack大部分与背景区域极为相似，并且缺陷细微导致检测难度很大，通过本发明的方法，在这两种缺陷检测效果上都有了很明显的提高。但是，在以Resnet101为主干网络的检测方法中，整体精度提高值较以VGG16为主干网络的检测方法较低，是因为Rsenet网络框架具有跨层连接的特点，在特征提取模块得到的基础特征图保留的特征较丰富，所以，以Resnet101为主干网络的检测方法整体效果较以VGG16为主干网络的检测方法要好很多，故而提升效果较小。
在图4中，A以VGG16为主干网络的Faster R-CNND的局部结果放大图，B为以VGG16为主干网络的本发明方法的局部检测结果放大图，C为以Resnet101为主干网络的FasterR-CNN的局部检测结果放大图，D为以Resnet101为主干网络的本发明方法的局部检测结果放大图。通过对比图4中的结果可知，在A(1)、B(1)、C(1)、D(1)图中，以VGG16为主干网络的Faster R-CNN的检测结果出现了错检，在A(3)、B(3)、C(3)、D(3)图中，以Resnet101为主干网络的Faster R-CNN的检测结果出现了漏检，此外，在整体检测结果中，无论是预测位置的准确度还是检测结果的置信度，本发明的方法都更具优势。
为进一步验证本发明方法的有效性，本发明使用yolo v3、yolo v5、Cascade R-CNN、R-FCN和FPN作为对比网络，分别在本发明的数据集上进行训练和测试，随机抽取并统计了9种网络框架在677张图片上的检测精度，并采用准确率(Accuracy)、漏检率(FNR)以及误检率(FPR)三个指标定量分析了7种网络框架和本发明的方法对于三种缺陷的检测性能，具体对比结果如表4和表5所示。
Figure BDA0003109599160000081
Figure BDA0003109599160000091
表4不同算法对不同缺陷检测mAP值统计表
Figure BDA0003109599160000092
表5不同算法对不同缺陷检测结果统计
表4给出了不同网络模型对于三种太阳能电池表面缺陷的位置检测精确度统计结果，由表4可以看出，在基于主干网络VGG16上，本发明方法对三种缺陷的检测精度值均达到了88％以上；在基于主干网络Resnet101上，本发明方法对三种缺陷的检测精度值均在91％左右，超越了Cascade R-CNN的检测精度值。
表5为不同网络在相同太阳能数据集上的检测结果统计表，由表5可以看出，在brokencell缺陷检测中，本发明方法基于两种主干网络的检测结果中，漏检率均为0。其中，基于VGG16网络的检测结果中有10张错检，而基于Resnet101网络的检测结果只有3张错件，误检率分别降到了11.1％和3.3％；在crack缺陷检测结果中，基于两种主干网络的检测结果中，错检和漏检数量均小于8张，漏检率和误检率均小于2.6％；在unsoldered缺陷检测结果中，基于VGG16网络的检测结果中，误检数量有23张，但是漏检数量只有3张；基于Resnet101网络的检测结果中，误检和漏检数均小于5张，误检率和漏检率均小于1％，准确率达到了98.4％。
结合表4和表5可明确得出，在整体检测精度和检测准确度方面，本发明所提出的基于Resnet主干网络的方法最好。本发明提出的方法不仅比基线模型Faster R-CNN网络的检测mAP值增加了3.27％和0.83％，同时检测准确率也比Cascade R-CNN和FPN要高15％、20％和1.8％、6.8％。Cascade R-CNN由于多级网络级联，网络拟合过度，导致在检测中出现大量漏检情况；FPN多尺度金字塔网络由于单一映射的关系，导致不同大小的目标在特征提取中不能充分利用不同感受野的信息，从而在crack检测时，准确率略低于本发明方法；yolo v5检测精度较好，但是漏检率较高。
综上，从检测精度和检测准确度来看，本发明所提出的基于Resnet主干网络的方法取得的效果均是最优，同时通过本发明的改进算法，在基于主干网络VGG16上的整体性能也得到了一定程度的提高。
为了客观地评估网络的位置检测精确度和检测准确率，我们详细分析了采用不同方法对三种太阳能缺陷检测结果的折线图和柱状图，具体统计图如图5、图6所示。
从图5可以看出，本发明在基于主干网络Vgg16上的方法比基线网络的mAP值得到了较大幅度的提升，而在基于主干网络Resnet101上的方法比别的网络检测精度都高。虽然Cascade R-CNN和FPN整体检测精度较好，但是从图6中可以看出这两种网络的漏检率和错检率较高，而本发明的方法不仅准确度最高，同时漏检率和错检率最低。
此外，本发明还对三种缺陷回归框精度进行了可视化对比分析，如图7、图8、图9所示，分别将yolo v3、yolo v5、Cascade R-CNN、R-FCN、FPN和Faster R-CNN及本发明算法对3种缺陷的检测回归框与真实框进行比较，可以看出FPN、Cascade R-CNN和R-FCN虽然能够检测出所存在的缺陷，但误差比较大，与真实框之间的IOU值较低，回归精度较差。如图10所示，yolo v3、yolo v5和Cascade R-CNN漏检情况严重，而R-FCN检测的准确度较高，但本发明的算法效果更好，不仅能准确检测出所存在的缺陷，同时能够保证较高的回归框精度。
观察表4和表5可以得出，本发明方法在提升小目标和检测难度高的crack缺陷上的效果非常明显。这主要是因为该网络中增加了多特征融合和多尺度感受野，从而融合了不同尺度、不同感受野的特征，进一步提升了小目标和难检测目标的检测精度。同时增加了S-NMS策略，通过余弦相似度引入纵横比相似度，进一步提高了评判标准，保留下更加准确的建议框。为验证S-NMS策略的有效性，本发明分别在Cascade R-CNN、R-FCN、FPN和基线模型Faster R-CNN上进行了实验，实验mAP值统计结果和使用S-NMS前后可视化图如表6和图11所示。
Figure BDA0003109599160000111
表6不同网络使用NMS和S-NMS对缺陷检测精度统计表
通过表6发现，使用本发明提出的S-NMS策略在不同的网络结构上得出的检测精度值都得到了一定的提升。此外，为了从多个角度验证S-NMS的有效性，我们在Faster R-CNN网络上对使用S-NMS前后的检测效果进行了可视化对比，从图8可以看出在使用S-NMS后减少了很多冗余框和误检框，在保留了较准确的检测框的同时，预测置信度也得到了进一步的提高，从而再次证明本发明方法的有效性。
为了深入探讨本发明方法的有效性，本发明对跨层连接多特征融合网络(ATLC)、RPN多尺度感受野融合网络(TDC)和S-NMS策略这三个网络模块独立进行了实验，并对实验结果进行了分析。
在实验中，只以每一个网络模块的检测精度值做参考，并在基线Faster R-CNN网络上，分别以不同的主干网络做特征提取模块进行实验，所有方法都是在制作成VOC2007格式的太阳能缺陷数据集上进行的，实验结果如表7所示。
Figure BDA0003109599160000121
表7使用不同网络模块检测精度值统计表
如表7所示，从采用不同网络模块训练之后检测结果的mAP值统计可得出，无论是基于VGG，还是基于Resnet主干网络的方法，在增加了ATLC后，效果都得到了明显的提升，尤其是以VGG作为主干网络的检测网络，mAP值得到了2.24％的提升；在增加TDC后，网络mAP分别增加了2.18％和0.23％；在增加了S-NMS后，网络的整体mAP得到了进一步的提高。而本发明的检测网络在同时增加了ATLC、TDC和S-NMS后，网络检测结果的mAP值分别提升了3.27％和0.83％，即同时使用三个网络模块的效果最好，由此也可以证明本发明方法的有效性。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包在本发明范围内。

Claims (2)

1.太阳能电池表面缺陷检测方法，其特征在于，具体步骤如下：
一、收集太阳能电池EL图像；
二、对太阳能电池表面缺陷图像数据进行类别分类和标注，格式转换后获得太阳能电池标明缺陷检测数据集；
三、对太阳能电池表面缺陷数据集进行训练，具体训练过程为：
1）、将太阳电池表面缺陷数据集输入预处理模块进行预处理；
2）、将太阳能电池表面缺陷数据集送入跨层连接多特征融合检测网络进行初级特征提取，将图像输入预训练模型中，分别提取图像的第二层和第三层特征，并经过Shuffle操作转换成和第五层特征相同大小的特征并进行级联，再通过1×1的卷积进行降维，最终得到基础特征图；
3）、将得到的基础特征图送入RPN多尺度感受野融合网络，引入三支路空洞卷积块，将单尺度特征图像作为输入，在Resnet结构中，对于瓶颈层中的单个残差块，通过并行分支创建特定尺度的特征映射，同时，在3×3的卷积层中，使用不同的空洞率构成不同的感受野分支，不同的分支拥有相同的结构，共享权值，通过RPN的分类分支对融合后的特征进行初步分类，通过回归分支网络对融合后的特征进行初步回归，使用交叉熵损失和Smooth L1损失对分类和回归进行约束；
4）、使用非极大值抑制NMS对ROI感兴趣区域进行去冗余，并保留高质量的预测框；
5）、最后通过分类回归网络进行分类和回归；
四、对太阳能电池表面缺陷数据集进行测试，测试时使用相似性NMS，在计算IOU的基础上，通过计算余弦相似度引入框的纵横比相似度作为约束条件，保留准确的建议框。
2.根据权利要求1所述的太阳能电池表面缺陷检测方法，其特征在于，在步骤三中，跨层连接多特征融合检测网络以VGG或Resnet为主干网络。
CN202110646252.1A 2021-06-10 2021-06-10 太阳能电池表面缺陷检测方法 Active CN113298797B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110646252.1A CN113298797B (zh) 2021-06-10 2021-06-10 太阳能电池表面缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110646252.1A CN113298797B (zh) 2021-06-10 2021-06-10 太阳能电池表面缺陷检测方法

Publications (2)

Publication Number Publication Date
CN113298797A CN113298797A (zh) 2021-08-24
CN113298797B true CN113298797B (zh) 2022-12-02

Family

ID=77327766

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110646252.1A Active CN113298797B (zh) 2021-06-10 2021-06-10 太阳能电池表面缺陷检测方法

Country Status (1)

Country Link
CN (1) CN113298797B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113962931B (zh) * 2021-09-08 2022-06-24 宁波海棠信息技术有限公司 一种用于磁簧开关的异物缺陷检测方法
CN113780434B (zh) * 2021-09-15 2024-04-02 辽宁工程技术大学 一种基于深度学习的太阳能电池组件缺陷el检测方法
CN117541587B (zh) * 2024-01-10 2024-04-02 山东建筑大学 太阳能电池板缺陷检测方法、系统、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110335270A (zh) * 2019-07-09 2019-10-15 华北电力大学（保定） 基于层级区域特征融合学习的输电线路缺陷检测方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL250028B (en) * 2014-07-14 2022-08-01 Nova Ltd Method and optical system for detecting defects in three-dimensional structures
WO2018165753A1 (en) * 2017-03-14 2018-09-20 University Of Manitoba Structure defect detection using machine learning algorithms
CN110689011A (zh) * 2019-09-29 2020-01-14 河北工业大学 多尺度联合卷积神经网络的太阳能电池板缺陷检测方法
CN111768365B (zh) * 2020-05-20 2023-05-30 太原科技大学 基于卷积神经网络多特征融合的太阳能电池缺陷检测方法
CN111968095B (zh) * 2020-08-19 2022-08-02 成都数之联科技股份有限公司 一种产品表面缺陷检测方法及系统及装置及介质
CN112163449B (zh) * 2020-08-21 2022-12-16 同济大学 一种轻量化的多分支特征跨层融合图像语义分割方法
CN112862723B (zh) * 2021-03-04 2022-08-02 清华大学深圳国际研究生院 基于伪3d自相关网络的真实图像去噪方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110335270A (zh) * 2019-07-09 2019-10-15 华北电力大学（保定） 基于层级区域特征融合学习的输电线路缺陷检测方法

Also Published As

Publication number Publication date
CN113298797A (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
CN113298797B (zh) 太阳能电池表面缺陷检测方法
Li et al. A free lunch for unsupervised domain adaptive object detection without source data
CN109508663B (zh) 一种基于多层次监督网络的行人重识别方法
CN111415329B (zh) 一种基于深度学习的工件表面缺陷检测方法
CN110689011A (zh) 多尺度联合卷积神经网络的太阳能电池板缺陷检测方法
CN109272500B (zh) 基于自适应卷积神经网络的织物分类方法
CN109190752A (zh) 基于深度学习的全局特征和局部特征的图像语义分割方法
CN110610475B (zh) 一种深度卷积神经网络的视觉缺陷检测方法
CN111768365B (zh) 基于卷积神经网络多特征融合的太阳能电池缺陷检测方法
CN113643228B (zh) 一种基于改进的CenterNet网络的核电站设备表面缺陷检测方法
CN111291814A (zh) 基于卷积神经网络与信息熵数据融合策略的裂纹识别算法
CN114972312A (zh) 基于YOLOv4-Tiny改进的绝缘子缺陷检测方法
CN115272204A (zh) 一种基于机器视觉的轴承表面划痕检测方法
CN112613428A (zh) 基于平衡损失的Resnet-3D卷积牛视频目标检测方法
Ni et al. Intelligent defect detection method of photovoltaic modules based on deep learning
CN112257849A (zh) 基于深度学习的智能检测方法、系统、装置及其应用
CN111881803A (zh) 一种基于改进YOLOv3的畜脸识别方法
CN115187816A (zh) 一种基于多属性辅助任务学习的中药饮片识别分类方法
CN112581467B (zh) 一种基于疑似危险品评价的智能安检方法
CN114863211A (zh) 一种基于深度学习的磁瓦缺陷检测及分割方法
Tao et al. Learning multi-resolution features for unsupervised anomaly localization on industrial textured surfaces
Tian et al. Surface defect detection method of wooden spoon based on improved YOLOv5 algorithm
Zhi et al. Research and Application on the Improved SSD Chip Defect Inspection Algorithm
Liu et al. A Domain Generalization Model Based on Multilevel Domain Adversarial Invariant Representation Learning
Zhang et al. A coarse-to-fine parallelizable surface defect detection approach for railway trackside equipment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant