CN116258664A - 一种基于深度学习的光伏电池片智能缺陷检测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的光伏电池片智能缺陷检测方法，能自动完成光伏电池片EL图像的分析，有效提升检测精度与速度。主要包括：利用电致发光技术，采集电池片EL图像。采用改进的Faster R‑CNN算法F‑RFDC(Faster R‑CNN+ResNet101+FPN+DCAM)，该算法选用ResNet101作为特征提取网络，并融入FPN特征金字塔网络结构和双通道注意力机制模块DCAM，通过分析EL图像，完成电池片缺陷的检测与分类。本方法在面对电池片缺陷特征尺度差异较大、环境背景较复杂情况下，也有较好的缺陷特征提取与检测能力，部分类型缺陷识别准确率为99.5％,综合来看，多类型缺陷平均准确率度达到92.1％。本发明能很好满足实际生产需求。

Description

一种基于深度学习的光伏电池片智能缺陷检测方法

技术领域

本发明涉及人工智能中目标检测领域，主要使用一种基于深度学习的光伏电池片智能缺陷检测方法。

背景技术

光伏电池片作为光伏组件的核心组成部分，在生成加工的过程中易受材料、加工工艺等因素影响，不可避免的使硅片产生一些外部或内部缺陷如：隐裂、虚焊、断栅、扩散不均匀、破片等。这些缺陷极大地降低了组件的光电转化效率和使用寿命，甚至影响整个光伏发电系统的安全性。

电致发光(Electroluminescence,EL)成像检测被广泛用于光伏电池片的缺陷检测中，其原理是给电池片施加正向偏置电压使其发出波段为950～1150纳米的近红外光，利用近红外相机捕捉成像，使存在于电池片内部的缺陷清晰可见。目前生产线上对EL图像通常由人工完成分析检测，工作量大、成本高且易发生漏检、错检。另外有人提出利用机器视觉技术，人工设计提取规则方法完成检测，此类方法通常采用分析图像特征，利用图形学、形态学等处理方法获取目标的缺陷特征信息。该方法面对电池片缺陷特征尺度、大小各异，背景较为复杂的情况下，对缺陷特征信息表达能力有限，适应性和泛化能力较弱。

发明内容

针对于光伏电池片易受材料、生产工艺等因素影响,易产生诸多缺陷且检测难度高等问题，本发明提供了一种基于深度学习的光伏电池片智能缺陷检测方法，该方法主要用于光伏电池片内部缺陷检测。该方法利用EL成像技术完成电池片图像信息采集，经处理后用于检测，对于复杂背景环境下，形状各异的缺陷有更好的适应性和识别精确度，部分类型缺陷识别的准确率达到99.5％,综合来看，缺陷检测的平均精度达到92.1％。

本发明主要通过以下技术方案来实现的：

1.一种基于深度学习的光伏电池片智能缺陷检测方法，主要包括如下步骤：

1)自建光伏电池片EL图像数据集PV_Datasets；

2)对步骤1)所述数据集分别进行缺陷分类及标注；

3)对光伏电池片EL图像导入网络模型，进行模型训练，用于完成具体缺陷信息的判别。

3.1)该网络以FasterRCNN目标检测算法作为框架，并选用改进型的Resnet101作为网络主干，替换原始网络模型的VGG16网络，增加了网络层数，提升网络的特征提取能力。

3.2)并在主干网络中融入特征金字塔网络结构(FPN)，进一步提高网络对多尺度缺陷的特征表达能力。

3.3)加入通道注意力模块(CAM)和空间注意力模块(SAM)，通过网络计算出输入图像各个通道的权重，对于包含关键信息通道就多加关注，减少非重要信息通道的关注，提高特征表示能力。

2.根据权利要求1所述的一种基于深度学习的光伏电池片智能缺陷检测方法，其特征在于，所述步骤1)中自建数据集PV_Datasets包括以下步骤：根据光伏电池片电致发光(electroluminescence,EL)成像原理，利用近红外相机采集光伏电池片组件EL的图像；对图像进行预处理，提取光伏电池组件边缘，裁剪多余信息，并按单个电池片尺寸，将组件EL图像分割成多张光伏电池片EL图像。这些光伏电池片EL图像经分类标注完成数据集构建。

3.根据权利要求1所述的一种基于深度学习的光伏电池片智能缺陷检测方法，其特征在于，所述步骤2中)：

对图像中存在缺陷进行分类，可大致分为：断栅、划痕、虚焊、隐裂、黑心团、短路、裂纹以及破片。将图像利用LabelImg标注软件，使用矩形框圈注图像中的缺陷信息，并制作成VOC格式的数据集。

4.根据权利要求1所述的一种基于深度学习的光伏电池片智能缺陷检测方法，其特征在于，所述步骤3中)：Faster R-CNN是在Fast R-CNN网络的基础上加入了区域生成网络，取代了传统的SS(Selective Search)方法，使候选框的提取速度和精度有明显的提升

5.根据权利要求1所述的一种基于深度学习的光伏电池片智能缺陷检测方法，其特征在于，所述步骤3.1中)：选用残差网络ResNet101代替原始模型中的VGG16特征提取网络，增加了网络层数，同时也有效避免了因网络深度的增加而出现的梯度消失以及过拟合的情况。

输入的图像通过一系列卷积生成公共特征图，然后经由RPN网络生成区域建议框，并映射至特征图上获取对应的特征矩阵，再通过感兴趣区域池化将特征图缩放为统一尺寸,经过全连接层后，同时输出给分类层和边框回归层，前者用来判定建议框内前景及背景信息，后者用来预测建议框尺寸和坐标信息。

6.根据权利要求1所述的一种基于深度学习的光伏电池片智能缺陷检测方法，其特征在于，所述步骤3.2中)：在特征提取网络中融入特征金字塔结构(FPN)，包括横向连接、自顶向下和自底向上三个部分组成。

自底向上为ResNet101进行的前馈计算的过程，进行传统的特征提取，输出大小一致的网络部分称为一级(stage)。选择每个stage的最后一层特征图，作为上一级的输入。为自顶向下过程，从最高层向下依次使用最近邻2倍上采样，特征图将扩大2倍。在通过横向连接，进行特征融合后输出特征图。

7.根据权利要求1所述的一种基于深度学习的光伏电池片智能缺陷检测方法，其特征在于，所述步骤3.3中)：DCMA模块主要包括通道注意力模块和空间注意力模块两部分：前者关注于全局信息，图像经过卷积后生成多通道的特征图，通道注意力模块能完成多通道的差异化处理，增大有效特征通道的权重，降低无效特征通道权重，进而重点突出图像中的重要特征信息；后者主要对特征图空间信息建模来获取空间中各个像素的相关性，可以提高特征图对目标信息的关注程度，更容易找到目标所在位置。将通道与空间注意力两模块并联，组成双通道，将两特征图相加得到最终的特征图。

本发明提供一种基于深度学习的光伏电池片智能缺陷检测方法，本发明目的是为克服人工肉眼检测速度慢、精度不高且现有技术存在一些不足的问题。借助于深层神经网络精准定位、快速检测的能力，完成对光伏电池片缺陷的精准识别与分类。本发明在光伏电池片生产线中，能有效提升检测速度与精度，降低成本，也避免了人工检测时效性低、易受主观干扰等问题。

附图说明

图1为本发明光伏电池片缺陷检测流程框图；

图2为本发明网络模型结构框图；

图3为本发明网络模型中ResNet101结构图；

图4为本发明网络模型中特征金字塔FPN结构图；

图5为本发明网络模型中双通道注意力机制模块DCAM结构图。

具体实施方式

以下结合附图和具体实施方法，对本发明中的技术方案进行更为完整地说明。本发明提供一种基于深度学习的光伏电池片智能缺陷检测方法，具体检测流程如图1所示，具体有以下步骤：

步骤1)首先使用便携式EL检测设备完成EL图像的采集，采集完成的图像进行预处理，并从光伏组件EL图像中裁剪出单个电池片图像。具体步骤如下所示：

通过路径加载图像信息，编写python脚本算法，将组件EL图像按固定尺寸分割成若干小份。将图像进行灰度处理，生成的灰度图再进行中值滤波，降低图像中的噪点信息。之后进行膨胀处理，膨胀后再腐蚀操作。再借助opencv的findContours函数检测出图像轮廓的点集，选用最大轮廓并筛选出四个角的坐标信息，用最小矩阵包围四个角点。最后进行透视变换处理，矫正图像的细微倾斜，将透视变换后的图像进行保存。

步骤2)利用步骤1)生成的图片数据进行标注，制作成数据集，具体实施方式如下：

再在本地创建JPEGImages、Annotations、ImageSets三个文件夹，将原始训练图像放入JPEGImages文件夹中。图像中存在缺陷可大致分为：断栅、划痕、虚焊、隐裂、黑心团、短路、裂纹以及破片。

借助LabelImg标注软件对图像进行标注，使用矩形框圈注图像中的缺陷信息，并将标注文件保存至Annotations文件夹中。将所有图片按照6:2:2的比例划分出训练集、验证集、测试集，并将图片名依次存入train.txt、val.txt、test.txt文件中。最后将这些TXT文件保存至ImageSets文件夹。

步骤3)搭建深度学习网络模型，用于光伏电池片缺陷检测，具体实施方法如下：

Faster R-CNN是一种二阶段目标检测算法，这是一种端到端的目标检测网络，在目标特征提取的基础上加入区域推荐网络(Region Proposal Networks,RPN)，取代了传统的SS(Selective Search)方法，使候选框的提取速度和精度有明显的提升。

网络的具体结构如图2所示，输入的图像通过一系列卷积池化操作后生成公共特征图，然后经由RPN网络生成区域建议框，在RPN网络部分使用3×3滑动窗口在特征图上滑动，以每个像素点为中心生成3种比例(1:1、1:2、2:1)和3个尺度(32×32,64×64,128×128)共计9种不同类型的锚框，按锚点框的分类得分，选取128个得分最高的前景及背景锚点框作为最终的预选框输出，并映射至特征图上获取对应的特征矩阵，再通过感兴趣区域池化将特征图缩放为统一尺寸,经过全连接层后，同时输出给分类层和边框回归层，前者用来判定建议框内前景及背景信息，后者用来预测建议框尺寸和坐标信息。

步骤3.1)选用ResNet101替换FasterRCNN原始主干网络VGG，大幅提升网络层数，使网络模型的特征信息提取能力进一步提高，具体实施方法如下：

RetNet101网络由输入图片、conv1、conv2_x、conv3_x、conv4_x和conv5_x组成，该模型由ResNet分类模型初始化。在conv2_x、conv3_x、conv4_x和conv5_x每层使用3个残差块，如图3所示。

步骤3.2)在网络模型中融入特征金字塔FPN网络结构，提升网络模型对多尺度缺陷的检测能力，具体实施方法如下：

实际检测中，光伏电池片的缺陷形状各异，各种缺陷尺度差异较大。同时随着网络深度的增加，又经过多次卷积和池化操作后，位于顶层的特征图易出现细节信息的缺失，导致网络对于小尺寸目标的检测能力下降。针对于这类情况，在特征提取网络中融入特征金字塔结构(FPN)，主要包括横向连接、自顶向下和自下而上三个部分组成，如图4所示。

其中S1-S5是ResNet101进行的前馈计算的过程，进行传统的特征提取，输出大小一致的网络部分称为一级(stage)。选择每个stage的最后一层特征图，作为上一级的输入。F5-F2为自上向下过程，从最高层向下依次使用最近邻2倍上采样，特征图扩大为原来的2倍。

将从底向上的{S2,S3,S4,S5}进行侧边提取并依次进行1×1卷积来减小通道维度,以得到与上采样结果相同大小的特征图像,并与之融合。融合后的特征图,再通过长度为3×3的卷积核进行卷积,以此抵消由横向连接与上采样进行的特征图融合所产生的混叠效应,从而获得特征映射集{P2,P3,P4,P5}。

步骤3.3)为进一步提升图像重要特征的提取能力，在特征提取网络中加入DCMA模块，具体实施方法如下：

将卷积后的特征图分别经通道与空间注意力模块得到两个特征图，再通过相加得到最终特征图，如图5所示。

特征图经由通道注意力模块，首先将维度为C×F×T的特征图，分别进行最大池化和平均池化操作，将特征图维度压缩为C×1×1，使得一维特征图具有全局感受野。再依次以1×1、3×3、1×1的卷积核进行卷积，再经过压缩通道数、提取特征、恢复通道数的一系列操作，完成对高层特征的进一步提取。将输出相加并使用sigmoid进行激活，得到AC。再与原始特征图相乘，以此达到在通道维度上对特征重标定。

同时空间注意力模块也以并联的方式，将特征图分别进行平均池化和最大池化操作，避免单一池化丢失过多信息。经过池化后，维度为C×F×T特征图变为2个1×F×T维度的特征图，仅用一个通道的特征图表示全局特征，得到语义信息丰富的特征。再通过拼接操作变为2×F×T的特征图。采用1个卷积核进行卷积操作，将通道数重新压缩为1，并使用sigmoid激活得到AS，与初始特征图相乘，完成空间维度上对特征重标定。

步骤4)搭建好的模型，经多次迭代训练达到最优并用于光伏电池片的检测，具体实施方法如下：

本发明提出的检测方法，在pc端完成实验仿真，主要配置为64位Ubuntu18.06操作系统、RTX3070ti、PyTorch 1.8.1的深度学习框架、选择CUDA10.2、cuDNN7.65的开发环境。实验数据集采用自建数据集PV_Datasets，关于实验参数设置：batch_size＝128，学习率设为0.0001，动量项、权重衰减系数分别设为0.9和0.4，置信度阈值为0.8，NMS threshold参数为0.7。训练完成后，使用最优权重，在测试数据集中部分类型缺陷识别的准确率达到99.5％,综合来看，缺陷检测的平均精度达到92.1％。

以上，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种基于深度学习的光伏电池片智能缺陷检测方法，主要包括如下步骤：

1)自建光伏电池片EL图像数据集PV_Datasets；

2)对步骤1)所述数据集分别进行缺陷分类及标注；

3)对光伏电池片EL图像导入网络模型，进行模型训练，用于完成具体缺陷信息的判别，

3.1)该网络以FasterRCNN目标检测算法作为框架，并选用改进型的Resnet101作为网络主干，替换原始网络模型的VGG16网络，增加了网络层数，提升网络的特征提取能力；

3.2)并在主干网络中融入特征金字塔网络结构(FPN)，进一步提高网络对多尺度缺陷的特征表达能力；

3.3)加入双通道注意力机制模块DCAM(Dual-channel Attention MechanismModule)，通过网络对输入特征图赋不同的权重值，聚焦于特征图的重要特征信息，抑制不必要的区域响应，进一步增强网络的特征表示能力，同时降低一些不必要的计算。

2.根据权利要求1所述的一种基于深度学习的光伏电池片智能缺陷检测方法，其特征在于，所述步骤1)中自建数据集PV_Datasets包括以下步骤：根据光伏电池片电致发光(electroluminescence,EL)成像原理，利用近红外相机采集光伏电池片组件EL的图像；对图像进行预处理，提取光伏电池组件边缘，裁剪多余信息，并按单个电池片尺寸，将组件EL图像分割成多张光伏电池片EL图像，这些光伏电池片EL图像经分类标注完成数据集构建。

3.根据权利要求1所述的一种基于深度学习的光伏电池片智能缺陷检测方法，其特征在于，所述步骤2中)：

对图像中存在缺陷进行分类，可大致分为：断栅、划痕、虚焊、隐裂、黑心团、短路、裂纹以及破片，将图像利用LabelImg标注软件，使用矩形框圈注图像中的缺陷信息，并制作成VOC格式的数据集。

4.根据权利要求1所述的一种基于深度学习的光伏电池片智能缺陷检测方法，其特征在于，所述步骤3中)：Faster R-CNN是在Fast R-CNN网络的基础上加入了区域生成网络，取代了传统的SS(Selective Search)方法，使候选框的提取速度和精度有明显的提升。

5.根据权利要求1所述的一种基于深度学习的光伏电池片智能缺陷检测方法，其特征在于，所述步骤3.1中)：选用残差网络ResNet101代替原始模型中的VGG16特征提取网络，增加了网络层数，同时也有效避免了因网络深度的增加而出现的梯度消失以及过拟合的情况，

输入的图像通过一系列卷积生成公共特征图，然后经由RPN网络生成区域建议框，并映射至特征图上获取对应的特征矩阵，再通过感兴趣区域池化将特征图缩放为统一尺寸,经过全连接层后，同时输出给分类层和边框回归层，前者用来判定建议框内前景及背景信息，后者用来预测建议框尺寸和坐标信息。

6.根据权利要求1所述的一种基于深度学习的光伏电池片智能缺陷检测方法，其特征在于，所述步骤3.2中)：在特征提取网络中融入特征金字塔结构(FPN)，包括横向连接、自顶向下和自底向上三个部分组成，

自底向上为ResNet101进行的前馈计算的过程，进行传统的特征提取，输出大小一致的网络部分称为一级(stage)，选择每个stage的最后一层特征图，作为上一级的输入，为自顶向下过程，从最高层向下依次使用最近邻2倍上采样，特征图将扩大2倍，在通过横向连接，进行特征融合后输出特征图。

7.根据权利要求1所述的一种基于深度学习的光伏电池片智能缺陷检测方法，其特征在于，所述步骤3.3中)：DCMA模块主要包括通道注意力模块和空间注意力模块两部分：前者关注于全局信息，图像经过卷积后生成多通道的特征图，通道注意力模块能完成多通道的差异化处理，增大有效特征通道的权重，降低无效特征通道权重，进而重点突出图像中的重要特征信息；后者主要对特征图空间信息建模来获取空间中各个像素的相关性，可以提高特征图对目标信息的关注程度，更容易找到目标所在位置，将通道与空间注意力两模块并联，组成双通道，将两特征图相加得到最终的特征图。

Images