CN113989241A - 一种基于图像处理与深度学习融合的光伏组件el缺陷检测方法 - Google Patents

Abstract

本发明公开了一种基于图像处理与深度学习融合的光伏组件EL缺陷检测方法，涉及工业产品生产检测领域。通过对M行N列光伏组件图像进行预分割得到每块光伏板的图像，再对单个光伏板进行正常或可能异常的预分类，对于可能异常的光伏板进行深度学习提取特征，以便于进行更准确的二次缺陷检测。按以下步骤进行：步骤1、组件图像预分割；步骤2、组件类型预分类；步骤3、深度学习二次缺陷检测。一方面，本发明减少了深度学习输入图像的尺寸，降低了计算资源需求，且提升了小缺陷的检出率；另一方面，本发明引入单块电池板OK、NG、CNG初分类机制，大量的正样本无需进行深度学习目标检测，极大减少了光伏组件缺陷检测耗时，提高了检测效率。

Description

一种基于图像处理与深度学习融合的光伏组件EL缺陷检测 方法

技术领域

本发明涉及工业产品生产检测领域，具体涉及一种基于图像处理与深度学习融合的光伏组件EL缺陷检测和分析方法。

背景技术

随着现代科学技术和工业生产的飞速发展，人类活动所需消耗的能源日益激增，而在当今油、碳等能源短缺的现状下，能源的合理开发和循环利用尤为重要，太阳能作为取之不尽的绿色、可再生能源，已成为当前能源结构的重要组成部分，太阳能发电所占能源结构比例稳步提升。光伏组件是光伏发电的核心器件，其生产、安装过程中难免会产生残次品，这类组件缺陷将严重影响发电效率。因此，深入研究光伏组件缺陷检测技术，尤其是自动分类和检测问题，以提升光伏组件产品质量，具有重要的理论意义和实际价值。

由于光伏硅片基体易碎，在生产安装过程中，生产工艺、人工误操作等因素常导致电池表面出现难以检测的细微缺陷，例如裂纹、破片、虚焊、短路等，这些缺陷会影响光伏组件的使用寿命，甚至会导致局部过热而引发火灾。为了保障产品的质量，光伏组件生产商必须要进行严格的质量把关，目前主流的方法是采用电致发光(EL)技术，其原理为向晶体硅太阳电池中注入过剩载流子，载流子直接复合会辐射出红外光，红外光探测器接收后形成图像，在电池缺陷处发光较为微弱，即可根据发光亮度判断电池的缺陷，存在缺陷的电池板根据缺陷类型进行适当的返修处理。

在光伏组件制造工厂生产过程中，目前大多仍采用人工目视进行缺陷检测。然而，传统的人工检测存在精准度低、实时性差、成本高的缺点，已不适应当前的自动化生产环境，如何快速、准确、自动识别光伏组件各类缺陷的问题亟待解决。

传统的机器视觉检测技术需要人工提取特征并设计分类器，这需要相关领域的专业人士来参与，并且需要与算法进行相互适应，而实际的工业化场景中，工业零件种类繁多、规格不一，且缺陷类型因工业产品的不同差别很大，又极大增加了算法设计的难度和风险。深度学习技术具有强大的特征学习能力，建模时无需人工进行特征提取，直接学习从输入到输出的映射关系，这样可以避免繁琐复杂的图像预处理以及人工提取特征的操作，同时也能够适应不同场景、不同类型的缺陷，从而能够提高工业检测准确率、鲁棒性以及实时性。

2020年10月13日公布的一份名为“基于卷积神经网络多特征融合的太阳能电池缺陷检测方法”、申请号为“202010429805.3”的中国发明专利申请公开了一种基于卷积神经网络多特征融合的太阳能电池缺陷检测方法，该案在Faster R-CNN卷积神经网络结构基础上引入了跨层连接的思想，使之在学习深层特性信息的同时，学习浅层信息，能有效降低错误率；并采用多尺度的方式进行目标候选框的提取，通过一定比例融合挑选出适合的框作为候选框，在一定程度上可以减少漏检率，其中增加的多尺度特征融合层可以有效适用于太阳能电池板表面缺陷的检测。

然而，由于光伏组件的EL图像往往是高分辨率的，在这样高达百兆的图像上进行缺陷检测，不仅需要耗费大量的计算资源，而且难以适应日益清晰的高分辨率相机所带来的呈几何增长的计算资源需求。同时，单块电池片的微小缺陷部分相对于整张EL图像，占比非常少，对一张超大尺寸的图像进行小缺陷检测，很容易出现漏检、误检的情况，检测精度和鲁棒性不高。

发明内容

本发明针对以上问题，提出了一种基于图像处理与深度学习融合的光伏组件EL缺陷检测方法，通过对M行N列光伏组件图像进行预分割得到每块光伏板的图像，再对单个光伏板进行正常或可能异常的预分类，对于可能异常的光伏板进行深度学习提取特征，以便于进行更准确的二次缺陷检测。

本发明的技术方案为：按以下步骤进行：

步骤1、组件图像预分割：利用相机模块采集得到光伏组件图像，并进行划分，得到每个单片电池所在区域的图像；

步骤2、组件类型预分类：先统计各个单片电池所在区域的图像的平均亮度，若平均亮度低于50，则判断该单片电池为短路缺陷；再创建正样本的单块电池片模板，将排除短路缺陷后的单片电池与单块电池片模板进行对比，若相似度高于0.8，则判断为无缺陷的正样本；反之，则记为候选负样本；

步骤3、深度学习二次缺陷检测：先训练并保存faster-rcnn模型参数，再载入训练好的faster-rcnn模型权重文件，对各个候选负样本进行二次缺陷检测。

步骤1具体为：

步骤1.0、利用相机模块采集得到光伏组件图像Img；

步骤1.1、将光伏组件的图像Img进行矩形区域A，B，C，D，E提取，其中A，B，C，D分别为图像上、左、下、右边界所在区域，E为图像的中间的边界，即光伏组件中间预留的用于金属条焊接的缝隙；

步骤1.2、分别对区域A，B，C，D，E的边界进行直线提取，包括：将矩形区域A,B,C,D的图像进canny边缘提取，采用RANSAC方法拟合边缘点获得直线，即l_A，l_B，l_C，l_D,区域E可以得到2条直线，根据直线的位置划分为中左边界l_midl，中右边界l_midr；

步骤1.3、将上述直线求相交得到交点，这些交点作为关键的电池板所在角点，即：

直线l_A分别与直线l_B，l_midl，l_midl，l_D相交，得到的角点记为Corner_u0,Corner_u1,Corner_u2,Corner_u3,直线l_C分别与直线l_B，l_midl，l_midl，l_D相交，得到的角点记为Corner_d0,Corner_d1,Corner_d2,Corner_d3；

步骤1.4、由Corner_u0,Corner_u1,Corner_d1,Corner_d04个点组成的矩形区域作为光伏组件的左半部分，由Corner_u2,Corner_u3,Corner_d3,Corner_d24个点组成的矩形区域作为光伏组件的右半部分；

步骤1.5、根据图像所含电池片的个数进行单片电池划分，光伏组件每行有M片，每列有N片，则划分的公式为：

Unit_width＝(ll_distance(l_midl,l_B)+ll_distance(l_midr,l_D))/N

Unit_height＝ll_distance(l_A,l_C)/M

其中ll_distance(l₁,l₂)表示两平行直线l₁和l₂的距离计算函数。计算得到Unit_width，Unit_height；

步骤1.6、将Corner_u0，Corner_u2分别作为左、右半图像的起始点坐标，则左半部分第i行、第j列块电池片所在的图像区域Unit_ij是以corner_uc左上角为起点宽高分别为Unit_width，Unit_height的矩形，其中：

Corner_uc.x＝Corner_u0.x+(j-1)*Unit_width

Corner_uc.y＝Corner_u0.y+(i-1)*Unit_height

则右半部分第i行、第j列块电池片所在的图像区域Unit_ij是Corner_uc2左上角为起点，宽高分别为Unit_width，Unit_height的矩形，其中：

Corner_uc2.x＝Corner_u2.x+(j-1-N/2)*Unit_width

Corner_uc2.y＝Corner_u2.y+(i-1)*Unit_height

步骤2具体为：

步骤2.0、将步骤1得到的区域标记为Unit_ij，其中i＝0,1,…M-1,j＝0,1,…N-1，根据单块电池片所在区域提取每个电池单元的图像，记为UnitImg_ij；

步骤2.1、统计图像的UnitImg_ij的平均亮度MeanI，若MeanI<threshold,threshold取50，判断当前电池片为NG，缺陷类型为短路缺陷；

步骤2.2、创建正样本的单块电池片模板UnitTemp，调整当前UnitImg_ij与之对齐，比较差异，得到相似度Similarity，若Similarity>simithreshold，simithreshold取0.8，判断当前电池片为正样本；

步骤2.3、若根据步骤2.1-2.2，仍无法对类型进行判断的表示，则视为候选负样本，记为CNG.该片电池片的类型需要进行二次缺陷检测。

步骤3具体为：

步骤3.0、将每一种缺陷的图像UnitImage,使用LabelImg进行缺陷类型和位置标注，包括：OK、隐裂、破片、虚焊四类，标注信息保存成xml文件,每种缺陷类型标注200组；

步骤3.1、对上述目标检测标注数据集进行训练集和测试集划分，作归一化、缩放图像预处理，使图像符合网络结构，并减小对计算资源的要求，再设置好输入图像的宽高，类型等参数和初始权重文件，进行模型训练直至收敛，或达到设定的epoch次数，保存权重文件；

步骤3.2、载入训练好的faster-rcnn模型权重文件，对当前UnitImg_ij进行缺陷检测。

一方面，本发明通过对M行N列光伏组件图像进行预分割得到每块电池板的图像，减少了深度学习输入图像的尺寸，降低了计算资源需求，且提升了小缺陷的检出率；另一方面，本发明引入单块电池板OK、NG、CNG初分类机制，大量的正样本无需进行深度学习目标检测，极大减少了光伏组件缺陷检测耗时，提高了检测效率。

本发明所提出的基于图像预处理的深度学习的光伏组件EL缺陷检测方法，通过对光伏组件图像进行预分割得到每块光伏板的图像，该预分割方法适用于所有M行N列的EL光伏组件图像。再对单个光伏板进行正常或可能异常的初分类，将可能异常的光伏板进行深度学习二次缺陷检测，进一步分析其类型，提取关键特征做更准确的类型判断，从而实现光伏组件的高效缺陷检测。

附图说明

图1a是光伏组件的结构示意图，

图1b是光伏组件单片电池分割流程图，

图2是光伏组件缺陷检测流程图，

图3a是单片电池出现短路缺陷的示意图，

图3b是单片电池出现短路缺陷的示意图，

图3c是单片电池出现短路缺陷的示意图，

图3d是单片电池出现短路缺陷的示意图，

图3e是单片电池正常无缺陷的示意图。

具体实施方式

为能清楚说明本专利的技术特点，下面通过具体实施方式，并结合其附图，对本专利进行详细阐述。

如图1-3所示，本发明旨在提出一种基于图像处理与深度学习融合的光伏组件EL缺陷检测方法，通过对光伏组件图像进行预分割，获得每块光伏板的图像，再对单个光伏板进行正常或可能异常的初分类，将可能异常的光伏板进行深度学习提取特征作二次检测，进一步分析其类型。本方法通过预分割和预分类方法，减小了输入图像尺寸，不仅极大降低了深度学习卷积的计算量，而且对于很微小的缺陷也得到了好的检出率和适应性。值得注意的是，引入初分类的机制，大多数的正常样本无需参与后续的卷积计算，极大提升了光伏组件的检测效率。

本实施例中，如图1a所示，每件光伏组件包含24X6块电池片，图3a-3d示出的是必须要检出的4类缺陷，分别为短路、破片、隐裂、虚焊。其中，短路是没有电流通过的无效黑色块状，破片是电池片发现裂片表现成黑色的块状，隐裂是因碰撞按压出现在电池片主栅线或边缘的细线状裂纹；虚焊是焊接不良形成的矩形阴影。

步骤1、组件图像预分割。

步骤1.0、利用相机模块采集得到光伏组件图像Img。

步骤1.1、将光伏组件的图像Img进行矩形区域A，B，C，D，E提取，其中A，B，C，D分别为图像上、左、下、右边界所在区域，E为图像的中间的边界，即光伏组件中间预留的用于金属条焊接的缝隙。

步骤1.2、分别对区域A，B，C，D，E的边界进行直线提取，包括：将矩形区域A,B,C,D的图像进canny边缘提取，采用RANSAC方法拟合边缘点获得直线，即l_A，l_B，l_C，l_D,区域E可以得到2条直线，根据直线的位置划分为中左边界l_midl，中右边界l_midr。

步骤1.3、将上述直线求相交得到交点，这些交点作为关键的电池板所在角点，即：

直线l_A分别与直线l_B，l_midl，l_midr，l_D相交，得到的角点记为Corner_u0,Corner_u1,Corner_u2,Corner_u3,直线l_C分别与直线l_B，l_midl，l_midr，l_D相交，得到的角点记为Corner_d0,Corner_d1,Corner_d2,Corner_d3。

步骤1.4、由Corner_u0,Corner_u1,Corner_d1,Corner_d04个点组成的矩形区域作为光伏组件的左半部分，由Corner_u2,Corner_u3,Corner_d3,Corner_d24个点组成的矩形区域作为光伏组件的右半部分。

步骤1.5、根据图像所含电池片的个数进行单片电池划分，光伏组件每列有6片，每行有24片，则划分的公式为：

Unit_width＝(ll_distance(l_midl,l_B)+ll_distance(l_midr,l_D))/N

Unit_height＝ll_distance(l_A,l_C)/M

其中ll_distance(l₁,l₂)表示两平行直线l₁和l₂的距离计算函数。计算得到Unit_width，Unit_height分别为228和441。

步骤1.6、将Corner_u0，Corner_u2分别作为左、右半图像的起始点坐标，则左半部分第i行、第j列块电池片所在的图像区域Unit_ij是以Corner_uc左上角为起点宽高分别为Unit_width，Unit_height的矩形，其中：

Corner_uc.x＝Corner_u0.x+(j-1)*Unit_width

Corner_uc.y＝Corner_u0.y+(i-1)*Unit_height

则右半部分第i行、第j列块电池片所在的图像区域Unit_ij是Corner_uc2左上角为起点，宽高分别为Unit_width，Unit_height的矩形，其中：

Corner_uc2.x＝Corner_u2.x+(j-1-N/2)*Unit_width

Corner_uc2.y＝Corner_u2.y+(i-1)*Unit_height。

步骤2、组件类型预分类。

步骤2.0、将步骤1.1-1.6得到的区域标记为Unit_ij，其中i＝0,1,…5,j＝0,1,…23，根据单块电池片所在区域提取每个电池单元的图像，记为UnitImg_ij。

步骤2.1、统计图像的UnitImg_ij的平均亮度MeanI，若MeanI<threshold,threshold取50，判断当前电池片为NG，缺陷类型为短路缺陷。

步骤2.2、创建正样本的单块电池片模板UnitTemp，调整当前UnitImg_ij与之对齐，比较差异，得到相似度Similarity，若Similarity>simithreshold，simithreshold取0.8，判断当前电池片为正样本。

步骤2.3、若根据步骤2.1-2.2，仍无法对类型进行判断的表示，则视为候选负样本，记为CNG(Candidate NG)，该片电池片的类型需要进行二次缺陷检测。

步骤3、深度学习二次缺陷检测，在作深度学习faster-rcnn缺陷检测之前，需要训练并保存faster-rcnn模型参数。

步骤3.0、将每一种缺陷的图像UnitImage,使用LabelImg进行缺陷类型和位置标注，包括：OK(即合格无缺陷)、隐裂、破片、虚焊四类，标注信息保存成xml文件,每种缺陷类型标注200组。

步骤3.1、对上述目标检测标注数据集进行训练集和测试集划分，作归一化、缩放图像等预处理，使图像符合网络结构，并减小对计算资源的要求，再设置好输入图像的宽高，类型等参数和初始权重文件，进行模型训练直至收敛，或达到设定的epoch次数，保存权重文件。

步骤3.2、在计算机中载入训练好的faster-rcnn模型权重文件，对当前UnitUmg_ij进行缺陷检测，经过验证，短路、破片、隐裂、虚焊的缺陷的识别准确率分别为100％，96.5％,88.2％，90.6％.将检出的类型作标签，发送给后端作相应处理。

本发明具体实施途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进，这些改进也应视为本发明的保护范围。

Claims (4)

1.一种基于图像处理与深度学习融合的光伏组件EL缺陷检测方法，其特征在于，按以下步骤进行：

步骤1、组件图像预分割：利用相机模块采集得到光伏组件图像，并进行划分，得到每个单片电池所在区域的图像；

步骤2、组件类型预分类：先统计各个单片电池所在区域的图像的平均亮度，若平均亮度低于50，则判断该单片电池为短路缺陷；再创建正样本的单块电池片模板，将排除短路缺陷后的单片电池与单块电池片模板进行对比，若相似度高于0.8，则判断为无缺陷的正样本；反之，则记为候选负样本；

步骤3、深度学习二次缺陷检测：先训练并保存faster-rcnn模型参数，再载入训练好的faster-rcnn模型权重文件，对各个候选负样本进行二次缺陷检测。

2.根据权利要求1所述的一种基于图像处理与深度学习融合的光伏组件EL缺陷检测方法，其特征在于，步骤1具体为：

步骤1.0、利用相机模块采集得到光伏组件图像Img；

步骤1.1、将光伏组件的图像Img进行矩形区域A，B，C，D，E提取，其中A，B，C，D分别为图像上、左、下、右边界所在区域，E为图像的中间的边界，即光伏组件中间预留的用于金属条焊接的缝隙；

步骤1.2、分别对区域A，B，C，D，E的边界进行直线提取，包括：将矩形区域A，B，C，D的图像进canny边缘提取，采用RANSAC方法拟合边缘点获得直线，即l_A，l_B，l_C，l_D，区域E可以得到2条直线，根据直线的位置划分为中左边界l_midl，中右边界l_midr；

步骤1.3、将上述直线求相交得到交点，这些交点作为关键的电池板所在角点，即：

直线l_A分别与直线l_B，l_midl，l_midr，l_D相交，得到的角点记为Corner_u0，Corner_u1，Corner_u2，Corner_u3，直线l_C分别与直线l_B，l_midl，l_midr，l_D相交，得到的角点记为Corner_d0，Corner_d1，Corner_d2，Corner_d3；

步骤1.4、由Corner_u0，Corner_u1，Corner_d1，Corner_d04个点组成的矩形区域作为光伏组件的左半部分，由Corner_u2，Corner_u3，Corner_d3，Corner_d24个点组成的矩形区域作为光伏组件的右半部分；

步骤1.5、根据图像所含电池片的个数进行单片电池划分，光伏组件每行有M片，每列有N片，则划分的公式为：

Unit_width＝(ll_distance(l_midl，l_B)+ll_distance(l_midr，l_D))/N

Unit_height＝ll_distance(l_A，l_C)/M

其中ll_distance(l₁，l₂)表示两平行直线l₁和l₂的距离计算函数。计算得到Unit_width，Unit_height；

步骤1.6、将Corner_u0，Corner_u2分别作为左、右半图像的起始点坐标，则左半部分第i行、第j列块电池片所在的图像区域Unit_ij是以Corner_uc左上角为起点宽高分别为Unit_width，Unit_height的矩形，：

Corner_uc.x＝Corner_u0.x+(j-1)*Unit_width

Corner_uc.y＝Corner_u0.y+(i-1)*Unit_height

则右半部分第i行、第j列块电池片所在的图像区域Unit_ij是Corner_uc2左上角为起点，宽高分别为Unit_width，Unit_height的矩形，其中：

Corner_uc2.x＝Corner_u2.x+(j-1-N/2)*Unit_width

Corner_uc2.y＝Corner_u2.y+(i-1)*Unit_height。

3.根据权利要求1所述的一种基于图像处理与深度学习融合的光伏组件EL缺陷检测方法，其特征在于，步骤2具体为：

步骤2.0、将步骤1得到的区域标记为Unit_ij，其中i＝0，1，....M-1，j＝0，1，...N-1，根据单块电池片所在区域提取每个电池单元的图像，记为UnitImg_ij；

步骤2.1、统计图像的UnitImg_ij的平均亮度MeanI，若MeanI＜threshold，threshold取50，判断当前电池片为NG，缺陷类型为短路缺陷；

步骤2.2、创建正样本的单块电池片模板UnitTemp，调整当前UnitImg_ij与之对齐，比较差异，得到相似度Similarity，若Similarity＞simithreshold，simithreshold取0.8，判断当前电池片为正样本；

步骤2.3、若根据步骤2.1-2.2，仍无法对类型进行判断的表示，则视为候选负样本，记为CNG.该片电池片的类型需要进行二次缺陷检测。

4.根据权利要求1所述的一种基于图像处理与深度学习融合的光伏组件EL缺陷检测方法，其特征在于，步骤3具体为：

步骤3.0、将每一种缺陷的图像UnitImage，使用LabelImg进行缺陷类型和位置标注，包括：OK、隐裂、破片、虚焊四类，标注信息保存成xml文件，每种缺陷类型标注200组；

步骤3.1、对上述目标检测标注数据集进行训练集和测试集划分，作归一化、缩放图像预处理，使图像符合网络结构，并减小对计算资源的要求，再设置好输入图像的宽高，类型等参数和初始权重文件，进行模型训练直至收敛，或达到设定的epoch次数，保存权重文件；

步骤3.2、载入训练好的faster-rcnn模型权重文件，对当前UnitImg_ij进行缺陷检测。

Images