CN113538503A - 一种基于红外图像的太阳能板缺陷检测方法 - Google Patents

Abstract

本发明提供了一种基于红外图像的太阳能板缺陷检测方法，利用了基于深度学习的背景分割技术去除图像非太阳能板区域的复杂背景干扰，再结合线段检测和角点检测改进了传统的太阳能板目标检测方法，最后结合太阳能板缺陷的先验知识，使用聚类等方法进行局部和全局缺陷检测，实现了鲁棒性和准确率较高的太阳能板缺陷检测。降低了成本，提高了效率，适合大型光伏电站使用，引入了基于深度学习背景分割方法，有效去除了红外图像中背景干扰信息，有益于系统适应不同自然环境中的光伏电站，提高了后续目标识别的准确度和鲁棒性。调整了传统CV方法中线段合并的具体算法，减少了算法依赖的先验知识，降低了目标识别的漏检率和误检率。

Description

一种基于红外图像的太阳能板缺陷检测方法

技术领域

本发明涉及深度学习、计算机视觉领域，具体为一种基于深度学习的背景分割方法，基于CV算法的目标识别方法，基于图像处理和数理统计的缺陷检测方法。

背景技术

太阳能发电过程中，环境恶劣、产品缺陷等因素可能导致光伏组件产生如裂缝和热点等缺陷，进而导致发电量下降，发电功率不稳定等不利后果。所以光伏阵列安装在公用事业规模的光伏电站后，需要进行定期检查。传统检测方法基于人工，主要由操作员通过其他检测工具(如千分尺、放大镜等)进行目测或者测量电流电压，因此大多数产品必须离开产品生产线单个进行测量。由于产品面积大，精度高，人工测量已经完全不能满足检测要求，严重影响了产品的生产效率、增加了生产成本。

为了高效率、高精度地检测太阳能板缺陷，国外研究人员进行了大量的研究。现有解决方法主要分两类，一类是传统CV方法，一类是深度学习方法。例如，Xiang Gao 等设计的基于红外图像的自动太阳能面板识别和缺陷检测系统是传统CV方法的体现。此系统通过车载摄像机获取太阳能板红外图像，再进行太阳能板目标识别和缺陷检测。此系统最大的缺点是在复杂摄影环境下的适应性较差，且需要较高成本的附加设备。Xiaoxia Li等设计的基于深度学习的大型光伏电站模块缺陷分析系统是深度学习方法的体现。虽然该方法准确率较高，但最大的缺点是模型准确率严重依赖采集数据的数量和质量，且其可靠性和鲁棒性缺乏进一步验证。因此，现有太阳能板缺陷检测的方法未能很好地解决平衡鲁棒性和准确率的问题，有待改进。

发明内容

为了克服现有技术的不足，本发明提供一种基于红外图像的太阳能板缺陷检测方法。本发明在获取的红外图像(无人机远程摄像)基础上，利用了基于深度学习的背景分割技术去除图像非太阳能板区域的复杂背景干扰，再结合线段检测和角点检测改进了传统的太阳能板目标检测方法，最后结合太阳能板缺陷的先验知识，使用聚类等方法进行局部和全局缺陷检测，实现了鲁棒性和准确率较高的太阳能板缺陷检测，适合各类大规模光伏电站使用。

本发明解决其技术问题所采用的技术方案整体流程如图1，具体包括以下几个步骤：

S1，基于深度学习的背景分割方法。

利用无人机获取原始红外图像，如果某场景的红外图像数量小于其他场景红外图像数量的1/10，对原始红外图像进行数据处理，利用包括但不限于翻转、旋转和裁剪方法中的一种或几种对原始红外图像进行数据处理，从而扩充数据集；

扩充数据集并数据处理的步骤为：

采用图像编辑软件对红外图像中太阳能板所在区域涂成红色，太阳能板所在区域含太阳能板间缝隙，再将涂成红色的图像处理为二值图像，其中太阳能板区域灰度值为1；其他区域视为背景，灰度值为0，将该二值图像作为深度学习网络的训练标签；

将扩充后的红外图像和训练标签按包括但不限于留出法的任意数据集划分方法划分为训练集、验证集、测试集，使用深度学习框架搭建Segnet深度学习网络，采用深度学习框架自带的训练函数训练背景分割模型，得到训练好的背景分割模型，训练好的模型将红外图像每个像素标注为前景或背景；

S2，结合线段检测和角点检测的太阳能板目标检测；

背景分割模型的输出结果为标签图像，对原始红外图像和标签图像进行如下预处理：

对标签图像进行腐蚀膨胀，在标签图像中给各个太阳能板区域的像素设置一个编号，相同连通块的像素使用相同编号，不同连通块的像素使用不同编号，然后以标签图像中的分类结果为依据，将原始红外图像中背景位置的像素的灰度值设置为0，再对原始红外图像利用高斯模糊的方法进行低通滤波以降低噪声，为了防止太阳能板与背景混淆，利用公式(1)将低通滤波后的图像的灰度值归一化到(lowGray，255)区间，来提高图像对比度：

其中，gray_i，j为归一化后的坐标(i，j)处的灰度值，p_i，j为原图坐标(i，j)处的灰度值， lowGray和highGray为需处理区间的上下阈值，maxGray和minGray为此区间的灰度值极值。

对归一化得到的图像依次做如下处理：

利用Canny边缘检测算法提取归一化图像的边缘信息，利用Harris算法提取归一化图像的角点信息，利用Hough变换算法提取canny边缘检测结果的图像线段信息，根据坐标遵循就近原则将线段和角点分配给各个连通块；

太阳能板的形状为平行四边形，一个阵列内的所有太阳能板的边缘沿横竖两个方向分布，用图像坐标系中与x轴的夹角定义两个方向分别为θ₁和θ₂，作为最能代表边缘整体走向的两个“基准角”供后续检测使用；

对于每个连通块，通过公式(2)遍历θ₁和θ₂，使得总损失Loss(θ₁，θ₂)最小：

其中，θ₁和θ₂为横竖两个方向的基准角，即太阳能阵列的横竖两个边缘方向，Loss为基准角θ₁和θ₂的评估函数，loss_i为第i条线段与基准角的差，n为Hough变换算法提取出的线段的数量，arc_i为第i条线段的倾斜角；

根据基准角θ₁、θ₂和连通块的重心求横竖两个方向的基准线，用一般式 Ax+By+C＝0表示：

其中，(x_c，y_c)为连通块的重心，i＝1，2，θ_i为式(2)求得的基准角θ₁、θ₂；

以线段角度与两个基准角之差的大小关系为依据，将线段分为两组：

其中，class_i为线段的分类编号；

以线段与基准线交点的x坐标由小到大对两组线段分别排序；

对线段进行赋权，权值用来衡量线段贴合边缘的程度，公式如下：

其中，ε表示阶跃函数，阈值maxDis用于衡量角点和线段位置是否足够小，本发明阈值maxDis取20，第i条线段的一般式为a_ix+b_iy+c_i＝0，(x_j，y_j)为第j个角点的坐标，m为该连通块的角点数量，weight_i为第i条线段的权值；

设置合并线段的阈值L_merge为20，将坐标距离在阈值内的一组线段按式(6)加权平均合并为直线：

其中，合并成的直线一般式为Ax+By+C＝0，n_w为每一组需合并的线段的数量；

然后，在同组相交或距离小于阈值L_merge的直线中删除与基准角的角度差绝对值大于15度的直线，再利用两组直线将太阳能板区域划分为网格状，保存每个网格的四个顶点坐标；

S3，基于图像处理和数理统计的缺陷检测；

S3.1，首先利用S2求出的网格顶点坐标，调用python函数库imutils中的 four_point_transform函数，利用透射变换方法将每个网格转换成width*length的矩形区域；

S3.2，全局检测；

对所有太阳能板进行如下全局检测：

μ_i＞μ+3σ (8)

其中，ε表示为阶跃函数，μ、σ为太阳能板阵列的灰度值均值和标准差，μ_i、σ_i为第i块太阳能板的灰度值均值和标准差，maxAvr为最大面板问均值差阈值，maxVar为最大面板灰度值方差阈值；满足式(7)或式(8)或式(9)之一的太阳能板有热模块，向用户反馈第 i块太阳能板的位置信息；

S3.3，局部检测；

与全局检测平行的，遍历整块太阳能板的像素点，对当前处理的像素点坐标(i_now， j_now)进行如下局部检测：

其中，width与透射变换结果一致，a为以每个像素点为中心截取的正方形边长，(x_k，y_k)用于表示从当前像素点向上下左右四个方向移动的单位向量，maxSize_hotpot为热点的最大像素尺寸阈值，maxDiffer为热点与其他部分的最大灰度差阈值，满足式(10) 和式(11)的太阳能板有热点，向用户反馈故障板位置和热点所在位置。

所述步骤S1中，利用包括但不限于翻转、旋转和裁剪方法中的一种或几种对原始红外图像进行数据处理，从而扩充数据集，扩充数据集并数据处理的步骤为：

采用图像编辑软件(如Photoshop)对红外图像中太阳能板所在区域涂成红色，太阳能板所在区域含太阳能板间缝隙，再将涂成红色的图像处理为二值图像，其中太阳能板区域灰度值为1；其他区域视为背景，灰度值为0，将该二值图像作为深度学习网络的训练标签；

将扩充后的红外图像和训练标签按包括但不限于留出法的任意数据集划分方法划分为训练集、验证集、测试集，使用深度学习框架(如TensorFlow)搭建Segnet深度学习网络，如图2所示，采用深度学习框架自带的训练函数训练背景分割模型，得到训练好的背景分割模型，训练好的模型将红外图像每个像素标注为前景或背景。

所述步骤S2中，利用公式(1)将低通滤波后的图像的灰度值归一化到 (lowGray，255)区间，来提高图像对比度：

其中，gray_i，j为归一化后的坐标(i，j)处的灰度值，p_i，j为原图坐标(i，j)处的灰度值， lowGray和highGray为需处理区间的上下阈值，maxGray和minGray为此区间的灰度值极值。

本发明的有益效果在于：

(1)使用无人机进行远程摄影来获取太阳能板红外图像，降低了成本，提高了效率，适合大型光伏电站使用。

(2)引入了基于深度学习的背景分割方法，有效去除了红外图像中背景干扰信息，有益于系统适应不同自然环境中的光伏电站，提高了后续目标识别的准确度和鲁棒性。

(3)调整了传统CV方法中线段合并的具体算法，减少了算法依赖的先验知识，降低了目标识别的漏检率和误检率。

(4)根据实验，在传统CV方法基础上加入了一些新的缺陷判定方法。

附图说明

图1是本发明系统整体流程图。

图2是本发明Segnet网络结构示意图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

S1，基于深度学习的背景分割方法。

利用无人机获取原始红外图像，如果某场景的红外图像数量小于其他场景红外图像数量的1/10，对原始红外图像进行数据处理，从而扩充数据集，用于平衡不同场景下的样本数量，避免出现过拟合；

S2，结合线段检测和角点检测的太阳能板目标检测；

背景分割模型的输出结果为标签图像，对原始红外图像和标签图像进行如下预处理：

对标签图像进行腐蚀膨胀，在标签图像中给各个太阳能板区域的像素设置一个编号，相同连通块的像素使用相同编号，不同连通块的像素使用不同编号，然后以标签图像中的分类结果为依据，将原始红外图像中背景位置的像素的灰度值设置为0，再对原始红外图像利用高斯模糊的方法进行低通滤波以降低噪声，为了防止太阳能板与背景混淆，将低通滤波后的图像的灰度值归一化到区间，来提高图像对比度：

对归一化得到的图像依次做如下处理：

利用Canny边缘检测算法提取归一化图像的边缘信息，利用Harris算法提取归一化图像的角点信息，利用Hough变换算法提取canny边缘检测结果的图像线段信息，根据坐标遵循就近原则将线段和角点分配给各个连通块；

太阳能板的形状为平行四边形，一个阵列内的所有太阳能板的边缘沿横竖两个方向分布，用图像坐标系中与x轴的夹角定义两个方向分别为θ₁和θ₂，作为最能代表边缘整体走向的两个“基准角”供后续检测使用；

对于每个连通块，通过公式(2)遍历θ₁和θ₂，使得总损失Loss(θ₁，θ₂)最小：

其中，θ₁和θ₂为横竖两个方向的基准角，即太阳能阵列的横竖两个边缘方向，Loss为基准角θ₁和θ₂的评估函数，loss_i为第i条线段与基准角的差，n为Hough变换算法提取出的线段的数量，arc_i为第i条线段的倾斜角；

根据基准角θ₁、θ₂和连通块的重心求横竖两个方向的基准线，用一般式Ax+By+C＝0表示：

其中，(x_c，y_c)为连通块的重心，i＝1，2，θ_i为式(2)求得的基准角θ₁、θ₂；

以线段角度与两个基准角之差的大小关系为依据，将线段分为两组：

其中，class_i为线段的分类编号；

以线段与基准线交点的x坐标由小到大对两组线段分别排序；

实验中发现，检出线段的位置和方向波动较大，当一条线段附近检出角点较多，则此线段更贴合太阳能板的边缘；因此用以下方法对线段进行赋权，权值用来衡量线段贴合边缘的程度，公式如下：

其中，ε表示阶跃函数，阈值maxDis用于衡量角点和线段位置是否足够小，本发明阈值maxDis取20，第i条线段的一般式为a_ix+b_iy+c_i＝0，(x_j，y_j)为第j个角点的坐标，m为该连通块的角点数量，weight_i为第i条线段的权值；

设置合并线段的阈值L_merge为20，将坐标距离在阈值内的一组线段按式(6)加权平均合并为直线：

其中，合并成的直线一般式为Ax+By+C＝0，n_w为每一组需合并的线段的数量；

然后，在同组相交或距离小于阈值L_merge的直线中删除与基准角的角度差绝对值大于15度的直线，再利用两组直线将太阳能板区域划分为网格状，保存每个网格的四个顶点坐标；

S3，基于图像处理和数理统计的缺陷检测；

S3.1，首先利用S2求出的网格顶点坐标，调用python函数库imutils中的 four_point_transform函数，利用透射变换方法将每个网格转换成width*length的矩形区域；

S3.2，全局检测；

对所有太阳能板进行如下全局检测：

μ_i＞μ+3σ (8)

其中，ε表示为阶跃函数，μ、σ为太阳能板阵列的灰度值均值和标准差，μ_i、σ_i为第i块太阳能板的灰度值均值和标准差，maxAvr为最大面板间均值差阈值，maxVar为最大面板灰度值方差阈值；满足式(7)或式(8)或式(9)之一的太阳能板有热模块，向用户反馈第 i块太阳能板的位置信息；

S3.3，局部检测；

与全局检测平行的，遍历整块太阳能板的像素点，对当前处理的像素点坐标(i_now， j_now)进行如下局部检测：

其中，width与透射变换结果一致，a为以每个像素点为中心截取的正方形边长，(x_k，y_k)用于表示从当前像素点向上下左右四个方向移动的单位向量，maxSize_hotpot为热点的最大像素尺寸阈值，maxDiffer为热点与其他部分的最大灰度差阈值，满足式(10) 和式(11)的太阳能板有热点，向用户反馈故障板位置和热点所在位置。

以下在具体实施方式中详细叙述了本发明的详细实现方式，其内容足以是任何本领域技术人员了解本发明的技术内容并据以实施。且根据本说明书所揭露的说明书、权利要求及附图，本领域技术人员可轻易地理解本发明相关的目的。

1.使用无人机采集四个不同光伏电站的红外图像共1069张，其中A区144张，B 区65张，C区783张，D区77张，利用图片处理软件得到标签。

2.为扩充数据量且平衡各区的样本数量，将A、B、D进行翻转、旋转操作分别将数据量扩充至4倍，再将A、B、C、D区所有图像裁剪为4张，得到总共9635张红外图像，按照6:2:2的比例划分训练集、验证集、测试集。

3.设置批尺寸batch_size＝32，迭代次数epochs＝100，输入图像尺寸为(480，720)，通过Segnet网络(如图2)训练预测模型，对所有图像进行背景分割。

4.给出目标识别部分各参数如下：

高斯模糊的卷积核为(3.3)；

归一化参数设置为，lowGray＝20和highGray＝235；

Canny边缘检测参数设置为，低阈值threshold1＝50、高阈值threshold2＝150、Sobel 算子的大小为3；

Hough变换参数设置为，minLineLength＝17、maxLineGap＝5、tho＝1、theta＝π/180、 threshold＝15；

Harris角点检测参数设置为，最大角点数目为300、质量水平系数为0.01、最小距离为15；

角点与线段匹配的阈值maxDis＝20；

5.删除离边界距离为0.1倍边长的区域，给定参数如下：

全局检测参数为maxAvr＝20、maxPanel＝4、maxVar＝1000；

局部检测参数为maxSizehotpot＝6，maxDiffer＝20。

Claims (3)

1.一种基于红外图像的太阳能板缺陷检测方法，其特征在于包括下述步骤：

S1，基于深度学习的背景分割方法。

利用无人机获取原始红外图像，如果某场景的红外图像数量小于其他场景红外图像数量的1/10，对原始红外图像进行数据处理，并扩充数据集；

扩充数据集并数据处理的步骤为：

采用图像编辑软件对红外图像中太阳能板所在区域涂成红色，太阳能板所在区域含太阳能板间缝隙，再将涂成红色的图像处理为二值图像，其中太阳能板区域灰度值为1；其他区域视为背景，灰度值为0，将该二值图像作为深度学习网络的训练标签；

将扩充后的红外图像和训练标签按包括但不限于留出法的任意数据集划分方法划分为训练集、验证集、测试集，使用深度学习框架搭建Segnet深度学习网络，采用深度学习框架自带的训练函数训练背景分割模型，得到训练好的背景分割模型，训练好的模型将红外图像每个像素标注为前景或背景；

S2，结合线段检测和角点检测的太阳能板目标检测；

背景分割模型的输出结果为标签图像，对原始红外图像和标签图像进行如下预处理：

对标签图像进行腐蚀膨胀，在标签图像中给各个太阳能板区域的像素设置一个编号，相同连通块的像素使用相同编号，不同连通块的像素使用不同编号，然后以标签图像中的分类结果为依据，将原始红外图像中背景位置的像素的灰度值设置为0，再对原始红外图像利用高斯模糊的方法进行低通滤波以降低噪声，为了防止太阳能板与背景混淆，利用公式(1)将低通滤波后的图像的灰度值归一化到(lowGray，255)区间，来提高图像对比度：

其中，gray_i，j为归一化后的坐标(i，j)处的灰度值，p_i，j为原图坐标(i，j)处的灰度值，lowGray和highGray为需处理区间的上下阈值，maxGray和minGray为此区间的灰度值极值。

对归一化得到的图像依次做如下处理：

利用Canny边缘检测算法提取归一化图像的边缘信息，利用Harris算法提取归一化图像的角点信息，利用Hough变换算法提取canny边缘检测结果的图像线段信息，根据坐标遵循就近原则将线段和角点分配给各个连通块；

太阳能板的形状为平行四边形，一个阵列内的所有太阳能板的边缘沿横竖两个方向分布，用图像坐标系中与x轴的夹角定义两个方向分别为θ₁和θ₂，作为最能代表边缘整体走向的两个“基准角”供后续检测使用；

对于每个连通块，通过公式(2)遍历θ₁和θ₂，使得总损失Loss(θ₁，θ₂)最小：

其中，θ₁和θ₂为横竖两个方向的基准角，即太阳能阵列的横竖两个边缘方向，Loss为基准角θ₁和θ₂的评估函数，loss_i为第i条线段与基准角的差，n为Hough变换算法提取出的线段的数量，arc_i为第i条线段的倾斜角；

根据基准角θ₁、θ₂和连通块的重心求横竖两个方向的基准线，用一般式Ax+By+C＝0表示：

其中，(x_c，y_c)为连通块的重心，i＝1，2，θ_i为式(2)求得的基准角θ₁、θ₂；

以线段角度与两个基准角之差的大小关系为依据，将线段分为两组：

其中，class_i为线段的分类编号；

以线段与基准线交点的x坐标由小到大对两组线段分别排序；

对线段进行赋权，权值用来衡量线段贴合边缘的程度，公式如下：

其中，ε表示阶跃函数，阈值maxDis用于衡量角点和线段位置是否足够小，本发明阈值maxDis取20，第i条线段的一般式为a_ix+b_iy+c_i＝0，(x_j，y_j)为第j个角点的坐标，m为该连通块的角点数量，weight_i为第i条线段的权值；

设置合并线段的阈值L_merge为20，将坐标距离在阈值内的一组线段按式(6)加权平均合并为直线：

其中，合并成的直线一般式为Ax+By+C＝0，n_w为每一组需合并的线段的数量；

然后，在同组相交或距离小于阈值L_merge的直线中删除与基准角的角度差绝对值大于15度的直线，再利用两组直线将太阳能板区域划分为网格状，保存每个网格的四个顶点坐标；

S3，基于图像处理和数理统计的缺陷检测；

S3.1，首先利用S2求出的网格顶点坐标，调用python函数库imutils中的four_point_transform函数，利用透射变换方法将每个网格转换成width*length的矩形区域；

S3.2，全局检测；

对所有太阳能板进行如下全局检测：

μ_i＞μ+3σ (8)

其中，ε表示为阶跃函数，μ、σ为太阳能板阵列的灰度值均值和标准差，μ_i、σ_i为第i块太阳能板的灰度值均值和标准差，maxAvr为最大面板问均值差阈值，maxVar为最大面板灰度值方差阈值；满足式(7)或式(8)或式(9)之一的太阳能板有热模块，向用户反馈第i块太阳能板的位置信息；

S3.3，局部检测；

与全局检测平行的，遍历整块太阳能板的像素点，对当前处理的像素点坐标(i_now，j_now)进行如下局部检测：

其中，width与透射变换结果一致，a为以每个像素点为中心截取的正方形边长，(x_k，y_k)用于表示从当前像素点向上下左右四个方向移动的单位向量，maxSize_hotpot为热点的最大像素尺寸阈值，maxDiffer为热点与其他部分的最大灰度差阈值，满足式(10)和式(11)的太阳能板有热点，向用户反馈故障板位置和热点所在位置。

2.根据权利要求1所述的基于红外图像的太阳能板缺陷检测方法，其特征在于：

所述步骤S1中，利用包括但不限于翻转、旋转和裁剪方法中的一种或几种对原始红外图像进行数据处理，并扩充数据集，扩充数据集并数据处理的步骤为：

采用图像编辑软件对红外图像中太阳能板所在区域涂成红色，太阳能板所在区域含太阳能板间缝隙，再将涂成红色的图像处理为二值图像，其中太阳能板区域灰度值为1；其他区域视为背景，灰度值为0，将该二值图像作为深度学习网络的训练标签；

将扩充后的红外图像和训练标签按包括但不限于留出法的任意数据集划分方法划分为训练集、验证集、测试集，使用深度学习框架搭建Segnet深度学习网络，如图2所示，采用深度学习框架自带的训练函数训练背景分割模型，得到训练好的背景分割模型，训练好的模型将红外图像每个像素标注为前景或背景。

3.根据权利要求1所述的基于红外图像的太阳能板缺陷检测方法，其特征在于：

所述步骤S2中，利用公式(1)将低通滤波后的图像的灰度值归一化到(lowGray，255)区间：

其中，gray_i，j为归一化后的坐标(i，j)处的灰度值，p_i，j为原图坐标(i，j)处的灰度值，lowGray和highGray为需处理区间的上下阈值，maxGray和minGray为此区间的灰度值极值。

Images