CN114612406A - 一种基于可见光和红外视觉的光伏板缺陷检测方法 - Google Patents

Abstract

本发明公开了一种基于可见光和红外视觉的光伏板缺陷检测方法，包括步骤：通过可见光相机和红外相机分别获取光伏板图像；基于可见光光伏板图像，通过YOLOv3深度学习网络模型进行表面污渍检测；基于红外光伏板图像，通过自适应最小阈值分割算法进行光伏板热斑效应区域的检测。本发明同时基于可见光图像和红外图像，对光伏板表面的污渍和热斑缺陷进行检测，为后续光伏清洗机器人导航至缺陷处进行清洗或上报提供了基础。

Description

一种基于可见光和红外视觉的光伏板缺陷检测方法

技术领域

本发明涉及光伏板缺陷检测方法，尤其涉及一种基于可见光和红外视觉的光伏板缺陷检测方法。

背景技术

我国地域广阔，有极其丰富的太阳能资源可被开发利用，全国各地分布有大量的光伏电场，但是光伏电场是直接裸晒在自然环境中的，光伏板长时间使用后，表面玻璃会积累大量灰尘，影响光伏面板的透光性。此外，由于植物叶片、鸟类昆虫排泄物等对光伏面板局部的遮盖，易导致光伏面板因“热斑效应”造成局部温度过高而损坏。因此，光伏板的清洁和维护成为光伏发电行业十分重要的一个环节。

目前光伏电站的热斑检测工作主要面临两方面的难题：一方面，由于光伏电站占地面积较大，定期对光伏阵列进行热斑检测将耗费大量的人力、物力，从而明显增加光伏电站的运维成本；另一方面，传统的热斑检测工作主要通过人工高举红外热像仪或借助升降车逐点排查的方式完成，检测效率低、危险系数高和准确率不高。因此，设计一种高准确率、高效的热斑检测方法具有重要实际意义。

发明202010298498.X公开了一种光伏板热斑检测方法，构建实验平台，根据实验数据、实验图像、实测数据和实测图像来检测光伏板是否存在热斑，但该发明侧重于检测在脏污程度不同的情况下的光伏板存在热斑情况，在实际应用中不具有很大的价值。发明202010740350.7公开了一种光伏板热斑定位方法及系统，对光伏板红外图像进行处理，判断光伏板的各个网格红外图像是否包含热斑，该发明采用的是无人机加相机拍摄图像的技术，运维成本高且图像清晰度不高、干扰多，所以不利于后续机器人的清洗和上报。发明202011605219.6公开了一种光伏板热斑检测方法，包括数据采集装置、检测装置、清洗机构、控制台等，通过单独采集的光伏板温度和热成像图对比来检测热斑是否存在，该发明主要针对通过红外图像检测故障，而未结合可见光图像信息，在污渍定位方面存在局限性。

发明内容

针对现有发明综合性不强、应用局限性等不足，本发明的目的在于提供一种基于视觉的光伏板缺陷检测方法，能够有效地检测光伏板表面污渍和热斑效应区域等缺陷。

实现本发明目的的技术解决方案为：通过安装在光伏清洗机器人的可见光和红外相机，同时对光伏板图像进行获取，并利用本专利设计的算法实现表面污渍和内部热斑效应区域的检测。可见光图像的检测基于改进YOLOv3深度学习算法实现，红外图像的检测则通过设计自适应最小阈值分割算法，实现光伏板热斑效应区域的检测。

可见光图像的检测基于改进YOLOv3深度学习算法实现，包括以下主要步骤：

S1、制备光伏板缺陷图像训练数据集并对缺陷点进行标注。若原始图像数量不足，可使用翻转、旋转、灰度化等方法进行扩充。然后使用LabelImg软件对图片中的目标用方框，将标签命名为“stain”。

S2、对YOLOv3深度学习网络模型进行改进，具体操作步骤如下：

(1)基于自适应学习率方法配置YOLOv3网络学习率，即开始训练时前m轮设置较高的学习率，当训练开始(m+2k)轮之后，每k轮计算一次损失函数；再比较当前轮数的前2k轮到前k轮和前k轮到当前轮的损失函数平均值，此时对学习率进行自动调整。其中，k指对损失函数平均值计算k轮，m指前m轮不改变学习率。

(2)YOLOv3默认锚框尺寸是在COCO数据集上计算得出，考虑到光伏板缺陷面积较小，因此，使用改进K-means聚类算法计算生成适配本数据集的锚框尺寸。即为了避免锚框尺寸产生的误差，把传统K-means聚类算法中使用的欧氏距离改为自定义距离d(box,centroid)＝1-IoU(box,centroid)，以提高检测结果的准确率。式中，box是锚框，centroid是聚类中心，d(box,centroid)为锚框边框到聚类中心的距离，IoU为锚框和聚类中心的交并比，也就是预测边框的区域和实际目标的区域重叠的部分再除以这两个区域集合的部分得到的结果。

(3)将SENet(Squeeze-and-Excitation Networks)结构嵌入到YOLOv3主干特征提取网络DarkNet-53的Residual模块中，得到SE-Residual残差块，用SE-Residual替换原有的Residual模块。此外，在用于特征融合的三个主干层输出位置，分别添加SE注意力模块进一步获取更丰富的目标特征。

S3、加载预训练模型，从.cfg文件中解析出路径，同时加载预训练权重，然后开始进行迭代训练。训练需要调整图像的尺寸大小，在此设置图像大小为416×416。迭代完指定次数的epoch后，便将训练好的模型保存下来。

S4、利用训练好的模型进行检测，加载训练好的模型，把需要检测的图片输入给改进后的YOLOv3网络，即可获得多个检测框；再使用非极大值抑制的方法来筛选框，可得到置信度最高的边框作为最终检测目标输出。

红外图像的检测则通过设计自适应最小阈值分割算法，实现光伏板热斑效应区域的检测，具体包括以下步骤：

S1、对输入图像进行预处理，基于改进的直方图非均匀拉伸方法，以提高红外图像的对比度；再进行中值滤波，以提高图像信噪比。

S2、对预处理后的图像进行基于阈值的图像分割，提出一种改进的自适应最小阈值分割算法，即为了调整背景和目标间的平衡关系，在自适应最小阈值分割算法中引入平衡系数α，能够有效地分割出热斑。

本发明与现有技术相比，其显著效果为：

(1)将普通相机模块和红外相机模块有机结合，分工明确，能够有效地检测光伏板表面的污渍、破损和内部不易用肉眼察觉的故障；

(2)本发明适用于实时检测的情况，发现缺陷之后，清洗机器人能够根据缺陷所在位置即时地行进至该处进行清洗或上报；

(3)本发明提供的改进算法检测效率和准确率都比较高，能够适应各种环境下的检测。

附图说明

图1为本发明用深度学习方法检测缺陷的流程图。

图2为本发明深度学习所用网络结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明中的算法进行清楚、详细地描述。

本实施例提出的一种基于可见光和红外视觉的光伏板缺陷检测方法，包括步骤：通过安装在光伏清洗机器人的可见光和红外相机，同时对光伏板图像进行获取，并利用本专利设计的算法实现表面污渍和内部热斑效应区域的检测。可见光图像的检测基于改进YOLOv3深度学习算法实现，红外图像的检测则通过设计自适应最小阈值分割算法，实现光伏板热斑效应区域的检测。

可见光图像的检测基于改进YOLOv3深度学习算法实现，如附图1所示，包括以下主要步骤：

S1、制备光伏板缺陷图像训练数据集并对缺陷位置进行标注。

所述步骤S1的具体操作如下：

(1)由于获取到的图片较少，若进行神经网络训练，很容易发生过拟合现象，所以对其进行数据增强，从而来提高模型的泛化能力以及鲁棒性，在此使用翻转，旋转，将图片灰度化等方法进行数据集的扩充，最终得到1420张图像。

(2)使用LabelImg软件对图片进行标注，使用方框将需要检测的目标标注出来，将标签命名为“stain”，标注后的文件为.xml格式，其中包含图片的文件名，文件路径，图像尺寸，目标的标注名称以及标注框的坐标(以图片左上角为坐标原点)等信息。

(3)进行数据集的划分，训练集和测试集的比例为8∶2，图片的划分采用随机生成，并将图片路径记录下来，分别保存在train.txt和test.txt文件中，以便后续模型训练时读取路径加载图片。

S2、对YOLOv3深度学习网络模型进行改进。

所述步骤S2的具体操作如下：

(1)使用一种自适应学习率方法配置YOLOv3网络学习率。开始训练前m轮时设置较高的学习率，当训练开始(m+2k)轮之后，每k轮计算一次损失函数，再比较当前轮数的前2k轮到前k轮和前k轮到当前轮的损失函数平均值，此时对学习率进行自动调整，其中，k指对损失函数平均值计算k轮，m指前m轮不改变学习率。当损失函数修正太多且损失函数值变大时，需要通过阻尼因子来降低学习率，反之，当损失函数值变小时，需要通过增量因子来提高学习率，自适应学习率方法加速网络训练时的收敛情况，使更快能够达到需要的目标。

(2)YOLOv3默认锚框尺寸是在COCO数据集上计算得出，考虑到光伏板缺陷面积较小，因此，使用改进K-means聚类算法计算生成适配本数据集的锚框尺寸。即为了避免锚框尺寸产生的误差，把传统K-means聚类算法中使用的欧氏距离改为自定义距离d(box,centroid)＝1-IoU(box,centroid)，使得锚框和真实框之间交并比更大，距离更近，以提高检测结果的准确率，式中，box是锚框，centroid是聚类中心，d(box,centroid)为锚框边框到聚类中心的距离，IoU为锚框和聚类中心的交并比，也就是预测边框的区域和实际目标的区域重叠的部分再除以这两个区域集合的部分得到的结果。经过改进的锚框聚类算法过程如下：

(I)对于原始训练集，深度学习网络会生成一个文件包括位置和类别，其中每行都包含相当于原图真实框的坐标；

(Ⅱ)给定k个聚类中心(W_j,H_j),j∈{1,2,…,k}，其中，W_j、H_j分别是锚框的宽和高；

(Ⅲ)计算每个边框到聚类中心点的距离d，在计算过程中，要使每个边框中心与聚类中心重合，并把边框分配给距离最近的聚类中心；

(IV)重新计算每个簇的聚类中心，也就是每个簇中所有边框的高和宽的平均值；

(Ⅴ)重复第(Ⅲ)、(IV)步，直到聚类中心的值几乎不变。

(3)根据附图2，将SENet(Squeeze-and-Excitation Networks)结构嵌入到YOLOv3主干特征提取网络DarkNet-53的Residual模块中，得到SE-Residual残差块，用SE-Residual替换原有的Residual模块，加大特征提取网络的全局感受野，增强特征提取能力。此外，在用于特征融合的三个主干层输出位置，分别添加SE注意力模块进一步获取更丰富的目标特征。

S3、开始训练改进后的YOLOv3模型。

所述步骤S3的具体操作如下：

(1)加载预训练模型，从.cfg文件中解析出路径，包括训练路径、验证路径、训练类别、各层网络，同时加载预训练权重。

(2)开始进行迭代训练，训练需要调整图像的尺寸大小，在此设置图像大小为416×416。迭代首先需要从一个批次中获取图片，从标签中知道对应图片归一化后的标注数据，然后输入到模型中进行检测。

(3)计算loss(损失)值，第一部分是边界框loss，第二部分是置信度loss，第三部分是类别loss，三部分相加才是真实loss值，计算出loss值之和，即能进行反向传播、梯度优化。

(4)迭代完指定次数的epoch后，将训练好的模型保存下来。

S4、利用训练好的模型进行检测。

所述步骤S4的具体操作如下：

(1)设置好初始参数，如权重文件路径、置信度阈值、图片尺寸等。

(2)加载训练好的模型，把需要检测的图片输入给改进的YOLOv3网络，以获得多个检测框。

(3)使用非极大值抑制的方法来筛选框。每个边框有一个置信度得分，当不使用非极大值抑制的时候，就会出现多个候选框，把这些边框根据置信度得分进行排序，选择置信度得分最高的边框作为最终候选输出。

(4)计算出所有边框的面积以及置信度最高的边框和其它候选框的IoU值，去掉IoU值大于阈值的边框，最后输出留下来的边框，就是检测目标。

对于红外相机拍摄的红外图像，热斑区域的亮度较高，因此可采用阈值分割予以检测，主要步骤如下：

S1、针对红外图像对比度较低的特点，本发明提出一种直方图非均匀拉伸的方法予以解决。设图像的灰度值范围为[m₀～m_n]，对应的概率分布为

那么直方图和灰度值的积分面积是：

上式中n是把一幅图像的灰度值分成n等份(一般n取255)，l指两灰度级间距离，把灰度值轴的n等份拉伸为k(k>n)不等份，即灰度值范围由[m₀～m_n]改成[g₀～g_k]，区间[m_i,m_i+1]也要重新划分。设区间[m_i,m_i+1]分成k_i个子区间，[m_i,m_i+1]重新划分时应使每个小区间的面积S相等，那么：

在灰度值轴上非均匀插值之后，把区间[g₀,g_k]均匀化，即k不等份转化为了k等份，波峰处的拉伸比波谷处大很多，若设拉伸后的灰度值为m_i′，则：

S2、对图像进行中值滤波以增大图像信噪比，由于光伏板红外图像的噪声主要包含椒盐噪声和高斯噪声，中值滤波效果较好。

S3、将S2得到的图像进行基于阈值的图像分割，即能检测出热斑，本发明在自适应最小阈值分割算法上引入平衡系数α，能够有效地分割出热斑，具体方法如下：假设有一幅大小为M×N，灰度级为L的灰度图，其中灰度值为i的有n_i个像素点，总共包含n个像素，用P_i表示灰度值为i的像素点出现的概率。P₀和P₁分别是背景C₀和目标C₁各自分布的先验概率，假设C₀和C₁的各自分布P(i|j)均服从均值为μ_j、方差为

的正态分布，基于最小分类误差思想设计目标函数J(t)，并在其中引入平衡系数α，以调整背景和目标间的平衡关系：

本发明中设置α值为0.25，以减小负样本即背景的权重，最佳阈值t^*在J′(t)取最小值时获得,即：

根据此阈值可以把光伏板缺陷红外图像上的热斑分割出来。

以上所述仅为本发明的优选实施例，并不用于限制本发明，显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于可见光和红外视觉的光伏板缺陷检测方法，其特征在于，包括步骤：

通过可见光相机和红外相机分别获取光伏板图像；

基于可见光光伏板图像，通过YOLOv3深度学习网络模型进行表面污渍检测；

基于红外光伏板图像，通过自适应最小阈值分割算法进行光伏板热斑效应区域的检测。

2.根据权利要求1所述的一种基于可见光和红外视觉的光伏板缺陷检测方法，其特征在于，所述YOLOv3深度学习网络模型具体包括：

基于自适应学习率方法配置YOLOv3深度学习网络模型的学习率；

采用K-means聚类算法计算生成适配数据集的锚框尺寸，所述K-means聚类算法采用自定义距离d(box,centroid)＝1-IoU(box,centroid)，式中，box是锚框，centroid是聚类中心，d(box,centroid)为锚框边框到聚类中心的距离，IoU为锚框和聚类中心的交并比；

YOLOv3深度学习网络模型的主干特征提取网络采用SE-Residual残差块，YOLOv3深度学习网络模型用于特征融合的三个主干层输出位置，分别添加SE注意力模块。

3.根据权利要求2所述的一种基于可见光和红外视觉的光伏板缺陷检测方法，其特征在于，所述采用K-means聚类算法计算生成适配数据集的锚框尺寸具体为：

给定k个聚类中心(W_j,H_j),j∈{1,2,…,k}，其中，W_j、H_j分别是第j个锚框的宽和高；

计算每个锚框边框到聚类中心点的距离d，在计算过程中，每个边框中心与聚类中心重合，并把锚框边框分配至距离最近的聚类中心；

重新计算每个簇的聚类中心，重复上述步骤，直到聚类中心的值收敛，获取数据集的锚框尺寸。

4.根据权利要求2所述的一种基于可见光和红外视觉的光伏板缺陷检测方法，其特征在于，所述YOLOv3深度学习网络模型的训练方法包括步骤：

获取光伏板缺陷图像训练数据集并对缺陷点进行标注，若训练数据集原始图像数量不足，采用翻转、旋转及灰度化方法进行扩充，然后使用LabelImg软件对图片中的目标用方框标注，将标注标签命名为stain；

加载预训练YOLOv3深度学习网络模型，从.cfg文件中解析出路径，包括训练路径、验证路径、训练类别和各层网络，同时加载预训练权重；

通过训练数据集对预训练YOLOv3深度学习网络模型迭代训练，训练时需要调整图像的尺寸大小，迭代时首先从一个批次中获取图片，从标签中获取对应图片归一化后的标注数据，然后输入到模型中进行训练；

计算边界框损失值、置信度损失值、类别损失值和真实损失值，求取损失值之和，进行反向传播和梯度优化；

迭代完成，获取收敛的YOLOv3深度学习网络模型。

5.根据权利要求4所述的一种基于可见光和红外视觉的光伏板缺陷检测方法，其特征在于，所述基于自适应学习率方法配置YOLOv3深度学习网络模型的学习率具体为：当YOLOv3深度学习网络模型训练开始m+2k轮之后，每k轮计算一次损失函数，再比较当前轮数的前2k轮到前k轮和前k轮到当前轮的损失函数平均值，此时对学习率进行自动调整，当损失函数值变大时，通过阻尼因子降低学习率，反之，当损失函数值变小时，通过增量因子提高学习率，其中，k指对损失函数平均值计算k轮，m指前m轮不改变学习率。

6.根据权利要求2所述的一种基于可见光和红外视觉的光伏板缺陷检测方法，其特征在于，所述通过YOLOv3深度学习网络模型进行表面污渍检测具体包括：

设置初始参数；

把采集的可见光光伏板图像输入至YOLOv3深度学习网络模型，获得多个检测框；

采用非极大值抑制的方法筛选检测框；

计算出所有边框的面积以及置信度最高的边框和其它候选框的IoU值，IoU值小于阈值的边框即表面污渍检测目标。

7.根据权利要求2所述的一种基于可见光和红外视觉的光伏板缺陷检测方法，其特征在于，通过自适应最小阈值分割算法进行光伏板热斑效应区域的检测具体包括：

S1、将一幅红外光伏板图像的灰度值分成n等份，设图像的灰度值范围为[m₀～m_n]，对应的概率分布为

确定直方图和灰度值的积分面积为：

式中，l指两灰度级间距离；

把灰度值轴的n等份拉伸为k不等份，k>n，即灰度值范围由[m₀～m_n]改成[g₀～g_k]，区间[m_i,m_i+1]重新划分，设区间[m_i,m_i+1]分成k_i个子区间，[m_i,m_i+1]重新划分时每个小区间的面积S相等，则：

若设拉伸后的灰度值为m_i′，则：

S2、对步骤S1处理后的红外光伏板图像进行中值滤波；

S3、在自适应最小阈值分割算法中引入平衡系数α将S2得到的图像进行分割，检测出热斑。

8.根据权利要求7所述的一种基于可见光和红外视觉的光伏板缺陷检测方法，其特征在于，所述n等份为255等份。

9.根据权利要求7所述的一种基于可见光和红外视觉的光伏板缺陷检测方法，其特征在于，所述在自适应最小阈值分割算法中引入平衡系数α将S2得到的图像进行分割，检测出热斑具体包括：

假设有一幅大小为M×N，灰度级为L的灰度图，其中灰度值为i的有n_i个像素点，总共包含n个像素，用P_i表示灰度值为i的像素点出现的概率，P₀和P₁分别是背景C₀和目标C₁各自分布的先验概率，假设C₀和C₁的各自分布P(i|j)均服从均值为μ_j、方差为

的正态分布，基于最小分类误差思想确定目标函数J(t)，并在其中引入平衡系数α，目标函数J(t)为：

阈值t^*在J′(t)取最小值时确定,即：

根据阈值t^*将图像进行分割，检测出热斑。

10.根据权利要求9所述的一种基于可见光和红外视觉的光伏板缺陷检测方法，其特征在于，所述平衡系数α值为0.25。

Images