CN114037918A - 一种基于无人机巡检和图像处理的光伏热斑检测方法 - Google Patents

Abstract

本发明介绍了一种基于无人机巡检和图像处理的光伏热斑检测方法，即无人机拍摄的红外图像实时图传给地面站，在地面站PC端通过yolov5目标检测算法对热斑进行检测，yolov5目标检测算法相比于yolov4在牺牲了极少的检测精度情况下，轻量化了模型，并提高了检测速度，而且针对数据集中不同尺寸的原始图片可以自适应产生锚定框，提升目标定位的精度。北斗导航系统配合GPS可以迅速确定发生故障的光伏组件并像人员调度中心发出警报，帮助维修人员及专家及时修复受损组件，提高光伏电站的运维效率。

Description

一种基于无人机巡检和图像处理的光伏热斑检测方法

技术领域

本发明涉及目标识别领域，具体涉及一种基于无人机巡检和图像处理的光伏热斑检测方法。

背景技术

在全球气候变暖及化石能源日益枯竭的大背景下，可再生能源开发利用日益受到国际社会的重视，大力发展可再生能源已成为世界各国的共识。各种可再生能源中，太阳能以其清洁、安全、取之不尽、用之不竭等显著优势，已成为发展最快的可再生能源。近年来全球光伏发电产业快速发展，开发利用太阳能对调整能源结构、推进能源生产和消费革命、促进生态文明建设均具有重要意义。

根据国际可再生能源机构(IRENA)数据显示，2010-2019年全球光伏累计装机容量维持稳定上升趋势，2019年为578533MW，较2018年增长20.3％，预计未来一段时间还会继续维持增长趋势。随着大规模光伏电站在全世界范围内的落成，光伏组件的巡检工作量也随之增加，因此科学有效的光伏组件检测方法吸引了国内外学者和企业家的关注。据统计，在光伏电站系统中，电池板的热斑效应是光伏组件最常见的故障之一，这是因为光伏电站往往铺设在荒芜的丘陵，或者水面等复杂环境，水渍，杂草，灰尘，飞禽的粪便等对光伏组件局部区域进行遮挡，进而导致了在一串联支路中被遮挡的光伏组件和正常工作的光伏组件产生电压差而被当作负载消耗其他太阳能电池产生的能量，结果自身发热，产生热斑。对于晶硅太阳能电池，即便是小的遮挡也会引起较大的功率损失，严重时可烧毁组件，降低其使用寿命。在光伏电站大规模建设的今天，‘热斑’检测已经成为亟待解决的问题。

传统光伏组件故障检测方法基本是从两方面入手，一方面，由于故障光伏组件与正常组件间存在电压差，所以可以通过监测各个组件发电时的输出电压和输出功率进行全面排查。但是这种方法存在难以精确定位故障点的问题。另一方面，产生热斑故障的光伏组件作为负载消耗电能会产生局部过热的现象，技术工人携带温度测量仪器，逐一对发热组件进行测量记录。在光伏产业迅速发展的今天，光伏电站铺设面积越来越大，且往往布设在山地，水面，屋顶等复杂环境，面对严寒酷暑，传统人工巡检强度大，风险高，效率低，且不能满足光伏产业故障检测精度的要求。

本发明介绍了一种基于无人机巡检和图像处理的光伏热斑检测方法，基于无人机按规划航线自动巡检光伏电站，并利用无人机携带的红外热成像仪拍得的红外图像进行分析处理进而检测出热斑的工作原理及对发生“热斑效应”故障的光伏板的自动识别。相比于传统的二极管电路检测以及人力巡检，此系统能够节约人力物力，并具有经济性，环保性，符合可持续发展理念。

发明内容

本发明介绍了一种基于无人机巡检和图像处理的光伏热斑检测方法，即将无人机拍摄的红外图像实时图传给地面站，在地面站PC端通过yolov5目标检测算法对热斑进行检测，yolov5目标检测算法相比于yolov4在牺牲了极少的检测精度情况下，轻量化了模型，并提高了检测速度，而且针对数据集中不同尺寸的原始图片可以自适应产生锚定框，提升目标定位的精度。北斗导航系统配合GPS可以迅速确定发生故障的光伏组件并像人员调度中心发出警报，帮助维修人员及专家及时修复受损组件，提高光伏电站的运维效率。

本发明通过以下技术方案来实现：一种基于无人机巡检及热红外图像处理的光伏电站“热斑效应”检测方法，首先采数据集，在世景光伏电站采集光伏组件的红外热成像图作为训练样本，具体采集步骤为：第一，使用大疆经纬M300四旋翼无人机在合适的条件下起飞按照规划的航线自动巡检。第二，人为操作遥控器地面站，控制无人机搭载的ZenmuseH20T相机，调整云台俯仰的旋转角度和左右的旋转角度以获得大小合适，清晰的光伏组件热红外图像。第三，利用大疆无人机二次开发，调用大疆开源的mobile sdk开发包在Android studio的java环境里编写图像实时回传方法的接口，利用实时回传的图片完成“热斑”的实时监测。下一步就是热斑的检测方法，本文选用yolov5目标检测算法，在自适应锚定框算法上进行进一步改进以提高检测性能。最后根据得到的检测结果确定故障点，向指挥调度中心发出警报，并利用大疆无人机的定位系统给出故障点的精准位置，帮助抢险人员快速到达现场，完成光伏组件的检修任务。

一种基于无人机巡检和图像处理的光伏热斑检测方法包括以下步骤：

S1、在满足数据采集条件和无人机起飞条件的情况下，进行无人机数据采集工作，按照确定起飞高度，规划航迹路线，确定拍照频率的步骤采集yolov5目标检测网络训练和测试所需样本，并且采集过程中人为监督拍摄质量进行第一轮筛选，及时剔除低质量的噪声样本。

S2、对第一步采集好的样本进行标注，在软件labelme中将热斑区域用矩形框圈出，并给定其标签，保存之后生成每张图片对应的jason文件，jason文件中保存了框选信息和目标标签值。为了适用于Yolo模型训练网络，将jason文件转换为xml文件，并将所有原始图片和xml文件分别放入两个文件夹中用于下一步训练。

S3、标注好自己的数据集用于训练深度学习网络，训练之前要了解Yolov5框架的一些细节，作为经典的one-stage目标检测网络模型其相对于Yolov3的改进基本为以下四点：(1)输入端：Mosaic数据增强、自适应锚框计算(2)Backbone：Focus结构，CSP结构(3)Neck：FPN+PAN结构(4)Prediction：GIOU_Loss，据此搭建Yolov5网络模型，将数据集输入网络，进行误差的反向传播，迭代固定的epoch后可以根据损失较小的权重文件进行初步预测，并根据预测结果调整学习率，优化器参数，激活函数leaky ReLu的参数等一系列超参数的值，继续训练直到达到预期的检测精度要求。

S4、完成Yolov5网络模型训练后，利用生成的权重文件进行预测，检验训练效果。

S5、达到热斑检测精度要求后保存权重文件，将工程部署到地面站pc端，无人机二次开发调用mobile sdk包编写实时图传接口，至此无人机自动巡检的光伏组件热斑实时检测系统得以实现。

本发明提出的一种基于无人机巡检和图像处理的光伏热斑检测方法具有以下收益：

1、相比于传统的二极管电路检测以及人力巡检，此系统能够节约人力物力，并具有经济性，环保性，符合可持续发展理念。

2、可以迅速确定发生故障的光伏组件并及向人员调度中心发出警报，帮助维修人员及专家及时修复受损组件，提高光伏电站的运维效率。

3、利用性能优异的yolov5目标检测算法可以避免漏检，误检操作的发生，提高了光伏组件“热斑”的检测效率和准确率。

附图说明

图1：Yolov5网络模型结构图；

图2：本发明方法的实现流程图；

具体实施方式

结合附图，对本发明方法的技术方案进行进一步地具体说明。一种基于无人机巡检及热红外图像处理的光伏电站“热斑效应”检测方法的具体工作流程如下所示：

首先利用大疆经纬300无人机搭载的zenmuseH20T相机采集数据。在遥控器地面站上规划其飞行航线，设定高度，以及拍摄频率，并且采用人为监督的方式进行第一轮样本筛选剔除噪声样本来提高数据集质量，在labelme上用矩形框标注热斑所在区域，得到数据集后，搭建深度学习目标检测框架yolov5，并从锚定框聚类方法，激活函数，损失函数，图像预处理方法等方面进行改进，训练过程中关注每个epoch总损失和验证损失的变化，根据损失下降趋势来调整相关超参数如学习率，迭代次数epoch，batch size等等，下一步保存总损失最小的权重文件用于预测，根据预测结果选择是否需要重新训练网络，或在其他平台上进行迁移学习。最后将得到的模型部署到二次开发的PC端地面站上用于巡检过程中热斑的实时检测。

Yolo系列网络是典型的one-stage网络，是基于深度学习的归一化方法，yolov5网络模型相较于yolov4具有更快的检测速度和非常轻量级的模型大小，同时在准确度方面又与yolov4基准相当，所以很适用于算力和内存不足的嵌入式设备，以及对检测速度要求较高的实时检测系统。一种基于无人机巡检和图像处理的光伏热斑检测方法具体包括以下步骤：

S1、利用红外热像仪采集光伏组件图像，将热斑区域用矩形框标注出来，标注好的数据集用于下一步的网络参数训练。

S2、在数据集输入网络之前进行预处理，yolov5输入端采用mosaic数据增强，这种数据增强方式简单来说就是把4张图片，通过随机缩放、随机裁减、随机排布的方式进行拼接。

优点是丰富数据集：

1、随机使用4张图片，随机缩放，再随机分布进行拼接，大大丰富了检测数据集，特别是随机缩放增加了很多小目标，让网络的鲁棒性更好。

2、减少GPU：直接计算4张图片的数据，使得Mini-batch大小并不需要很大，一个GPU就可以达到比较好的效果。

S3、在Yolo算法中，针对不同的数据集，都会有初始设定长宽的锚框。在网络训练中，网络在初始锚框的基础上输出预测框，进而和真实框groundtruth进行比对，计算两者差距，进行误差反向传播，从而更新模型的参数。对于边界框的回归问题我们可以采用kmeans++算法来代替kmeans聚类以得到更好的聚类效果。

Kmeans方法因为简单高效在机器学习领域得到了很多应用，但是随机选择几个点作为初始的聚类中心往往会造成聚类效果的不理想。为了解决kmeans算法初始化的问题，本发明使用改进的K-Means算法kmeans++算法，kmeans++算法主要是为了能够在聚类中心的选择过程中选择较优的聚类中心。kmeans++算法在聚类中心的初始化过程中的基本原则是使得初始的聚类中心之间的相互距离尽可能远，这样可以避免出现上述的问题。K-Means++算法的初始化过程如下所示：

1在数据集中随机选择一个样本点作为第一个初始化的聚类中心

2选择出其余的聚类中心：

2.1计算样本中的每一个样本点与已经初始化的聚类中心之间的距离，并选择其中最短的距离，记为d_i。

2.2以概率选择距离最大的样本作为新的聚类中心，重复上述过程，直到k个聚类中心都被确定。

3对k个初始化的聚类中心，利用K-Means算法计算最终的聚类中心。

S4、损失函数的确定。Yolov5原论文中采用GIOU_Loss做Bounding box的损失函数。其表达式为：

Ac为groundtruth与预测框两者的最小外接矩形，U则为两者求并集。

但是DIoU要比GIou更加符合目标框回归的机制，将目标与anchor之间的距离，重叠率以及尺度都考虑进去，使得目标框回归变得更加稳定，不会像IoU和GIoU一样出现训练过程中发散等问题，其表达式为：

其中，b，b^gt分别代表了预测框和真实框的中心点，且ρ代表的是计算两个中心点间的欧式距离。c代表的是能够同时包含预测框和真实框的最小闭包区域的对角线距离。DIoUloss具有以下优势：

1.DIoU loss可以直接最小化两个目标框的距离，因此比GIoU loss收敛快得多。

2.对于包含两个框在水平方向和垂直方向上这种情况，DIoU损失可以使回归非常快，而GIoU损失几乎退化为IoU损失。

3.DIoU还可以替换普通的IoU评价策略，应用于非极大值抑制中，使得非极大值抑制得到的结果更加合理和有效。

再将Boundingbox的长宽比考虑到计算中去，就得到了本发明要采用的损失函数CIoU LosS，完整的CIoU的表达式为：

其中α是权重函数，而v用来度量长宽比的相似性，定义为：

上述公式中，w^gt表示真实框的宽，h^gt表示真实框的高，w表示预测框的宽，h表示预测框的高，b^gt表示真实框的中心点坐标，b表示预测框的中心点坐标，c为预测框和真实框的最小包围框的对角线长度。

最后，CloU loss的梯度类似于DIoU loss,但还要考虑v的梯度。在长宽比在[0,1]的情况下，

的值通常很小，会导致梯度爆炸，因此在实现时将替换成1。

S5、激活函数的选取。本发明采用近两年最新的研究成果Mish激活函数，相较于应用较广的Leaky ReLu激活函数Mish激活函数在小于零部分更加平滑，大于零部分则维持接近线性增长，这样既允许更好的信息深入神经网络又便于误差反向传播，梯度下降时的参数计算，使得骨干网络部分得到更好的准确性和泛化能力。Mish激活函数表达式为：

Mish＝x*tanh(ln(1+e^x))

S6、按照步骤搭建好在原论文基础上改进的网络结构，将标注好的红外图像送入网络进行训练，达到准确率要求后保存权重文件，用于热斑检测系统对其他样本进行预测。

Claims (1)

1.一种基于无人机巡检和图像处理的光伏热斑检测方法，主要特征包括：

S1、利用红外热像仪采集光伏组件图像，将热斑区域用矩形框标注出来，标注好的数据集用于下一步的网络参数训练；

S2、在数据集输入网络之前进行预处理，yolov5输入端采用mosaic数据增强，这种数据增强方式简单来说就是把4张图片，通过随机缩放、随机裁减、随机排布的方式进行拼接；优点是丰富数据集：

(1)随机使用4张图片，随机缩放，再随机分布进行拼接，大大丰富了检测数据集，特别是随机缩放增加了很多小目标，让网络的鲁棒性更好；

(2)减少GPU：直接计算4张图片的数据，使得Mini-batch大小并不需要很大，一个GPU就可以达到比较好的效果；

S3、在Yolo算法中，针对不同的数据集，都会有初始设定长宽的锚框；在网络训练中，网络在初始锚框的基础上输出预测框，进而和真实框groundtruth进行比对，计算两者差距，进行误差反向传播，从而更新模型的参数；对于边界框的回归问题我们可以采用kmeans++算法来代替kmeans聚类以得到更好的聚类效果；

Kmeans方法因为简单高效在机器学习领域得到了很多应用，但是随机选择几个点作为初始的聚类中心往往会造成聚类效果的不理想；为了解决kmeans算法初始化的问题，本发明使用改进的K-Means算法kmeans++算法，kmeans++算法主要是为了能够在聚类中心的选择过程中选择较优的聚类中心；kmeans++算法在聚类中心的初始化过程中的基本原则是使得初始的聚类中心之间的相互距离尽可能远，这样可以避免出现上述的问题；

K-Means++算法的初始化过程为：

(1)在数据集中随机选择一个样本点作为第一个初始化的聚类中心；

(2)选择出其余的聚类中心；

(2.1)计算样本中的每一个样本点与已经初始化的聚类中心之间的距离，并选择其中最短的距离，记为d_i；

(2.2)以概率选择距离最大的样本作为新的聚类中心，重复上述过程，直到k个聚类中心都被确定；

(3)对k个初始化的聚类中心，利用K-Means算法计算最终的聚类中心；

S4、损失函数的确定；Yolov5原论文中采用GIOU_Loss做Bounding box的损失函数；其表达式为：

Ac为groundtruth与预测框两者的最小外接矩形，U则为两者求并集；

但是DIoU要比GIou更加符合目标框回归的机制，将目标与anchor之间的距离，重叠率以及尺度都考虑进去，使得目标框回归变得更加稳定，不会像IoU和GIoU一样出现训练过程中发散等问题，其表达式为：

其中，b，b^gt分别代表了预测框和真实框的中心点，且ρ代表的是计算两个中心点间的欧式距离；c代表的是能够同时包含预测框和真实框的最小闭包区域的对角线距离；DIoUloss具有以下优势：

(1)DIoU loss可以直接最小化两个目标框的距离，因此比GIoU loss收敛快得多；

(2)对于包含两个框在水平方向和垂直方向上这种情况，DIoU损失可以使回归非常快，而GIoU损失几乎退化为IoU损失；

(3)DIoU还可以替换普通的IoU评价策略，应用于非极大值抑制中，使得非极大值抑制得到的结果更加合理和有效；

再将Boundingbox的长宽比考虑到计算中去，就得到了本发明要采用的损失函数CIoULosS，完整的CIoU的表达式为：

其中α是权重函数，而v用来度量长宽比的相似性，定义为：

上述公式中，w^gt表示真实框的宽，h^gt表示真实框的高，w表示预测框的宽，h表示预测框的高，b^gt表示真实框的中心点坐标，b表示预测框的中心点坐标，c为预测框和真实框的最小包围框的对角线长度；

最后，CloU loss的梯度类似于DIoU loss,但还要考虑v的梯度；在长宽比在[0,1]的情况下，

的值通常很小，会导致梯度爆炸，因此在实现时将替换成1；

S5、激活函数的选取；本发明采用近两年最新的研究成果Mish激活函数，相较于应用较广的Leaky ReLu激活函数Mish激活函数在小于零部分更加平滑，大于零部分则维持接近线性增长，这样既允许更好的信息深入神经网络又便于误差反向传播，梯度下降时的参数计算，使得骨干网络部分得到更好的准确性和泛化能力；Mish激活函数表达式为：

Mish＝x*tanh(ln(1+e^x))

S6、按照步骤搭建好在原论文基础上改进的网络结构，将标注好的红外图像送入网络进行训练，达到准确率要求后保存权重文件，用于热斑检测系统对其他样本进行预测。

Images