CN115620084A - 一种基于无人机智能巡检诊断光伏组件故障的方法 - Google Patents

一种基于无人机智能巡检诊断光伏组件故障的方法 Download PDF

Info

Publication number
CN115620084A
CN115620084A CN202211215205.2A CN202211215205A CN115620084A CN 115620084 A CN115620084 A CN 115620084A CN 202211215205 A CN202211215205 A CN 202211215205A CN 115620084 A CN115620084 A CN 115620084A
Authority
CN
China
Prior art keywords
image
aerial vehicle
unmanned aerial
photovoltaic module
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211215205.2A
Other languages
English (en)
Inventor
王海峰
裴刘生
李光辉
吴安
李佳伟
陈顺元
赵国峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Xianlin Energy Technology Co ltd
Original Assignee
Xi'an Xianlin Energy Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Xianlin Energy Technology Co ltd filed Critical Xi'an Xianlin Energy Technology Co ltd
Priority to CN202211215205.2A priority Critical patent/CN115620084A/zh
Publication of CN115620084A publication Critical patent/CN115620084A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/50—Photovoltaic [PV] energy

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于无人机智能巡检诊断光伏组件故障的方法，包括以下步骤：步骤1、目标检测，利用无人机拍摄的待检测光伏板红外图像经过标注后成为训练数据集，训练数据集经过训练后形成Faster RCNN模型，将无人机拍摄的待检测光伏板红外图像分割成若干块光伏组件图片；步骤2、图像处理，步骤1中的若干光伏组件图片进行图像预处理、图像分割和图像形态学处理后，获得每类故障目标位置；步骤3、深度学习，提取步骤2中每类故障目标的二值化图像特征构成训练数据集对深度学习模型进行迭代训练以构建分类模型，并进行故障分类识别。本发明通过无人机搭载红外相机进行航拍，采集光伏板表面红外图像，实现光伏组件故障的识别，提高工作效率。

Description

一种基于无人机智能巡检诊断光伏组件故障的方法
技术领域
本发明涉及光伏发电设备检测技术领域，具体涉及一种基于无人机智能巡检诊断光伏组件故障的方法。
背景技术
光伏发电作为重要的新能源发电形式，在新能源发电中占有很大的比重，与集中式光伏相比，分布式光伏电源处于用户侧，发电供给当地负荷，可以有效减少对电网供电的依赖，减少线路损耗，在光伏电站巡检的过程中，往往需要进行。
传统的光伏巡检以1组2人构成巡检班组，手持红外热成像仪，采用步行巡检方式单次巡检完成整个光伏电站需耗时45个工作日，传统纯人工光伏巡检模式低质低效，行业痛点尤为突出，耗费大量人力，导致工作效率低不宜用于大规模光伏巡检工作。
因此，需要提供一种基于无人机智能巡检诊断光伏组件故障的方法，以解决上述现有存在的问题。
发明内容
有鉴于此，本发明提供一种基于无人机智能巡检诊断光伏组件故障的方法。
为解决上述技术问题，本发明提供一种基于无人机智能巡检诊断光伏组件故障的方法，其特征在于，包括以下步骤：
步骤1、目标检测，利用无人机拍摄的待检测光伏板红外图像经过标注后成为训练数据集，训练数据集经过训练后形成Faster RCNN模型，利用Faster RCNN模型将无人机拍摄的待检测光伏板红外图像分割成若干块光伏组件图片；
步骤2、图像处理，步骤1中的若干光伏组件图片进行图像预处理、图像分割和图像形态学处理后，获得每类故障目标位置；
步骤3、深度学习，提取步骤2中每类故障目标的二值化图像特征构成训练数据集对深度学习模型迭代训练构建分类模型，并进行故障分类识别，以快速将无人机拍摄的待检测光伏板红外图像进行分析和判断。
进一步的，所述步骤1中，Faster RCNN模型包括特征提取网络层、RPN区域建议网络层、尺寸固定的ROI Pooling层和ROI Head二次分类回归网络层。
进一步的，所述特征提取网络层采用Resnet101或VGG卷积网络，将输入的图片通过多次卷积层、池化层等方式将原始图片进行16倍的下采样，获得原尺寸1/16的特征图；RPN区域建议网络层是在特征图的基础上，进行第一次回归、分类操作，得到Proposals建议框；ROI Pooling层是将RPN层获得的Proposals下采样固定为14×14尺寸，使得不同尺寸输入的Proposals变为统一的14×14尺寸；ROI Head二次分类回归网络层是将ROI Pooling层的固定尺寸的Proposals进行二次分类回归精修，这也是Two-stage目标检测框架的特点。
进一步的，所述步骤2中，采用Faster RCNN模型将无人机拍摄的光伏板红外图像分割成一个个光伏组件图像后，将分割好的光伏组件图像利用图像预处理、图像分割和图像形态学处理得到各类故障目标位置；图像形态学处理包括腐蚀、膨胀、开运算、闭运算、梯度运算、顶帽、黑帽中的一种或几种。
进一步的，所述图像预处理是根据无人机拍摄的红外图像温度分布热力图，利用基于核函数的均值漂移聚类算法进行聚类以确定分割阈值；算法详细描述如下：
Means shift均值漂移算法是沿着密度上升方向寻找聚簇线，设在一个有N个样本的特征空间中，初始化一个聚类中心X，设定一个宽度为D的漂移带内含样本集M＝{x1,x2,...,xi}，在均值漂移中引入核函数的概念，采用高斯核函数G(x)对欧式均值距离进行高维度映射，使得对距离聚类中心近的样本赋予更大的权值；
改进的偏移均值mh(X)计算如下：
Figure BDA0003876477230000021
其中，D为漂移带宽度，X为聚类中心，xi为漂移带宽范围内的样本，n为带宽范围内的样本数量，G(x)为高斯核函数；
高斯核函数G(x)计算如下：
Figure BDA0003876477230000031
其中，h为核函数的带宽；
步骤：
在未被分类的数据集中初始化一个聚类中心X；
找出离聚类中心X的距离在漂移带宽D之内的所有样本，记作集合M；
计算从聚类中心X开始到集合M中每个元素的向量，将这些向量相加，得到偏移向量；
聚类中心X沿着shift的方向移动，移动距离是偏移向量的模；
重复2、3、4，直到偏移向量的模差满足设定的阈值要求，标定此时的聚类中心；
再次重复1、2、3、4、5，直到所有的样本都被归类；
分类原则：再次计算所有样本与所有标定的聚类中心的距离，取距离最近的那个聚类中心作为所属类。
进一步的，所述图像分割，采用阈值分割算法通过判断图像中每一个像素点的特征属性是否满足阈值的要求，来确定图像中的该像素点是属于目标区域还是背景区域，从而将一幅灰度图像转换成二值图像；数学表达式如下：
Figure BDA0003876477230000032
其中，g(x)为阈值运算后的二值化图像，f(x,y)为原始图像，T为分割阈值。
进一步的，所述深度学习模型采用Alex Net模型，将Sigmoid激活函数改成了ReLU激活函数，使计算更简单，网络更容易训练并通过Dropout来控制全连接层的模型复杂度；Alex Net模型主要包括5个卷积层、3个池化Pooling层和3个全连接层，多层卷积层提取输入图像特征从浅层次的纹理特征逐步深入到深层次的形状特征，由低语义特征逐步提升至高语义特征，多层池化层提升了模型的鲁棒性并避免了深度学习模型的过拟合。
进一步的，所述卷积层包括卷积核，池化层通过模仿人的视觉系统对数据进行降维，用更具代表性的特征表示图像；全连接层是把之前提取的特征通过权值矩阵重新分配的方式从而组成完整的特征图。
本发明的上述技术方案至少包括以下有益效果：
1、本发明通过无人机搭载红外相机进行航拍，采集光伏板表面红外图像，实现光伏组件故障的识别，提高工作效率；
2、本发明基于图像处理和机器学习技术，利用光伏组件红外识别算法，实现对光伏组件热斑、二极管、杂草等缺陷自动识别、目标定位和缺陷分类，生成无人机巡检诊断报告；
3、本发明可以有效识别光伏板红外图像中的各种类型，能够实际环境中进行应用。
附图说明
图1为本发明实施例流程图；
图2为本发明Faster RCNN模型的结构图；
图3为本发明开运算的结构示意图；
图4为本发明闭运算的结构示意图；
图5为本发明Alex Net模型的结构图；
图6为本发明卷积运算过程的示意图；
图7为本发明均值池化方式和最大池化方式的示意图；
图8为本发明全连接层示意图；
图9为本发明无人机巡检区域地图；
图10为本发明无人机拍摄的光伏板红外图像；
图11为本发明待分割光伏板红外图像；
图12为本发明光伏板分割后图像；
图13为本发明分割后的光伏组件图像；
图14为本发明二值化图像。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图1-14，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
一种基于无人机智能巡检诊断光伏组件故障的方法，如图1所示，包括以下步骤：
步骤1、目标检测，利用无人机拍摄的待检测光伏板红外图像经过标注后成为训练数据集，训练数据集经过训练后形成Faster RCNN模型，利用Faster RCNN模型将无人机拍摄的待检测光伏板红外图像分割成若干块光伏组件图片；
如图2所示，Faster RCNN模型包括特征提取网络层、RPN区域建议网络层、尺寸固定的ROI Pooling层和ROI Head二次分类回归网络，所述特征提取网络层采用Resnet101或VGG卷积网络,将输入的图片通过多次卷积层、池化层等方式将原始图片进行16倍的下采样，获得原尺寸1/16的特征图；RPN区域建议网络层是在特征图的基础上，进行第一次回归、分类操作，得到Proposals建议框；ROI Pooling层是将RPN层获得的Proposals下采样固定为14×14尺寸，使得不同尺寸输入的Proposals变为统一的14×14尺寸；ROI Head二次分类回归网络层是将ROI Pooling层的固定尺寸的Proposals进行二次分类回归精修，这也是Two-stage目标检测框架的特点。
步骤2、图像处理，步骤1中的若干光伏组件图片进行图像预处理、图像分割和图像形态学处理得到各类故障目标位置；
采用Faster RCNN模型将无人机拍摄的光伏板红外图像分割成一个个光伏组件图像后，将分割好的光伏组件图像利用图像预处理确定分割阈值，图像分割和图像形态学处理得到各类故障特征图像和目标位置；图像预处理包括K-MEANS聚类、Means shift均值漂移聚类、DBSCAN密度聚类、层次聚类，本算法中图像预处理采用Means shift均值漂移聚类；
Means shift均值漂移算法是沿着密度上升方向寻找聚簇线，设在一个有N个样本的特征空间中，初始化一个聚类中心X，设定一个宽度为D的漂移带内含样本集M＝{x1,x2,...,xi}，在均值漂移中引入核函数的概念，采用高斯核函数G(x)对欧式均值距离进行高维度映射，使得对距离聚类中心近的样本赋予更大的权值；
改进的偏移均值mh(X)计算如下：
Figure BDA0003876477230000061
其中，D为漂移带宽度，X为聚类中心，xi为漂移带宽范围内的样本，n为带宽范围内的样本数量，G(x)为高斯核函数；
高斯核函数G(x)计算如下：
Figure BDA0003876477230000062
其中，h为核函数的带宽；
步骤：
在未被分类的数据集中初始化一个聚类中心X；
找出离聚类中心X的距离在漂移带宽D之内的所有样本，记作集合M；
计算从聚类中心X开始到集合M中每个元素的向量，将这些向量相加，得到偏移向量；
聚类中心X沿着shift的方向移动，移动距离是偏移向量的模；
重复2、3、4，直到偏移向量的模差满足设定的阈值要求，标定此时的聚类中心；
再次重复1、2、3、4、5，直到所有的样本都被归类；
分类原则：再次计算所有样本与所有标定的聚类中心的距离，取距离最近的那个聚类中心作为所属类。
所述图像形态学处理包括腐蚀、膨胀、开运算、闭运算、梯度运算、顶帽、黑帽中的一种或几种，本发明中图像处理的部分主要使用了开运算和闭运算。
所述图像分割采用阈值分割法，通过判断图像中每一个像素点的特征属性是否满足阈值的要求，来确定图像中的该像素点是属于目标区域还是背景区域，从而将一幅灰度图像转换成二值图像；数学表达式如下：
Figure BDA0003876477230000063
其中，g(x)为阈值运算后的二值化图像，f(x，y)为原始图像，T为分割阈值。
阈值分割法可以说是图像分割中的经典方法，它利用图像中要提取的目标与背景在灰度上的差异，通过设置阈值来把像素级分成若干类，从而实现目标与背景的分离。
图像的开运算就是先腐蚀后膨胀。开运算的功能就是能够使比较窄的连接断开，还能去除一些细小的毛刺，这样就会使图像的外形变得光滑。开运算的效果如图3所示。从图中可以发现，开运算断开了两个小区域的连接，并且去除了右侧物体上面的小突出，但与腐蚀的区别是图像的整体轮廓没有发生收缩，物体位置没有发生改变。
图像的闭运算就是先膨胀后腐蚀。闭运算的主要功能就是能够将比较窄的间隙连接起来，也能够对小孔进行填充，这样同样能够使图像的外形变得光滑。闭运算效果如图4所示。从图中可以看出，物体的整体位置和轮廓没有发生改变，之间的小于3个像素的缝隙被弥合了。
步骤3、深度学习，提取步骤2中每类故障类型的特征图像构成训练数据集对深度学习模型迭代训练，并进行故障分类识别，以快速将无人机拍摄的待检测光伏板红外图像进行分析和判断。
所述深度学习模型采用Alex Net模型，将Sigmoid激活函数改成了ReLU激活函数，使计算更简单，网络更容易训练并通过Dropout来控制全连接层的模型复杂度；Alex Net模型包括5个卷积层、3个池化Pooling层和3个全连接层，多层卷积层提取输入图像特征从浅层次的纹理特征逐步深入到深层次的形状特征，由低语义特征逐步提升至高语义特征，多层池化层提升了模型的鲁棒性并避免了深度学习模型的过拟合，如图5所示。
所述卷积层包括卷积核，在图像作为卷积神经网络的输入时，首先卷积核作为滑动窗口从图像左上角进行滑动，通常将滑动窗口的大小称为感受野(Receptive Field)，而利用滑动窗口滑动的目的是为了更好地获取输入图像的局部特征。然后使用卷积核在每一个感受野区域进行相应的卷积运算，由于每一个卷积核都会有一组特定的权重，通过将其权重值与感受野区域对应的像素值以相乘的方式完成卷积。具体来说，假定输入为4×4×1的矩阵，与2×2×1的卷积核进行卷积运算，利用卷积核在输入矩阵上进行扫描，且每次滑动的距离由步长(Stride)控制，卷积核会遍历整个输入矩阵，经过运算得到特征矩阵输出，而卷积核的大小也直接决定了生成的特征矩阵中含有多少特征。具体运算过程如图6所示。
此外，卷积运算输出矩阵也受到边缘填充(padding)操作的影响，因此输出矩阵长度N的计算方式如下：
Figure BDA0003876477230000081
其中，W为输入矩阵边长，P为边缘填充数，F为卷积核大小，S为卷积步长。
池化层通过模仿人的视觉系统对数据进行降维，用更具代表性的特征表示图像；池化的目的在于：(1)过滤冗余信息；(2)提升网络模型的尺度不变性；(3)降低下一层处理数据量；(4)防止过拟合。现有池化的方式主要包含以下几种：最大值池化、均值池化、随机池化、中值池化等。
池化操作同样是利用一个矩阵窗口对待处理矩阵进行滑窗式扫描，再利用不同数据提取方式获取有利信息。具体操作以目前常用的池化方式为均值和最大值池化为例，均值池化是指在扫描区域对像素值求平均值，而最大池化则是寻找扫描区域的最大值。通过2×2的矩阵对4×4的矩阵进行扫描，步长设定为2，如图7所示。
全连接层是把之前提取的特征通过权值矩阵重新分配的方式从而组成完整的特征图,全连接层(Fully Connected Layer，FC)与卷积层和池化层都有所不同，前面二者都是提取局部特征，而全连接层就是把之前提取的特征通过权值矩阵重新分配的方式从而组成完整的特征图，由于所有通过卷积层、池化层的特征都需要分配，因此称为全连接层。
全连接操作可以将分布式特征映射到样本标记空间，即将特征进行整合，输出为一个值，这样可以大大减少特征位置对后续分类任务带来的影响。具体的，如图8所示，可以看出，在FC1中，4个节点的输出都是通过3个节点的输入计算得到的，也就是说，每一个输出节点受所有输入节点的影响，这样就会有3×4个连接，每个连接上都会对应一个权重，则FC1需要3×4个权重。当输入的特征向量的数量十分庞大时，全连接层的权重参数量也随着增加。
实验与结果分析
实验环境：
本实施例的实验地点是国内某光伏发电站，总装机容量为495MWp。选取电站某区域做无人机巡检区域进行航线规划，在白天进行无人机巡检作业，巡检区域地图如图9所示。
数据处理
无人机拍摄的光伏板红外图像如图10所示，无人机搭载的红外相机图像存储格式为BMP，需要进行格式转换为PNG。其目的是进行图像无损压缩，减轻深度学习模型推理所需算力。
实验过程：
Faster RCNN分割模型：将经过预处理后的红外图像，制作成VOC格式的数据集并将其划分为训练集、验证集、测试集三部分。通过大规模训练数据集进行Faster RCNN模型的训练，通过验证数据集将Faster RCNN模型进行小规模验证，通过测试数据集对成型的Faster RCNN模型进行测试评价，确定最终的模型参数。待分割光伏板红外图像如图11所示，经过Faster RCNN深度学习模型分割后的图像如图12所示。
提取故障特征：经过Faster RCNN分割模型提取的部分光伏组件，如图13所示。光伏板上的故障类型阀值范围为200～255，经过阈值分割法后的二值化图上只有黑色背景和白色故障块(热斑斑点、二极管、杂草遮挡等故障)以及白色噪点组成。此时的二值化图像还需要进行开运算以及闭运算处理，排除个别噪点的干扰，如图14所示。
Alex Net分类模型：经过图像处理后提取的二值化光伏故障特征图像，需要经过Alex Net分类模型进行最终类型判断。Alex Net分类模型同样经过了自制数据集的训练、验证以及测试等过程，最后确定Alex Net分类模型的最终参数。
本次样本采集是300张光伏板红外图像。根据采集的样本进行人工故障类型统计，本次类型主要有正常、热斑、二极管、杂草遮挡四类，各状态样本数量以及比例如表1所示。
Figure BDA0003876477230000091
表1.各状态样本数量。
然后，将所有样本输入至本算法流程中进行分类识别，故障分类结果准确率如表2所示。
Figure BDA0003876477230000101
表2.故障分类平均准确率结果表
结论：
本发明以某光伏电站无人机拍摄的光伏板红外图像为例，在Faster RCNN有效分割光伏板的前提下，再利用图像处理中的阈值分割以及形态学有效地进一步提取各类型的二值化特征图，最后利用Alex Net分类模型进行最后一步的分类操作。实践证明，本发明可以有效识别光伏板红外图像中的各种类型，能够实际环境中进行应用。
以上是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种基于无人机智能巡检诊断光伏组件故障的方法，其特征在于，包括以下步骤：
步骤1、目标检测，利用无人机拍摄的待检测光伏板红外图像经过标注后成为训练数据集，训练数据集经过训练后形成Faster RCNN模型，利用Faster RCNN模型将无人机拍摄的待检测光伏板红外图像分割成若干块光伏组件图片；
步骤2、图像处理，步骤1中的若干光伏组件图片进行图像预处理、图像分割和图像形态学处理后，获得每类故障目标位置；
步骤3、深度学习，提取步骤2中每类故障目标的二值化图像特征构成训练数据集对深度学习模型迭代训练构建分类模型，并进行故障分类识别，以快速将无人机拍摄的待检测光伏板红外图像进行分析和判断。
2.根据权利要求1所述的基于无人机智能巡检诊断光伏组件故障的方法，其特征在于，所述步骤1中，Faster RCNN模型包括特征提取网络层、RPN区域建议网络层、尺寸固定的ROIPooling层和ROI Head二次分类回归网络层。
3.根据权利要求2所述的基于无人机智能巡检诊断光伏组件故障的方法，其特征在于，所述特征提取网络层采用Resnet101或VGG卷积网络，将输入的图片通过多次卷积层、池化层等方式将原始图片进行16倍的下采样，获得原尺寸1/16的特征图；RPN区域建议网络层是在特征图的基础上，进行第一次回归、分类操作，得到Proposals建议框；ROI Pooling层是将RPN层获得的Proposals下采样固定为14×14尺寸，使得不同尺寸输入的Proposals变为统一的14×14尺寸；ROI Head二次分类回归网络层是将ROI Pooling层的固定尺寸的Proposals进行二次分类回归精修，这也是Two-stage目标检测框架的特点。
4.根据权利要求1所述的基于无人机智能巡检诊断光伏组件故障的方法，其特征在于，所述步骤2中，采用Faster RCNN模型将无人机拍摄的光伏板红外图像分割成一个个光伏组件图像后，将分割好的光伏组件图像利用图像预处理、图像分割和图像形态学处理得到各类故障目标位置；图像形态学处理包括腐蚀、膨胀、开运算、闭运算、梯度运算、顶帽、黑帽中的一种或几种。
5.根据权利要求4所述的基于无人机智能巡检诊断光伏组件故障的方法，其特征在于，所述图像预处理是根据无人机拍摄的红外图像温度分布热力图，利用基于核函数的均值漂移聚类算法进行聚类以确定分割阈值；算法详细描述如下：
Means shift均值漂移算法是沿着密度上升方向寻找聚簇线，设在一个有N个样本的特征空间中，初始化一个聚类中心X，设定一个宽度为D的漂移带内含样本集M＝{x1,x2,...,xi}，在均值漂移中引入核函数的概念，采用高斯核函数G(x)对欧式均值距离进行高维度映射，使得对距离聚类中心近的样本赋予更大的权值；
改进的偏移均值mh(X)计算如下：
Figure FDA0003876477220000021
其中，D为漂移带宽度，X为聚类中心，xi为漂移带宽范围内的样本，n为带宽范围内的样本数量，G(x)为高斯核函数；
高斯核函数G(x)计算如下：
Figure FDA0003876477220000022
其中，h为核函数的带宽；
步骤：
在未被分类的数据集中初始化一个聚类中心X；
找出离聚类中心X的距离在漂移带宽D之内的所有样本，记作集合M；
计算从聚类中心X开始到集合M中每个元素的向量，将这些向量相加，得到偏移向量；
聚类中心X沿着shift的方向移动，移动距离是偏移向量的模；
重复2、3、4，直到偏移向量的模差满足设定的阈值要求，标定此时的聚类中心；
再次重复1、2、3、4、5，直到所有的样本都被归类；
分类原则：再次计算所有样本与所有标定的聚类中心的距离，取距离最近的那个聚类中心作为所属类。
6.根据权利要求4所述的基于无人机智能巡检诊断光伏组件故障的方法，其特征在于，所述图像分割，采用阈值分割算法通过判断图像中每一个像素点的特征属性是否满足阈值的要求，来确定图像中的该像素点是属于目标区域还是背景区域，从而将一幅灰度图像转换成二值图像；数学表达式如下：
Figure FDA0003876477220000031
其中，g(x)为阈值运算后的二值化图像，f(x,y)为原始图像，T为分割阈值。
7.根据权利要求1所述的基于无人机智能巡检诊断光伏组件故障的方法，其特征在于，所述深度学习模型采用Alex Net模型，将Sigmoid激活函数改成了ReLU激活函数，使计算更简单，网络更容易训练并通过Dropout来控制全连接层的模型复杂度；Alex Net模型主要包括5个卷积层、3个池化Pooling层和3个全连接层，多层卷积层提取输入图像特征从浅层次的纹理特征逐步深入到深层次的形状特征，由低语义特征逐步提升至高语义特征，多层池化层提升了模型的鲁棒性并避免了深度学习模型的过拟合。
8.根据权利要求7所述的基于无人机智能巡检诊断光伏组件故障的方法，其特征在于，所述卷积层包括卷积核，池化层通过模仿人的视觉系统对数据进行降维，用更具代表性的特征表示图像；全连接层是把之前提取的特征通过权值矩阵重新分配的方式从而组成完整的特征图。
CN202211215205.2A 2022-09-30 2022-09-30 一种基于无人机智能巡检诊断光伏组件故障的方法 Pending CN115620084A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211215205.2A CN115620084A (zh) 2022-09-30 2022-09-30 一种基于无人机智能巡检诊断光伏组件故障的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211215205.2A CN115620084A (zh) 2022-09-30 2022-09-30 一种基于无人机智能巡检诊断光伏组件故障的方法

Publications (1)

Publication Number Publication Date
CN115620084A true CN115620084A (zh) 2023-01-17

Family

ID=84860019

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211215205.2A Pending CN115620084A (zh) 2022-09-30 2022-09-30 一种基于无人机智能巡检诊断光伏组件故障的方法

Country Status (1)

Country Link
CN (1) CN115620084A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114199381A (zh) * 2021-12-13 2022-03-18 国网陕西省电力公司延安供电公司 一种改进红外检测模型的电气设备故障检测方法
CN116188585A (zh) * 2023-04-24 2023-05-30 成都垣景科技有限公司 一种基于无人机摄影测量的山区光伏目标定位方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114199381A (zh) * 2021-12-13 2022-03-18 国网陕西省电力公司延安供电公司 一种改进红外检测模型的电气设备故障检测方法
CN116188585A (zh) * 2023-04-24 2023-05-30 成都垣景科技有限公司 一种基于无人机摄影测量的山区光伏目标定位方法
CN116188585B (zh) * 2023-04-24 2023-07-11 成都垣景科技有限公司 一种基于无人机摄影测量的山区光伏目标定位方法

Similar Documents

Publication Publication Date Title
CN107609601B (zh) 一种基于多层卷积神经网络的舰船目标识别方法
CN111223088B (zh) 一种基于深层卷积神经网络的铸件表面缺陷识别方法
Zhao et al. Cloud shape classification system based on multi-channel cnn and improved fdm
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN108830326B (zh) 一种mri图像的自动分割方法及装置
Li et al. Adaptive deep convolutional neural networks for scene-specific object detection
CN115620084A (zh) 一种基于无人机智能巡检诊断光伏组件故障的方法
KR102138657B1 (ko) 계층적 협업 표현 기반 분류를 통한 강인한 얼굴인식 장치 및 그 방법
Morris A pyramid CNN for dense-leaves segmentation
CN105354273A (zh) 一种快速检索高速公路逃费车辆高相似度图像的方法
CN109033944B (zh) 一种全天空极光图像分类与关键局部结构定位方法及系统
CN113160062B (zh) 一种红外图像目标检测方法、装置、设备及存储介质
CN110781882A (zh) 一种基于yolo模型的车牌定位和识别方法
CN109034035A (zh) 基于显著性检测和特征融合的行人重识别方法
CN111488911B (zh) 基于Mask R-CNN与GAN的图像实体抽取方法
CN111612051A (zh) 一种基于图卷积神经网络的弱监督目标检测方法
CN112528845B (zh) 一种基于深度学习的物理电路图识别方法及其应用
CN113592894B (zh) 一种基于边界框和同现特征预测的图像分割方法
CN113408584A (zh) Rgb-d多模态特征融合3d目标检测方法
CN107067410A (zh) 一种基于增广样本的流形正则化相关滤波目标跟踪方法
CN115861619A (zh) 一种递归残差双注意力核点卷积网络的机载LiDAR城市点云语义分割方法与系统
Ali et al. Performance evaluation of different algorithms for crack detection in concrete structures
CN115100652A (zh) 基于高分遥感图像的电子地图自动化生成方法
CN116342894A (zh) 基于改进YOLOv5的GIS红外特征识别系统及方法
CN111597875A (zh) 一种交通标志识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination