CN116091472A - 一种融合可见光和红外图像的光伏组件缺陷智能检测方法 - Google Patents

一种融合可见光和红外图像的光伏组件缺陷智能检测方法 Download PDF

Info

Publication number
CN116091472A
CN116091472A CN202310136377.9A CN202310136377A CN116091472A CN 116091472 A CN116091472 A CN 116091472A CN 202310136377 A CN202310136377 A CN 202310136377A CN 116091472 A CN116091472 A CN 116091472A
Authority
CN
China
Prior art keywords
visible light
photovoltaic module
image
infrared
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310136377.9A
Other languages
English (en)
Inventor
杨强
张泽邦
李知艺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202310136377.9A priority Critical patent/CN116091472A/zh
Publication of CN116091472A publication Critical patent/CN116091472A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/50—Photovoltaic [PV] energy

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种融合可见光和红外图像的光伏组件缺陷智能检测方法，包括以下步骤：1)由携带双光相机的无人机对目标光伏组件进行采样，得到光伏组件的可见光图像和红外图像；2)使用预先训练好的深度学习模型对采集得到的光伏组件图像进行缺陷位置和类别的检测；3)分别得到可见光图像和红外图像的检测结果后，将它们合成在同一张图片上，方便技术人员查询比对。与现有技术相比，本发明具有检测速度快、适用范围广、提供信息的维度更全面等优点。

Description

一种融合可见光和红外图像的光伏组件缺陷智能检测方法
技术领域
本发明涉及图像处理技术领域，尤其是涉及一种融合可见光和红外图像的光伏组件缺陷智能检测方法。
背景技术
在智能光伏系统融合发展中，鼓励支持使用无人机等技术替代人工运维管理，实现光伏发电的智能运维。光伏组件维护是运维中的重中之重，光伏组件的遮挡、热斑等高频问题是导致电站设备故障的主要原因，及时发现这些问题并处理，电站的总体发电效率将大幅提升。
目前常见的光伏组件缺陷检测方法主要有三种。第一种方法是通过测量组件的电压及电流数据来判断是否有故障。当光伏组件存在故障时，其电压电流的数据也会存在异常。但这种方法需要大量的人力，效率慢且经济效益不高，并且检测时还会破坏系统的正常运行。而且采集得到的数据量往往很大，处理起来很麻烦。第二种方法是通过电致发光来判断是否存在故障。使用直流电源在光伏组件上注入正向偏置电流来得到高分辨率的电致发光检测图像，在图像上可以看到光伏组件内部的人眼无法直接观测到的微小缺陷。但这种方法需要外接直流电源，且对检测环境要求较高，需要在光线较暗的环境下才能得到高质量的成像结果，且操作步骤较为繁琐。第三种方法是通过光伏组件的可见光及红外图像进行缺陷检测。这种方法对人力需求较低，因为可以使用无人机来直接对光伏组件图像进行采集。这项技术从经济性和实用性上十分适合用于光伏电站的运维之中。且光伏电站通常地形条件较为复杂，无人机的灵活性可以极大提高运维的效率。通过搭载双光相机的无人机对光伏组件进行图像采集，可以分别得到光伏组件同一时刻的可见光图像和红外图像。可见光图像分辨率高，蕴含着大量的细节和色彩信息。而红外图像虽然分辨率不高，对组件细节的捕捉能力不强，但是可以检测到光伏组件的表面温度，为缺陷检测引入新维度的信息，且这一维度的信息是肉眼发现不了的，可以反应位于光伏组件内部的缺陷。因此最大化利用两种图片内的信息，可以对光伏组件表面缺陷进行更精确的检测与分类。
发明内容
本发明的目的就是对无人机所采集到的光伏组件的可见光图像和红外图像进行处理，构建模型来完成对它们的识别并能成功利用这两种图像完成光伏组件缺陷的检测和分类。
本发明的目的可以通过以下技术方案来实现：
本发明首先提供了一种融合可见光和红外图像的光伏组件缺陷智能检测方法，其包括以下步骤：
1)由携带双光相机的无人机对目标光伏组件进行图像采集，得到光伏组件的可见光图像和红外图像；
2)预训练得到基于可见光图像的深度学习模型和基于红外图像的深度学习模型；
3)使用预先训练好的深度学习模型分别对采集得到的光伏组件的可见光图像和红外图像进行缺陷位置和类别的检测；
4)分别得到可见光图像和红外图像的检测结果后，将检测结果合成在同一张图片上，合成后的图片可以同时显示出光伏组件在可见光图像下的缺陷和在红外图像下的缺陷。
作为本发明的优选方案，所述的步骤1)中，无人机采集图像时需要在同一位置同一时刻对光伏组件的可见光图像和红外图像进行采集。
作为本发明的优选方案，步骤2)中，所述基于可见光图像的深度学习模型和基于红外图像的深度学习模型均为基于Faster-RCNN的缺陷检测模型，其主干特征提取网络采用ResNet50，并采用余弦学习率下降；
基于可见光图像的深度学习模型采用的训练数据集分别为含标签的可见光图像，可见光图像的标签类型包括正常组件、热斑缺陷组件和遮挡缺陷组件；基于红外图像的深度学习模型的训练数据集为含标签的红外图像，红外图像的标签类型包括正常组件、热斑缺陷组件、遮挡缺陷组件和二极管故障缺陷组件；
作为本发明的优选方案，基于可见光图像的深度学习模型和基于红外图像的深度学习模型的训练方法相同，具体包括以下步骤：
201)使用Labelimg完成两个模型对应的训练数据集的制作，并进行数据增强操作；
202)将制作好的数据集划分为训练集、验证集和测试集；
203)搭建两个基于Faster-RCNN的缺陷检测模型，主干特征提取网络采用ResNet50，并采用余弦学习率下降；
204)使用两个模型对应的数据集分别对搭建好的两个缺陷检测模型进行训练，每隔设定世代保存一次网络的权值文件，并计算此时的损失函数的值；
205)训练结束后，选取缺陷检测能力最优的权值文件作为网络的最终权值，得到训练好的基于可见光图像的深度学习模型和基于红外图像的深度学习模型。
作为本发明的优选方案，所述的步骤201)具体包括以下步骤：
使用Labelimg对原始图像进行标注，在标注时，每张图片都会生成与之相对应的xml文件，该文件中记载了标注框的左下角和右上角点的位置坐标及标注框标示物体的种类；标注结束后，得到VOC格式的红外图像数据集和可见光图像数据集；
对数据集中的图片进行平移、裁剪、亮度改变、旋转、镜像或加入噪声操作，以此来达到数据增强的目的；同时，在对图片进行变化时，对图片上的标注框的位置进行变化，使其在图像发生改变后仍然可以框出想要检测的目标。
光伏组件的大小规格均是统一的，基于光伏组件的这一独特性质，除上述泛用型数据增强方法外，还可以将各个标注框内的组件从图像上裁剪下来后进行位置更换，以达到数据增强的目的。
作为本发明的优选方案，所述的步骤3)中，对采集得到的光伏组件的可见光图像和红外图像进行缺陷位置和类别的检测，具体包括以下步骤：
301)深度学习模型的主干特征提取网络对输入的图片进行卷积、池化、归一化操作后，得到相应的特征图；
302)将得到的特征图通过区域候选网络生成建议框，得到特征区域；
303)将特征区域划分为指定大小的网格，并对网格中的每个区域都进行最大池化操作，得到固定大小的输出；
304)将输出的结果输入到全连接层并通过softmax操作得到特征区域的位置坐标以及分属于各个类别的概率，取概率最高的类别作为特征区域的最终类别。
作为本发明的优选方案，所述的步骤302)具体为：
在经过主干特征提取网络得到的特征图上面，每个点映射回原图都代表着原图的一块区域；区域候选网络可以在特征图上的每一点都生成对应的9个框，将得到的这些框所对应的特征向量输入到区域候选网络当中，通过卷积可以得到每个框的内部有物体的概率和框的位置的偏移量；每个框内部有物体的概率的表现形式为这个框是前景的概率和这个框是背景的概率；而框的位置的偏移量则可以用于对建议框位置的调整；再通过非极大抑制操作剔除掉一些重叠的框，最终筛选得到建议框框选出的感兴趣区域。
作为本发明的优选方案，所述的步骤304)具体为：
将池化后的结果输入到全连接层中，全连接层计算得到各个框中的物体属于各个类别的数值向量，再使用softmax将其转化到0到1之间，最后得到框中的物体属于各个类别的概率，取概率最高的类别作为特征区域的最终类别；与此同时，利用边框回归算法进行第二次的边框回归运算，对框的位置进行微调；
在输入图片上显示出框的位置、类别以及属于这一类别的概率。
作为本发明的优选方案，所述的步骤4)中，得到可见光图像和红外图像检测结果的方法是使用深度学习模型分别调用基于可见光图像训练得到的权值文件和基于红外图像训练得到的权值文件作为网络权值进行检测，得到带有检测结果标签的可见光图像和红外图像。
与现有技术相比，本发明具有以下优点：
1.本发明采用了无人机对光伏组件的缺陷进行检测，因此克服了现有技术中光伏电站运维过程人力物力消耗大的问题，从而使光伏电站的运维变得更加高效、便捷；
2.本发明采用了深度学习模型对无人机采集到的光伏组件图像进行检测，因此克服了现有技术中鲁棒性、通用性、精确度低的问题，从而达到了检测速度快、鲁棒性强、检测精度高、可以对图像进行批量处理的技术效果；
3.本发明采用了一种针对光伏组件图像的数据增强方法，因此克服了现有技术中初始样本需求量大的问题，大大提高了数据增强的效率和数据的可利用性，也使最终训练出的模型具有更强的鲁棒性和更精确的检测精度；
4.本发明使用可见光图像和红外图像同时对光伏组件缺陷进行检测，充分利用了光伏组件可见光图像和红外图像的所蕴含的信息，并将两者加以结合，解决了现有技术中只从单一图片类型进行缺陷检测时的局限性，达到了更高的检测精度，可以帮助技术人员做出更为精确的判断。
附图说明
图1为本发明提出的一种融合可见光和红外图像的光伏组件缺陷智能检测方法的流程示意图。
图2为根据本发明实施例示出的光伏组件可见光图像下的热斑缺陷示意图。
图3为根据本发明实施例示出的光伏组件可见光图像下的遮挡缺陷示意图。
图4为根据本发明实施例示出的光伏组件红外图像下的热斑缺陷示意图。
图5为根据本发明实施例示出的光伏组件红外图像下的遮挡缺陷示意图。
图6为根据本发明实施例示出的光伏组件红外图像下的二极管故障示意图。
图7为本发明提出的一种针对光伏组件图像的数据增强方法示意图。
图8为本发明提出的一种融合可见光和红外图像的光伏组件缺陷智能检测方法的检测效果图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
实施例
如图1所示，本发明提供一种融合可见光和红外图像的光伏组件缺陷智能检测方法，包括以下步骤：
(1)携带双光相机的无人机对目标光伏组件进行拍摄采样，得到同一位置的光伏组件的可见光图像和红外图像；
(2)使用预先训练好的深度学习模型对采集得到的光伏组件图像进行缺陷位置和类别的检测，具体包括以下步骤：
21)图片是由像素构成的，每个像素都可以用RGB值来表示，因此图片就是各个像素点RGB值组成的矩阵。对图片的处理，就是对这些值的处理。通过对图片进行卷积、池化、归一化等操作，可以得到图片相对应的特征图。特征图可以更好地示出我们所感兴趣的信息；
22)在经过主干特征提取网络得到的特征图上面，每个点映射回原图都代表着原图的一块区域。而区域候选网络可以在特征图上的每一点都生成对应的9个框，将得到的这些框所对应的特征向量输入到区域候选网络当中，通过卷积可以得到每个框的内部有物体的概率和框的位置的偏移量。每个框内部有物体的概率的表现形式为这个框是前景的概率和这个框是背景的概率。而框的位置的偏移量则可以用于对建议框位置的调整。再通过非极大抑制等操作剔除掉一些重叠的框，最终筛选得到建议框框选出的感兴趣区域；
23)对筛选出的感兴趣区域进行感兴趣区域池化操作，将特征区域转换成指定大小的网格；
24)将感兴趣区域池化后的结果输入到全连接层中，全连接层计算得到各个框中的物体属于各个类别的数值向量，再使用softmax将其转化到0到1之间，最后得到框中的物体属于各个类别的概率，取概率最高的类别作为特征区域的最终类别。与此同时，也会利用边框回归算法进行第二次的边框回归运算，对框的位置进行微调；
25)在输入图片上显示出框的位置、类别以及属于这一类别的概率。
(3)分别调用基于可见光图像训练得到的权值文件和基于红外图像训练得到的权值文件作为网络权值进行步骤(2)的操作。将最终得到的可见光图像和红外图像合成在同一张图片上。图8为本发明方法在某光伏发电进行应用后得到的效果图，从图8可见，本发明合成后的图片可以显示异常组件的位置、种类和数量，运维人员可以借此来完成对光伏组件所存在的缺陷和受损程度的判断以便后续维修。此外本发明采用了无人机进行检测，检测速度快，采用了一种针对光伏组件图像的数据增强方法，大大提高了数据增强的效率和数据的可利用性，也使最终训练出的模型具有更强的鲁棒性和更精确的检测精度。本发明充分利用了光伏组件可见光图像和红外图像的所蕴含的信息，并将两者加以结合，达到了更高的检测精度，可以帮助技术人员做出更为精确的判断。
本发明所述基于可见光图像的深度学习模型和基于红外图像的深度学习模型均为基于Faster-RCNN的缺陷检测模型，其主干特征提取网络采用ResNet50，并采用余弦学习率下降；基于可见光图像的深度学习模型采用的训练数据集分别为含标签的可见光图像，可见光图像的标签类型包括正常组件、热斑缺陷组件和遮挡缺陷组件；基于红外图像的深度学习模型的训练数据集为含标签的红外图像，红外图像的标签类型包括正常组件、热斑缺陷组件、遮挡缺陷组件和二极管故障缺陷组件。此外，基于可见光图像的深度学习模型和基于红外图像的深度学习模型的训练方法相同。
本发明中获取基于可见光图像和红外图像的深度学习模型具体包括以下步骤：
(1)使用Labelimg对原始图像进行标注。图2-图6示出了存在于光伏组件上的缺陷的样例。其中，图2为可见光图像下的热斑缺陷示意图，其表现为光伏组件上存在明显的斑点，图3为可见光图像下的遮挡缺陷示意图，其表现为光伏组件上存在明显的遮挡物或遮挡所产生的阴影，图4为红外图像下的热斑缺陷示意图，其表现为光伏组件上存在明显的亮斑，图5为红外图像下的遮挡缺陷示意图，其表现为光伏组件上存在明显的异物覆盖或阴影覆盖，图6为红外图像下的二极管故障示意图，其表现为光伏组件上出现规则的条状异常区域。在标注时，每张图片都会生成与之相对应的xml文件，该文件中记载了标注框的左下角和右上角点的位置坐标及标注框标示物体的种类。标注结束后，我们可以得到VOC格式的红外图像数据集和可见光图像数据集；
(2)对数据集中的图片进行平移、裁剪、亮度改变、旋转、镜像、加入噪声等操作，以此来达到数据增强的目的。同时，在对图片进行变化时，也要对图片上的标注框的位置进行变化，使其在图像发生改变后仍然可以框出想要检测的目标。光伏组件的大小规格均是统一的，基于光伏组件的这一独特性质，除上述泛用型数据增强方法外，还可以采用图7示出的数据增强方式，即将标注框内的组件从图像上裁剪下来后进行位置更换，以达到数据增强的目的，如在图7中，完成了缺陷组件和正常组件(3)的对调；
(3)将数据集按照训练集：验证集：测试集＝4：1：1的比例划分成训练集、验证集和测试集；
(4)搭建基于Faster-RCNN的缺陷检测模型，主干特征提取网络采用ResNet50，并采用余弦学习率下降；
(5)使用数据集对搭建好的缺陷检测模型进行训练，共训练200个世代，每隔10个世代保存一次网络的权值文件，并计算此时的损失函数的值；
(6)训练结束后，选取缺陷检测能力最优的权值文件作为网络的最终权值。基于红外图像数据集进行训练和基于可见光图像数据集进行训练可以分别得到一个权值文件。将权值文件应用于步骤(4)搭建的模型中，即可得到最终的缺陷检测模型。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (9)

1.一种融合可见光和红外图像的光伏组件缺陷智能检测方法，其特征在于，包括以下步骤：
1)由携带双光相机的无人机对目标光伏组件进行图像采集，得到光伏组件的可见光图像和红外图像；
2)预训练得到基于可见光图像的深度学习模型和基于红外图像的深度学习模型；
3)使用预先训练好的深度学习模型分别对采集得到的光伏组件的可见光图像和红外图像进行缺陷位置和类别的检测；
4)分别得到可见光图像和红外图像的检测结果后，将检测结果合成在同一张图片上，合成后的图片可以同时显示出光伏组件在可见光图像下的缺陷和在红外图像下的缺陷。
2.根据权利要求1所述的一种融合可见光和红外图像的光伏组件缺陷智能检测方法，其特征在于，所述的步骤1)中，无人机采集图像时需要在同一位置同一时刻对光伏组件的可见光图像和红外图像进行采集。
3.根据权利要求1所述的一种融合可见光和红外图像的光伏组件缺陷智能检测方法，其特征在于，步骤2)中，所述基于可见光图像的深度学习模型和基于红外图像的深度学习模型均为基于Faster-RCNN的缺陷检测模型，其主干特征提取网络采用ResNet50，并采用余弦学习率下降；
基于可见光图像的深度学习模型采用的训练数据集分别为含标签的可见光图像，可见光图像的标签类型包括正常组件、热斑缺陷组件和遮挡缺陷组件；基于红外图像的深度学习模型的训练数据集为含标签的红外图像，红外图像的标签类型包括正常组件、热斑缺陷组件、遮挡缺陷组件和二极管故障缺陷组件。
4.根据权利要求1所述的一种融合可见光和红外图像的光伏组件缺陷智能检测方法，其特征在于，基于可见光图像的深度学习模型和基于红外图像的深度学习模型的训练方法相同，具体包括以下步骤：
201)使用Labelimg完成两个模型对应的训练数据集的制作，并进行数据增强操作；
202)将制作好的数据集划分为训练集、验证集和测试集；
203)搭建两个基于Faster-RCNN的缺陷检测模型，主干特征提取网络采用ResNet50，并采用余弦学习率下降；
204)使用两个模型对应的数据集分别对搭建好的两个缺陷检测模型进行训练，每隔设定世代保存一次网络的权值文件，并计算此时的损失函数的值；
205)训练结束后，选取缺陷检测能力最优的权值文件作为网络的最终权值，得到训练好的基于可见光图像的深度学习模型和基于红外图像的深度学习模型。
5.根据权利要求4所述的一种融合可见光和红外图像的光伏组件缺陷智能检测方法，其特征在于，所述的步骤201)具体包括以下步骤：
使用Labelimg对原始图像进行标注，在标注时，每张图片都会生成与之相对应的xml文件，该文件中记载了标注框的左下角和右上角点的位置坐标及标注框标示物体的种类；标注结束后，得到VOC格式的红外图像数据集和可见光图像数据集；
对数据集中的图片进行平移、裁剪、亮度改变、旋转、镜像或加入噪声操作，以此来达到数据增强的目的；同时，在对图片进行变化时，对图片上的标注框的位置进行变化，使其在图像发生改变后仍然可以框出想要检测的目标。
6.根据权利要求1所述的一种融合可见光和红外图像的光伏组件缺陷智能检测方法，其特征在于，所述的步骤3)中，对采集得到的光伏组件的可见光图像和红外图像进行缺陷位置和类别的检测，具体包括以下步骤：
301)深度学习模型的主干特征提取网络对输入的图片进行卷积、池化、归一化操作后，得到相应的特征图；
302)将得到的特征图通过区域候选网络生成建议框，得到特征区域；
303)将特征区域划分为指定大小的网格，并对网格中的每个区域都进行最大池化操作，得到固定大小的输出；
304)将输出的结果输入到全连接层并通过softmax操作得到特征区域的位置坐标以及分属于各个类别的概率，取概率最高的类别作为特征区域的最终类别。
7.根据权利要求6所述的一种融合可见光和红外图像的光伏组件缺陷智能检测方法，其特征在于，所述的步骤302)具体为：
在经过主干特征提取网络得到的特征图上面，每个点映射回原图都代表着原图的一块区域；区域候选网络可以在特征图上的每一点都生成对应的9个框，将得到的这些框所对应的特征向量输入到区域候选网络当中，通过卷积可以得到每个框的内部有物体的概率和框的位置的偏移量；每个框内部有物体的概率的表现形式为这个框是前景的概率和这个框是背景的概率；而框的位置的偏移量则可以用于对建议框位置的调整；再通过非极大抑制操作剔除掉一些重叠的框，最终筛选得到建议框框选出的感兴趣区域。
8.根据权利要求7所述的一种融合可见光和红外图像的光伏组件缺陷智能检测方法，其特征在于，所述的步骤304)具体为：
将池化后的结果输入到全连接层中，全连接层计算得到各个框中的物体属于各个类别的数值向量，再使用softmax将其转化到0到1之间，最后得到框中的物体属于各个类别的概率，取概率最高的类别作为特征区域的最终类别；与此同时，利用边框回归算法进行第二次的边框回归运算，对框的位置进行微调；
在输入图片上显示出框的位置、类别以及属于这一类别的概率。
9.根据权利要求1所述的一种融合可见光和红外图像的光伏组件缺陷智能检测方法，其特征在于，所述的步骤4)中，得到可见光图像和红外图像检测结果的方法是使用深度学习模型分别调用基于可见光图像训练得到的权值文件和基于红外图像训练得到的权值文件作为网络权值进行检测，得到带有检测结果标签的可见光图像和红外图像。
CN202310136377.9A 2023-02-20 2023-02-20 一种融合可见光和红外图像的光伏组件缺陷智能检测方法 Pending CN116091472A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310136377.9A CN116091472A (zh) 2023-02-20 2023-02-20 一种融合可见光和红外图像的光伏组件缺陷智能检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310136377.9A CN116091472A (zh) 2023-02-20 2023-02-20 一种融合可见光和红外图像的光伏组件缺陷智能检测方法

Publications (1)

Publication Number Publication Date
CN116091472A true CN116091472A (zh) 2023-05-09

Family

ID=86210183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310136377.9A Pending CN116091472A (zh) 2023-02-20 2023-02-20 一种融合可见光和红外图像的光伏组件缺陷智能检测方法

Country Status (1)

Country Link
CN (1) CN116091472A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116228778A (zh) * 2023-05-10 2023-06-06 国网山东省电力公司菏泽供电公司 一种基于多模态信息融合的绝缘子破裂的检测方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116228778A (zh) * 2023-05-10 2023-06-06 国网山东省电力公司菏泽供电公司 一种基于多模态信息融合的绝缘子破裂的检测方法及系统
CN116228778B (zh) * 2023-05-10 2023-09-08 国网山东省电力公司菏泽供电公司 一种基于多模态信息融合的绝缘子破裂的检测方法及系统

Similar Documents

Publication Publication Date Title
Aghaei et al. Innovative automated control system for PV fields inspection and remote control
CN112734692B (zh) 一种变电设备缺陷识别方法及装置
CN111126325B (zh) 一种基于视频的智能人员安防识别统计方法
CN110648310B (zh) 基于注意力机制的弱监督铸件缺陷识别方法
CN109215042B (zh) 一种基于计算机视觉的光伏电池板热斑效应检测系统及其计算方法
CN109961003A (zh) 一种基于fpga的嵌入式输电线路机载辅助巡视装置
CN107860322A (zh) 一种液膜厚度测量装置及方法
CN112419261B (zh) 具有异常点去除功能的视觉采集方法及装置
CN109712084B (zh) 一种图像修复方法、图像修复系统及平板探测器
CN116091472A (zh) 一种融合可见光和红外图像的光伏组件缺陷智能检测方法
CN115240089A (zh) 一种航空遥感图像的车辆检测方法
Montanez et al. Photovoltaic module segmentation and thermal analysis tool from thermal images
CN114972225A (zh) 一种基于深度学习的两阶段光伏板缺陷检测方法
CN107977959B (zh) 一种适用于电力作业机器人的呼吸器状态识别方法
CN113642558A (zh) 耐张线夹压接缺陷的x射线图像识别方法及装置
CN112541478A (zh) 一种基于双目摄像头的绝缘子串污损检测方法及系统
CN117237925A (zh) 一种基于计算机视觉的智慧道路病害巡检方法及系统
CN111767826A (zh) 一种定时定点场景异常检测方法
CN109658405B (zh) 一种农作物实景观测中图像数据质量控制方法及系统
CN112070762A (zh) 液晶面板的mura缺陷检测方法、装置、存储介质及终端
CN112381794A (zh) 一种基于深度卷积生成网络的印刷缺陷检测方法
CN115546716A (zh) 一种基于双目视觉的输电线路周边火灾源头定位方法
CN115410154A (zh) 一种风电机舱电气设备热故障识别方法
CN115393747A (zh) 一种基于深度学习的光伏故障检测方法
CN114092441A (zh) 一种基于双重神经网络的产品表面缺陷检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination