CN116228670A - 基于Yolov5的光伏缺陷检测方法、装置、计算机设备及介质 - Google Patents

基于Yolov5的光伏缺陷检测方法、装置、计算机设备及介质 Download PDF

Info

Publication number
CN116228670A
CN116228670A CN202310002817.1A CN202310002817A CN116228670A CN 116228670 A CN116228670 A CN 116228670A CN 202310002817 A CN202310002817 A CN 202310002817A CN 116228670 A CN116228670 A CN 116228670A
Authority
CN
China
Prior art keywords
visible light
image data
information
model
infrared image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310002817.1A
Other languages
English (en)
Inventor
余亚玲
谷湘煜
张宇
徐劲莉
陈皓
董琼
王开雄
肖倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Launch Digital Technology Co Ltd
Original Assignee
Shenzhen Launch Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Launch Digital Technology Co Ltd filed Critical Shenzhen Launch Digital Technology Co Ltd
Priority to CN202310002817.1A priority Critical patent/CN116228670A/zh
Publication of CN116228670A publication Critical patent/CN116228670A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/50—Photovoltaic [PV] energy

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Photovoltaic Devices (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本申请提供一种基于Yolov5的光伏缺陷检测方法，通过将所述配准后的图像数据集、所述标注后的红外图像数据集和所述标注后的可见光图像数据集输入Yolov5目标检测模型进行处理，并输出光伏组件缺陷分类详细信息，从而使得对红外图像及可见光图像进行分析，并对结果进行分类输出详细的光伏组件缺陷分类详细信息，便于后期工作人员依据详细的光伏组件缺陷分类详细信息进行维修或清理。

Description

基于Yolov5的光伏缺陷检测方法、装置、计算机设备及介质
技术领域
本发明属于光伏技术领域，尤其涉及一种基于Yolov5的光伏缺陷检测方法、装置、计算机设备及介质。
背景技术
光伏系统在长期的使用过程中，因为各种缺陷而导致光伏组件无法正常使用，比如电池片短路、草木遮挡、灰尘、积雪、鸟类的排泄物、昆虫的分泌物等等，这些缺陷会导致热斑的产生，而热斑效应会严重影响光伏组件的发电效率，而这些故障一旦无法第一时间进行处理，甚至会导致局部烧毁电池、盖板玻璃炸裂等问题。
随着光伏系统的大量应用，对光伏组件故障的检测方案也越来越多，常见的检测方案包括以下三种：人工巡检、基于光伏电气参数测量的检测以及无人机巡检；采用人工巡检无法适应于光伏组件数量多，且地形复杂的区域；而基于光伏电气参数测量的检测无法判断故障的类型；而现有的广泛采用无人机巡检的方式，通过无人机搭载传感器对光伏组件的图像进行采集，可以在几小时内采集高分辨率的红外图像与可见光光伏图像数据。
中国专利公开了一件申请号为202111647466.7的一种基于YOLOv5的光伏板红外图像热斑检测方法及系统，通过使用无人机获取光伏组件红外图像，提取图像进行预处理得到光伏组件热斑数据集，并构建改进的YOLOv5模型，使用训练集对其进行训练以及使用测试集对其进行测试，选取其中检测精度最高的模型作为训练好的改进YOLOv5模型；使用训练好的改进YOLOv5模型对待检测的光伏组件图像进行检测，在对输出的检测框处理后，输出光伏组件类别信息。此方法提高了光伏板热斑检测的准确性，但是该方法只能初步区分长条形热斑缺陷与小型热斑，无法对造成故障的类型进行识别。
发明内容
针对上述现有技术的不足，本发明的目的在于提供一种基于Yolov5的光伏缺陷检测方法、装置、计算机设备及介质，以解决现有方法无法对造成故障的类型进行识别的问题。
本发明提供一种基于Yolov5的光伏缺陷检测方法，包括：
获取生产运行中的光伏组件的红外图像数据和可见光图像数据；
对红外图像数据进行温度异常标注，获得标注后的红外图像数据集；
对可见光图像数据进行图像异常标注，获得标注后的可见光图像数据集；
对红外图像数据和可见光图像数据进行配准，获得配准后的图像数据集；
将所述配准后的图像数据集、所述标注后的红外图像数据集和所述标注后的可见光图像数据集输入Yolov5目标检测模型进行处理，并输出光伏组件缺陷分类详细信息。
在本发明的一实施例中，所述对红外图像数据进行温度异常标注，获得标注后的红外图像数据集的步骤包括：
对所述红外图像数据中的温度差异区域进行标注，获得温度差异区域的红外图像数据；
依据热斑类型对所述温度差异区域的红外图像数据进行热斑分类标注，获得标注后的红外图像数据集。
在本发明的一实施例中，所述对可见光图像数据进行图像异常标注，获得标注后的可见光图像数据集包括：
对可见光图像数据中的图像异常区域进行标注，获得图像异常区域的可见光图像数据；
对所述图像异常区域的可见光图像数据依据遮挡类型进行遮挡分类标注，获得标注后的可见光图像数据集。
在本发明的一实施例中，所述将所述配准后的图像数据集、所述标注后的红外图像数据集和所述标注后的可见光图像数据集输入Yolov5目标检测模型进行处理，并输出光伏组件缺陷分类详细信息包括：
所述Yolov5目标检测模型包括Backbone模型、Neck模型和Detect模型；
所述Backbone模型对所述配准后的图像数据集、所述标注后的红外图像数据集和所述标注后的可见光图像数据集进行特征提取，获得第一提取数据信息；
将所述第一提取数据信息输入至所述Neck模型内进行串行特征处理、多尺度特征提取和特征融合，获得第二提取数据信息；
将所述第二提取数据信息输入至Detect模型内计算，获得类别信息、类别检测框坐标和置信度；
依据所述类别信息、所述类别检测框坐标和所述置信度进行匹配获得所述光伏组件缺陷分类详细信息，并将所述光伏组件缺陷分类详细信息输出。
在本发明的一实施例中，所述Backbone模型对所述配准后的图像数据集、所述标注后的红外图像数据集和所述标注后的可见光图像数据集进行特征提取，获得第一提取数据信息包括：
所述Backbone模型包括多个卷积层、BN层和激活函数，对输入所述Backbone模型的所述配准后的图像数据集、所述标注后的红外图像数据集和所述标注后的可见光图像数据集进行特征提取，依据提取出的特征生成所述第一提取数据信息。
在本发明的一实施例中，所述将所述第一提取数据信息输入至所述Neck模型内进行串行特征处理、多尺度特征提取和特征融合，获得第二提取数据信息包括：
所述Neck模型包括SPPF结构和CSP-PAN结构；
将所述第一提取数据信息输入至所述SPPF结构中经过最大池化处理，获得最大池化处理的特征信息；
将所述最大池化处理的特征信息输入至CSP-PAN结构中进行多尺度提取和融合处理，获得第二提取数据信息。
在本发明的一实施例中，所述将所述第二提取数据信息输入至Detect模型内计算，获得类别信息、类别检测框坐标和置信度包括：
所述Detect模型包括分类损失计算模型、置信度损失计算模型和定位损失计算模型；
将所述第二提取数据信息输入至所述损失计算模型、所述置信度损失计算模型和所述定位损失计算模型获得所述类别信息、所述类别检测框坐标和所述置信度；
依据所述类别信息、所述类别检测框坐标和所述置信度生成红外检测框和可见光检测框；
依据所述红外检测框和所述可见光检测框进行判断，生成光伏组件缺陷分类详细信息并输出。
一种基于Yolov5的光伏缺陷检测装置，包括：
信息获取模块，用于获取光伏组件的红外图像数据和可见光图像数据；
标注模块，用于对红外图像数据进行温度异常、可见光图像数据进行图像异常进行标注；
配准模块，用于对红外图像数据和可见光图像数据进行配准；
Yolov5目标检测模块，依据配准后的图像数据集、标注后的红外图像数据集和标注后的可见光图像数据集生成光伏组件缺陷分类详细信息；
结果输出模块，将光伏组件缺陷分类详细信息输出。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述的方法。
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述的方法。
实施本发明实施例，将至少具有如下有益效果：
本发明提供一种基于Yolov5的光伏缺陷检测方法，通过将所述配准后的图像数据集、所述标注后的红外图像数据集和所述标注后的可见光图像数据集输入Yolov5目标检测模型进行处理，并输出光伏组件缺陷分类详细信息，从而使得对红外图像及可见光图像进行分析，并对结果进行分类输出详细的光伏组件缺陷分类详细信息，便于后期工作人员依据详细的光伏组件缺陷分类详细信息进行维修或清理。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明中基于Yolov5的光伏缺陷检测方法的一实施例流程图；
图2为本发明中基于Yolov5的光伏缺陷检测方法的另一实施例流程图；
图3为本发明中基于Yolov5的光伏缺陷检测装置的结构框图；
图4为本发明中计算机设备的结构框图。
图中：
基于Yolov5的光伏缺陷检测装置100、信息获取模块101、标注模块102、配准模块103、Yolov5目标检测模块104、结果输出模块105、计算机设备200、存储器220、处理器210。
具体实施方式
为了使本领域的技术人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，当元件被称为“固定于”或“设置于”另一个部件上，它可以直接在另一个部件上或者间接设置在另一个部件上；当一个部件被称为是“连接于”另一个部件，它可以是直接连接到另一个部件或间接连接至另一个部件上。
需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或部件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”、“若干个”的含义是两个或两个以上，除非另有明确具体的限定。
须知，本说明书附图所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本申请可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本申请所能产生的功效及所能达成的目的下，均应仍落在本申请所揭示的技术内容得能涵盖的范围内。
请参阅图1，本发明提供一种基于Yolov5的光伏缺陷检测方法，包括：
获取生产运行中的光伏组件的红外图像数据和可见光图像数据；
对红外图像数据进行温度异常标注，获得标注后的红外图像数据集；
对可见光图像数据进行图像异常标注，获得标注后的可见光图像数据集；
对红外图像数据和可见光图像数据进行配准，获得配准后的图像数据集；
将所述配准后的图像数据集、所述标注后的红外图像数据集和所述标注后的可见光图像数据集输入Yolov5目标检测模型进行处理，并输出光伏组件缺陷分类详细信息。
在本实施方式中，通过将所述配准后的图像数据集、所述标注后的红外图像数据集和所述标注后的可见光图像数据集输入Yolov5目标检测模型进行处理，并输出光伏组件缺陷分类详细信息，从而使得对红外图像及可见光图像进行分析，并对结果进行分类输出详细的光伏组件缺陷分类详细信息，便于后期工作人员依据详细的光伏组件缺陷分类详细信息进行维修或清理。
实施例一：
无人机通过拍摄生产运行中的光伏组件的红外图像数据及可见光图像数据后，将获得的红外图像数据及可见光图像数据发送至系统，系统对获取到的红外图像数据进行温度异常标注，获得标注后的红外图像数据集，对可见光图像数据进行图像异常标注，获得标注后的可见光图像数据集，然后对红外图像数据和可见光图像数据进行配准，获得配准后的图像数据集，将所述配准后的图像数据集、所述标注后的红外图像数据集和所述标注后的可见光图像数据集输入Yolov5目标检测模型进行处理，并输出光伏组件缺陷分类详细信息，使得对红外图像及可见光图像进行分析，并对结果进行分类输出详细的光伏组件缺陷分类详细信息，便于后期工作人员依据详细的光伏组件缺陷分类详细信息进行维修或清理。
其中，对红外图像数据和可见光图像数据进行配准，即使用SIFT算法对可见光图像与红外图像进行特征点匹配，使用RANSAC算法去除一部分匹配较差的特征点，利用剩下的特征点对计算仿射变换矩阵，得到配准后的图像数据集，配准指同一区域内以不同成像手段所获得的不同图像图形的地理坐标的匹配。
在本发明的一实施例中，所述对红外图像数据进行温度异常标注，获得标注后的红外图像数据集的步骤包括：
对所述红外图像数据中的温度差异区域进行标注，获得温度差异区域的红外图像数据；
依据热斑类型对所述温度差异区域的红外图像数据进行热斑分类标注，获得标注后的红外图像数据集。
在本实施方式中，红外图像数据为生产运行过程中无人机拍摄的多张光伏组件红外数字图像，红外图像为红外热成像图像；对红外图像数据进行温度异常标注为通过红外图像中的呈现色差的区域，即获取所有图像中色域占比最大的色域，然后依据最大的色域标记出存在差异的区域，依据存在差异的区域生成温度差异区域的红外图像数据，然后依据系统中存储的热斑类型对所述温度差异区域的红外图像数据进行热斑分类标注，获得标注后的红外图像数据集，从而对红外图像数据进行初步的处理，获得标注后的红外图像数据集，便于后期将红外图像数据集输入Yolov5目标检测模型进行处理。
在本发明的一实施例中，所述对可见光图像数据进行图像异常标注，获得标注后的可见光图像数据集包括：
对可见光图像数据中的图像异常区域进行标注，获得图像异常区域的可见光图像数据；
对所述图像异常区域的可见光图像数据依据遮挡类型进行遮挡分类标注，获得标注后的可见光图像数据集。
在本实施方式中，可见光图像数据为生产运行过程中无人机拍摄的多张光伏组件可见光图像；对可见光图像数据进行遮挡分析，遮挡分析分为对草木遮挡、白斑、破损、划痕、鸟粪、灰尘目标等进行分类标注，依据标注的区域生成标注后的可见光图像数据集，以对可见光图像数据进行初步处理，便于后期将可见光图像数据集输入至Yolov5目标检测模型进行处理。
其中，对可见光图像数据中的图像异常区域进行标注为：依据可见光图像数据的块状异常区域、点状异常区域、团状异常区域等进行标注。
在本发明的一实施例中，所述将所述配准后的图像数据集、所述标注后的红外图像数据集和所述标注后的可见光图像数据集输入Yolov5目标检测模型进行处理，并输出光伏组件缺陷分类详细信息包括：
所述Yolov5目标检测模型包括Backbone模型、Neck模型和Detect模型；
所述Backbone模型对所述配准后的图像数据集、所述标注后的红外图像数据集和所述标注后的可见光图像数据集进行特征提取，获得第一提取数据信息；
将所述第一提取数据信息输入至所述Neck模型内进行串行特征处理、多尺度特征提取和特征融合，获得第二提取数据信息；
将所述第二提取数据信息输入至Detect模型内计算，获得类别信息、类别检测框坐标和置信度；
依据所述类别信息、所述类别检测框坐标和所述置信度进行匹配获得所述光伏组件缺陷分类详细信息，并将所述光伏组件缺陷分类详细信息输出。
在本实施方式中，无人机通过拍摄生产运行中的光伏组件的红外图像数据及可见光图像数据后，将获得的红外图像数据及可见光图像数据发送至系统，系统对获取到的红外图像数据进行温度异常标注，获得标注后的红外图像数据集，对可见光图像数据进行图像异常标注，获得标注后的可见光图像数据集，然后使用SIFT算法对可见光图像与红外图像进行特征点匹配，使用RANSAC算法去除一部分匹配较差的特征点，利用剩下的特征点对计算仿射变换矩阵，得到配准后的图像数据集，将所述配准后的图像数据集、所述标注后的红外图像数据集和所述标注后的可见光图像数据集输入Yolov5目标检测模型进行处理，所述Backbone模型对所述配准后的图像数据集、所述标注后的红外图像数据集和所述标注后的可见光图像数据集进行特征提取，依据提取到的特征生成第一提取数据信息；然后将获得到的第一提取数据信息输入至所述Neck模型内进行串行特征处理、多尺度特征提取和特征融合，依据串行特征处理、多尺度特征提取和特征融合后的特征生成第二提取数据信息，并将第二提取数据信息输入至Detect模型内计算，获得类别信息、类别检测框坐标和置信度，依据所述类别信息、所述类别检测框坐标和所述置信度进行匹配获得所述光伏组件缺陷分类详细信息，并将所述光伏组件缺陷分类详细信息输出。
在本发明的一实施例中，所述Backbone模型对所述配准后的图像数据集、所述标注后的红外图像数据集和所述标注后的可见光图像数据集进行特征提取，获得第一提取数据信息包括：
所述Backbone模型包括多个卷积层、BN层和激活函数，对输入所述Backbone模型的所述配准后的图像数据集、所述标注后的红外图像数据集和所述标注后的可见光图像数据集进行特征提取，依据提取出的特征生成所述第一提取数据信息。
在本实施方式中，对输入所述Backbone模型的所述配准后的图像数据集、所述标注后的红外图像数据集和所述标注后的可见光图像数据集进行特征提取，依据提取出的特征生成所述第一提取数据信息，从而对所述配准后的图像数据集、所述标注后的红外图像数据集和所述标注后的可见光图像数据集进行二次处理，提高检测准确度。
在本发明的一实施例中，所述将所述第一提取数据信息输入至所述Neck模型内进行串行特征处理、多尺度特征提取和特征融合，获得第二提取数据信息包括：
所述Neck模型包括SPPF结构和CSP-PAN结构；
将所述第一提取数据信息输入至所述SPPF结构中经过最大池化处理，获得最大池化处理的特征信息；
将所述最大池化处理的特征信息输入至CSP-PAN结构中进行多尺度提取和融合处理，获得第二提取数据信息。
在本实施方式中，将所述第一提取数据信息输入至所述SPPF结构中经过最大池化处理，获得最大池化处理的特征信息，将所述最大池化处理的特征信息输入至CSP-PAN结构中进行多尺度提取和融合处理，获得第二提取数据信息，Neck模型的SPPF结构是将提取的特征串行通过三个5x5大小的MaxPool层，相比于SPP结构中并联的多个MaxPool层，SPPF结构在速度方面提升了两倍，CSP-PAN将输入的特征进行多尺度提取并且融合，有效的增加了Yolov5模型的精度。
在本发明的一实施例中，所述将所述第二提取数据信息输入至Detect模型内计算，获得类别信息、类别检测框坐标和置信度包括：
所述Detect模型包括分类损失计算模型、置信度损失计算模型和定位损失计算模型；
将所述第二提取数据信息输入至所述损失计算模型、所述置信度损失计算模型和所述定位损失计算模型获得所述类别信息、所述类别检测框坐标和所述置信度；
依据所述类别信息、所述类别检测框坐标和所述置信度生成红外检测框和可见光检测框；
依据所述红外检测框和所述可见光检测框进行判断，生成光伏组件缺陷分类详细信息并输出。
在本实施方式中，将所述第二提取数据信息输入至所述损失计算模型、所述置信度损失计算模型和所述定位损失计算模型获得所述类别信息、所述类别检测框坐标和所述置信度；依据所述类别信息、所述类别检测框坐标和所述置信度生成红外检测框和可见光检测框；依据所述红外检测框和所述可见光检测框进行判断，生成光伏组件缺陷分类详细信息并输出，Detect结构包含三个并联的卷积层，输出的形式为：5+类别总数。其中的5为预测的缺陷类别检测框坐标(x，y，w，h)和置信度。模型的损失函数由三部分组成：分类损失，置信度损失，定位损失。其中分类损失与目标损失均采用BCE loss，定位损失采用CIoUloss。
其中类别信息包括热斑类别名称和缺陷类别名称；类别检测框坐标为热斑类别检测框坐标和缺陷类别检测框坐标，置信度为依据红外图像数据集获得的置信度和依据可见光图像数据集获得的置信度；依据所述红外检测框和所述可见光检测框进行判断，生成光伏组件缺陷分类详细信息并输出。
请参阅图2，实施例二：
无人机通过拍摄生产运行中的光伏组件的红外图像数据及可见光图像数据后，将获得的红外图像数据及可见光图像数据发送至系统，系统使用SIFT算法对可见光图像与红外图像进行特征点匹配，使用RANSAC算法去除一部分匹配较差的特征点，利用剩下的特征点对计算仿射变换矩阵，得到配准后的图像数据集，对红外图像数据进行温度异常标注为通过红外图像中的呈现色差的区域，即获取所有图像中色域占比最大的色域，然后系统依据最大的色域标记出存在差异的区域，依据存在差异的区域生成温度差异区域的红外图像数据，然后依据系统中存储的热斑类型对所述温度差异区域的红外图像数据进行热斑分类标注，获得标注后的红外图像数据集，然后系统对可见光图像数据进行遮挡分析，遮挡分析分为对草木遮挡、白斑、破损、划痕、鸟粪、灰尘目标等进行分类标注，依据标注的区域生成标注后的可见光图像数据集。
系统将所述配准后的图像数据集、所述标注后的红外图像数据集和所述标注后的可见光图像数据集输入Yolov5目标检测模型进行处理，对输入所述Backbone模型的所述配准后的图像数据集、所述标注后的红外图像数据集和所述标注后的可见光图像数据集进行特征提取，依据提取出的特征生成所述第一提取数据信息，然后系统依据第一提取数据信息输入至Neck模型中，SPPF结构是将提取的特征串行通过三个5x5大小的MaxPool层，即，将所述第一提取数据信息输入至所述SPPF结构中经过最大池化处理，获得最大池化处理的特征信息，将所述最大池化处理的特征信息输入至CSP-PAN结构中进行多尺度提取和融合处理，获得第二提取数据信息，Neck模型的SPPF结构是将提取的特征串行通过三个5x5大小的MaxPool层。
然后将所述第二提取数据信息输入至所述损失计算模型、所述置信度损失计算模型和所述定位损失计算模型获得所述类别信息、所述类别检测框坐标和所述置信度；依据所述类别信息、所述类别检测框坐标和所述置信度生成红外检测框和可见光检测框；依据所述红外检测框和所述可见光检测框进行判断，生成光伏组件缺陷分类详细信息并输出，Detect结构包含三个并联的卷积层，输出的形式为：5+类别总数。其中的5为预测的缺陷类别检测框坐标(x，y，w，h)和置信度。模型的损失函数由三部分组成：分类损失，置信度损失，定位损失。其中分类损失与目标损失均采用BCE loss，定位损失采用CIoU loss。
其中分类损失函数计算公式为：
Figure BDA0004035855730000101
Figure BDA0004035855730000102
其中Oij∈{0,1}表示预测目标边界框i中是否存在第j类目标，Cij为预测值，
Figure BDA0004035855730000103
为Cij通过Sigmoid函数得到的目标概率，Npos为正样本个数。
其中的置信度损失函数计算公式为：
Figure BDA0004035855730000104
Figure BDA0004035855730000105
其中oi∈[0,1]，表示预测目标边界框与真实目标边界框的IoU，c为预测值，
Figure BDA0004035855730000106
为c通过Sigmoid函数得到的预测置信度，N为正负样本个数。
定位损失函数公式为：
Figure BDA0004035855730000107
Figure BDA0004035855730000108
Figure BDA0004035855730000109
LCIoU＝1-CIoU
其中IoU是交并比，ρ2(b,bgt)为目标标签边界框与预测目标边界框之间的欧式距离(欧式距离为欧几里得距离衡量的是多维空间中两个点之间的绝对距离)，w为边界框宽度，h为边界框长度，通过反向传播算法分别对可见光与红外图像数据集进行训练，保存最好的模型参数，从而使模型的精准度更高。
Yolov5目标检测模型经过处理后输出类别信息、类别检测框坐标和置信度，该类别信息包括热斑类别名称和缺陷类别名称，类别检测框坐标为热斑类别检测框坐标和缺陷类别检测框坐标，置信度为依据红外图像数据集获得的置信度和依据可见光图像数据集获得的置信度。
其中，类别检测框坐标为(x，y，w，h)，x代表预测检测框的中心点横坐标，y代表预测检测框的中心点纵坐标，w代表预测检测框的相对宽度值，h代表预测检测框的相对高度值。
输出光伏组件缺陷分类详细信息的步骤包括：依据标注后的红外图像数据集，找到对应可见光图像上的相应的位置，再依据可见光图像的相应位置的缺陷类型进行判别，依据仿射变换矩阵将红外图像中检测到的全部热斑，映射到可见光图像坐标中，得到热斑在可见光图像坐标系上的检测框，将得到的红外图像中检测到的热斑类别检测框与可见光图像中检测到的缺陷类别检测框进行IoU计算，设定IoU阈值，若计算得到的IoU大小大于给定的IoU阈值，则判定两个检测框相互匹配。
当：0≤0.5(wxWx+wyWy)-|xx-xy|＜min(wxWx,wyWy)且0≤0.5(hxHx+hyHy)-|xx-xy|＜min(hxHx,hyHy)则，进行如下IoU的计算：
Figure BDA0004035855730000111
当：0.5(wxWx+wyWy)-|xx-xy|≥min(wxWx,wyWy)
则，进行如下IoU的计算：
Figure BDA0004035855730000112
当：0.5(hxHx+hyHy)-|yx-yy|≥min(hxHx,hyHy)
则，进行如下IoU的计算：
Figure BDA0004035855730000113
需要说明的是：
其中boxx为红外图像中的检测框，boxy为映射后的可见光图像中的检测框，hx为红外图像中目标检测框的相对高度值，wx为红外图像中目标检测框的相对宽度值，Hx为红外图像的实际高度值，Wx为红外图像的实际宽度值，hy为转换坐标后的可见光图像中目标检测框的相对高度值，wy为转换坐标后的可见光图像中目标检测框的相对宽度值，Hy为转换坐标后的可见光图像中目标检测框的实际高度值，Wy为转换坐标后的可见光图像中目标检测框的实际宽度值，xx为红外图像中目标检测框的中心点横坐标，yx为红外图像中目标检测框的中心点纵坐标，xy为可见光图像目标检测框的中心点横坐标，yy为可见光图像目标检测框的中心点纵坐标。
其中进行详细分类方法如下：
将红外图像得到的检测框用box1表示，与之匹配的可见光检测框用box2表示，若box1类别为冷斑，box2类别为某种类型的遮挡，则判定出该位置存在某种类型的遮挡；若box1类别为冷斑，box2检测框不存在，说明可见光图像疑似发生漏检，判定该位置疑似存在某种遮挡；若box1类别为组串热斑，box2检测框不存在，判定为组串开路引起的热斑；若box1类别为组件热斑，box2检测框存在，判定为组件开路热斑；若box1类别为子串热斑，box2检测框不存在，则判定为字串故障引起的热斑；若box1类别为点状热斑，box2检测框不存在，则判定为光伏板单电池损坏引起的热斑；若box1类别为其他类型热斑，box2检测到太阳光反射，则判定为光照导致的光伏板局部温度过高；若box1类别为其他类型的热斑，box2检测框不存在，则判定为光伏板局部损坏；若box1检测框不存在，box2检测框类别为破损，则判定为光伏板破损。
需要进一步说明的是，Yolov5目标检测模型采取mosaic数据增强的方法丰富了数据集，即将图像通过随机缩放、翻转、裁减、色域变化等方式进行拼接，通过mosaic方法，间接的增大了batch size，加速了Yolov5目标检测模型的训练。
一种基于Yolov5的光伏缺陷检测装置，包括：
信息获取模块，用于获取光伏组件的红外图像数据和可见光图像数据；
标注模块，用于对红外图像数据进行温度异常、可见光图像数据进行图像异常进行标注；
配准模块，用于对红外图像数据和可见光图像数据进行配准；
Yolov5目标检测模块，依据配准后的图像数据集、标注后的红外图像数据集和标注后的可见光图像数据集生成光伏组件缺陷分类详细信息；
结果输出模块，将光伏组件缺陷分类详细信息输出。
实施例三：
请参阅图3，在本实施方式中，基于Yolov5的光伏缺陷检测装置通过信息获取模块获取光伏组件的红外图像数据和可见光图像数据，并将接收到的光伏组件的红外图像数据和可见光图像数据发送至标注模块，标注模块对红外图像数据进行温度异常、可见光图像数据进行图像异常进行标注；配准模块对红外图像数据和可见光图像数据进行配准；然后Yolov5目标检测模块依据配准后的图像数据集、标注后的红外图像数据集和标注后的可见光图像数据集生成光伏组件缺陷分类详细信息；结果输出模块将光伏组件缺陷分类详细信息输出。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述的方法。
本领域普通技术人员可以理解实现上述实施例系统中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各系统的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述的方法。
请参阅图4，计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
该计算机设备包括通过终端总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质有存储操作终端，还可有存储计算机程序，该计算机程序被处理器执行时，可使得处理器实现上述的基于Yolov5的光伏缺陷检测方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行上述的基于Yolov5的光伏缺陷检测方法。本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的设备的限定，具体的设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于Yolov5的光伏缺陷检测方法，其特征在于，包括：
获取生产运行中的光伏组件的红外图像数据和可见光图像数据；
对红外图像数据进行温度异常标注，获得标注后的红外图像数据集；
对可见光图像数据进行图像异常标注，获得标注后的可见光图像数据集；
对红外图像数据和可见光图像数据进行配准，获得配准后的图像数据集；
将所述配准后的图像数据集、所述标注后的红外图像数据集和所述标注后的可见光图像数据集输入Yolov5目标检测模型进行处理，并输出光伏组件缺陷分类详细信息。
2.根据权利要求1所述的基于Yolov5的光伏缺陷检测方法，其特征在于，所述对红外图像数据进行温度异常标注，获得标注后的红外图像数据集的步骤包括：
对所述红外图像数据中的温度差异区域进行标注，获得温度差异区域的红外图像数据；
依据热斑类型对所述温度差异区域的红外图像数据进行热斑分类标注，获得标注后的红外图像数据集。
3.根据权利要求1所述的基于Yolov5的光伏缺陷检测方法，其特征在于，所述对可见光图像数据进行图像异常标注，获得标注后的可见光图像数据集包括：
对可见光图像数据中的图像异常区域进行标注，获得图像异常区域的可见光图像数据；
对所述图像异常区域的可见光图像数据依据遮挡类型进行遮挡分类标注，获得标注后的可见光图像数据集。
4.根据权利要求1所述的基于Yolov5的光伏缺陷检测方法，其特征在于，所述将所述配准后的图像数据集、所述标注后的红外图像数据集和所述标注后的可见光图像数据集输入Yolov5目标检测模型进行处理，并输出光伏组件缺陷分类详细信息包括：
所述Yolov5目标检测模型包括Backbone模型、Neck模型和Detect模型；
所述Backbone模型对所述配准后的图像数据集、所述标注后的红外图像数据集和所述标注后的可见光图像数据集进行特征提取，获得第一提取数据信息；
将所述第一提取数据信息输入至所述Neck模型内进行串行特征处理、多尺度特征提取和特征融合，获得第二提取数据信息；
将所述第二提取数据信息输入至Detect模型内计算，获得类别信息、类别检测框坐标和置信度；
依据所述类别信息、所述类别检测框坐标和所述置信度进行匹配获得所述光伏组件缺陷分类详细信息，并将所述光伏组件缺陷分类详细信息输出。
5.根据权利要求4所述的基于Yolov5的光伏缺陷检测方法，其特征在于，所述Backbone模型对所述配准后的图像数据集、所述标注后的红外图像数据集和所述标注后的可见光图像数据集进行特征提取，获得第一提取数据信息包括：
所述Backbone模型包括多个卷积层、BN层和激活函数，对输入所述Backbone模型的所述配准后的图像数据集、所述标注后的红外图像数据集和所述标注后的可见光图像数据集进行特征提取，依据提取出的特征生成所述第一提取数据信息。
6.根据权利要求4所述的基于Yolov5的光伏缺陷检测方法，其特征在于，所述将所述第一提取数据信息输入至所述Neck模型内进行串行特征处理、多尺度特征提取和特征融合，获得第二提取数据信息包括：
所述Neck模型包括SPPF结构和CSP-PAN结构；
将所述第一提取数据信息输入至所述SPPF结构中经过最大池化处理，获得最大池化处理的特征信息；
将所述最大池化处理的特征信息输入至CSP-PAN结构中进行多尺度提取和融合处理，获得第二提取数据信息。
7.根据权利要求4所述的基于Yolov5的光伏缺陷检测方法，其特征在于，所述将所述第二提取数据信息输入至Detect模型内计算，获得类别信息、类别检测框坐标和置信度包括：
所述Detect模型包括分类损失计算模型、置信度损失计算模型和定位损失计算模型；
将所述第二提取数据信息输入至所述损失计算模型、所述置信度损失计算模型和所述定位损失计算模型获得所述类别信息、所述类别检测框坐标和所述置信度；
依据所述类别信息、所述类别检测框坐标和所述置信度生成红外检测框和可见光检测框；
依据所述红外检测框和所述可见光检测框进行判断，生成光伏组件缺陷分类详细信息并输出。
8.一种基于Yolov5的光伏缺陷检测装置，其特征在于，包括：
信息获取模块，用于获取光伏组件的红外图像数据和可见光图像数据；
标注模块，用于对红外图像数据进行温度异常、可见光图像数据进行图像异常进行标注；
配准模块，用于对红外图像数据和可见光图像数据进行配准；
Y olo v 5目标检测模块，依据配准后的图像数据集、标注后的红外图像数据集和标注后的可见光图像数据集生成光伏组件缺陷分类详细信息；
结果输出模块，将光伏组件缺陷分类详细信息输出。
9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1-7中所述的方法。
10.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1-7中所述的方法。
CN202310002817.1A 2023-01-03 2023-01-03 基于Yolov5的光伏缺陷检测方法、装置、计算机设备及介质 Pending CN116228670A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310002817.1A CN116228670A (zh) 2023-01-03 2023-01-03 基于Yolov5的光伏缺陷检测方法、装置、计算机设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310002817.1A CN116228670A (zh) 2023-01-03 2023-01-03 基于Yolov5的光伏缺陷检测方法、装置、计算机设备及介质

Publications (1)

Publication Number Publication Date
CN116228670A true CN116228670A (zh) 2023-06-06

Family

ID=86576015

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310002817.1A Pending CN116228670A (zh) 2023-01-03 2023-01-03 基于Yolov5的光伏缺陷检测方法、装置、计算机设备及介质

Country Status (1)

Country Link
CN (1) CN116228670A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117252840A (zh) * 2023-09-26 2023-12-19 西安交通大学 一种光伏阵列缺陷消除评定方法、装置及计算机设备
CN117351053A (zh) * 2023-12-04 2024-01-05 尚特杰电力科技有限公司 光伏电站图像配准方法、存储介质和电子设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117252840A (zh) * 2023-09-26 2023-12-19 西安交通大学 一种光伏阵列缺陷消除评定方法、装置及计算机设备
CN117252840B (zh) * 2023-09-26 2024-04-05 西安交通大学 一种光伏阵列缺陷消除评定方法、装置及计算机设备
CN117351053A (zh) * 2023-12-04 2024-01-05 尚特杰电力科技有限公司 光伏电站图像配准方法、存储介质和电子设备
CN117351053B (zh) * 2023-12-04 2024-02-23 尚特杰电力科技有限公司 光伏电站图像配准方法、存储介质和电子设备

Similar Documents

Publication Publication Date Title
CN110598736B (zh) 一种电力设备红外图像故障定位、识别与预测方法
CN116228670A (zh) 基于Yolov5的光伏缺陷检测方法、装置、计算机设备及介质
CN112766103B (zh) 一种机房巡检方法及装置
Su et al. Automated overheated region object detection of photovoltaic module with thermography image
CN111008576A (zh) 行人检测及其模型训练、更新方法、设备及可读存储介质
CN104537367A (zh) 一种vin码的校验方法
CN112258490A (zh) 基于光学和红外图像融合的低发射率涂层智能探损方法
Lin et al. Development of a CNN-based hierarchical inspection system for detecting defects on electroluminescence images of single-crystal silicon photovoltaic modules
CN110717449A (zh) 车辆年检人员的行为检测方法、装置和计算机设备
CN116191680A (zh) 一种应用于光伏发电的监控管理系统
CN116385421A (zh) 光伏面板检测方法、无人机和计算机可读存储介质
CN114049620A (zh) 图像数据特征提取及缺陷识别方法、装置和系统
CN118053118B (zh) 一种光伏性能综合监测评估及维护方法及系统
CN117423018A (zh) 基于无人机采集多模态源融合的电力设备检测系统及方法
CN117252840B (zh) 一种光伏阵列缺陷消除评定方法、装置及计算机设备
CN117036342B (zh) 一种芯片缺陷识别方法及系统
Özer et al. An approach based on deep learning methods to detect the condition of solar panels in solar power plants
CN111626104B (zh) 一种基于无人机红外热像的电缆隐患点检测方法和装置
CN113284103B (zh) 基于空间变换Faster R-CNN模型的变电站设备缺陷在线检测方法
Kim et al. Automatic detection of malfunctioning photovoltaic modules using unmanned aerial vehicle thermal infrared images
US20220245782A1 (en) Method and apparatus for classifying image of displaying base plate
CN115311539A (zh) 架空输电线路缺陷识别方法、装置、设备及存储介质
CN115410154A (zh) 一种风电机舱电气设备热故障识别方法
CN114529512A (zh) 光伏板热斑检测方法、系统、电子装置和存储介质
Cui et al. An exploratory framework to identify dust on photovoltaic panels in offshore floating solar power stations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination