CN115409814A - 一种基于融合图像的光伏组件热斑检测方法及系统 - Google Patents

一种基于融合图像的光伏组件热斑检测方法及系统 Download PDF

Info

Publication number
CN115409814A
CN115409814A CN202211070213.2A CN202211070213A CN115409814A CN 115409814 A CN115409814 A CN 115409814A CN 202211070213 A CN202211070213 A CN 202211070213A CN 115409814 A CN115409814 A CN 115409814A
Authority
CN
China
Prior art keywords
image
visible light
model
yolox
hot spot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211070213.2A
Other languages
English (en)
Inventor
李东挥
马亮
王尚军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Datang Chifeng New Energy Co ltd
Original Assignee
Datang Chifeng New Energy Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Datang Chifeng New Energy Co ltd filed Critical Datang Chifeng New Energy Co ltd
Priority to CN202211070213.2A priority Critical patent/CN115409814A/zh
Publication of CN115409814A publication Critical patent/CN115409814A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/50—Photovoltaic [PV] energy

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于融合图像的光伏组件热斑检测方法及系统，包括以下步骤：S1：采集光伏组件的可见光图像和红外图像；S2：对图像进行预处理；S3：将S2得到的图像进行配准与融合得到融合图像F；S4：对融合图像F的热斑区域进行标注，并创建训练集和验证集；S5：搭建改进YOLOX模型；S6：对训练集和验证集进行数据增强；S7：对改进YOLOX模型进行训练，获得训练好的模型权重并加载在改进YOLOX模型中，得到光伏组件热斑检测模型；S8：对光伏组件进行热斑检测。优点在于：将可见光图像和红外图像进行融合，实现可见光图像和红外图像的优势互补；通过改进YOLOX模型实现光伏组件的热斑缺陷检测，可保证检测精度，对硬件设备的需求较低，具有较强的应用价值。

Description

一种基于融合图像的光伏组件热斑检测方法及系统
技术领域：
本发明属于深度学习和工业缺陷检测技术领域，具体涉及一种基于可见光和红外融合图像的光伏组件热斑检测方法及系统。
背景技术：
随着光伏产业的快速发展，光伏系统的安全稳定运行受到严峻挑战。由于光伏电站所处自然环境恶劣，光伏发电组件容易受到异物遮挡，产生热斑效应，影响光伏组件的发电效率，严重时可能会发生火灾，对光伏电站的稳定运行构成了巨大威胁。为了减少热斑效应对光伏电站的影响，光伏电站运维人员必须定期利用红外成像设备或测温仪对光伏电站中的光伏组件逐一检测，检测难度大且检测效率及精度均较低。
随着无人机技术的发展，光伏产业开始尝试利用无人机进行光伏设备的巡检，在提高数据收集效率上展现出显著的优势，也为光伏电站运维的智能化奠定了基础。无人机收集的数据主要有可见光图像和红外图像。可见光图像和红外图像在光伏组件热斑检测方面各有优劣，例如，可见光图像具有更高的空间分辨率，可以提供丰富清晰的外观信息，有利于场景和目标的识别，但可见光图像对温度差异的识别敏感度不高；红外图像中，当目标物体温度与背景温度具有明显差异时，在所成图像中会表现出显著区别，因此，红外图像对凸显光伏热斑缺陷具有独特的优势，但红外图像易受环境因素的影响，如阳光反射等，显示出错误的热斑。
与此同时，基于深度学习图像处理的光伏组件热斑缺陷的自动检测算法也得到了广泛研究，但现有算法普遍存在检测精度不足、对硬件要求较高的弊端，无法满足工程应用的需求。
因此，亟需提出一种可融合可见光图像和红外图像优势且检测精度高、对硬件要求低的光伏组件热斑检测方法。
发明内容：
本发明的第一个目的在于提供一种基于融合图像的光伏组件热斑检测方法。
本发明的第二个目的在于提供一种基于融合图像的光伏组件热斑检测系统。
本发明由如下技术方案实施：一种基于融合图像的光伏组件热斑检测方法，包括：
步骤S1：采集同一场景下光伏组件的可见光图像和红外图像；
步骤S2：对步骤S1中采集的可见光图像和红外图像进行预处理，得到可见光边缘图像和红外边缘图像；
步骤S3：将步骤S2中得到的可见光边缘图像和红外边缘图像进行配准与融合得到融合图像F；
步骤S4：对步骤S3得到的融合图像F的热斑区域进行标注，并将标注的融合图像F按预设比例创建训练集和验证集；
步骤S5：基于pytorch框架搭建改进YOLOX模型，其中YOLOX的版本为YOLOX-S，所述改进YOLOX模型由输入端、Backbone、Neck及Prediction四部分组成；在Backbone及Neck中的CSP2_X模块的末端添加Non-localAttention模块；
步骤S6：通过Mosaic算法和Mixup算法对步骤S4创建的训练集和验证集进行数据增强；
步骤S7：采用步骤S6中数据增强的训练集和验证集对步骤S5搭建的所述改进YOLOX模型进行训练，获得训练好的模型权重，并将训练好的模型权重加载在所述改进YOLOX模型中，得到光伏组件热斑检测模型；
步骤S8：利用步骤S7得到的光伏组件热斑检测模型对光伏组件的融合图像进行热斑检测，并将检测到热斑缺陷的位置用矩形框进行标示。
优选的，所述步骤S2包括以下步骤：
步骤S21：通过MSRCR算法对可见光图像进行图像增强；所述MSRCR算法的数学表达式为：
Figure BDA0003829725210000031
其中，Ck(x，y)为色彩恢复因子，x，y为可见光图像和红外图像中的像素点坐标，ωk表示第k个中心环绕函数的权重系数，I(x，y)表示待处理的可见光图像，Gk(x，y)表示第k个高斯中心环绕函数，*表示卷积运算符；
所述Ck(x，y)的表达式为：
Figure BDA0003829725210000032
其中，μ为影响图像色彩恢复的增益因子，η为影响图像色彩恢复的偏移量；
所述Gk(x，y)的表达式为：
Figure BDA0003829725210000033
其中，Gk(x，y)满足∫∫Gk(x，y)dxdy＝1，σ为尺度参数；
步骤S22：分别对红外图像和步骤S21处理后的可见光图像进行高斯滤波、灰度化及Canny边缘提取，得到红外边缘图像和可见光边缘图像。
优选的，所述步骤S22中的高斯滤波可替换为中值滤波。
优选的，所述步骤S3包括以下步骤：
步骤S31：通过ASIFT算法，提取红外边缘图像和可见光边缘图像中的特征点；
步骤S32：通过FLANN算法对步骤S31提取的红外边缘图像特征点及可见光边缘图像特征点进行配准，再通过RANSAC算法剔除可见光图像与红外图像的误匹配点，得到L对匹配点对；
步骤S33：确定可见光图像和红外图像间的投影变换矩阵P；
步骤S34：通过步骤S33得到的可见光图像和红外图像间的投影变换矩阵P，将经过投影变换矩阵变换后的可见光图像和红外图像在几何位置上进行对齐，并按照相同权重进行加权融合得到融合图像F。
优选的，所述步骤S31中的ASIFT算法可替换为SIFT算法。
优选的，所述步骤S33中确定可见光图像和红外图像间的投影变换矩阵P的步骤为：
步骤a：设初始最佳内点数量Ni＝0，从L对匹配点对中随机抽选4对任意三点不共面的匹配点对作为初始匹配点对，通过4对初始匹配点对计算两平面的投影变换矩阵P，P的计算公式如下：
Figure BDA0003829725210000041
或表示为A′＝PA；
步骤b：计算剩余L-4个特征点经过投影变换矩阵后与其匹配点的距离d，若d小于阈值T，则该特征点为内点，否则为外点；若内点数量大于Ni，则P为当前最佳投影变换矩阵，更新Ni值；
步骤c：保持步骤b中更新的Ni不变，经过若干次计算，选择内点最多且误差函数最小的变换矩阵作为可见光图像和红外图像间的投影变换矩阵P；
所述误差函数公式如下：
Figure BDA0003829725210000051
其中i为匹配点对数量，d为距离。
优选的，所述步骤S4中的预设比例为4：1。
优选的，所述步骤S6中的Mosaic算法采用了四张图片随机缩放、随机裁剪、随机排布的方式进行拼接实现数据增强；所述步骤S6中的Mixup算法采用将训练集中随机的两张图片按比例混合，分类的结果按比例分配的方法实现数据增强。
优选的，所述步骤S7中对所述改进YOLOX模型进行训练的方法为：(1)向改进YOLOX模型中输入训练集和验证集，并通过Mosaic算法和Mixup算法对训练集和验证集进行数据增强；(2)通过迭代训练的方式，使得计算损失最小；(3)在验证集上对准确率进行评估；(4)通过迭代的方式得到符合输入的数据集的模型权重的参数，即符合输入数据分布的模型。
一种基于融合图像的光伏组件热斑检测系统，包括以下模块：
图像采集模块，用于采集同一场景下的光伏组件的可见光图像和红外图像；
图像预处理模块，用于对原始可见光图像和红外图像进行高斯滤波、灰度化及Canny边缘提取，得到可见光边缘图像和红外边缘图像；
图像融合模块，用于对可见光边缘图像和红外边缘图像进行配准、融合，得到可见光图像和红外图像的融合图像；
数据集划分模块，用于对融合图像的热斑区域进行标注后按预设比例创建训练集和验证集；
YOLOX模型改进模块，用于构建改进YOLOX模型，其中YOLOX的版本为YOLOX-S，所述改进YOLOX模型由输入端、Backbone、Neck及Prediction四部分组成；在Backbone及Neck中的CSP2_X模块的末端添加Non-localAttention模块；
改进YOLOX模型训练模块，对创建的训练集和验证集进行数据增强，使用数据增强的所述训练集对改进YOLOX模型进行训练以及使用数据增强的所述验证集对改进YOLOX模型进行测试，获得训练好的模型权重，并将训练好的模型权重加载在所述改进YOLOX模型中，得到光伏组件热斑检测模型；
光伏组件热斑检测模块，用于对光伏组件融合图像进行热斑检测，并将检测到热斑缺陷的位置用矩形框进行标注。
本发明的优点：1、通过将MSRCR算法对可见光图像进行增强处理，使得复杂航拍背景下的光伏组件图像更加突出；2、通过ASIFT算法和RANSAC算法对可见光图像和红外图像进行特征点匹配后再将可见光图像和红外图像进行融合，可实现可见光图像和红外图像的信息最大化保留，实现了可见光图像易于识别目标与红外图像易于凸显光伏热缺陷的优势互补；3、通过基于深度学习的改进YOLOX模型实现光伏组件的热斑缺陷检测，既可保证检测精度，同时，YOLOX模型的参数较少，易部署到边缘设备，对硬件设备的需求较低，具有较强的应用价值。
附图说明：
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为实施例1中一种基于融合图像的光伏组件热斑检测方法的流程框图；
图2为实施例1中引入Non-localAttention模块的改进YOLOX模型的结构示意图；
图3为实施例1中一种基于融合图像的光伏组件热斑检测方法的整体流程图；
图4为实施例2中一种基于融合图像的光伏组件热斑检测系统的结构示意图。
具体实施方式：
以下对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
实施例1：
如图1所示，一种基于融合图像的光伏组件热斑检测方法，包括：
步骤S1：通过搭载双光摄像头的无人机采集同一场景下光伏组件的可见光图像和红外图像；
步骤S2：对步骤S1中采集的可见光图像和红外图像进行预处理，得到可见光边缘图像和红外边缘图像；
步骤S3：将步骤S2中得到的可见光边缘图像和红外边缘图像进行配准与融合得到融合图像F；
步骤S4：对步骤S3得到的融合图像F的热斑区域进行标注，并将标注的融合图像F按预设比例4：1创建训练集和验证集；
步骤S5：基于pytorch框架搭建改进YOLOX模型，其中YOLOX的版本为YOLOX-S，所述改进YOLOX模型由输入端、Backbone、Neck及Prediction四部分组成，其中输入端用于输入数据，并进行数据增强，Backbone用于对输入的数据进行特征提取，Neck用于对提取特征进行数据融合，Prediction为输出层，对图片中的目标进行预测；在Backbone及Neck中的CSP2_X模块的末端添加Non-localAttention模块，以捕获特征图的远程依赖关系，增强改进YOLOX模型的上下文建模能力，改善原有模型精度不够的问题，使得改进后的YOLOX模型能够更精确的检测出光伏热斑缺陷；
步骤S6：通过Mosaic算法和Mixup算法对步骤S4创建的训练集和验证集进行数据增强，以提高模型的泛化能力，提升模型的鲁棒性；
步骤S7：采用步骤S6中数据增强的训练集和验证集对步骤S5搭建的所述改进YOLOX模型进行训练，获得训练好的模型权重，并将训练好的模型权重加载在所述改进YOLOX模型中，得到光伏组件热斑检测模型；
步骤S8：利用步骤S7得到的光伏组件热斑检测模型对光伏组件的融合图像进行热斑检测，并将检测到热斑缺陷的位置用矩形框进行标示。
在同一实施例中，步骤S2包括以下步骤：
步骤S21：通过MSRCR算法对可见光图像进行图像增强，以突出复杂背景下的光伏组件。不同于传统的线性、非线性的只能增强图像某一类特征的方法，MSRCR算法可以在动态范围压缩、边缘增强和颜色恒常三个方面达到平衡，因此可以对各种不同类型的图像进行自适应的增强。
MSRCR算法的数学表达式为：
Figure BDA0003829725210000081
其中，Ck(x,y)为色彩恢复因子，x，y为可见光图像和红外图像中的像素点坐标，ωk表示第k个中心环绕函数的权重系数，I(x，y)表示待处理的可见光图像，Gk(x，y)表示第k个高斯中心环绕函数，*表示卷积运符。
Ck(x，y)的表达式为：
Figure BDA0003829725210000091
其中，μ为影响图像色彩恢复的增益因子，η为影响图像色彩恢复的偏移量。
Gk(x，y)的表达式为：
Figure BDA0003829725210000092
其中，Gk(x，y)满足∫∫Gk(x，y)dxdy＝1，σ为尺度参数。
步骤S22：分别对红外图像和步骤S21处理后的可见光图像进行高斯滤波、灰度化及Canny边缘提取，得到红外边缘图像和可见光边缘图像；通过高斯滤波，可消除可见光图像和红外图像中的高斯噪声。
在同一实施例中，步骤S3包括以下步骤：
步骤S31：通过ASIFT算法，提取红外边缘图像和可见光边缘图像中的特征点；特征点为可见光图像和红外图像中较为突出或显著的目标，例如直线的交点、边缘、轮廓、角点等。
步骤S32：通过FLANN算法对步骤S31提取的红外边缘图像特征点及可见光边缘图像特征点进行配准，再通过RANSAC算法剔除可见光图像与红外图像的误匹配点，得到L对匹配点对；
步骤S33：确定可见光图像和红外图像间的投影变换矩阵P，具体步骤为：
步骤a：设初始最佳内点数量Ni＝0，从L对匹配点对中随机抽选4对任意三点不共面的匹配点对作为初始匹配点对，通过4对初始匹配点对计算两平面的投影变换矩阵P，P的计算公式如下：
Figure BDA0003829725210000101
或表示为A′＝PA；
步骤b：计算剩余L-4个特征点经过投影变换矩阵后与其匹配点的距离d，若d小于阈值T，则该特征点为内点，否则为外点；若内点数量大于Ni，则P为当前最佳投影变换矩阵，更新Ni值；
步骤c：保持步骤b中更新的Ni不变，经过若干次计算，选择内点最多且误差函数最小的变换矩阵作为可见光图像和红外图像间的投影变换矩阵P；
误差函数公式如下：
Figure BDA0003829725210000102
其中i为匹配点对数量，d为距离。
步骤S34：通过步骤S33得到的可见光图像和红外图像间的投影变换矩阵P，将经过投影变换矩阵变换后的可见光图像和红外图像在几何位置上进行对齐，并按照相同权重进行加权融合得到融合图像P，公式如下：
Figure BDA0003829725210000103
其中，IRGB为经过投影变换矩阵变换后的可见光图像，IT为对应的红外图像，
Figure BDA0003829725210000104
为加权操作。
在同一实施例中，步骤S6中的Mosaic算法采用了四张图片随机缩放、随机裁剪、随机排布的方式进行拼接实现数据增强；Mixup算法采用将训练集中随机的两张图片按比例混合，分类的结果按比例分配的方法实现数据增强。
在同一实施例中，步骤S7中对改进YOLOX模型进行训练的方法为：(1)向改进YOLOX模型中输入训练集和验证集，并通过Mosaic算法和Mixup算法对训练集和验证集进行数据增强；(2)通过迭代训练的方式，使得计算损失最小；(3)在验证集上对准确率进行评估；(4)通过迭代的方式得到符合输入的数据集的模型权重的参数，即符合输入数据分布的模型；模型权重的参数用于确定矩形框的位置。
实施例2：
如图所示，一种基于融合图像的光伏组件热斑检测系统，包括以下模块：
图像采集模块91，用于采集同一场景下的光伏组件的可见光图像和红外图像；
图像预处理模块92，用于对原始可见光图像和红外图像进行高斯滤波、灰度化及Canny边缘提取，得到可见光边缘图像和红外边缘图像；
图像融合模块93，用于对可见光边缘图像和红外边缘图像进行配准、融合，得到可见光图像和红外图像的融合图像；
数据集划分模块94，用于对融合图像的热斑区域进行标注后按预设比例创建训练集和验证集；
YOLOX模型改进模块95，用于构建改进YOLOX模型，其中YOLOX的版本为YOLOX-S，所述改进YOLOX模型由输入端、Backbone、Neck及Prediction四部分组成；在Backbone及Neck中的CSP2_X模块的末端添加Non-localAttention模块；
改进YOLOX模型训练模块96，对创建的训练集和验证集进行数据增强，使用数据增强的所述训练集对改进YOLOX模型进行训练以及使用数据增强的所述验证集对改进YOLOX模型进行测试，获得训练好的模型权重，并将训练好的模型权重加载在所述改进YOLOX模型中，得到光伏组件热斑检测模型；
光伏组件热斑检测模块97，用于对光伏组件融合图像进行热斑检测，并将检测到热斑缺陷的位置用矩形框进行标注。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于融合图像的光伏组件热斑检测方法，其特征在于，包括：
步骤S1：采集同一场景下光伏组件的可见光图像和红外图像；
步骤S2：对步骤S1中采集的可见光图像和红外图像进行预处理，得到可见光边缘图像和红外边缘图像；
步骤S3：将步骤S2中得到的可见光边缘图像和红外边缘图像进行配准与融合得到融合图像F；
步骤S4：对步骤S3得到的融合图像F的热斑区域进行标注，并将标注的融合图像F按预设比例创建训练集和验证集；
步骤S5：基于pytorch框架搭建改进YOLOX模型，其中YOLOX的版本为YOLOX-S，所述改进YOLOX模型由输入端、Backbone、Neck及Prediction四部分组成；在Backbone及Neck中的CSP2_X模块的末端添加Non-localAttention模块；
步骤S6：通过Mosaic算法和Mixup算法对步骤S4创建的训练集和验证集进行数据增强；
步骤S7：采用步骤S6中数据增强的训练集和验证集对步骤S5搭建的所述改进YOLOX模型进行训练，获得训练好的模型权重，并将训练好的模型权重加载在所述改进YOLOX模型中，得到光伏组件热斑检测模型；
步骤S8：利用步骤S7得到的光伏组件热斑检测模型对光伏组件的融合图像进行热斑检测，并将检测到热斑缺陷的位置用矩形框进行标示。
2.根据权利要求1所述的一种基于融合图像的光伏组件热斑检测方法，其特征在于，所述步骤S2包括以下步骤：
步骤S21：通过MSRCR算法对可见光图像进行图像增强；所述MSRCR算法的数学表达式为：
Figure FDA0003829725200000021
其中，Ck(x，y)为色彩恢复因子，x，y为可见光图像和红外图像中的像素点坐标，ωk表示第k个中心环绕函数的权重系数，I(x，y)表示待处理的可见光图像，Gk(x，y)表示第k个高斯中心环绕函数，*表示卷积运算符；
所述Ck(x，y)的表达式为：
Figure FDA0003829725200000022
其中，μ为影响图像色彩恢复的增益因子，η为影响图像色彩恢复的偏移量；
所述Gk(x，y)的表达式为：
Figure FDA0003829725200000023
其中，Gk(x，y)满足∫∫Gk(x，y)dxdy＝1，σ为尺度参数；
步骤S22：分别对红外图像和步骤S21处理后的可见光图像进行高斯滤波、灰度化及Canny边缘提取，得到红外边缘图像和可见光边缘图像。
3.根据权利要求2所述的一种基于融合图像的光伏组件热斑检测方法，其特征在于，所述步骤S22中的高斯滤波可替换为中值滤波。
4.根据权利要求1所述的一种基于融合图像的光伏组件热斑检测方法，其特征在于，所述步骤S3包括以下步骤：
步骤S31：通过ASIFT算法，提取红外边缘图像和可见光边缘图像中的特征点；
步骤S32：通过FLANN算法对步骤S31提取的红外边缘图像特征点及可见光边缘图像特征点进行配准，再通过RANSAC算法剔除可见光图像与红外图像的误匹配点，得到L对匹配点对；
步骤S33：确定可见光图像和红外图像间的投影变换矩阵P；
步骤S34：通过步骤S33得到的可见光图像和红外图像间的投影变换矩阵P，将经过投影变换矩阵变换后的可见光图像和红外图像在几何位置上进行对齐，并按照相同权重进行加权融合得到融合图像F。
5.根据权利要求4所述的一种基于融合图像的光伏组件热斑检测方法，其特征在于，所述步骤S31中的ASIFT算法可替换为SIFT算法。
6.根据权利要求4所述的一种基于融合图像的光伏组件热斑检测方法，其特征在于，所述步骤S33中确定可见光图像和红外图像间的投影变换矩阵P的步骤为：
步骤a：设初始最佳内点数量Ni＝0，从L对匹配点对中随机抽选4对任意三点不共面的匹配点对作为初始匹配点对，通过4对初始匹配点对计算两平面的投影变换矩阵P，P的计算公式如下：
Figure FDA0003829725200000031
或表示为A′＝PA；
步骤b：计算剩余L-4个特征点经过投影变换矩阵后与其匹配点的距离d，若d小于阈值T，则该特征点为内点，否则为外点；若内点数量大于Ni，则P为当前最佳投影变换矩阵，更新Ni值；
步骤c：保持步骤b中更新的Ni不变，经过若干次计算，选择内点最多且误差函数最小的变换矩阵作为可见光图像和红外图像间的投影变换矩阵P；
所述误差函数公式如下：
Figure FDA0003829725200000041
其中i为匹配点对数量，d为距离。
7.根据权利要求1所述的一种基于融合图像的光伏组件热斑检测方法，其特征在于，所述步骤S4中的预设比例为4∶1。
8.根据权利要求1所述的一种基于融合图像的光伏组件热斑检测方法，其特征在于，所述步骤S6中的Mosaic算法采用了四张图片随机缩放、随机裁剪、随机排布的方式进行拼接实现数据增强；所述步骤S6中的Mixup算法采用将训练集中随机的两张图片按比例混合，分类的结果按比例分配的方法实现数据增强。
9.根据权利要求1所述的一种基于融合图像的光伏组件热斑检测方法，其特征在于，所述步骤S7中对所述改进YOLOX模型进行训练的方法为：(1)向改进YOLOX模型中输入训练集和验证集，并通过Mosaic算法和Mixup算法对训练集和验证集进行数据增强；(2)通过迭代训练的方式，使得计算损失最小；(3)在验证集上对准确率进行评估；(4)通过迭代的方式得到符合输入的数据集的模型权重的参数，即符合输入数据分布的模型。
10.一种基于融合图像的光伏组件热斑检测系统，其特征在于，包括以下模块：
图像采集模块，用于采集同一场景下的光伏组件的可见光图像和红外图像；
图像预处理模块，用于对原始可见光图像和红外图像进行高斯滤波、灰度化及Canny边缘提取，得到可见光边缘图像和红外边缘图像；
图像融合模块，用于对可见光边缘图像和红外边缘图像进行配准、融合，得到可见光图像和红外图像的融合图像；
数据集划分模块，用于对融合图像的热斑区域进行标注后按预设比例创建训练集和验证集；
YOLOX模型改进模块，用于构建改进YOLOX模型，其中YOLOX的版本为YOLOX-S，所述改进YOLOX模型由输入端、Backbone、Neck及Prediction四部分组成；在Backbone及Neck中的CSP2_X模块的末端添加Non-localAttention模块；
改进YOLOX模型训练模块，对创建的训练集和验证集进行数据增强，使用数据增强的所述训练集对改进YOLOX模型进行训练以及使用数据增强的所述验证集对改进YOLOX模型进行测试，获得训练好的模型权重，并将训练好的模型权重加载在所述改进YOLOX模型中，得到光伏组件热斑检测模型；
光伏组件热斑检测模块，用于对光伏组件融合图像进行热斑检测，并将检测到热斑缺陷的位置用矩形框进行标注。
CN202211070213.2A 2022-09-02 2022-09-02 一种基于融合图像的光伏组件热斑检测方法及系统 Pending CN115409814A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211070213.2A CN115409814A (zh) 2022-09-02 2022-09-02 一种基于融合图像的光伏组件热斑检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211070213.2A CN115409814A (zh) 2022-09-02 2022-09-02 一种基于融合图像的光伏组件热斑检测方法及系统

Publications (1)

Publication Number Publication Date
CN115409814A true CN115409814A (zh) 2022-11-29

Family

ID=84162890

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211070213.2A Pending CN115409814A (zh) 2022-09-02 2022-09-02 一种基于融合图像的光伏组件热斑检测方法及系统

Country Status (1)

Country Link
CN (1) CN115409814A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116192049A (zh) * 2023-04-28 2023-05-30 佰聆数据股份有限公司 一种应用于分布式光伏项目下的安全检测方法和系统
CN117173601A (zh) * 2023-11-03 2023-12-05 中铁建设集团有限公司 光伏电站阵列热斑识别方法和系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116192049A (zh) * 2023-04-28 2023-05-30 佰聆数据股份有限公司 一种应用于分布式光伏项目下的安全检测方法和系统
CN116192049B (zh) * 2023-04-28 2023-06-30 佰聆数据股份有限公司 一种应用于分布式光伏项目下的安全检测方法和系统
CN117173601A (zh) * 2023-11-03 2023-12-05 中铁建设集团有限公司 光伏电站阵列热斑识别方法和系统
CN117173601B (zh) * 2023-11-03 2024-03-01 中铁建设集团有限公司 光伏电站阵列热斑识别方法和系统

Similar Documents

Publication Publication Date Title
CN109615611B (zh) 一种基于巡检影像的绝缘子自爆缺陷检测方法
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
Zhu et al. Detection of large-scale concrete columns for automated bridge inspection
CN115409814A (zh) 一种基于融合图像的光伏组件热斑检测方法及系统
CN109961398B (zh) 风机叶片图像分割与网格优化拼接方法
Tian et al. Multiscale building extraction with refined attention pyramid networks
CN110910350B (zh) 一种用于风电塔筒的螺母松动检测方法
CN111368690A (zh) 基于深度学习的海浪影响下视频图像船只检测方法及系统
CN113435407B (zh) 一种输电系统的小目标识别方法及装置
CN110852164A (zh) 一种基于YOLOv3的自动检测违章建筑方法及系统
CN113628261B (zh) 一种电力巡检场景下的红外与可见光图像配准方法
CN112906689B (zh) 一种基于缺陷检测与分割深度卷积神经网络的图像检测方法
CN115830004A (zh) 表面缺陷检测方法、装置、计算机设备和存储介质
CN108932474B (zh) 一种基于全卷积神经网络复合特征的遥感影像云判方法
CN115995058A (zh) 基于人工智能的输电通道安全在线监测方法
Shit et al. An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection
Li et al. Automated rust-defect detection of a steel bridge using aerial multispectral imagery
CN115880683B (zh) 一种基于深度学习的城市内涝积水智能水位检测方法
Li et al. Wooden spoon crack detection by prior knowledge-enriched deep convolutional network
CN117058557A (zh) 基于物理特征与深度学习模型的云和云阴影联合检测方法
CN114648736B (zh) 基于目标检测的鲁棒工程车辆识别方法及系统
CN114550016B (zh) 一种基于上下文信息感知的无人机定位方法及系统
CN113673534B (zh) 一种基于Faster RCNN的RGB-D图像果实检测方法
CN115861162A (zh) 定位目标区域的方法、装置及计算机可读存储介质
CN112036246B (zh) 遥感影像分类模型的构建方法，遥感影像分类方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination