CN114359259A - 一种基于深度学习的变电站光伏板污染检测方法及系统 - Google Patents

一种基于深度学习的变电站光伏板污染检测方法及系统 Download PDF

Info

Publication number
CN114359259A
CN114359259A CN202210053496.3A CN202210053496A CN114359259A CN 114359259 A CN114359259 A CN 114359259A CN 202210053496 A CN202210053496 A CN 202210053496A CN 114359259 A CN114359259 A CN 114359259A
Authority
CN
China
Prior art keywords
image
photovoltaic panel
frame
segmentation
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210053496.3A
Other languages
English (en)
Inventor
曹春键
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yi Tai Fei Liu Information Technology LLC
Original Assignee
Yi Tai Fei Liu Information Technology LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yi Tai Fei Liu Information Technology LLC filed Critical Yi Tai Fei Liu Information Technology LLC
Priority to CN202210053496.3A priority Critical patent/CN114359259A/zh
Publication of CN114359259A publication Critical patent/CN114359259A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于深度学习的变电站光伏板污染检测方法及系统，首先获取拍摄的视频流；对视频流进行解码，获取多帧图像；利用预先训练后的检测模型对每帧图像进行检测，确定每帧图像中存在的光伏面板边框，以及将光伏面板边框对应的区域图像作为光伏面板区域图像；对光伏面板区域图像进行实例分割，并获取原始光伏面板图像中存在污染物区域的分割掩码图像；根据分割掩码图像在原始光伏面板图像形成最大连通域；确定最大连通域是否满足污染物判断条件，若满足，则绘制污染物区域检测边框，并根据边框绘制结果发出警报。本发明可以详细的得到污染物区域的边界信息，大大提升了光伏面板污染物的检测精度，有效地降低漏检、误检的发生。

Description

一种基于深度学习的变电站光伏板污染检测方法及系统
技术领域
本发明涉及计算机视觉技术领域，特别是涉及一种基于深度学习的变电站光伏板污染检测方法及系统。
背景技术
当前光伏电站较多使用硅基电池组件，该组件对于温度十分敏感。光伏组件由于铺设角度不同，组件下端边框处总有大量积存灰尘，这是因为大气降雨时，在雨滴和水流的共同作用下，组件表面灰水混合物会沿组件玻璃表面向下流动。由于组件边框比玻璃面高出2-3毫米，总有部分积水无法越过边框，形成不同面积的“堰塞湖”现象，此处沉积的灰尘被“堰塞湖”保护起来。水分蒸发后，剩下灰尘会形成积灰带，影响发电量。更严重的是，由于光伏组件上被遮盖部分的散热能力差，在阳光的照射下其升温速度远大于未被遮盖部分，致使温度过高形成热斑效应损坏组件。因此对光伏组件上的污染物进行检测能够有效防止光伏组件的损坏，提升光伏组件的运行效率。
现有的光伏组件污染物检测方法主要是利用传感器检测出的数值变化来判定光伏组件便面灰尘的累计程度。该方案过于依赖硬件设备，且具有一定的设备成本，硬件出现损坏会直接影响到检测结果，检测的鲁棒性低。而且该方案主要由传感器获取所需数值，从数值间的变化去判定污染程度的大小，通过无线通信模块发送至远程终端告知使用者，该种方式使用过程繁琐，无法定位到污染物区域位置，检测的直观性较差。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于深度学习的变电站光伏板污染检测方法，用于解决现有的光伏组件污染物检测方法中鲁棒性性、过程繁琐以及直观性差的问题。
为实现上述目的及其他相关目的，本发明提供一种基于深度学习的变电站光伏板污染检测方法，包括以下步骤：
获取预设图像拍摄装置拍摄的包含有变电站光伏板的视频流；
对所述视频流进行解码，获取多帧图像；
利用预先训练后的检测模型对每帧图像进行检测，确定每帧图像中存在的光伏面板边框，以及将所述光伏面板边框对应的区域图像作为光伏面板区域图像；
对所述光伏面板区域图像进行实例分割，并获取原始光伏面板图像中存在污染物区域的分割掩码图像；
根据所述分割掩码图像在所述原始光伏面板图像形成最大连通域；
确定所述最大连通域是否满足污染物判断条件，若满足，则绘制污染物区域检测边框，并根据边框绘制结果发出警报。
可选地，在利用预先训练后的检测模型对每帧图像进行检测前，还包括：
对解码后的每帧图像进行预处理，所述预处理包括：裁剪、水平翻转和调整大小。
可选地，所述利用预先训练后的检测模型对每帧图像进行检测，确定每帧图像中存在的光伏面板边框的过程包括：
对预处理后的图像进行整理，并采用Labellmg工具对整理后的图像进行标注，生成训练集和测试集；
将所述训练集送入YOLOv3检测模型中进行训练直至损失收敛，并获取第一最优权重参数；
根据所述第一最优权重参数对当前每帧图像进行检测，确定当前每帧图像中存在的光伏面板边框结果。
可选地，在对所述光伏面板区域图像进行实例分割前，还包括：按照预设的筛选条件对所述待检测图像区域进行过滤。
可选地，对所述光伏面板区域图像进行实例分割，并获取原始光伏面板图像中存在污染物区域的分割掩码图像的过程包括：
对过滤后的图像进行实例分割，并利用Via工具对分割区域进行标注，以及采用多种尺度对原图中存在污染物的区域进行裁剪，增加训练样本数量；
将训练样本融入FCN分割模型进行训练直至损失收敛，取得第二最优权重参数；
加载第二最优权重参数后，输出光伏面板图像送入分割模型进行处理，输出相对输入图像大小的污染物分割掩码图像。
可选地，预设的图像拍摄装置包括模拟摄像机、数字摄像机。
本发明还提供一种基于深度学习的变电站光伏板污染检测系统，包括有：
视频流读入模块，用于获取预设图像拍摄装置拍摄的包含有变电站光伏板的视频流，以及对所述视频流进行解码，获取多帧图像；
图像预处理模模块，用于对解码后的每帧图像进行预处理，所述预处理包括：裁剪、水平翻转和调整大小；
目标检测模块，用于利用预先训练后的检测模型对每帧图像进行检测，确定每帧图像中存在的光伏面板边框，以及将所述光伏面板边框对应的区域图像作为光伏面板区域图像；
过滤模块，用于按照预设的筛选条件对所述待检测图像区域进行过滤；
实例分割模块，用于对所述光伏面板区域图像进行实例分割，并获取原始光伏面板图像中存在污染物区域的分割掩码图像；
判断模块，用于根据所述分割掩码图像在所述原始光伏面板图像形成最大连通域，并确定定所述最大连通域是否满足污染物判断条件，若满足，则绘制污染物区域检测边框；
结果报警模块，用于根据边框绘制结果发出警报。
可选地，所述目标检测模块利用预先训练后的检测模型对每帧图像进行检测，确定每帧图像中存在的光伏面板边框的过程包括：
对预处理后的图像进行整理，并采用Labellmg工具对整理后的图像进行标注，生成训练集和测试集；
将所述训练集送入YOLOv3检测模型中进行训练直至损失收敛，并获取第一最优权重参数；
根据所述第一最优权重参数对当前每帧图像进行检测，确定当前每帧图像中存在的光伏面板边框结果。
可选地，所述实例分割模块对所述光伏面板区域图像进行实例分割，并获取原始光伏面板图像中存在污染物区域的分割掩码图像的过程包括：
对过滤后的图像进行实例分割，并利用Via工具对分割区域进行标注，以及采用多种尺度对原图中存在污染物的区域进行裁剪，增加训练样本数量；
将训练样本融入FCN分割模型进行训练直至损失收敛，取得第二最优权重参数；
加载第二最优权重参数后，输出光伏面板图像送入分割模型进行处理，输出相对输入图像大小的污染物分割掩码图像。
可选地，预设的图像拍摄装置包括模拟摄像机、数字摄像机。
如上所述，本发明提供一种基于深度学习的变电站光伏板污染检测方法及系统，具有以下有益效果：
本发明首先获取预设图像拍摄装置拍摄的包含有变电站光伏板的视频流；对视频流进行解码，获取多帧图像；利用预先训练后的检测模型对每帧图像进行检测，确定每帧图像中存在的光伏面板边框，以及将光伏面板边框对应的区域图像作为光伏面板区域图像；对光伏面板区域图像进行实例分割，并获取原始光伏面板图像中存在污染物区域的分割掩码图像；根据分割掩码图像在原始光伏面板图像形成最大连通域；确定最大连通域是否满足污染物判断条件，若满足，则绘制污染物区域检测边框，并根据边框绘制结果发出警报。本发明提出了一种基于深度学习的变电站光伏面板污染物检测方法及系统，可以详细的得到污染物区域的边界信息。本发明提出先检测后分割的技术方案，结合目标检测与实例分割方法的优点，大大提升了光伏面板污染物的检测精度，有效地降低漏检、误检的发生。本发明能够准确、高效地检测出光伏面板上沉积的污染物，减少因污染物覆盖而导致光伏组件发电效率降低、使用寿命缩短情形的发生。本发明利用基于深度学习的卷积神经网络，实现了高准确性与强鲁棒性的检测方法。
附图说明
图1为一实施例提供的基于深度学习的变电站光伏板污染检测方法的流程示意图；
图2为一实施例提供的基于深度学习的变电站光伏板污染检测系统的硬件结构示意图；
图3为一实施例提供的目标检测模块的结构示意图；
图4为一实施例提供的实例分割模块的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
请参阅图1所示，本发明提供一种基于深度学习的变电站光伏板污染检测方法，包括以下步骤：
S100，获取预设图像拍摄装置拍摄的包含有变电站光伏板的视频流。作为示例，本实施例中预设的图像拍摄装置包括但不限于模拟摄像机、数字摄像机。
S200，对所述视频流进行解码，获取多帧图像；
S300，利用预先训练后的检测模型对每帧图像进行检测，确定每帧图像中存在的光伏面板边框，以及将所述光伏面板边框对应的区域图像作为光伏面板区域图像。作为示例，本实施例在利用预先训练后的检测模型对每帧图像进行检测前，还包括：对解码后的每帧图像进行预处理，所述预处理包括：裁剪、水平翻转和调整大小。
S400，对所述光伏面板区域图像进行实例分割，并获取原始光伏面板图像中存在污染物区域的分割掩码图像。作为示例，本实施例在对所述光伏面板区域图像进行实例分割前，还包括：按照预设的筛选条件对所述待检测图像区域进行过滤。其中，预设的筛选条件根据实际情况进行设定，本实施例不再进行赘述。
S500，根据所述分割掩码图像在所述原始光伏面板图像形成最大连通域；
S600，确定所述最大连通域是否满足污染物判断条件，若满足，则绘制污染物区域检测边框，并根据边框绘制结果发出警报。
根据上述记载，在一示例性实施例中，利用预先训练后的检测模型对每帧图像进行检测，确定每帧图像中存在的光伏面板边框的过程包括：
对预处理后的图像进行整理，并采用Labellmg工具对整理后的图像进行标注，生成训练集和测试集；
将所述训练集送入YOLOv3检测模型中进行训练直至损失收敛，并获取第一最优权重参数；
根据所述第一最优权重参数对当前每帧图像进行检测，确定当前每帧图像中存在的光伏面板边框结果。
根据上述记载，在一示例性实施例中，对所述光伏面板区域图像进行实例分割，并获取原始光伏面板图像中存在污染物区域的分割掩码图像的过程包括：
对过滤后的图像进行实例分割，并利用Via工具对分割区域进行标注，以及采用多种尺度对原图中存在污染物的区域进行裁剪，增加训练样本数量；
将训练样本融入FCN分割模型进行训练直至损失收敛，取得第二最优权重参数；
加载第二最优权重参数后，输出光伏面板图像送入分割模型进行处理，输出相对输入图像大小的污染物分割掩码图像。
根据上述记载，在一具体实施例中，提供一种基于深度学习的变电站光伏面板污染物检测方法，包括以下步骤：
(1)视频流读入模块读入视频流，进行解码操作，将解码图片发送到图像预处理模块。
(2)图像预处理模块按照系统预先设置的参数对图片进行预处理(裁剪、水平翻转、调整大小等)，预处理完成后将图片发送到目标检测模块。
(3)目标检测模块处理图片后输出光伏面板检测目标，送至过滤模块。
(4)过滤模块按照预设的筛选条件将目标检测模块输出的结果进行过滤，确定需要进行污染物检测的光伏面板目标，将得到的光伏面板区域图像送入实例分割模块。
(5)实例分割模块处理图片后输出对应光伏面板图像上存在的污染物区域的掩码图像结果，将得到的掩码图像送入判断模块。
(6)判断模块根据掩码图像在原图上形成的最大连通域是否满足污染物判断条件，若满足，则绘制污染物区域检测边框并将结果发送至结果报警模块。
综上所述，本发明提供一种基于深度学习的变电站光伏板污染检测方法，本方法首先获取预设图像拍摄装置拍摄的包含有变电站光伏板的视频流；对视频流进行解码，获取多帧图像；利用预先训练后的检测模型对每帧图像进行检测，确定每帧图像中存在的光伏面板边框，以及将光伏面板边框对应的区域图像作为光伏面板区域图像；对光伏面板区域图像进行实例分割，并获取原始光伏面板图像中存在污染物区域的分割掩码图像；根据分割掩码图像在原始光伏面板图像形成最大连通域；确定最大连通域是否满足污染物判断条件，若满足，则绘制污染物区域检测边框，并根据边框绘制结果发出警报。本方法提出了一种基于深度学习的变电站光伏面板污染物检测方法及系统，可以详细的得到污染物区域的边界信息。本方法提出先检测后分割的技术方案，结合目标检测与实例分割方法的优点，大大提升了光伏面板污染物的检测精度，有效地降低漏检、误检的发生。本方法能够准确、高效地检测出光伏面板上沉积的污染物，减少因污染物覆盖而导致光伏组件发电效率降低、使用寿命缩短情形的发生。本方法利用基于深度学习的卷积神经网络，实现了高准确性与强鲁棒性的检测方法。
如图2至图4所示，本发明还提供一种基于深度学习的变电站光伏板污染检测系统，包括有：
视频流读入模块101，用于获取预设图像拍摄装置拍摄的包含有变电站光伏板的视频流，以及对所述视频流进行解码，获取多帧图像；本实施例中预设的图像拍摄装置包括模拟摄像机、数字摄像机。
图像预处理模模块102，用于对解码后的每帧图像进行预处理，所述预处理包括：裁剪、水平翻转和调整大小；
目标检测模块103，用于利用预先训练后的检测模型对每帧图像进行检测，确定每帧图像中存在的光伏面板边框，以及将所述光伏面板边框对应的区域图像作为光伏面板区域图像；
过滤模块104，用于按照预设的筛选条件对所述待检测图像区域进行过滤；
实例分割模块105，用于对所述光伏面板区域图像进行实例分割，并获取原始光伏面板图像中存在污染物区域的分割掩码图像；
判断模块106，用于根据所述分割掩码图像在所述原始光伏面板图像形成最大连通域，并确定定所述最大连通域是否满足污染物判断条件，若满足，则绘制污染物区域检测边框；
结果报警模块107，用于根据边框绘制结果发出警报。
根据上述记载，在一示例性实施例中，所述目标检测模块103利用预先训练后的检测模型对每帧图像进行检测，确定每帧图像中存在的光伏面板边框的过程包括：
对预处理后的图像进行整理，并采用Labellmg工具对整理后的图像进行标注，生成训练集和测试集；
将所述训练集送入YOLOv3检测模型中进行训练直至损失收敛，并获取第一最优权重参数；
根据所述第一最优权重参数对当前每帧图像进行检测，确定当前每帧图像中存在的光伏面板边框结果。
根据上述记载，在一示例性实施例中，所述实例分割模块105对所述光伏面板区域图像进行实例分割，并获取原始光伏面板图像中存在污染物区域的分割掩码图像的过程包括：
对过滤后的图像进行实例分割，并利用Via工具对分割区域进行标注，以及采用多种尺度对原图中存在污染物的区域进行裁剪，增加训练样本数量；
将训练样本融入FCN分割模型进行训练直至损失收敛，取得第二最优权重参数；
加载第二最优权重参数后，输出光伏面板图像送入分割模型进行处理，输出相对输入图像大小的污染物分割掩码图像。
根据上述记载，在一具体实施例中，提供一种基于深度学习的变电站光伏面板污染物检测系统，包括有：视频流读入模块101、图像预处理模块102、目标检测模块103、过滤模块104、实例分割模块105、判断模块106、结果报警模块107。具体地，
视频流读入模块101，视频流读入模块从摄像头(包括模拟摄像机，数字摄像机等)采集系统读入视频流，然后进行解码操作，将解码图片发送到图像预处理模块。
图像预处理模块102，图像预处理模块按照系统预先设置的参数对图片进行预处理(裁剪、水平翻转、尺度变换等)，预处理完成后将图片发送到目标检测模块。
目标检测模块103，目标检测模块接收图片后，对图片进行处理得到检测结果送至过滤模块。
过滤模块104，过滤模块按照预设的筛选条件将目标检测模块输出的结果进行过滤，确定需要进行污染物检测的光伏面板目标，将得到的光伏面板区域图像送入实例分割模块。
实例分割模块105，实例分割模块处理图片后输出对应光伏面板图像上存在的污染物区域的掩码图像结果，将得到的掩码图像送入判断模块。
判断模块106，判断模块根据掩码图像在原图上形成的最大连通域是否满足污染物判断条件，若满足，则绘制污染物区域检测边框并将结果发送至结果报警模块。
结果报警模块107，报警模块接收到目标检测框后，判断检测框是否为最近已报警过的检测框，若不是，则发出事件警报。
根据上述记载，本系统中的目标检测模块主要用于检测出当前帧中离摄像头较近的光伏面板。该模块由检测模型预处理单元201、检测模型训练单元202、检测模型检测单元203组成。具体地，
检测模型预处理单元201，检测模型预处理单元对图像预处理模块的输出图像进行整理，制作出检测模型训练阶段所需要的目标检测数据集，制作过程中采用Labellmg工具进行标注，训练集和测试集划分比例为8：2。
检测模型训练单元202，检测模型训练单元将训练数据送入YOLOv3检测模型进行训练直至损失收敛，取得最优权重参数。
检测模型检测单元203，检测模型检测单元载入最优权重参数对当前帧图像进行检测，输出当前帧中存在的光伏面板边框结果。
根据上述记载，本系统中的实例分割模块主要用于分割出当前光伏面板图像中存在的污染物区域。该模块由分割模型预处理单元301、分割模型训练单元302、分割模型分割单元303组成。具体地，
分割模型预处理单元301，分割模型预处理单元对图像预处理模块102的输出进行处理，制作出分割模型训练阶段所需的语义分割数据集，制作过程中使用Via工具进行分割区域的标注，同时采用多尺度裁剪的方案：以五种不同宽高比对原图中存在污染物的区域进行裁剪，增加训练样本数量。
分割模型训练单元302，分割模型训练单元将训练样本融入FCN分割模型进行训练直至损失收敛，取得最优权重参数。
分割模型分割单元303，分割模型分割单元加载最优权重参数后，将过滤模块104输出的光伏面板图像送入分割模型进行处理，输出相对输入图像大小的污染物分割掩码图像。
综上所述，本发明提供一种基于深度学习的变电站光伏板污染检测系统，本系统首先获取预设图像拍摄装置拍摄的包含有变电站光伏板的视频流；对视频流进行解码，获取多帧图像；利用预先训练后的检测模型对每帧图像进行检测，确定每帧图像中存在的光伏面板边框，以及将光伏面板边框对应的区域图像作为光伏面板区域图像；对光伏面板区域图像进行实例分割，并获取原始光伏面板图像中存在污染物区域的分割掩码图像；根据分割掩码图像在原始光伏面板图像形成最大连通域；确定最大连通域是否满足污染物判断条件，若满足，则绘制污染物区域检测边框，并根据边框绘制结果发出警报。本系统提出了一种基于深度学习的变电站光伏面板污染物检测方法及系统，可以详细的得到污染物区域的边界信息。本系统提出先检测后分割的技术方案，结合目标检测与实例分割方法的优点，大大提升了光伏面板污染物的检测精度，有效地降低漏检、误检的发生。本系统能够准确、高效地检测出光伏面板上沉积的污染物，减少因污染物覆盖而导致光伏组件发电效率降低、使用寿命缩短情形的发生。本系统利用基于深度学习的卷积神经网络，实现了高准确性与强鲁棒性的检测方法。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种基于深度学习的变电站光伏板污染检测方法，其特征在于，包括以下步骤：
获取预设图像拍摄装置拍摄的包含有变电站光伏板的视频流；
对所述视频流进行解码，获取多帧图像；
利用预先训练后的检测模型对每帧图像进行检测，确定每帧图像中存在的光伏面板边框，以及将所述光伏面板边框对应的区域图像作为光伏面板区域图像；
对所述光伏面板区域图像进行实例分割，并获取原始光伏面板图像中存在污染物区域的分割掩码图像；
根据所述分割掩码图像在所述原始光伏面板图像求解最大连通域：找到掩码图像中一个非零像素点，以其周围相邻的非零像素形成连通域，在所有连通域中选择包含像素点数量最多的一个作为最大连通域。
确定所述最大连通域的像素点数是否大于判定为污染物的像素点阈值，若是，则绘制污染物区域检测边框，并根据边框绘制结果发出警报。
2.根据权利要求1所述的基于深度学习的变电站光伏板污染检测方法，其特征在于，在利用预先训练后的检测模型对每帧图像进行检测前，还包括：
对解码后的每帧图像进行预处理，所述预处理包括：裁剪、水平翻转和调整大小。
3.根据权利要求2所述的基于深度学习的变电站光伏板污染检测方法，其特征在于，所述利用预先训练后的检测模型对每帧图像进行检测，确定每帧图像中存在的光伏面板边框的过程包括：
对预处理后的图像进行整理，并采用Labellmg工具对整理后的图像进行标注，生成训练集和测试集；
将所述训练集送入YOLOv3检测模型中进行训练直至损失收敛，并获取第一最优权重参数；
加载所述第一最优权重参数。对于大小为416×416分辨率的输入图像，首先经YOLOv3的主干网络DarkNet-53分别有8倍、16倍、32倍下采样的特征图，接着通过特征融合网络部分对这三种尺度的特征图进行特征融合，然后通过分类回归网络部分对三种尺度的特征图检测输出共(13×13×3+26×26×3+52×52×3)10647个预测框，最后使用NMS算法对多余的预测框进行过滤，确定当前每帧图像中存在的光伏面板边框结果。
4.根据权利要求2或3所述的基于深度学习的变电站光伏板污染检测方法，其特征在于，在对所述光伏面板区域图像进行实例分割前，还包括：按照预设的筛选条件对所述待检测图像区域进行过滤。
5.根据权利要求4所述的基于深度学习的变电站光伏板污染检测方法，其特征在于，对所述光伏面板区域图像进行实例分割，并获取原始光伏面板图像中存在污染物区域的分割掩码图像的过程包括：
对过滤后的图像进行实例分割，并利用Via工具对分割区域进行标注，以及采用多种尺度对原图中存在污染物的区域进行裁剪，增加训练样本数量；
将训练样本融入FCN分割模型进行训练直至损失收敛，取得第二最优权重参数；
加载第二最优权重参数后，输出光伏面板图像送入分割模型进行处理，输出相对输入图像大小的污染物分割掩码图像。
6.根据权利要求1所述的基于深度学习的变电站光伏板污染检测方法，其特征在于，预设的图像拍摄装置包括模拟摄像机、数字摄像机。
7.一种基于深度学习的变电站光伏板污染检测系统，其特征在于，包括有：
视频流读入模块，用于获取预设图像拍摄装置拍摄的包含有变电站光伏板的视频流，以及对所述视频流进行解码，获取多帧图像；
图像预处理模模块，用于对解码后的每帧图像进行预处理，所述预处理包括：裁剪、水平翻转和调整大小；
目标检测模块，用于利用预先训练后的检测模型对每帧图像进行检测，确定每帧图像中存在的光伏面板边框，以及将所述光伏面板边框对应的区域图像作为光伏面板区域图像；
过滤模块，用于按照预设的筛选条件对所述待检测图像区域进行过滤；
实例分割模块，用于对所述光伏面板区域图像进行实例分割，并获取原始光伏面板图像中存在污染物区域的分割掩码图像；
判断模块，用于根据所述分割掩码图像在所述原始光伏面板图像形成最大连通域，并确定定所述最大连通域是否满足污染物判断条件，若满足，则绘制污染物区域检测边框；
结果报警模块，用于根据边框绘制结果发出警报。
8.根据权利要求7所述的基于深度学习的变电站光伏板污染检测系统，其特征在于，所述目标检测模块利用预先训练后的检测模型对每帧图像进行检测，确定每帧图像中存在的光伏面板边框的过程包括：
对预处理后的图像进行整理，并采用Labellmg工具对整理后的图像进行标注，生成训练集和测试集；
将所述训练集送入YOLOv3检测模型中进行训练直至损失收敛，并获取第一最优权重参数；
根据所述第一最优权重参数对当前每帧图像进行检测，确定当前每帧图像中存在的光伏面板边框结果。
9.根据权利要求7所述的基于深度学习的变电站光伏板污染检测系统，其特征在于，所述实例分割模块对所述光伏面板区域图像进行实例分割，并获取原始光伏面板图像中存在污染物区域的分割掩码图像的过程包括：
对过滤后的图像进行实例分割，并利用Via工具对分割区域进行标注，以及采用多种尺度对原图中存在污染物的区域进行裁剪，增加训练样本数量；
将训练样本融入FCN分割模型进行训练直至损失收敛，取得第二最优权重参数；
加载第二最优权重参数后，输出光伏面板图像送入分割模型进行处理，输出相对输入图像大小的污染物分割掩码图像。
10.根据权利要求7所述的基于深度学习的变电站光伏板污染检测系统，其特征在于，预设的图像拍摄装置包括模拟摄像机、数字摄像机。
CN202210053496.3A 2022-01-18 2022-01-18 一种基于深度学习的变电站光伏板污染检测方法及系统 Pending CN114359259A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210053496.3A CN114359259A (zh) 2022-01-18 2022-01-18 一种基于深度学习的变电站光伏板污染检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210053496.3A CN114359259A (zh) 2022-01-18 2022-01-18 一种基于深度学习的变电站光伏板污染检测方法及系统

Publications (1)

Publication Number Publication Date
CN114359259A true CN114359259A (zh) 2022-04-15

Family

ID=81092279

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210053496.3A Pending CN114359259A (zh) 2022-01-18 2022-01-18 一种基于深度学习的变电站光伏板污染检测方法及系统

Country Status (1)

Country Link
CN (1) CN114359259A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116972914A (zh) * 2023-09-22 2023-10-31 华夏天信智能物联股份有限公司 变频一体机智能测试方法和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116972914A (zh) * 2023-09-22 2023-10-31 华夏天信智能物联股份有限公司 变频一体机智能测试方法和系统
CN116972914B (zh) * 2023-09-22 2023-12-26 华夏天信智能物联股份有限公司 变频一体机智能测试方法和系统

Similar Documents

Publication Publication Date Title
CN106548182B (zh) 基于深度学习和主成因分析的路面裂纹检测方法及装置
CN102565625B (zh) 基于红外图像智能诊断高压输电线路热缺陷的方法
CN111832536B (zh) 一种车道线检测方法及装置
CN109525194B (zh) 光伏板故障光斑检测识别方法和系统
CN106407883A (zh) 一种复杂表格及其内部手写数字识别方法
CN108509950B (zh) 基于概率特征加权融合的铁路接触网支柱号牌检测识别法
CN112666553B (zh) 一种基于毫米波雷达的道路积水识别方法及设备
CN110751630A (zh) 基于深度学习的输电线路异物检测方法、装置及介质
CN110880184A (zh) 一种基于光流场进行摄像头自动巡检的方法及装置
KR101874968B1 (ko) 이미지 정보 기반의 시정거리 측정 시스템 및 이를 이용한 시정거리 측정 방법
CN114359259A (zh) 一种基于深度学习的变电站光伏板污染检测方法及系统
CN115908354A (zh) 一种基于双尺度策略和改进的yolov5网络的光伏面板缺陷检测方法
CN113591973B (zh) 一种轨道板外观状态变化智能比对方法
CN111461076A (zh) 帧差法与神经网络结合的烟雾检测方法和检测系统
CN117455917B (zh) 一种蚀刻引线框架误报库建立及误报在线判定筛选方法
CN113686878A (zh) 一种特钢棒材表面缺陷多级联合检测方法及系统
CN111767875B (zh) 一种基于实例分割的隧道烟雾检测方法
CN111582332B (zh) 一种高速铁路接触网吊弦部件的图片识别方法
CN110826364A (zh) 一种库位识别方法及装置
CN111767826A (zh) 一种定时定点场景异常检测方法
CN111862023A (zh) 一种基于计算机视觉的受电弓结构异常检测方法
CN112257849A (zh) 基于深度学习的智能检测方法、系统、装置及其应用
CN112330675A (zh) 基于AOD-Net的交通道路图像大气能见度检测方法
CN117036825A (zh) 一种太阳能电池板检测方法、介质及系统
Gao et al. Intelligent crack damage detection system in shield tunnel using combination of retinanet and optimal adaptive selection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination