CN114841932A - 光伏电站的光伏板的异物检测方法、系统、设备及介质 - Google Patents

光伏电站的光伏板的异物检测方法、系统、设备及介质 Download PDF

Info

Publication number
CN114841932A
CN114841932A CN202210406764.5A CN202210406764A CN114841932A CN 114841932 A CN114841932 A CN 114841932A CN 202210406764 A CN202210406764 A CN 202210406764A CN 114841932 A CN114841932 A CN 114841932A
Authority
CN
China
Prior art keywords
photovoltaic panel
image
foreign matter
photovoltaic
matter detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210406764.5A
Other languages
English (en)
Inventor
刘文奇
漆昇翔
叶松霖
杨家荣
韩少恒
陈怡然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Electric Group Corp
Original Assignee
Shanghai Electric Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Electric Group Corp filed Critical Shanghai Electric Group Corp
Priority to CN202210406764.5A priority Critical patent/CN114841932A/zh
Publication of CN114841932A publication Critical patent/CN114841932A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/50—Photovoltaic [PV] energy

Abstract

本发明公开了一种光伏电站的光伏板的异物检测方法、系统、设备及介质，所述异物检测方法包括：获取所述光伏电站内的光伏板图像；对所述光伏板图像进行语义分割以区分所述光伏板图像的光伏板区域和非光伏板区域；对所述光伏板区域进行重叠切割以得到若干待检测图像；相邻的所述待检测图像具有预设宽度的重叠区域；对所述若干待检测图像进行异物检测以得到检测结果。本发明的异物检测方法实现了光伏板的异物检测的自动化，通过先对光伏板图像进行语义分割再进行异物检测的流程，确保异物检测的范围固定在光伏板上，提升异物检测的效率和准确率；通过对高清图像先重叠切割再检测的算法，确保了对微小异物的检测准确率。

Description

光伏电站的光伏板的异物检测方法、系统、设备及介质
技术领域
本发明涉及无人机巡检与光伏电站运维领域，特别涉及一种光伏电站的光伏板的异物检测方法、系统、设备及介质。
背景技术
太阳能电池板在使用过程中会因为异物遮挡等原因导致其工作异常，严重时甚至可能直接导致整块电池板报废进而使光伏组串停止工作，因此，对光伏电站进行日常巡检，实时检测光伏板运行情况并及时排除有可能影响光伏板正常运行的异物，是大型光伏电站运营的重要工作内容。
当前光伏电站的巡检方式已经从耗时费力的人工巡检向自动化巡检的技术方向逐渐发展，借助带有摄像头的无人机进行巡检便是其中最典型的应用场景，如今的无人机巡检大多仍需要巡检人员对无人机航拍图像进行人工审核，并对图像中光伏板表面是否存在异物以及异物的分布进行判断，这种方法效率低，检测准确率受人为影响较大，因此无人机在光伏电站巡检时对光伏板表面异物的自动检测，成为了很多光伏电站提高运营效率降低运营成本的主要研究方向。
与此同时，人工智能领域的机器视觉技术也正处于高速发展阶段，工业场景中的视觉缺陷检测在各个智能运维方案中发挥着重要作用。但是，采集航拍图像时，由于无人机飞行高度较高，导致异物在实际成像时占画面的比例很低，导致在利用人工进行异物检测时工作人员难以对存在异物的进行分辨，产生对异物的漏检或重复检出且效率较低，无法做到对问题的快速响应，而使用常规的目标检测算法进行识别时，由于目标过小，没有经过优化的算法无法针对性的进行识别。常规的目标检测算法对光伏板异物进行识别时无法分辨异物的具体分布，不能确定异物是否在光伏板表面，需要人员进行进一步复核，进一步加大了巡检人员的工作压力。
发明内容
本发明要解决的技术问题是为了克服现有技术中通过航拍图像对光伏板进行异物检测时效率较低、准确性不高的缺陷，提供一种光伏电站的光伏板的异物检测方法、系统、设备及介质。
本发明是通过下述技术方案来解决上述技术问题：
本发明提供一种光伏电站的光伏板的异物检测方法，所述异物检测方法包括：
获取所述光伏电站内的光伏板图像；
对所述光伏板图像进行语义分割以区分所述光伏板图像的光伏板区域和非光伏板区域；
对所述光伏板区域进行重叠切割以得到若干待检测图像；相邻的所述待检测图像具有预设宽度的重叠区域；
对所述若干待检测图像进行异物检测以得到检测结果。
较佳地，获取所述光伏电站内的光伏板图像的步骤包括：
获取所述光伏电站的航拍视频；
对所述航拍视频进行抽帧处理以得到所述光伏板图像。
较佳地，对所述光伏板图像进行语义分割以区分所述光伏板图像的光伏板区域和非光伏板区域的步骤包括：
利用SegNet(一种语义分割模型)模型对所述光伏板图像进行像素级语义分割以得到所述光伏板图像的掩膜图像；
基于所述掩膜图像将所述光伏板图像中的非光伏板区域的RGB(一种颜色标准)值设为黑色。
较佳地，对所述若干待检测图像进行异物检测以得到检测结果的步骤包括：
基于YOLO V5(一种目标检测网络模型)卷积神经网络构建异物检测模型以对所述若干待检测图像进行异物检测；
将检测后的图像进行融合以得到经过语义分割和异物检测的结果图像。
较佳地，基于YOLO V5卷积神经网络构建异物检测模型的步骤包括：
基于YOLO V5卷积神经网络构建所述异物检测模型的输入端、主干网络、Neck部分和输出端；
所述输入端对输入图像进行Mosaic(马赛克，一种数据增强方法)数据增强处理和自适应锚框计算；
所述主干网络采用跨阶段局部网络；
所述Neck(YOLOV5卷积神经网络的一部分)部分采用像素聚合网络和特征金字塔网络的结构以强化特征融合；
所述输出端用于输出检测结果。
本发明还提供一种光伏电站的光伏板的异物检测系统，所述异物检测系统包括：
图像获取模块，用于获取所述光伏电站内的光伏板图像；
图像分割模块，用于对所述光伏板图像进行语义分割以区分所述光伏板图像的光伏板区域和非光伏板区域；
图像切割模块，用于对所述光伏板区域进行重叠切割以得到若干待检测图像；相邻的所述待检测图像具有预设宽度的重叠区域；
异物检测模块，用于对所述若干待检测图像进行异物检测以得到检测结果。
较佳地，所述图像获取模块具体用于获取所述光伏电站的航拍视频；
所述图像获取模块具体用于对所述航拍视频进行抽帧处理以得到所述光伏板图像。
较佳地，所述图像分割模块具体用于利用SegNet模型对所述光伏板图像进行像素级语义分割以得到所述光伏板图像的掩膜图像；
所述图像分割模块具体用于基于所述掩膜图像将所述光伏板图像中的非光伏板区域的RGB值设为黑色。
较佳地，所述异物检测模块具体用于基于YOLO V5卷积神经网络构建异物检测模型以对所述若干待检测图像进行异物检测；
所述异物检测模块具体用于将检测后的图像进行融合以得到经过语义分割和异物检测的结果图像。
较佳地，所述异物检测模块具体还用于基于YOLO V5卷积神经网络构建所述异物检测模型的输入端、主干网络、Neck部分和输出端；
所述输入端用于对输入图像进行Mosaic数据增强处理和自适应锚框计算；
所述主干网络采用跨阶段局部网络；
所述Neck部分采用像素聚合网络和特征金字塔网络的结构以强化特征融合；
所述输出端用于输出检测结果。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的光伏电站的光伏板的异物检测方法。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的光伏电站的光伏板的异物检测方法。
本发明的积极进步效果在于：实现了光伏板的异物检测的自动化，通过先对光伏板图像进行语义分割再进行异物检测的流程，确保异物检测的范围固定在光伏板上，提升异物检测的效率和准确率；通过对高清图像先重叠切割再检测的算法，确保了对微小异物的检测准确率。
附图说明
图1为本发明实施例1的光伏电站的光伏板的异物检测方法的流程图。
图2为本发明实施例2的光伏电站的光伏板的异物检测方法的流程图。
图3为本发明实施例2的光伏板图像的示意图。
图4为本发明实施例2的光伏板图像的掩膜图像的示意图。
图5为本发明实施例2的经过光伏板区域和非光伏板区域区分的光伏板图像的示意图。
图6为本发明实施例2的切割光伏板图像的示意图。
图7为本发明实施例2的标出异物的光伏板图像的示意图。
图8为本发明实施例3的光伏电站的光伏板的异物检测系统的结构示意图。
图9为本发明实施例5的电子设备的硬件结构示意图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
实施例1
请参考图1，其为本实施例中的光伏电站的光伏板的异物检测方法的流程图。具体的，如图1所示，所述异物检测方法包括：
S101、获取光伏电站内的光伏板图像。
S102、对光伏板图像进行语义分割以区分光伏板图像的光伏板区域和非光伏板区域；语义分割是基于深度学习对图像中的每一个像素进行分类；光伏板图像通常既包括光伏板区域也包括非光伏板区域，利用语义分割先对光伏板图像的光伏板区域和非光伏板区域进行区分，后续只对光伏板区域进行异物检测，可以有效地提高检测的效率和准确性。
S103、对光伏板区域进行重叠切割以得到若干待检测图像；相邻的待检测图像具有预设宽度的重叠区域；先对光伏板区域进行切割以得到若干较小的待检测图像，在对待检测图像进行异物检测，可以有效提高对小目标检测的准确性；在切割时，根据目标异物预设重叠区域的宽度，相邻的待检测图像具有前述预设宽度的重叠区域，确保了目标异物至少完整地存在于一张待检测图像内，排除了目标异物被切割而出现在不同的待检测图像上的干扰，提高了异物检测的效率和准确性。
S104、对若干待检测图像进行异物检测以得到检测结果。
本实施例的光伏电站的光伏板的异物检测方法实现了光伏板的异物检测的自动化，通过先对光伏板图像进行语义分割再进行异物检测的流程，确保异物检测的范围固定在光伏板上，提升异物检测的效率和准确率；通过对高清图像先重叠切割再检测的算法，确保了对微小异物的检测准确率。
实施例2
如图2所示，本实施例的光伏电站的光伏板的异物检测方法是对实施例 1的进一步改进，具体地：
在一种可选的实施方式中，步骤S101包括：
S1011、获取光伏电站的航拍视频。
S1012、对航拍视频进行抽帧处理以得到光伏板图像。
具体地，利用无人机上搭载的高清相机对光伏板进行拍摄，通过航路规划自动控制无人机的飞行路径、朝向、高度以及速度，使得相机的拍摄可以高清晰度、无拖影的覆盖光伏厂内的所有光伏板的视频，并最终将视频传输到搭载算法的设备中，并对视频流进行抽帧，视频中提取图像帧，视频为从不同角度拍摄的，图像帧为不同角度的图像，一定程度能解决光伏板反光问题。在一种可选的方式中，无人机搭载高清4K(一种画质标准)画质60帧成像，10倍变焦的可见光摄像头，在航拍过程中通过稳定云台以垂直向下的角度拍摄光伏电池板画面，在实际运维场景中根据需求载入航线信息并根据相应数据进行飞行任务。该航线规划应保证一次航拍能完整拍摄电站内所有光伏板。在拍摄时应尽量选择在天气较为晴朗，无风或微风，光线良好的条件下巡检，飞行速度应小于1m/s(米每秒)以防拍摄的图像产生拖影，无人机与设备垂直距离约5-10米，变焦后画面中光伏板占整个画面的面积应尽量大，但也应至少能拍摄到一片完整的光伏板，并利用基于无人机产品的5G 图传技术，实时的将无人机拍摄的视频画面传输至地面工作站，供地面工作站调用，同时工作站对无人机传输视频流画面进行实时抽帧并保存，最终图像如图3，正常抽帧间隔为一秒一帧，可设置多种抽帧间隔。
在一种可选的实施方式中，步骤S102包括：
S1021、利用SegNet模型对光伏板图像进行像素级语义分割以得到光伏板图像的掩膜图像。
S1022、基于掩膜图像将光伏板图像中的非光伏板区域的RGB值设为黑色。
具体地，SegNet算法是一种较基干的利用卷积神经网络进行语义分割的算法，由于光伏板占图像面积比例较大，且不需要对单块光伏板进行分割和分类，因此SegNet这类较基干的语义分割算法就可以满足准确率需求，且该算法模型较小，占用内存较少，该算法的使用首先需要对预先采集到的无人机拍摄的光伏板图像进行语义分割标注，对图像中属于光伏板的部分以及不属于光伏板的部分在图像中的部分进行像素级分类标注，之后将标注好的图像输入到SegNet卷积神经网络中进行训练，最终算法就可以通过学习生成可以分割出图像中的光伏板部分的模型，利用该模型对无人机传输到搭载算法的设备上的图像进行处理，就可以生成分割出图像中光伏板所在的区域和其他区域的掩膜(msak)。在一种可选的实施方式中，利用SegNet模型对图像中光伏板部分进行像素级语义分割，其中SegNet模型参数如下：输入图像的大小为416*416，训练数据集中90％用于训练，10％用于测试，初始权重为0，初始学习率0.0001当损失函数在训练时有3次不下降就下降学习率继续训练，一次训练所选取的样本数(batch size)为4，epochs(将所有训练样本训练一次的过程)为50。最终设定IoU(一种置信度阈值)为0.5时光伏板语义分割的准确率达到了98％。最终模块将输出如图4所示的像素级语义分割出的光伏板区域的掩膜图像。读取光伏板区域掩膜并根据掩膜将原图像中的光伏板区域单独提取，将非光伏板的区域RGB值设为(0,0,0)的黑色，并将掩膜中的光伏板区域作为ROI(Region of interest pooling，感兴趣区域)区域将原图像中的相应区域进行提取，最终输出的图像如图5所示，图中标注为G的区域为光伏板区域，标注为N的区域为非光伏板区域。
在一种可选的实施方式中，步骤S104包括：
S1041、基于YOLO V5卷积神经网络构建异物检测模型以对若干待检测图像进行异物检测。
S1042、将检测后的图像进行融合以得到经过语义分割和异物检测的结果图像。
在另一种可选的实施方式中，步骤S1041包括：
基于YOLO V5卷积神经网络构建异物检测模型的输入端、主干网络、 Neck部分和输出端；输入端用于对输入图像进行Mosaic数据增强处理和自适应锚框计算；主干网络采用跨阶段局部网络；Neck部分采用像素聚合网络和特征金字塔网络的结构以强化特征融合；输出端用于输出检测结果。
由于在拍摄的图像中异物占整个图像的比例很小，而通常的YOLO V5 算法在对图像进行目标检测时会将高清的图像压缩到608*608个像素大小，这就导致了对于很小的异物的检测效果不佳，因此就需要对图像中进行有重叠的分块切割，使进入到后续的基于YOLO V5的神经网络模型的图像不需要进行太多的压缩就可以进行异物检测，保证了算法对小目标的检测精度，并通过上一步得到的光伏板区域的边界信息对切割的范围进行限制，就可以保证算法的运行效率，稳定检测速度在秒级，之后，首先对切割后的图像上的异物进行标注，再将图像输入到基于YOLO V5的卷积神经网络中进行训练，该神经网络具备自适应锚框(多大部分，分割图像的尺寸，目标大小有关呈正相关)、Mosaic数据增强、像素聚合网络(Pixel Aggregation Network， PAN)以及特征金字塔(Feature PyramidNetworks，FPN)等专门针对小目标的优化，可以有效提高异物检测的准确率，并最终可以生成一个可以识别图像中光伏板上异物的模型。具体地，首先对如图5所示的图像进行有重叠的切割，由于拍摄的图像像素为3840*2160，而模型的输入图像为608*608，因此图像在切割时设置切割后的每张图像大小为1088*612，切割图像重叠的部分的宽度都为171个像素，这样每张图像可以包含最大的信息量，并且每张切割后的图像中最多只有一个像素宽度的会因为切割范围超出边界而含有无效的信息，如图6所示，图中展示了其中两个相邻的待检测区域的切割方式，两个待检测区域被框出，中间灰色的矩形为两个待检测区域的重叠部分；之后对图像中像素的RGB值进行检测，将其中RGB值不为0的图像输入到异物检测模型中，该模型参数如下：输入图像的大小为608*608，训练数据集中90％用于训练，10％用于测试，初始权重为0，初始锚框(anchor) 设为[10,13,16,30,33,23]、[30,61,62,45,59,119]、[116,90,156,198,373,326]可以很好的适应各种不同尺寸的异物的检测,主干网络采用跨阶段局部网络 (Cross Stage Partial Network，CSPNet)加速了算法运行速度并减少内存开销，batch size为8，epochs为100，最终设定IoU＝0.5时，异物光伏板检测精确度可以达到90％以上，最终将检测后的切割图像发送到下一步进行处理。最终，将切割及检测后的图像按照图像的位置重新融合为经过语义分割后的完整图像并输出检测结果后分类保存，得到最终的结果图像如图7所示，检测到的异物被框出，该图像将输出并保存在地面工作站内部，巡检人员可以在工作站界面上实时查看缺陷检测结果，发现任意缺陷时可以对缺陷帧进行回溯复核，并对相应缺陷进行相应处理。
本实施例的光伏电站的光伏板的异物检测方法实现了光伏板的异物检测的自动化，通过先对光伏板图像进行语义分割再进行异物检测的流程，确保异物检测的范围固定在光伏板上，提升异物检测准确率；通过对高清图像先重叠切割再检测的算法，并利用自适应锚框、Mosaic数据增强、像素聚合网络以及特征金字塔等算法，使微小异物检测的准确率进一步提高；通过优化图像切割的范围，确保算法的运行速度，稳定单张图像的检测速度在秒级，提升了整套方法的实时性。
实施例3
请参考图8，其为本实施例中的光伏电站的光伏板的异物检测系统的结构示意图。具体的，如图8所示，所述异物检测系统包括：
图像获取模块1，用于获取光伏电站内的光伏板图像。
图像分割模块2，用于对光伏板图像进行语义分割以区分光伏板图像的光伏板区域和非光伏板区域；语义分割是基于深度学习对图像中的每一个像素进行分类；光伏板图像通常既包括光伏板区域也包括非光伏板区域，利用语义分割先对光伏板图像的光伏板区域和非光伏板区域进行区分，后续只对光伏板区域进行异物检测，可以有效地提高检测的效率和准确性。
图像切割模块3，用于对光伏板区域进行重叠切割以得到若干待检测图像；相邻的待检测图像具有预设宽度的重叠区域；先对光伏板区域进行切割以得到若干较小的待检测图像，在对待检测图像进行异物检测，可以有效提高对小目标检测的准确性；在切割时，根据目标异物预设重叠区域的宽度，相邻的待检测图像具有前述预设宽度的重叠区域，确保了目标异物至少完整地存在于一张待检测图像内，排除了目标异物被切割而出现在不同的待检测图像上的干扰，提高了异物检测的效率和准确性。
异物检测模块4，用于对若干待检测图像进行异物检测以得到检测结果。
本实施例的光伏电站的光伏板的异物检测系统实现了光伏板的异物检测的自动化，通过先对光伏板图像进行语义分割再进行异物检测的流程，确保异物检测的范围固定在光伏板上，提升异物检测的效率和准确率；通过对高清图像先重叠切割再检测的算法，确保了对微小异物的检测准确率。
实施例4
本实施例的光伏电站的光伏板的异物检测系统是对实施例3的进一步改进，具体地：
在一种可选的实施方式中，图像获取模块1具体用于获取光伏电站的航拍视频。图像获取模块1具体用于对航拍视频进行抽帧处理以得到光伏板图像。
具体地，利用无人机上搭载的高清相机对光伏板进行拍摄，通过航路规划自动控制无人机的飞行路径、朝向、高度以及速度，使得相机的拍摄可以高清晰度、无拖影的覆盖光伏厂内的所有光伏板的视频，并最终将视频传输到搭载算法的设备中，并对视频流进行抽帧，视频中提取图像帧，视频为从不同角度拍摄的，图像帧为不同角度的图像，一定程度能解决光伏板反光问题。在一种可选的方式中，无人机搭载高清4K画质60帧成像，10倍变焦的可见光摄像头，在航拍过程中通过稳定云台以垂直向下的角度拍摄光伏电池板画面，在实际运维场景中根据需求载入航线信息并根据相应数据进行飞行任务。该航线规划应保证一次航拍能完整拍摄电站内所有光伏板。在拍摄时应尽量选择在天气较为晴朗，无风或微风，光线良好的条件下巡检，飞行速度应小于1m/s以防拍摄的图像产生拖影，无人机与设备垂直距离约5-10 米，变焦后画面中光伏板占整个画面的面积应尽量大，但也应至少能拍摄到一片完整的光伏板，并利用基于无人机产品的5G图传技术，实时的将无人机拍摄的视频画面传输至地面工作站，供地面工作站调用，同时工作站对无人机传输视频流画面进行实时抽帧并保存，最终图像如图3，正常抽帧间隔为一秒一帧，可设置多种抽帧间隔。
在一种可选的实施方式中，图像分割模块2具体用于利用SegNet模型对光伏板图像进行像素级语义分割以得到光伏板图像的掩膜图像；
图像分割模块2具体用于基于掩膜图像将光伏板图像中的非光伏板区域的RGB值设为黑色。
具体地，SegNet算法是一种较基干的利用卷积神经网络进行语义分割的算法，由于光伏板占图像面积比例较大，且不需要对单块光伏板进行分割和分类，因此SegNet这类较基干的语义分割算法就可以满足准确率需求，且该算法模型较小，占用内存较少，该算法的使用首先需要对预先采集到的无人机拍摄的光伏板图像进行语义分割标注，对图像中属于光伏板的部分以及不属于光伏板的部分在图像中的部分进行像素级分类标注，之后将标注好的图像输入到SegNet卷积神经网络中进行训练，最终算法就可以通过学习生成可以分割出图像中的光伏板部分的模型，利用该模型对无人机传输到搭载算法的设备上的图像进行处理，就可以生成分割出图像中光伏板所在的区域和其他区域的掩膜。在一种可选的实施方式中，利用SegNet模型对图像中光伏板部分进行像素级语义分割，其中SegNet模型参数如下：输入图像的大小为416*416，训练数据集中90％用于训练，10％用于测试，初始权重为 0，初始学习率0.0001当损失函数在训练时有3次不下降就下降学习率继续训练，一次训练所选取的样本数为4，epochs为50。最终设定IoU为0.5时光伏板语义分割的准确率达到了98％。最终模块将输出如图4所示的像素级语义分割出的光伏板区域的掩膜图像。读取光伏板区域掩膜并根据掩膜将原图像中的光伏板区域单独提取，将非光伏板的区域RGB值设为(0,0,0)的黑色，并将掩膜中的光伏板区域作为ROI区域将原图像中的相应区域进行提取，最终输出的图像如图5所示，图中标注为G的区域为光伏板区域，标注为N的区域为非光伏板区域。
在一种可选的实施方式中，异物检测模块4具体用于基于YOLO V5卷积神经网络构建异物检测模型以对若干待检测图像进行异物检测；异物检测模块4具体用于将检测后的图像进行融合以得到经过语义分割和异物检测的结果图像。
在另一种可选的实施方式中，异物检测模块4具体还用于基于YOLO V5卷积神经网络构建异物检测模型的输入端、主干网络、Neck部分和输出端；输入端用于对输入图像进行Mosaic数据增强处理和自适应锚框计算；主干网络采用跨阶段局部网络；Neck部分采用像素聚合网络和特征金字塔网络的结构以强化特征融合；输出端用于输出检测结果。
由于在拍摄的图像中异物占整个图像的比例很小，而通常的YOLO V5 算法在对图像进行目标检测时会将高清的图像压缩到608*608个像素大小，这就导致了对于很小的异物的检测效果不佳，因此就需要对图像中进行有重叠的分块切割，使进入到后续的基于YOLO V5的神经网络模型的图像不需要进行太多的压缩就可以进行异物检测，保证了算法对小目标的检测精度，并通过上一步得到的光伏板区域的边界信息对切割的范围进行限制，就可以保证算法的运行效率，稳定检测速度在秒级，之后，首先对切割后的图像上的异物进行标注，再将图像输入到基于YOLO V5的卷积神经网络中进行训练，该神经网络具备自适应锚框(多大部分，分割图像的尺寸，目标大小有关呈正相关)、Mosaic数据增强、像素聚合网络以及特征金字塔等专门针对小目标的优化，可以有效提高异物检测的准确率，并最终可以生成一个可以识别图像中光伏板上异物的模型。具体地，首先对如图5所示的图像进行有重叠的切割，由于拍摄的图像像素为3840*2160，而模型的输入图像为 608*608，因此图像在切割时设置切割后的每张图像大小为1088*612，切割图像重叠的部分的宽度都为171个像素，这样每张图像可以包含最大的信息量，并且每张切割后的图像中最多只有一个像素宽度的会因为切割范围超出边界而含有无效的信息，如图6所示，图中展示了其中两个相邻的待检测区域的切割方式，两个待检测区域被框出，中间灰色的矩形为两个待检测区域的重叠部分；之后对图像中像素的RGB值进行检测，将其中RGB值不为0 的图像输入到异物检测模型中，该模型参数如下：输入图像的大小为608*608，训练数据集中90％用于训练，10％用于测试，初始权重为0，初始锚框设为 [10,13,16,30,33,23]、[30,61,62,45,59,119]、[116,90,156,198,373,326]可以很好的适应各种不同尺寸的异物的检测,主干网络采用跨阶段局部网络加速了算法运行速度并减少内存开销，batch size为8，epochs为100，最终设定IoU＝ 0.5时，异物光伏板检测精确度可以达到90％以上，最终将检测后的切割图像发送到下一步进行处理。最终，将切割及检测后的图像按照图像的位置重新融合为经过语义分割后的完整图像并输出检测结果后分类保存，得到最终的结果图像如图7所示，检测到的异物被框出，该图像将输出并保存在地面工作站内部，巡检人员可以在工作站界面上实时查看缺陷检测结果，发现任意缺陷时可以对缺陷帧进行回溯复核，并对相应缺陷进行相应处理。
本实施例的光伏电站的光伏板的异物检测系统实现了光伏板的异物检测的自动化，通过先对光伏板图像进行语义分割再进行异物检测的流程，确保异物检测的范围固定在光伏板上，提升异物检测准确率；通过对高清图像先重叠切割再检测的算法，并利用自适应锚框、Mosaic数据增强、像素聚合网络以及特征金字塔等算法，使微小异物检测的准确率进一步提高；通过优化图像切割的范围，确保算法的运行速度，稳定单张图像的检测速度在秒级，提升了整套方法的实时性。
实施例5
图9为本发明实施例5提供的一种电子设备的结构示意图。所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施例1或实施例2的光伏电站的光伏板的异物检测方法。图9显示的电子设备30仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图9所示，电子设备30可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备30的组件可以包括但不限于：上述至少一个处理器31、上述至少一个存储器32、连接不同系统组件(包括存储器32和处理器31)的总线33。
总线33包括数据总线、地址总线和控制总线。
存储器32可以包括易失性存储器，例如随机存取存储器(RAM)321和/ 或高速缓存存储器322，还可以进一步包括只读存储器(ROM)323。
存储器32还可以包括具有一组(至少一个)程序模块324的程序/实用工具325，这样的程序模块324包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
处理器31通过运行存储在存储器32中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明实施例1或实施例2的光伏电站的光伏板的异物检测方法。
电子设备30也可以与一个或多个外部设备34(例如键盘、指向设备等) 通信。这种通信可以通过输入/输出(I/O)接口35进行。并且，模型生成的设备30还可以通过网络适配器36与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器36通过总线33与模型生成的设备30的其它模块通信。应当明白，尽管图中未示出，可以结合模型生成的设备30使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
实施例6
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现实施例1或实施例2的光伏电站的光伏板的异物检测方法。
其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现实施例1或实施例2的光伏电站的光伏板的异物检测方法。
其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (10)

1.一种光伏电站的光伏板的异物检测方法，其特征在于，所述异物检测方法包括：
获取所述光伏电站内的光伏板图像；
对所述光伏板图像进行语义分割以区分所述光伏板图像的光伏板区域和非光伏板区域；
对所述光伏板区域进行重叠切割以得到若干待检测图像；相邻的所述待检测图像具有预设宽度的重叠区域；
对所述若干待检测图像进行异物检测以得到检测结果。
2.如权利要求1所述的异物检测方法，其特征在于，获取所述光伏电站内的光伏板图像的步骤包括：
获取所述光伏电站的航拍视频；
对所述航拍视频进行抽帧处理以得到所述光伏板图像。
3.如权利要求1所述的异物检测方法，其特征在于，对所述光伏板图像进行语义分割以区分所述光伏板图像的光伏板区域和非光伏板区域的步骤包括：
利用SegNet模型对所述光伏板图像进行像素级语义分割以得到所述光伏板图像的掩膜图像；
基于所述掩膜图像将所述光伏板图像中的非光伏板区域的RGB值设为黑色。
4.如权利要求1所述的异物检测方法，其特征在于，对所述若干待检测图像进行异物检测以得到检测结果的步骤包括：
基于YOLO V5卷积神经网络构建异物检测模型以对所述若干待检测图像进行异物检测；
将检测后的图像进行融合以得到经过语义分割和异物检测的结果图像。
5.如权利要求4所述的异物检测方法，其特征在于，基于YOLO V5卷积神经网络构建异物检测模型的步骤包括：
基于YOLO V5卷积神经网络构建所述异物检测模型的输入端、主干网络、Neck部分和输出端；
所述输入端用于对输入图像进行Mosaic数据增强处理和自适应锚框计算；
所述主干网络采用跨阶段局部网络；
所述Neck部分采用像素聚合网络和特征金字塔网络的结构以强化特征融合；
所述输出端用于输出检测结果。
6.一种光伏电站的光伏板的异物检测系统，其特征在于，所述异物检测系统包括：
图像获取模块，用于获取所述光伏电站内的光伏板图像；
图像分割模块，用于对所述光伏板图像进行语义分割以区分所述光伏板图像的光伏板区域和非光伏板区域；
图像切割模块，用于对所述光伏板区域进行重叠切割以得到若干待检测图像；相邻的所述待检测图像具有预设宽度的重叠区域；
异物检测模块，用于对所述若干待检测图像进行异物检测以得到检测结果。
7.如权利要求6所述的异物检测系统，其特征在于，所述图像分割模块具体用于利用SegNet模型对所述光伏板图像进行像素级语义分割以得到所述光伏板图像的掩膜图像；
所述图像分割模块具体用于基于所述掩膜图像将所述光伏板图像中的非光伏板区域的RGB值设为黑色。
8.如权利要求6所述的异物检测系统，其特征在于，所述异物检测模块具体用于基于YOLO V5卷积神经网络构建异物检测模型以对所述若干待检测图像进行异物检测；
所述异物检测模块具体用于将检测后的图像进行融合以得到经过语义分割和异物检测的结果图像。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的光伏电站的光伏板的异物检测方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的光伏电站的光伏板的异物检测方法。
CN202210406764.5A 2022-04-18 2022-04-18 光伏电站的光伏板的异物检测方法、系统、设备及介质 Pending CN114841932A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210406764.5A CN114841932A (zh) 2022-04-18 2022-04-18 光伏电站的光伏板的异物检测方法、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210406764.5A CN114841932A (zh) 2022-04-18 2022-04-18 光伏电站的光伏板的异物检测方法、系统、设备及介质

Publications (1)

Publication Number Publication Date
CN114841932A true CN114841932A (zh) 2022-08-02

Family

ID=82565742

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210406764.5A Pending CN114841932A (zh) 2022-04-18 2022-04-18 光伏电站的光伏板的异物检测方法、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN114841932A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116188502A (zh) * 2023-04-27 2023-05-30 尚特杰电力科技有限公司 光伏板红外图像分割方法、存储介质以及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116188502A (zh) * 2023-04-27 2023-05-30 尚特杰电力科技有限公司 光伏板红外图像分割方法、存储介质以及电子设备
CN116188502B (zh) * 2023-04-27 2023-07-21 尚特杰电力科技有限公司 光伏板红外图像分割方法、存储介质以及电子设备

Similar Documents

Publication Publication Date Title
CN110084165B (zh) 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法
CN108416294B (zh) 一种基于深度学习的风机叶片故障智能识别方法
CN112183313B (zh) 一种基于SlowFast的电力作业现场动作识别方法
US20200090506A1 (en) License plate recognition system and license plate recognition method
CN111401311A (zh) 一种基于图像检测的高空抛物识别方法
CN111652225A (zh) 基于深度学习的非侵入式摄像读取方法及系统
CN105262991A (zh) 一种基于二维码的变电站设备对象识别方法
CN112449147B (zh) 光伏电站视频集群监控系统及其图像处理方法
CN113869177A (zh) 一种用于跟踪多目标的方法及装置
CN114841932A (zh) 光伏电站的光伏板的异物检测方法、系统、设备及介质
CN112163626A (zh) 基于多维度感知的光伏电池遮荫区域成因分类方法及系统
CN116385465A (zh) 图像分割模型的构建及图像分割方法、系统、设备和介质
CN111738264A (zh) 一种机房设备显示面板数据的智能采集方法
CN111696142A (zh) 一种快速人脸检测方法及系统
CN113239931A (zh) 一种物流站车牌识别的方法
CN115410154A (zh) 一种风电机舱电气设备热故障识别方法
CN212785620U (zh) 一种用于输电网络的监测系统
CN112184651A (zh) 一种基于人工智能的光伏电站零件松动检测系统及方法
Zhang et al. Unmanned Aerial Vehicle (UAV) vision-based detection of power line poles by CPU-based deep learning method
CN112241707A (zh) 一种风电场智能视频识别装置
CN112422895A (zh) 基于无人机的图像分析跟踪、定位系统及方法
CN117409332B (zh) 基于大数据处理的长材刨花外观数据检测系统及方法
CN115035282B (zh) 基于轨道相机高质量光伏电池板正射图像采集方法及系统
CN111866386B (zh) 一种基于人工智能的双角度图像处理监控系统
CN114022769A (zh) 一种基于ModelArt平台构建的钢桥螺栓病害智慧诊断方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination