CN116388669A - 一种基于Swin Transformer的光伏板异物检测与清洁方法 - Google Patents

一种基于Swin Transformer的光伏板异物检测与清洁方法 Download PDF

Info

Publication number
CN116388669A
CN116388669A CN202310362424.1A CN202310362424A CN116388669A CN 116388669 A CN116388669 A CN 116388669A CN 202310362424 A CN202310362424 A CN 202310362424A CN 116388669 A CN116388669 A CN 116388669A
Authority
CN
China
Prior art keywords
cleaning
photovoltaic panel
robot
swin
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310362424.1A
Other languages
English (en)
Inventor
马宗方
麻瑞
张国飞
王雨萌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Architecture and Technology
Original Assignee
Xian University of Architecture and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Architecture and Technology filed Critical Xian University of Architecture and Technology
Priority to CN202310362424.1A priority Critical patent/CN116388669A/zh
Publication of CN116388669A publication Critical patent/CN116388669A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02S—GENERATION OF ELECTRIC POWER BY CONVERSION OF INFRARED RADIATION, VISIBLE LIGHT OR ULTRAVIOLET LIGHT, e.g. USING PHOTOVOLTAIC [PV] MODULES
    • H02S40/00—Components or accessories in combination with PV modules, not provided for in groups H02S10/00 - H02S30/00
    • H02S40/10—Cleaning arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B08—CLEANING
    • B08B—CLEANING IN GENERAL; PREVENTION OF FOULING IN GENERAL
    • B08B13/00—Accessories or details of general applicability for machines or apparatus for cleaning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B08—CLEANING
    • B08B—CLEANING IN GENERAL; PREVENTION OF FOULING IN GENERAL
    • B08B3/00—Cleaning by methods involving the use or presence of liquid or steam
    • B08B3/02—Cleaning by the force of jets or sprays
    • B08B3/024—Cleaning by means of spray elements moving over the surface to be cleaned
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B08—CLEANING
    • B08B—CLEANING IN GENERAL; PREVENTION OF FOULING IN GENERAL
    • B08B3/00—Cleaning by methods involving the use or presence of liquid or steam
    • B08B3/04—Cleaning involving contact with liquid
    • B08B3/08—Cleaning involving contact with liquid the liquid having chemical or dissolving effect
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/94—Investigating contamination, e.g. dust
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02S—GENERATION OF ELECTRIC POWER BY CONVERSION OF INFRARED RADIATION, VISIBLE LIGHT OR ULTRAVIOLET LIGHT, e.g. USING PHOTOVOLTAIC [PV] MODULES
    • H02S50/00—Monitoring or testing of PV systems, e.g. load balancing or fault identification
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02S—GENERATION OF ELECTRIC POWER BY CONVERSION OF INFRARED RADIATION, VISIBLE LIGHT OR ULTRAVIOLET LIGHT, e.g. USING PHOTOVOLTAIC [PV] MODULES
    • H02S50/00—Monitoring or testing of PV systems, e.g. load balancing or fault identification
    • H02S50/10—Testing of PV devices, e.g. of PV modules or single PV cells
    • H02S50/15—Testing of PV devices, e.g. of PV modules or single PV cells using optical means, e.g. using electroluminescence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/50—Photovoltaic [PV] energy

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Chemical & Material Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Chemical & Material Sciences (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Cleaning In General (AREA)

Abstract

本发明公开了一种基于Swin Transformer的光伏板异物检测与清洁方法，包括以下步骤；S1：机器人自动规划路径巡检光伏板基地，通过高分辨率摄像机采集光伏板图像；S2：采用Swin Transformer目标检测算法精准定位图像中附着在光伏板上的污染物，得到污染物的中心坐标；S3：激光测距仪发射激光，调整激光斑点到图像中污染物的中心坐标处，得到机器人到污染物的距离；S4：读取激光测距仪上姿态传感器的姿态数据，根据污染物的大小和距离调整高压喷枪的伸缩杆长度和压力；S5：启动机器人的清洁程序，在清洁过程中实时监测污染物的状态，当检测不到污染物时停止清洁程度，完成清洁。本发明根据位置调整机器人的喷枪对污染物进行点对点清洁，清洁过程智能化高效化。

Description

一种基于Swin Transformer的光伏板异物检测与清洁方法
技术领域
本发明涉及光伏板清洁技术领域，特别涉及一种基于Swin Transformer的光伏板异物检测与清洁方法。
背景技术
太阳能光伏发电以其分布广泛、储量丰富、技术成熟的产业特性，在全球能源结构转型升级背景下释放出新的活力，成为新能源领域极具发展前景的发电技术。光伏发电组件是光伏发电系统实现光电转换的核心部件，直接影响着系统的发电量。随着太阳能板表面积灰问题日益严重，光伏发电组件清洁问题已成为光伏电站运维亟需解决的痛点问题，在实际运行过程中必须实时关注灰尘等污染物累积情况，进行高效清洁，从而增加光伏电站的发电量。
目前我国光伏组件清洗大多采用人工清洗和高压洒水车冲洗的方式，虽能有效解决组件表面异物对光伏发电效率影响的问题，但随之产生的高额人工费用和水资源紧缺问题又制约企业的发展，同时国内外也有研制光伏组件清洗机器人，清洗过程机械化，不能实现智能化点对点高效清洁。
在中国申请号为CN202211577775.6，公告日为2023.01.31的专利文献公开了一种光伏电池板清洁机器人，包括机架和两个行走装置，每个行走装置包括行走电机、行走轮组件和承载轮组件，该发明提出的清洁机器人安装于光伏电池板表面，从上至下从左至右对其进行清洗，清洁过程机械化，但是不能实现对异物的点对点检测及智能化清洁。
发明内容
为了克服上述现有技术的不足，本发明的目的在于提供一种基于SwinTransformer的光伏板异物检测与清洁方法，基于该方法通过机器人装置实现，采用了SwinTransformer目标检测算法精准定位附着在光伏板上污染物的位置，根据位置调整机器人的喷枪对污染物进行点对点清洁，清洁过程智能化高效化。
为了实现上述目的，本发明采用的技术方案是：
一种基于Swin Transformer的光伏板异物检测与清洁方法，包括以下步骤；
S1：机器人自动规划路径巡检光伏板基地，通过高分辨率摄像机采集光伏板图像；
S2：采用Swin Transformer目标检测算法精准定位图像中附着在光伏板上的污染物，得到污染物的中心坐标；
S3：激光测距仪发射激光，调整激光斑点到图像中污染物的中心坐标处，得到机器人到污染物的距离L；
S4：读取激光测距仪上姿态传感器的姿态数据P2，将机器人上高压喷枪的姿态数据设置为P2，进而根据污染物的大小和距离调整高压喷枪的伸缩杆长度和压力；
S5：启动机器人的清洁程序，在清洁过程中实时监测污染物的状态，当检测不到污染物时停止清洁程度，完成清洁。
所述步骤S1中，将机器人置于光伏板基地中，机器人会根据光伏板基地的BIM模型，自动规划路径在基地中进行巡检工作，未发现异物时按照规划路径巡检，发现异物时停止巡检进行清洁，清洁结束之后继续按照规划路径进行巡检；
所述机器人上包括高清摄像机、激光测距仪以及高压喷枪，高清摄像机、激光测距仪以及高压喷枪位于机器人的中心轴上，均配有姿态传感器并且能够360°调整姿态，当其进入光伏板基地时，调整高清摄像机的姿态直到视野中可以完整看到光伏板组件，在巡检过程中通过高清摄像机不断采集光伏板图像。
所述S2步骤中，所述采用Swin Transformer算法检测光伏板异物的过程包括如下步骤：
S21、采集大量光伏板图像，对图像数据进行整理和人工标注；
S22、数据预处理，采取Mosaic数据增强方法对数据集进行扩充，对扩充后的数据集进行划分，得到训练集、验证集、测试集；
S23、将训练集输入Swin Transformer目标检测网络训练模型，该模型的主干网络为层次化结构，包含四个Stage，每个Stage都会缩小输入特征图的分辨率，像CNN一样逐层扩大感受野，在网络输入时，Patch Partition操作将图像切成一个个图块，再通过LinearEmbedding操作将图块投影为嵌入向量，然后经过4个Stage处理，在每个Stage里，由PatchMerging和偶数个Block组成，其中，Patch Merging操作主要是在每个Stage一开始降低图片分辨率，Block结构包括Layer Norm，MLP，Window Attention和Shifted WindowAttention，其中Layer Norm是归一化层，MLP是多层感知机，Window Attention是基于窗口的自注意力模块，Shifted Window Attention是基于移动窗口的自注意力模块；
S24、将步骤S1中采集的图像输入到模型检测异物，计算异物的中心坐标，该模型搭载在机器人控制中心的边缘计算模块中；
所述步骤S21中，在光伏板基地使用高清相机、GoPro获取光伏板上附着异物的视频数据，选取视频数据中的有效帧保存成图像，对原始图像进行人工标注，标注文件格式为TXT文件格式，TXT文件中包含异物类别和位置。
所述步骤S22中，所述数据集是在光伏板基地调研时实地采集的图像数据，经整理后得到原始数据集，采取Mosaic数据增强方法对原始数据集进行扩充，Mosaic数据增强方法是将4张图像通过随机缩放、随机裁剪、随机排布的方式拼接成一张图像作为训练数据，极大程度丰富了数据集，尤其是随机缩放增加了很多小目标，使得训练得到的网络模型鲁棒性更好，Mosaic增强的主要过程有如下步骤：
S221：从数据集中每次随机读取4张图像；
S222：分别对4张图像进行翻转、缩放、色域变化、裁剪操作；
S223：进行图像的组合和标签文件(TXT文件)的组合。
进而将扩充后的数据集按照8：1：1的比例划分为训练集、验证集、测试集，训练集用于训练模型拟合参数，验证集用于验证模型的有效性，挑选获得最佳效果的模型，测试集用于评估最终模型的性能，测试集不参与训练，主要是测试训练好的模型的准确率，不能作为调参、选择特征的依据。
所述步骤S23中，所述的Swin Transformer算法是将NLP领域内性能优异的Transfomer应用到视觉任务中，Swin Transformer构造了分层特征映射，分层结构具有在不同尺度上建模的灵活性，并且在图像大小方面具有线性计算复杂性，该算法还构造了分层Tranformer，表示形式为以窗口计算，移位窗口方法通过将自注意力计算限制在非重叠的局部窗口，同时允许跨窗口连接，提高效率。在S22步骤中已经得到了扩充后的训练集，将其输入到以Swin Transformer为主干网络的模型中进行训练，训练1000个Epoch，得到一个检测光伏板上附着异物的目标检测模型，其在测试集上的准确率为96.4％；
所述步骤S24中，将步骤S1采集的光伏板图像输入到步骤S23训练得到的SwinTransformer目标检测模型中，检测机器人当前所在位置的光伏板组件是否存在异物，若存在异物，机器人停止自动规划路径巡检的工作，通过Swin Transformer目标检测模型定位到异物的位置信息，即框出异物的边界框，得到其边界框的左上角的坐标信息Q1(x1,y1)和右下角的坐标信息Q2(x2,y2)，计算得到异物的中心坐标Q(x,y)，其中
Figure BDA0004165584140000041
所述步骤S3中，通过高清摄像机上的姿态传感器获取其当前姿态数据P1，将激光测距仪的姿态设置为P1后向光伏板发射激光，激光打到光伏板上呈现十字形的光斑，对图像进行二值化处理确定光斑在图像中的坐标信息，调整光斑的位置到异物的中心坐标Q(x,y)处，获取激光测距仪的数据，即机器人到光伏板异物的距离L。
所述步骤S4中，读取激光测距仪上姿态传感器的姿态数据P2，将机器人上高压喷枪的姿态数据设置为P2，根据机器人到异物的距离调节高压喷枪的伸缩杆，该伸缩杆的最大长度为1.6m，共有3节，分别为0.8m，根据步骤S3中的得到的距离L调节高压喷枪的最大伸缩长度(即该伸缩杆在保证最大伸缩的情况下其总长度要小于L)，其次再调节高压喷枪的压力，经数次实验发现0.3m是调节喷枪压力的分界点，当高压喷枪的总伸缩长度和L之间的差小于0.3m设置低压清洁，大于0.3m则设置高压清洗。
所述步骤S5中，启动机器人的清洁程序，高压喷枪内配备专业的光伏板组件清洁剂，既不会影响光伏板组件的发电效率，也不会在光伏板上留下印迹导致光伏板损坏；在清洁时，当异物在图像中的像素占比大于15个像素时说明异物在光伏板上的附着区域较大，高压喷枪需要进行移动清洁才可清洁干净，即喷头上下左右移动式喷射清洁剂；当异物在图像中的像素占比小于15个像素时说明异物在光伏板上的附着区域较小，高压喷枪进行定点清洁即可；此外，高压喷枪喷射清洁剂为阶段性喷射，喷3秒停止再进行实时检测，当检测不到异物时再停止清洁程序，完成清洁。
本发明的有益效果：
本发明在光伏产业高速发展的背景下，将计算机视觉技术有效结合到光伏板异物检测中，使得光伏板的清洁方式不再局限于人工清洁以及机械化的清洁机器人，通过SwinTransformer目标检测算法和激光测距仪精准定位到光伏板异物的位置信息，自适应控制机器人上高压喷枪的伸缩杆长度、压力以及清洁时间，启动清洁程序进行清洁，清洁过程中实时检测污染物状态直到清洁完成。
本发明所提出的方法，采用Swin Transformer算法实现的异物检测精度高，通过机器人装置的方式进行光伏板清洁的时间和人力成本低，将高精度算法和机器人清洁装置两种方法集成，在大场景光伏板基地中实现了高精度点对点异物清洁，清洁过程智能化高效化。
附图说明
图1为本发明的方法流程示意图。
图2为机器人的正视示意图。
图3为Swin Transformer主干网络的示意图。
图4为两个连续的Swin Transformer Block的示意图。
图5为Mosaic数据增强后得到的合成图像。
图6为Swin Transformer检测异物结果图。
其中：1、高清摄像机，2、姿态传感器，3、激光测距仪，4、高压喷枪，5、清洁剂存储罐。
具体实施方式
下面结合附图对本发明作进一步详细说明。
本实施例提供一种基于Swin Transformer的光伏板异物检测与清洁方法，如图1所示，包括如下步骤：
S1、机器人自动规划路径巡检光伏板基地，通过高分辨率摄像机采集光伏板图像；
将机器人置于光伏板基地中，机器人会根据光伏板基地的BIM模型，自动规划路径在基地中进行巡检工作，未发现异物时按照规划路径巡检，发现异物时停止巡检进行清洁，清洁结束之后继续按照规划路径进行巡检，如图2所示机器人上的高清摄像机、激光测距仪以及高压喷枪位于机器人的中心轴上，均配有姿态传感器并且可以360°调整姿态。当其进入光伏板基地时，调整高清摄像机的姿态直到视野中可以完整看到光伏板组件，在巡检过程中通过高清摄像机不断采集光伏板图像。
S2、采用Swin Transformer目标检测算法精准定位图像中附着在光伏板上的污染物，得到污染物的中心坐标；
所述采用Swin Transformer算法检测光伏板异物的过程包括如下步骤：
S21、采集大量光伏板图像，对图像数据进行整理和人工标注；
在光伏板基地使用高清相机、GoPro获取光伏板上附着异物的视频数据，选取视频数据中的有效帧保存成图像，对原始图像进行人工标注，标注文件格式为TXT文件格式，TXT文件中包含异物类别和位置，最终得到的标注数据集约为3000张光伏板图像。
S22、数据预处理，采取Mosaic数据增强方法对数据集进行扩充，对扩充后的数据集进行划分，得到训练集、验证集、测试集；
本方法用到的数据集是在光伏板基地调研时实地采集的图像数据，经整理后得到原始数据集，采取Mosaic数据增强方法对原始数据集进行扩充，Mosaic数据增强方法是将4张图像通过随机缩放、随机裁剪、随机排布的方式拼接成一张图像作为训练数据，如图5所示将原始数据集中的4张图像经过随机操作合成到一张图像，这极大程度丰富了数据集，尤其是随机缩放增加了很多小目标，使得训练得到的网络模型鲁棒性更好。Mosaic增强的主要过程有如下步骤：
S221、从数据集中每次随机读取4张图像；
S222、分别对4张图像进行翻转、缩放、色域变化、裁剪等操作；
S223、进行图像的组合和标签文件(TXT文件)的组合。
进而将扩充后的数据集按照8：1：1的比例划分为训练集、验证集、测试集，训练集用于训练模型拟合参数，验证集用于验证模型的有效性，挑选获得最佳效果的模型，测试集用于评估最终模型的性能，测试集不参与训练，主要是测试训练好的模型的准确率，不能作为调参、选择特征的依据。
S23、将训练集输入Swin Transformer目标检测网络训练模型，该模型的主干网络采取层次化的设计，如图3所示，包含四个Stage，每个Stage都会缩小输入特征图的分辨率，像CNN一样逐层扩大感受野，在网络输入时，Patch Partition操作将图像切成一个个图块，再通过Linear Embedding操作将图块投影为嵌入向量，然后经过4个Stage处理，在每个Stage里，由Patch Merging和偶数个Block组成，其中，Patch Merging操作主要是在每个Stage一开始降低图片分辨率，Block具体结构主要是由LayerNorm，MLP，Window Attention和Shifted Window Attention组成，其中Layer Norm是归一化层，MLP是多层感知机，Window Attention是基于窗口的自注意力模块，Shifted Window Attention是基于移动窗口的自注意力模块；
所述Swin Transformer算法是将NLP领域内性能优异的Transfomer应用到视觉任务中。Swin Transformer构造了分层特征映射，分层结构具有在不同尺度上建模的灵活性，并且在图像大小方面具有线性计算复杂性；该算法还构造了分层Tranformer，表示形式为以窗口计算，移位窗口方法通过将自注意力计算限制在非重叠的局部窗口，同时允许跨窗口连接，提高效率。
Swin Transformer骨干网络中都是重复堆叠的Swin Transformer Block，如图4所示，Block其实有两种结构，两种结构的不同之处仅在于一个使用了W-MSA(基于窗口的多头自注意力)结构，一个使用了SW-MSA(基于移动窗口的多头自注意力)结构，这两种结构都是成对使用的，先使用一个W-MSA结构再使用一个SW-MSA结构，因此堆叠的SwinTransformer Block的个数都是偶数。
采用W-MSA模块时，只会在每个窗口内进行自注意力计算，所以窗口与窗口之间是无法进行信息传递的。为了解决这个问题引入SW-MSA(基于移动窗口的多头自注意力)模块，假设W-MSA是第l层，由于W-MSA和SW-MSA是成对使用的，那么第l+1层使用的就是SW-MSA，连续的Swin Transformer Block的计算如下所示：
Figure BDA0004165584140000091
Figure BDA0004165584140000092
Figure BDA0004165584140000093
Figure BDA0004165584140000094
其中
Figure BDA0004165584140000095
和zl分别表示第l的(S)W-MSA模块和MLP模块的输出特征；/>
Figure BDA0004165584140000096
和zl+1分别表示第l+1的(S)W-MSA模块和MLP模块的输出特征；LN()表示Layer Norm，即归一化；W-MSA和SW-MSA分别表示使用常规和移位窗口分区配置的基于窗口的多头自注意力。
在S22步骤中已经得到了扩充后的训练集，将其输入到以Swin Transformer为主干网络的模型中进行训练，训练1000个Epoch，得到一个可以检测光伏板上附着异物的目标检测模型，其在测试集上的准确率为96.4％，检测结果如图6所示。
S24、将步骤S1中采集的图像输入到模型检测异物，计算异物的中心坐标，该模型搭载在机器人控制中心的边缘计算模块中。
将步骤S1采集的光伏板图像输入到步骤S23训练得到的Swin Transformer目标检测模型中，检测机器人当前所在位置的光伏板组件是否存在异物，若存在异物，机器人停止自动规划路径巡检的工作，通过Swin Transformer目标检测模型定位到异物的位置信息，即框出异物的边界框，得到其边界框的左上角的坐标信息Q1(x1,y1)和右下角的坐标信息Q2(x2,y2)，计算得到异物的中心坐标Q(x,y)，其中
Figure BDA0004165584140000101
S3、激光测距仪发射激光，调整激光斑点到图像中污染物的中心坐标处，得到机器人到污染物的距离L；
通过高清摄像机上的姿态传感器获取其当前姿态数据P1，将激光测距仪的姿态设置为P1后向光伏板发射激光，激光打到光伏板上呈现十字形的光斑，对图像进行二值化处理确定光斑在图像中的坐标信息，调整光斑的位置到异物的中心坐标Q(x,y)处，获取激光测距仪的数据，即机器人到光伏板异物的距离L。
S4、读取激光测距仪上姿态传感器的姿态数据P2，将机器人上高压喷枪的姿态数据设置为P2，进而根据污染物的大小和距离调整高压喷枪的伸缩杆长度和压力；
读取激光测距仪上姿态传感器的姿态数据P2，将机器人上高压喷枪的姿态数据设置为P2，根据机器人到异物的距离调节高压喷枪的伸缩杆，该伸缩杆的最大长度为1.6m，共有3节，分别为0.8m，根据步骤S3中的得到的距离L调节高压喷枪的最大伸缩长度(即该伸缩杆在保证最大伸缩的情况下其总长度要小于L)，其次再调节高压喷枪的压力，经数次实验发现0.3m是调节喷枪压力的分界点，当高压喷枪的总伸缩长度和L之间的差小于0.3m设置低压清洁，大于0.3m则设置高压清洗。
S5、启动机器人的清洁程序，在清洁过程中实时监测污染物的状态，当检测不到污染物时停止清洁程度，完成清洁。
启动机器人的清洁程序，高压喷枪内配备专业的光伏板组件清洁剂，既不会影响光伏板组件的发电效率，也不会在光伏板上留下印迹导致光伏板损坏。在清洁时，当异物在图像中的像素占比大于15个像素时说明异物在光伏板上的附着区域较大，高压喷枪需要进行移动清洁才可清洁干净，即喷头上下左右移动式喷射清洁剂；当异物在图像中的像素占比小于15个像素时说明异物在光伏板上的附着区域较小，高压喷枪进行定点清洁即可。此外，高压喷枪喷射清洁剂为阶段性喷射，喷3秒停止再进行实时检测，当检测不到异物时再停止清洁程序，完成清洁。

Claims (10)

1.一种基于Swin Transformer的光伏板异物检测与清洁方法，其特征在于，包括以下步骤；
S1：机器人自动规划路径巡检光伏板基地，通过高分辨率摄像机采集光伏板图像；
S2：采用Swin Transformer目标检测算法精准定位图像中附着在光伏板上的污染物，得到污染物的中心坐标；
S3：激光测距仪发射激光，调整激光斑点到图像中污染物的中心坐标处，得到机器人到污染物的距离L；
S4：读取激光测距仪上姿态传感器的姿态数据P2，将机器人上高压喷枪的姿态数据设置为P2，进而根据污染物的大小和距离调整高压喷枪的伸缩杆长度和压力；
S5：启动机器人的清洁程序，在清洁过程中实时监测污染物的状态，当检测不到污染物时停止清洁程度，完成清洁。
2.根据权利要求1所述的一种基于Swin Transformer的光伏板异物检测与清洁方法，其特征在于，所述步骤S1中，将机器人置于光伏板基地中，机器人根据光伏板基地的BIM模型，自动规划路径在基地中进行巡检工作，未发现异物时按照规划路径巡检，发现异物时停止巡检进行清洁，清洁结束之后继续按照规划路径进行巡检；
所述机器人上包括高清摄像机、激光测距仪以及高压喷枪，高清摄像机、激光测距仪以及高压喷枪位于机器人的中心轴上，均配有姿态传感器并且能够360°调整姿态，当其进入光伏板基地时，调整高清摄像机的姿态直到视野中能够完整看到光伏板组件，在巡检过程中通过高清摄像机不断采集光伏板图像。
3.根据权利要求1所述的一种基于Swin Transformer的光伏板异物检测与清洁方法，其特征在于，所述S2步骤中，所述采用Swin Transformer算法检测光伏板异物的过程包括如下步骤：
S21、采集大量光伏板图像，对图像数据进行整理和人工标注；
S22、数据预处理，采取Mosaic数据增强方法对数据集进行扩充，对扩充后的数据集进行划分，得到训练集、验证集、测试集；
S23、将训练集输入Swin Transformer目标检测网络训练模型，该模型的主干网络为层次化结构，包含四个Stage，每个Stage都会缩小输入特征图的分辨率，在网络输入时，PatchPartition操作将图像切成一个个图块，再通过Linear Embedding操作将图块投影为嵌入向量，然后经过4个Stage处理，在每个Stage里，由Patch Merging和偶数个Block组成，其中，Patch Merging操作主要是在每个Stage一开始降低图片分辨率，Block结构包括LayerNorm，MLP，Window Attention和Shifted Window Attention，其中Layer Norm是归一化层，MLP是多层感知机，Window Attention是基于窗口的自注意力模块，Shifted WindowAttention是基于移动窗口的自注意力模块；
S24、将步骤S1中采集的图像输入到模型检测异物，计算异物的中心坐标。
4.根据权利要求3所述的一种基于Swin Transformer的光伏板异物检测与清洁方法，其特征在于，所述步骤S21中，在光伏板基地使用高清相机、GoPro获取光伏板上附着异物的视频数据，选取视频数据中的有效帧保存成图像，对原始图像进行人工标注，标注文件格式为TXT文件格式，TXT文件中包含异物类别和位置。
5.根据权利要求3所述的一种基于Swin Transformer的光伏板异物检测与清洁方法，其特征在于，所述步骤S22中，所述数据集是在光伏板基地调研时实地采集的图像数据，经整理后得到原始数据集，采取Mosaic数据增强方法对原始数据集进行扩充，Mosaic增强的主要过程有如下步骤：
S221：从数据集中每次随机读取4张图像；
S222:：分别对4张图像进行翻转、缩放、色域变化、裁剪操作；
S223：进行图像的组合和标签文件(TXT文件)的组合。
6.根据权利要求3所述的一种基于Swin Transformer的光伏板异物检测与清洁方法，其特征在于，所述步骤S23中，在S22步骤中已经得到了扩充后的训练集，将其输入到以SwinTransformer为主干网络的模型中进行训练，得到一个检测光伏板上附着异物的目标检测模型。
7.根据权利要求3所述的一种基于Swin Transformer的光伏板异物检测与清洁方法，其特征在于，所述步骤S24中，将步骤S1采集的光伏板图像输入到步骤S23训练得到的SwinTransformer目标检测模型中，检测机器人当前所在位置的光伏板组件是否存在异物，若存在异物，机器人停止自动规划路径巡检的工作，通过Swin Transformer目标检测模型定位到异物的位置信息，即框出异物的边界框，得到其边界框的左上角的坐标信息Q1(x1,y1)和右下角的坐标信息Q2(x2,y2)，计算得到异物的中心坐标Q(x,y)，其中
Figure FDA0004165584130000031
8.根据权利要求1所述的一种基于Swin Transformer的光伏板异物检测与清洁方法，其特征在于，所述步骤S3中，通过高清摄像机上的姿态传感器获取其当前姿态数据P1，将激光测距仪的姿态设置为P1后向光伏板发射激光，激光打到光伏板上呈现十字形的光斑，对图像进行二值化处理确定光斑在图像中的坐标信息，调整光斑的位置到异物的中心坐标Q(x,y)处，获取激光测距仪的数据，即机器人到光伏板异物的距离L。
9.根据权利要求1所述的一种基于Swin Transformer的光伏板异物检测与清洁方法，其特征在于，所述步骤S4中，读取激光测距仪上姿态传感器的姿态数据P2，将机器人上高压喷枪的姿态数据设置为P2，根据机器人到异物的距离调节高压喷枪的伸缩杆，根据步骤S3中的得到的距离L调节高压喷枪的最大伸缩长度，其次再调节高压喷枪的压力。
10.根据权利要求1所述的一种基于Swin Transformer的光伏板异物检测与清洁方法，其特征在于，所述步骤S5中，启动机器人的清洁程序，在清洁时，当异物在图像中的像素占比大于15个像素时说明异物在光伏板上的附着区域较大，高压喷枪需要进行移动清洁才可清洁干净，即喷头上下左右移动式喷射清洁剂；当异物在图像中的像素占比小于15个像素时说明异物在光伏板上的附着区域较小，高压喷枪进行定点清洁即可；此外，高压喷枪喷射清洁剂为阶段性喷射，喷3秒停止再进行实时检测，当检测不到异物时再停止清洁程序，完成清洁。
CN202310362424.1A 2023-04-06 2023-04-06 一种基于Swin Transformer的光伏板异物检测与清洁方法 Pending CN116388669A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310362424.1A CN116388669A (zh) 2023-04-06 2023-04-06 一种基于Swin Transformer的光伏板异物检测与清洁方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310362424.1A CN116388669A (zh) 2023-04-06 2023-04-06 一种基于Swin Transformer的光伏板异物检测与清洁方法

Publications (1)

Publication Number Publication Date
CN116388669A true CN116388669A (zh) 2023-07-04

Family

ID=86974629

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310362424.1A Pending CN116388669A (zh) 2023-04-06 2023-04-06 一种基于Swin Transformer的光伏板异物检测与清洁方法

Country Status (1)

Country Link
CN (1) CN116388669A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117123890A (zh) * 2023-10-23 2023-11-28 江苏力天电力装备有限公司 一种环网箱生产用焊接装置
CN117458979A (zh) * 2023-10-26 2024-01-26 北京京能清洁能源电力股份有限公司内蒙古分公司 一种光伏电站清洁智能管理系统
CN118782460A (zh) * 2024-09-09 2024-10-15 青岛华芯晶电科技有限公司 一种用于磷化铟晶片自动清洗用喷淋控制系统及方法
CN119368494A (zh) * 2024-12-26 2025-01-28 远东幕墙(珠海)有限公司 用于丝印网版清洗的机器人、方法及控制器

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117123890A (zh) * 2023-10-23 2023-11-28 江苏力天电力装备有限公司 一种环网箱生产用焊接装置
CN117123890B (zh) * 2023-10-23 2024-01-09 江苏力天电力装备有限公司 一种环网箱生产用焊接装置
CN117458979A (zh) * 2023-10-26 2024-01-26 北京京能清洁能源电力股份有限公司内蒙古分公司 一种光伏电站清洁智能管理系统
CN118782460A (zh) * 2024-09-09 2024-10-15 青岛华芯晶电科技有限公司 一种用于磷化铟晶片自动清洗用喷淋控制系统及方法
CN118782460B (zh) * 2024-09-09 2024-11-22 青岛华芯晶电科技有限公司 一种用于磷化铟晶片自动清洗用喷淋控制系统及方法
CN119368494A (zh) * 2024-12-26 2025-01-28 远东幕墙(珠海)有限公司 用于丝印网版清洗的机器人、方法及控制器
CN119368494B (zh) * 2024-12-26 2025-03-07 远东幕墙(珠海)有限公司 用于丝印网版清洗的机器人、方法及控制器

Similar Documents

Publication Publication Date Title
CN116388669A (zh) 一种基于Swin Transformer的光伏板异物检测与清洁方法
CN114782626B (zh) 基于激光与视觉融合的变电站场景建图及定位优化方法
CN102645219B (zh) 用于焊缝检测的爬壁机器人的视觉导航系统的焊缝的焊接定位方法及焊缝偏移量获取方法
CN112605033B (zh) 一种光伏板姿态识别及清洗调控装置及方法
CN117823741B (zh) 一种结合智能机器人的管网非开挖修复方法及系统
CN115376030A (zh) 一种基于bim和无人机技术的钢结构监测方法
CN111740699A (zh) 一种光伏板故障检测识别方法、装置和无人机
CN110220909A (zh) 一种基于深度学习的地铁盾构隧道病害检测方法
CN110186375A (zh) 智能化高铁白车身焊接装配特征检测装置及检测方法
CN115330734A (zh) 一种基于三维目标检测和点云缺陷补全的自动化机器人补焊系统
CN116667775A (zh) 一种基于无人机的光伏电场自动清洁方法及系统
CN116342693A (zh) 一种基于点云和卷积神经网络的桥梁缆索表面损伤快速定位方法
CN114863250B (zh) 集装箱锁孔识别定位方法、系统及存储介质
CN118100409A (zh) 一种基于ai的光伏电站智能巡检方法及系统
CN110927172B (zh) 一种飞机整体油箱密封胶漏涂在线检测装置及方法
CN112530267B (zh) 一种基于计算机视觉的机械臂智能示教方法及应用
CN118089694A (zh) 一种基于多传感器数据移动机器人导航定位系统
CN117372895A (zh) 基于无人机智能巡检采集的光伏el组件缺陷检测方法
CN115311196A (zh) 一种多视觉融合的风力发电机叶片表面缺陷检测方法
CN113885504A (zh) 一种列检机器人自主巡检方法、系统及存储介质
CN109298715B (zh) 机器人行进控制系统及行进控制方法
CN117495360A (zh) 一种海面垃圾的捕获方法及装置
CN118396977A (zh) 一种装配式建筑中预埋件缺陷的检测方法
CN116274073A (zh) 基于多相机的绝缘子水冲洗机器人多目标顺序冲洗方法
CN117969554A (zh) 一种管道缺陷检测机器人及检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination