CN116223511A - 基于无人机自动巡检的分布式屋顶光伏组件缺陷诊断方法及装置 - Google Patents
基于无人机自动巡检的分布式屋顶光伏组件缺陷诊断方法及装置 Download PDFInfo
- Publication number
- CN116223511A CN116223511A CN202310125703.6A CN202310125703A CN116223511A CN 116223511 A CN116223511 A CN 116223511A CN 202310125703 A CN202310125703 A CN 202310125703A CN 116223511 A CN116223511 A CN 116223511A
- Authority
- CN
- China
- Prior art keywords
- aerial vehicle
- unmanned aerial
- photovoltaic module
- yolov5s
- defect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000007689 inspection Methods 0.000 title claims abstract description 33
- 238000003745 diagnosis Methods 0.000 title claims abstract description 28
- 238000001514 detection method Methods 0.000 claims abstract description 34
- 238000010586 diagram Methods 0.000 claims abstract description 14
- 238000009826 distribution Methods 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 6
- OQCFWECOQNPQCG-UHFFFAOYSA-N 1,3,4,8-tetrahydropyrimido[4,5-c]oxazin-7-one Chemical compound C1CONC2=C1C=NC(=O)N2 OQCFWECOQNPQCG-UHFFFAOYSA-N 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 238000013500 data storage Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 2
- 238000011897 real-time detection Methods 0.000 abstract description 2
- 238000004364 calculation method Methods 0.000 description 6
- 238000011176 pooling Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 241000237858 Gastropoda Species 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical group OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 240000007651 Rubus glaucus Species 0.000 description 1
- 235000011034 Rubus glaucus Nutrition 0.000 description 1
- 235000009122 Rubus idaeus Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/176—Urban or other man-made structures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E10/00—Energy generation through renewable energy sources
- Y02E10/50—Photovoltaic [PV] energy
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Remote Sensing (AREA)
- General Health & Medical Sciences (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Quality & Reliability (AREA)
- Automation & Control Theory (AREA)
- Photovoltaic Devices (AREA)
Abstract
本发明公开了一种基于无人机自动巡检的分布式屋顶光伏组件缺陷诊断方法及装置，该方法包括：利用无人机所搭载的定位系统，得到光伏板的位置信息并建立信息库；所述位置信息包括光伏板的分布图及光伏板的经纬度信息；根据设定巡航点和规划的路径进行图像采集，并标注出缺陷位置；根据采集的图像及标注的缺陷位置，制作出光伏组件数据集；将制作的光伏组件数据集输入改进后的轻量化YOLOv5s网络模型中，得出轻量化YOLOv5s光伏组件缺陷检测模型；将轻量化YOLOv5s光伏组件缺陷检测模型搭载至Jetson Nano嵌入式平台，进行分布式屋顶光伏组件缺陷实时诊断。本发明利用无人机巡检提高巡检效率，降低人力成本，减少安全隐患，实现现实场景下的分布式屋顶光伏组件缺陷实时检测。
Description
技术领域
本发明属于分布式屋顶光伏电站维护设备技术领域，尤其涉及基于无人机自动巡检的分布式屋顶光伏组件缺陷诊断方法及装置。
背景技术
分布式屋顶光伏电站规模小，数量大，并网点多且较分散，因此分布式光伏地理位置及故障定位相对困难。此外，在无人机自主巡检光伏电站的过程中，由于自身定位系统的误差，难以规划路径采集高质量的图像，并且无人机采样倾斜角和姿态难以确定，机载相机与光伏组件之间存在的角度差可能造成透视畸变。
同时，随着分布式光伏电站安装数量的不断增加，光伏电站的运行和维护压力逐渐增大，有些电站的巡检只能做到半年一次甚至更长。光伏电站光伏区的设备有太阳能电池片、逆变器、汇流箱、电缆、组件等众多电气组件，在生产及使用过程中很容易出现故障。人工巡检的方式越来越难以满足实际需要，利用无人机对光伏电站进行自主巡检成为更好的解决方案。采用数字图像处理和机器视觉技术，实现无人机对光伏设备航拍影像的自动化处理与分析，辅助定位，是自主巡检的重要内容。
基于此，本发明设计了基于无人机自动巡检的分布式屋顶光伏组件缺陷诊断技术，以解决上述问题。
发明内容
了解决上述问题，本发明提出了基于无人机自动巡检的分布式屋顶光伏组件缺陷诊断方法及装置。
本发明按以下技术方案实现：
一方面本发明提供了基于无人机自动巡检的分布式屋顶光伏组件缺陷诊断方法，所述方法包括：
利用无人机所搭载的定位系统，得到光伏板的位置信息并建立信息库；所述位置信息包括光伏板的分布图及光伏板的经纬度信息；
根据分布式光伏板的位置信息，设定巡航点并规划出路径信息；
根据设定巡航点和规划的路径进行图像采集，并标注出缺陷位置；
根据采集的图像及标注的缺陷位置，制作出光伏组件数据集；
对YOLOv5s网络改进，得出改进后的轻量化YOLOv5s网络模型；
将制作的光伏组件数据集输入改进后的轻量化YOLOv5s网络模型中，得出轻量化YOLOv5s光伏组件缺陷检测模型；
将轻量化YOLOv5s光伏组件缺陷检测模型搭载至Jetson Nano嵌入式平台，进行分布式屋顶光伏组件缺陷实时诊断。
在一种实施方式中，所述根据分布式光伏板的位置信息，规划出的巡航路线及设定巡航点，包括：
将光伏板的分布图导入Pix4D中得到正射影像图；
根据得到的正射影像图标定无人机巡航点；
根据光伏板的经纬度信息，将每一块光伏板的对角线交点标定为巡航点；
通过标定的巡航点的位置信息利用路径规划算法来确定巡航路线。
在一种实施方式中，无人机下降至光伏板上空15米左右开始根据已经规划好的路线和设定的巡航点进行图像采集。
在一种实施方式中，所述根据规划的巡航路线和设定的巡航点进行图像采集，并标注出缺陷位置，包括：
当无人机到达巡航点时，依据跟踪算法得到无人机搭载云台的控制矢量并发送至无人机的云台控制系统；
无人机的云台控制系统根据收到的控制矢量并结合当前无人机的姿态信息解算出云台俯仰和航向控制角，调整云台角度使相机始终垂直光伏板进行拍摄，并在到达下一个巡航点之前使镜头始终聚焦在当前巡航点；
利用LabelImg图像标注软件对无人机航拍光伏组件图像中的光伏组件进行标注。
在一种实施方式中，所述当无人机到达巡航点时，依据跟踪算法得到无人机搭载云台的控制矢量并发送至无人机的云台控制系统，包括：
当无人机飞到巡航点时，先根据接收的目前点的RTK位置坐标寻找出目前距离无人机最近的光伏板；
根据信息库里的光伏板坐标和标定的巡航点计算出目前离无人机最近的且尚未检测的巡航点位置信息P(LP,BP,HP)；
将A,P两个点的大地坐标转换为站心地平直角坐标A”(x1A,y1A,z1A),P”(x1P,y1P,z1P)；
再根据转换之后的位置信息求出来云台的控制矢量
并送到无人机的云台控制系统。
在一种实施方式中，所述根据采集的图像及标注的缺陷位置，制作出光伏组件数据集，包括：
对采集的原图片及其对应的标注缺陷位置所生成xml文件进行数据增强处理；
利用旋转、镜像、缩放、裁剪、亮度改变以及高斯模糊方法扩充光伏组件图像的数量，增强网络模型的鲁棒性；
将数据增强后的xml格式文件转换为txt格式文件，并划分数据集为训练集：验证集：测试集＝8：1：1。
在一种实施方式中，所述对YOLOv5s网络改进，得出改进后的轻量化YOLOv5s网络模型，包括：
采用轻量级ShuffleNetv2网络代替原始YOLOv5的C3Net作为主干网络；
增加混合注意力模块，用于提高网络对光伏组件缺陷的检测精度；所述混合注意力模块包含空间注意力模块和通道注意力模块，特征图先经过通道注意力模块实现通道维度的特征变换，新的特征图再经过空间注意力模块实现空间维度上的特征变换，混合注意力模块从2个维度整合了目标的特征。
在一种实施方式中，所述将制作的光伏组件数据集输入改进后的轻量化YOLOv5s网络模型中，得出轻量化YOLOv5s光伏组件缺陷检测模型，包括：
在改进后的轻量化YOLOv5s模型的输入端导入光伏组件缺陷数据集；
训练轻量化YOLOv5s光伏组件缺陷检测模型。
在一种实施方式中，所述训练轻量化YOLOv5s光伏组件缺陷检测模型，设置的训练参数为：输入图像分辨率为640×640；基本框架为YOLOv5s，即depth_multiple＝0.33，width_multiple＝0.50；初始学习率为0.01；周期学习率为0.1；学习率动量为0.937，模型训练的批大小为16；训练总轮次设置为500次。
另一方面本发明还提供了基于无人机自动巡检的分布式屋顶光伏组件缺陷诊断装置，该装置包括：
信息及数据模块，用于利用无人机所搭载的定位系统，得到光伏板的位置信息并建立信息库；所述位置信息包括光伏板的分布图及光伏板的经纬度信息；
规划模块，用于根据分布式光伏板的位置信息，设定巡航点并规划出路径信息；
采集模块，用于根据设定的巡航点和规划的路径进行图像采集；
数据存储模块，用于存储采集的图片和标注后的数据集；
缺陷检测模型模块，包括改进后的轻量化YOLOv5s网络模型，用于将制作的光伏组件数据集输入改进后的轻量化YOLOv5s网络模型中，得出轻量化YOLOv5s光伏组件缺陷检测模型；
搭载模块，用于将轻量化YOLOv5s光伏组件缺陷检测模型搭载至Jetson Nano嵌入式平台，进行分布式屋顶光伏组件缺陷实时诊断。
与现有技术相比，本发明所提出有益之处在于：
1、通过无人机所搭载的RTK定位系统，可以得到光伏板的位置信息并建立信息库，标定巡航点，利用路径规划算法来确定最佳的巡航路线；
2、依据控制量调整云台角度使相机始终垂直光伏板进行拍摄，在到达下一个巡航点之前使镜头始终聚焦在当前巡航点；
3、针对光伏组件缺陷检测速度较低且网络复杂度高的问题，本发明采用轻量级ShuffleNetv2网络代替原始YOLOv5的C3Net作为主干网络，显著减小了网络的参数量和计算量；
4、引入混合注意力模块，提升模型对光伏组件检测的精度；
5、将改进后的轻量化YOLOv5s模型配置到移动端，实现现实场景下的光伏组件缺陷实时检测。
附图说明
附图作为本发明的一部分，用来提供对本发明的进一步的理解，本发明的示意性实施例及其说明用于解释本发明，但不构成对本发明的不当限定。显然，下面描述中的附图仅仅是一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
在附图中：
图1为本发明一实施例提供的基于无人机自动巡检的分布式屋顶光伏组件缺陷诊断方法流程图；
图2为原始YOLOv5网络的结构示意图；
图3为本发明一实施例提供的ShuffleNetv2模块的结构示意图；
图4为本发明一实施例提供的混合注意力机制模块的结构示意图；
图5为本发明一实施例提供的改进的轻量化YOLOv5网络的结构示意图。
需要说明的是，这些附图和文字描述并不旨在以任何方式限制本发明的构思范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对实施例中的技术方案进行清楚、完整地描述，以下实施例用于说明本发明，但不用来限制本发明的范围。
图1为一个实施例中提供的本发明提供基于无人机自动巡检的分布式屋顶光伏组件缺陷诊断方法流程图，所述方法具体包括以下步骤：
步骤S100：利用无人机所搭载的定位系统，得到光伏板的位置信息并建立信息库；所述位置信息包括光伏板的分布图及光伏板的经纬度信息；
进一步，根据待检测的分布式屋顶光伏板的整体分布面积，使无人机上升到最佳高度以确保能够拍摄整体的光伏板俯视图。
具体的，无人机所搭载的RTK定位系统可精确至两厘米,由此可以较为准确的得到光伏板的每一列首端和尾端的经纬度以及单块光伏板的首端和尾端的经纬度，由此可以确定整体光伏板的总行数。类似的可以得到光伏组件中的总列数。从而得到了具体的光伏板的数量，然后根据位置信息，对每一块光伏板进行编号，建立信息库。方便后期对缺陷进行检测，确定具体的故障板位置。
步骤S200：根据分布式光伏板的位置信息，设定巡航点并规划出路径信息；
本申请实施例中，根据分布式光伏板的位置信息，设定巡航点并规划出路径信息，具体包括：
将光伏板的分布图导入Pix4D中得到正射影像图；
根据得到的正射影像图标定无人机巡航点；
根据光伏板的经纬度信息，将每一块光伏板的对角线交点标定为巡航点；
通过标定的巡航点的位置信息利用路径规划算法来确定巡航路线。
具体的，光伏板的四个点的位置信息分别为：(x1,y1),(x2,y2),(x3,y3),(x4,y4)，
则巡航点位置信息为：
通过标定的巡航点的位置信息利用路径规划算法来确定最佳的巡航路线。
步骤S300：根据设定巡航点和规划的路径进行图像采集，并标注出缺陷位置；
本申请实施例中，根据规划的巡航路线和设定的巡航点进行图像采集，并标注出缺陷位置，具体包括：
步骤S310：当无人机到达巡航点时，依据跟踪算法得到无人机搭载云台的控制矢量并发送至无人机的云台控制系统；
本申请实施例中，所述当无人机到达巡航点时，依据跟踪算法得到无人机搭载云台的控制矢量并发送至无人机的云台控制系统，具体包括：
当无人机飞到巡航点时，先根据接收的目前点的RTK位置坐标寻找出目前距离无人机最近的光伏板；
根据信息库里的光伏板坐标和标定的巡航点计算出目前离无人机最近的且尚未检测的巡航点位置信息P(LP,BP,HP)；
将A,P两个点的大地坐标转换为站心地平直角坐标A”(x1A,y1A,z1A),P”(x1P,y1P,z1P)；
再根据转换之后的位置信息求出来云台的控制矢量
并送到无人机的云台控制系统。
步骤S320：无人机的云台控制系统根据收到的控制矢量并结合当前无人机的姿态信息解算出云台俯仰和航向控制角，调整云台角度使相机始终垂直光伏板进行拍摄，并在到达下一个巡航点之前使镜头始终聚焦在当前巡航点；
具体的，当无人机到达巡航点时，依据跟踪算法得到无人机搭载云台的控制量并发送至无人机，从而调整云台角度使相机始终垂直光伏板进行拍摄，并且在到达下一个巡航点之前使镜头始终聚焦在当前巡航点。具体做法如下：
当无人机飞到巡航点时，先根据接收的目前点的RTK位置坐标寻找出目前距离无人机最近的光伏板。
然后，根据信息库里的光伏板坐标和标定的巡航点计算出目前离无人机最近的且尚未检测的巡航点位置信息P(LP,BP,HP),然后将A,P两个点的大地坐标转换为站心地平直角坐标A”(x1A,y1A,z1A),P”(x1P,y1P,z1P)。再根据转换之后的位置信息求出来云台的控制矢量
并送到无人机的云台控制系统。云台控制系统根据收到的控制矢量并结合当前无人机的姿态信息解算出云台俯仰和航向控制角，使相机始终对准巡航点，从而完成对巡航点的跟踪，完成当前巡航点巡视后重复上述的算法流程直至巡检完所有的巡航点。
步骤S330：利用LabelImg图像标注软件对无人机航拍光伏组件图像中的光伏组件缺陷位置进行标注。
具体的，利用LabelImg图像标注软件，对国网徐州公司提供的无人机航拍光伏组件图像中的光伏组件缺陷位置进行标注，其中，光伏板蜗牛纹标注为snail trail，光伏板热斑标注为hot spot，光伏板破损标注为broken，生成的标注文件为xml格式。
进一步，无人机下降至光伏板上空15米左右开始精确的巡检，根据已经规划好的路线和设定的巡航点进行图像采集。
步骤S400：根据采集的图像及标注的缺陷位置，制作出光伏组件数据集；
本申请实施例中，所述根据采集的图像及标注的缺陷位置，制作出光伏组件数据集；具体包括：
步骤S410：对采集的原图片及其对应的标注缺陷位置所生成xml文件进行数据增强处理；
步骤S420：利用旋转、镜像、缩放、裁剪、亮度改变以及高斯模糊方法扩充光伏组件图像的数量，增强网络模型的鲁棒性；
步骤S430：将数据增强后的xml格式文件转换为txt格式文件，并划分数据集为训练集：验证集：测试集＝8：1：1。
具体的，为了模拟无人机在不同天气下、遇到紊流抖动以及处于不同拍摄视角的情形，本发明通过对原图片及其对应的xml文件进行数据增强处理，利用旋转、镜像、缩放、裁剪、亮度改变以及高斯模糊等方法扩充光伏组件图像的数量，增强网络模型的鲁棒性。将数据增强后的xml格式文件转换为txt格式文件，并划分数据集为训练集：验证集：测试集＝8：1：1。
步骤S500：对YOLOv5s网络改进，得出改进后的轻量化YOLOv5s网络模型；
本申请实施例中，对YOLOv5s网络改进，得出改进后的轻量化YOLOv5s网络模型，具体包括：
步骤S510：采用轻量级ShuffleNetv2网络代替原始YOLOv5的C3Net作为主干网络；
如图2所示，基础的YOLOv5主干网络由大量的卷积模块Conv，C3构成的瓶颈模块和SPP模块堆叠组合而成。除了SPP模块不涉及复杂的卷积乘加操作以外，其他两个模块中存在大量浮点运算，造成庞大的参数量和计算量，而C3模块中残差结构的引入需要更多的内存以保存新的特征图，网络在实际使用时对于内存的消耗极大。基于以上讨论，ShuffleNetv2模块在降低网络参数量和计算量的同时，进一步减少了网络的内存访问成本，因此本发明将图3所示的两个ShuffleNetv2单元堆叠组合以重构原始YOLOv5s的主干网络。
ShuffleNetv2是基于移动设备而设计的轻量级神经网络，研究模型的复杂度和运行速度以及ShuffleNetv1和MobileNetv2的运行时间。针对轻量化网络的设计，对ShuffleNetv1进行以下改进：(1)使用1×1卷积代替1×1组卷积；(2)在模块开始时引入新的运算Channel Split；(3)在短路连接中采用串联运算代替加法操作。如图2所示，该网络中利用不断重复的1×1和3×3卷积来提取特征，采用短路连接来增加网络深度。在每个短路连接前加入Channel Split操作，有效地提高了卷积网络的计算效率，减少庞大的参数。在短路连接之后加入Channel Shuffle模块以混合特征，提高了卷积网络模型的检测精度。Channel Split和Channel Shuffle的应用，减小了模型的计算复杂度，降低了模型的内存占用率，极大地提高了模型的计算效率。
步骤S520：增加混合注意力模块，用于提高网络对光伏组件缺陷的检测精度；
混合注意力模块包含空间注意力模块和通道注意力模块；特征图先经过通道注意力模块实现通道维度的特征变换，新的特征图再经过空间注意力模块实现空间维度上的特征变换，混合注意力模块从2个维度整合了目标的特征。
由于YOLOv5在提取特征过程中无注意力偏好，对不同重要程度的特征采用相同的加权方式。混合注意力模块能够自适应地区分当前特征图不同通道或同一通道不同空间位置的重要程度，因此，本发明通过引入混合注意力模块来解决原网络无注意力偏好问题，使网络在检测过程中能够更多的关注兴趣目标。
具体的，如图4所示。空间注意力模块机制特征图在通道维度上分别进行平均池化和最大池化并堆叠形成双通道特征图，再经过一次卷积操作生成单通道特征图，Sigmoid函数对单通道特征图归一化处理后形成二维的空间权重参数，如式(1)所示。空间权重参数张量用于对输入特征图进行加权计算，实现输入特征图的特征重组。
Ms(F)＝σ{f7×7[AvgP(F)；MaxP(F)]} (1)
式中：AvgP和MaxP分别表示平均池化和最大池化；F代表输入特征图；Ms(F)表示空间注意力输出的权重参数张量；f7×7表示卷积核尺寸为7×7的卷积操作；σ表示Sigmoid函数。
在通道注意力模块结构中，n通道特征图经过平均池化和最大池化后被映射为n维特征向量，经过全连接网络和Sigmoid函数的归一化后形成n维的权重参数，如式(2)所示，该参数向量作为输入特征图对应通道的权重参数。
Mc(F)＝σ{MLP[AvgP(F)]+MLP[MaxP(F)]} (2)
式中：MLP表示经过全连接网络的运算；Mc(F)表示通道注意力输出的权重参数张量。
步骤S600：将制作的光伏组件数据集输入改进后的轻量化YOLOv5s网络模型中，得出轻量化YOLOv5s光伏组件缺陷检测模型；
步骤S610，在步骤500改进的轻量化YOLOv5s模型的输入端导入步骤400光伏组件缺陷数据集；
步骤S620，训练轻量化YOLOv5s光伏组件缺陷检测模型。
进一步，轻量化YOLOv5s算法训练过程中，设置的训练参数为：输入图像分辨率为640×640；基本框架为YOLOv5s，即depth_multiple＝0.33，width_multiple＝0.50；初始学习率为0.01；周期学习率为0.1；学习率动量为0.937，模型训练的批大小为16；训练总轮次设置为500次。
步骤S700：将轻量化YOLOv5s光伏组件缺陷检测模型搭载至Jetson Nano嵌入式平台，进行分布式屋顶光伏组件缺陷实时。
将轻量化YOLOv5s光伏组件缺陷检测模型搭载至Jetson Nano嵌入式平台。JetsonNano是NVIDIA的嵌入式平台，由于其高性价比在近年来得到了广泛的应用。它采用四核ARMA57CPU和128核Maxwell TM GPU,提供了4GB的LPDDR4存储器,拥有远远超过树莓派4B的472GFLOPS的AI性能。并可以利用CUDA核心实施并行计算，支持PyTorch、Tensorflow、Caffe等流行深度学习框架。平台周围提供了大量的扩展串口，方便地外接摄像头、视频显示器、风扇、读卡器等设备。它的价格十分低廉，尺寸仅为80×100×2.9mm，使用5V 4A的电源就可以工作，十分适合部署到无人机完成实时巡检任务。
本发明提出基于无人机自动巡检的分布式屋顶光伏组件缺陷诊断方法。首先，利用无人机所搭载的RTK定位系统，得到分布式光伏板的整体位置信息，然后得到正射影像图，并对每一块光伏板进行编号并建立信息库，设置巡航点，利用路径规划算法来确定最佳的巡航路线，并依据控制量调整云台角度使相机始终垂直光伏板进行拍摄。其次，引入轻量化模块ShuffleNetv2替代YOLOv5主干网络C3Net，显著减小了网络参数量和计算量，降低网络复杂度。随后，为进一步补偿轻量化导致的检测精度损失，在特征融合网络(Neck)中加入混合注意力模块(convolutional block attention module，CBAM)，增强网络对光伏组件缺陷的感知能力，提升网络的检测精度。最后，将轻量化的YOLOv5s模型搭载至Jetson Nano嵌入式平台，完成分布式屋顶光伏组件缺陷实时诊断。
另一方面本发明还提供了基于无人机自动巡检的分布式屋顶光伏组件缺陷诊断装置，该装置包括：
信息及数据模块，用于利用无人机所搭载的定位系统，得到光伏板的位置信息并建立信息库；所述位置信息包括光伏板的分布图及光伏板的经纬度信息；
规划模块，用于根据分布式光伏板的位置信息，设定巡航点并规划出路径信息；
采集模块，用于根据设定的巡航点和规划的路径进行图像采集；
数据存储模块，用于存储采集的图片和标注后的数据集；
缺陷检测模型模块，包括改进后的轻量化YOLOv5s网络模型，用于将制作的光伏组件数据集输入改进后的轻量化YOLOv5s网络模型中，得出轻量化YOLOv5s光伏组件缺陷检测模型；
搭载模块，用于将轻量化YOLOv5s光伏组件缺陷检测模型搭载至Jetson Nano嵌入式平台，进行分布式屋顶光伏组件缺陷实时诊断。
要说明的是，上述实施例提供的基于无人机自动巡检的分布式屋顶光伏组件缺陷诊断装置与基于无人机自动巡检的分布式屋顶光伏组件缺陷诊断方法实施例属于同一构思，其体现实现过程详见基于无人机自动巡检的分布式屋顶光伏组件缺陷诊断方法，这里不再赘述。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包含的某些特征而不是其它特征，但是不同实施例的特征的组合同样意味着处于本发明的保护范围之内并且形成不同的实施例。例如，在上面的实施例中，本领域技术人员能够根据获知的技术方案和本申请所要解决的技术问题，以组合的方式来使用。
以上所述仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专利的技术人员在不脱离本发明技术方案范围内，当可利用上述提示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明方案的范围内。
Claims (10)
1.基于无人机自动巡检的分布式屋顶光伏组件缺陷诊断方法，其特征在于：所述方法包括：
利用无人机所搭载的定位系统，得到光伏板的位置信息并建立信息库；所述位置信息包括光伏板的分布图及光伏板的经纬度信息；
根据分布式光伏板的位置信息，设定巡航点并规划出路径信息；
根据设定巡航点和规划的路径进行图像采集，并标注出缺陷位置；
根据采集的图像及标注的缺陷位置，制作出光伏组件数据集；
对YOLOv5s网络改进，得出改进后的轻量化YOLOv5s网络模型；
将制作的光伏组件数据集输入改进后的轻量化YOLOv5s网络模型中，得出轻量化YOLOv5s光伏组件缺陷检测模型；
将轻量化YOLOv5s光伏组件缺陷检测模型搭载至Jetson Nano嵌入式平台，进行分布式屋顶光伏组件缺陷实时诊断。
2.根据权利要求1所述的基于无人机自动巡检的分布式屋顶光伏组件缺陷诊断方法，其特征在于：所述根据分布式光伏板的位置信息，规划出的巡航路线及设定巡航点，包括：
将光伏板的分布图导入Pix4D中得到正射影像图；
根据得到的正射影像图标定无人机巡航点；
根据光伏板的经纬度信息，将每一块光伏板的对角线交点标定为巡航点；
通过标定的巡航点的位置信息利用路径规划算法来确定巡航路线。
3.根据权利要求1所述的基于无人机自动巡检的分布式屋顶光伏组件缺陷诊断方法，其特征在于：无人机下降至光伏板上空15米左右开始根据已经规划好的路线和设定的巡航点进行图像采集。
4.根据权利要求3所述的基于无人机自动巡检的分布式屋顶光伏组件缺陷诊断方法，其特征在于：所述根据设定巡航点和规划的路径进行图像采集，并标注出缺陷位置，包括：
当无人机到达巡航点时，依据跟踪算法得到无人机搭载云台的控制矢量并发送至无人机的云台控制系统；
无人机的云台控制系统根据收到的控制矢量并结合当前无人机的姿态信息解算出云台俯仰和航向控制角，调整云台角度使相机始终垂直光伏板进行拍摄，并在到达下一个巡航点之前使镜头始终聚焦在当前巡航点。
5.根据权利要求4所述的基于无人机自动巡检的分布式屋顶光伏组件缺陷诊断方法，其特征在于：所述当无人机到达巡航点时，依据跟踪算法得到无人机搭载云台的控制矢量并发送至无人机的云台控制系统，包括：
当无人机飞到巡航点时，先根据接收的目前点的RTK位置坐标寻找出目前距离无人机最近的光伏板；
根据信息库里的光伏板坐标和标定的巡航点计算出目前离无人机最近的且尚未检测的巡航点位置信息P(LP,BP,HP)；
将A,P两个点的大地坐标转换为站心地平直角坐标A”(x1A,y1A,z1A),P”(x1P,y1P,z1P)；
再根据转换之后的位置信息求出来云台的控制矢量
并送到无人机的云台控制系统。
6.根据权利要求1所述的基于无人机自动巡检的分布式屋顶光伏组件缺陷诊断方法，其特征在于：所述根据采集的图像及标注的缺陷位置，制作出光伏组件数据集，包括：
对采集的原图片及其对应的标注缺陷位置所生成xml文件进行数据增强处理；
利用旋转、镜像、缩放、裁剪、亮度改变以及高斯模糊方法扩充光伏组件图像的数量，增强网络模型的鲁棒性；
将数据增强后的xml格式文件转换为txt格式文件，并划分数据集为训练集：验证集：测试集＝8：1：1。
7.根据权利要求1所述的基于无人机自动巡检的分布式屋顶光伏组件缺陷诊断方法，其特征在于：所述对YOLOv5s网络改进，得出改进后的轻量化YOLOv5s网络模型，包括：
采用轻量级ShuffleNetv2网络代替原始YOLOv5的C3Net作为主干网络；
增加混合注意力模块，用于提高网络对光伏组件缺陷的检测精度；所述混合注意力模块包含空间注意力模块和通道注意力模块，特征图先经过通道注意力模块实现通道维度的特征变换，新的特征图再经过空间注意力模块实现空间维度上的特征变换，混合注意力模块从2个维度整合了目标的特征。
8.根据权利要求1所述的基于无人机自动巡检的分布式屋顶光伏组件缺陷诊断方法，其特征在于：所述将制作的光伏组件数据集输入改进后的轻量化YOLOv5s网络模型中，得出轻量化YOLOv5s光伏组件缺陷检测模型，包括：
在改进后的轻量化YOLOv5s模型的输入端导入光伏组件缺陷数据集；
训练轻量化YOLOv5s光伏组件缺陷检测模型。
9.根据权利要求8所述的基于无人机自动巡检的分布式屋顶光伏组件缺陷诊断方法，其特征在于：所述训练轻量化YOLOv5s光伏组件缺陷检测模型，设置的训练参数为：输入图像分辨率为640×640；基本框架为YOLOv5s，即depth_multiple＝0.33，width_multiple＝0.50；初始学习率为0.01；周期学习率为0.1；学习率动量为0.937，模型训练的批大小为16；训练总轮次设置为500次。
10.基于无人机自动巡检的分布式屋顶光伏组件缺陷诊断装置，其特征在于：该装置包括：
信息及数据模块，用于利用无人机所搭载的定位系统，得到光伏板的位置信息并建立信息库；所述位置信息包括光伏板的分布图及光伏板的经纬度信息；
规划模块，用于根据分布式光伏板的位置信息，设定巡航点并规划出路径信息；
采集模块，用于根据设定的巡航点和规划的路径进行图像采集；
数据存储模块，用于存储采集的图片和标注后的数据集；
缺陷检测模型模块，包括改进后的轻量化YOLOv5s网络模型，用于将制作的光伏组件数据集输入改进后的轻量化YOLOv5s网络模型中，得出轻量化YOLOv5s光伏组件缺陷检测模型；
搭载模块，用于将轻量化YOLOv5s光伏组件缺陷检测模型搭载至Jetson Nano嵌入式平台，进行分布式屋顶光伏组件缺陷实时诊断。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310125703.6A CN116223511A (zh) | 2023-02-16 | 2023-02-16 | 基于无人机自动巡检的分布式屋顶光伏组件缺陷诊断方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310125703.6A CN116223511A (zh) | 2023-02-16 | 2023-02-16 | 基于无人机自动巡检的分布式屋顶光伏组件缺陷诊断方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116223511A true CN116223511A (zh) | 2023-06-06 |
Family
ID=86583892
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310125703.6A Pending CN116223511A (zh) | 2023-02-16 | 2023-02-16 | 基于无人机自动巡检的分布式屋顶光伏组件缺陷诊断方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116223511A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117274843A (zh) * | 2023-11-15 | 2023-12-22 | 安徽继远软件有限公司 | 基于轻量级边缘计算的无人机前端缺陷识别方法及系统 |
| CN117691948A (zh) * | 2024-02-02 | 2024-03-12 | 众芯汉创(江苏)科技有限公司 | 一种智能化光伏组件缺陷巡检系统 |
| CN118012100A (zh) * | 2024-02-07 | 2024-05-10 | 德小易信息科技有限公司 | 无人机智能光伏电站巡检方法及系统 |
-
2023
- 2023-02-16 CN CN202310125703.6A patent/CN116223511A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117274843A (zh) * | 2023-11-15 | 2023-12-22 | 安徽继远软件有限公司 | 基于轻量级边缘计算的无人机前端缺陷识别方法及系统 |
| CN117274843B (zh) * | 2023-11-15 | 2024-04-19 | 安徽继远软件有限公司 | 基于轻量级边缘计算的无人机前端缺陷识别方法及系统 |
| CN117691948A (zh) * | 2024-02-02 | 2024-03-12 | 众芯汉创(江苏)科技有限公司 | 一种智能化光伏组件缺陷巡检系统 |
| CN117691948B (zh) * | 2024-02-02 | 2024-04-26 | 众芯汉创(江苏)科技有限公司 | 一种智能化光伏组件缺陷巡检系统 |
| CN118012100A (zh) * | 2024-02-07 | 2024-05-10 | 德小易信息科技有限公司 | 无人机智能光伏电站巡检方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112633535B (zh) | 一种基于无人机图像的光伏电站智能巡检方法及系统 | |
| CN116223511A (zh) | 基于无人机自动巡检的分布式屋顶光伏组件缺陷诊断方法及装置 | |
| CN113538391B (zh) | 一种基于Yolov4和热红外图像的光伏缺陷检测方法 | |
| CN110245644A (zh) | 一种基于深度学习的无人机图像输电杆塔倒伏识别的方法 | |
| CN110580717A (zh) | 一种针对电力杆塔的无人机自主巡检航线生成方法 | |
| CN113255589B (zh) | 一种基于多卷积融合网络的目标检测方法及系统 | |
| CN111091023B (zh) | 一种车辆检测方法、装置及电子设备 | |
| CN109035327B (zh) | 基于深度学习的全景相机姿态估计方法 | |
| CN107767454A (zh) | 一种实景三维移动快速建模方法、装置及系统 | |
| CN113743358B (zh) | 一种全方位采集和智能计算的景观视觉特征识别方法 | |
| CN103196429B (zh) | 城市天际轮廓线立面正射影像图的快速获取和测量方法 | |
| CN110866472A (zh) | 一种无人机地面运动目标识别与图像增强系统及方法 | |
| CN115272572A (zh) | 输电线路重建方法、装置、电子设备及存储介质 | |
| CN103426153B (zh) | 一种无人机遥感影像快速拼接方法 | |
| CN112084989A (zh) | 基于无人机与cnn的大范围松材线虫病枯立木智能检测方法 | |
| CN115359295A (zh) | 一种解耦知识蒸馏金具目标检测方法及系统 | |
| CN112785678B (zh) | 基于三维模拟的日照分析方法和系统 | |
| CN110174714B (zh) | 基于机器学习的街道空间日照时数批量化测量方法及系统 | |
| CN111950524A (zh) | 一种基于双目视觉和rtk的果园局部稀疏建图方法和系统 | |
| CN114612420A (zh) | 一种基于yolo算法的输电线路可见光缺陷识别方法 | |
| CN113343475A (zh) | 光伏仿真参数的获取方法、装置及计算机存储介质 | |
| Chang et al. | Research on foreign body detection in transmission lines based on a multi-UAV cooperative system and YOLOv7 | |
| CN113743208B (zh) | 一种基于无人机阵列的中华白海豚数量统计方法及系统 | |
| CN117611759B (zh) | 基于三维模型的评分地图生成方法、装置、终端及存储介质 | |
| CN114519806B (zh) | 一种大洋浪级观测模型训练方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |