CN112184711B - 一种光伏组件缺陷检测和定位方法及系统 - Google Patents
一种光伏组件缺陷检测和定位方法及系统 Download PDFInfo
- Publication number
- CN112184711B CN112184711B CN202011223205.8A CN202011223205A CN112184711B CN 112184711 B CN112184711 B CN 112184711B CN 202011223205 A CN202011223205 A CN 202011223205A CN 112184711 B CN112184711 B CN 112184711B
- Authority
- CN
- China
- Prior art keywords
- photovoltaic
- image
- defective
- string
- photovoltaic module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000001514 detection method Methods 0.000 title claims abstract description 15
- 230000002950 deficient Effects 0.000 claims abstract description 76
- 238000003062 neural network model Methods 0.000 claims abstract description 39
- 230000006870 function Effects 0.000 claims description 25
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 11
- 238000013135 deep learning Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 5
- 230000004807 localization Effects 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 238000007689 inspection Methods 0.000 description 5
- 238000012423 maintenance Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010248 power generation Methods 0.000 description 2
- 238000012876 topography Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Photovoltaic Devices (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种光伏组件缺陷检测和定位方法,根据组串识别神经网络模型对多张光伏阵列图像识别,获取每一个光伏组串图像,标定每一个光伏组串的编号;利用缺陷类型神经网络模型对每一个光伏组串图像进行缺陷类型识别,并确定有缺陷的光伏组件的位置信息;分别获取有缺陷的光伏组件的图像像素的最大灰度值和有缺陷的光伏组件所对应的光伏组串中其它正常光伏组件的图像像素的灰度值,利用灰度值与温度的拟合函数,计算得到有缺陷的光伏组件的最大温度以及正常光伏组件的平均温度;将最大温度与所述平均温度进行比较,判断有缺陷的光伏组件的热斑性质。通过该发明能够更加精确到有缺陷组件的位置,以及能够更加准确地判断缺陷性质。
Description
技术领域
本发明涉及光伏发电运维技术领域,尤其涉及一种光伏组件缺陷检测和定位方法及系统。
背景技术
太阳能发电的份额不断增长,光伏板数量逐年增加,对于光伏板高效率的缺陷检测,排查成为难题。无人机检测相比其它检测方案,成本低,效率高,人工参与少,灵活可靠。
目前对于无人机进行光伏板缺陷定位的方案分为两种:人工判断的方案和传统图像识别的方案。基于人工判断的技术方案效率低,容易漏判,判读时间长,巡检成本很高并且效率低。基于传统图像识别的技术方案对数据要求比较高,对不同地形环境、不同时间段、不同光照强度、光伏板不同尺寸规格均不能统一处理。对于无人机拍摄获得的图像,传统图像识别方法需要进行预先处理,如拼接、图像转换、尺寸裁切、人工校队及配准等,严重影响了光伏检测效率,并且巡检结果精度低,系统性能弱,无法满足考虑光伏电站的实际运营状况,对电站运维人员造成工作的繁琐。
对于缺陷光伏组串的定位,目前从软件层面上的解决方案存在较大问题。大多数采用红外图像直方图转换、图像阈值分类及二值化处理的技术方案,但是对于复杂地形如沙漠,地表温度很高,该方法容易造成误判,无法精准地定位组串。对于组串的GPS定位提取,不同组串距离往往很近,通过软件获取到组串的GPS存在误差,尤其是复杂的地形,例如山地,组串排布错综复杂,GPS定位会存在误差,电站运维人员依靠GPS定位去排查缺陷的组串难度就会很大。靠人工手动给不同光伏组串标定编号的技术方案,整体效率低、定位容易出错,并且人工成本高。
随着计算机视觉技术不断发展,使用机器学习进行目标检测的精度不断提高,通过大规模数据集训练的深度学习神经网络模型的性能已经超越传统图像处理,对于复杂背景图像的检测性能鲁棒性更高,无需人工干预矫正即可高效率的进行检测。因此本发明提出基于深度学习神经网络的光伏板缺陷定位和检测的技术方案,使用深度学习神经网络模型进行完整光伏组串定位和缺陷判定。
发明内容
基于此,本发明的目的在于提供一种光伏组件缺陷检测和定位方法及系统,解决现有技术中的问题,能够更加精确到有缺陷组件的位置,以及能够更加准确地判断缺陷性质。
为实现上述目的,本发明提供了一种光伏组件缺陷检测和定位方法,所述方法包括:
S1、根据一预设的组串识别神经网络模型,对采集的多张光伏阵列图像进行特征提取,获取所述光伏阵列中的每一个光伏组串图像,并标定每一个光伏组串的编号;
S2、利用一预设的缺陷类型神经网络模型,对所述每一个光伏组串图像进行缺陷类型识别,并根据所述光伏组串的编号,确定有缺陷的光伏组件的位置信息;
S3、分别获取有缺陷的光伏组件的图像像素的最大灰度值,以及有缺陷的光伏组件所对应的光伏组串中其它正常光伏组件的图像像素的灰度值,利用灰度值与温度的拟合函数,计算得到所述有缺陷的光伏组件的最大温度以及所述正常光伏组件的平均温度;
S4、将所述最大温度与所述平均温度进行比较,判断所述有缺陷的光伏组件的热斑性质。
优选的,所述步骤S1包括:
S101、采集并获取无人机搭载的相机拍摄的多张光伏阵列图像;
S102、基于深度学习神经网络算法,对样本训练数据集进行模型训练,构建所述组串识别神经网络模型;
S103、将所述多张光伏阵列图像输入至所述组串识别神经网络模型进行图像识别,获取光伏阵列中的每一个光伏组串图像以及该光伏组串在对应的光伏阵列图像中的像素坐标;
S104、基于所述每一张光伏阵列图像的中心GPS坐标,计算得到每一个光伏组串中心对应的GPS坐标,确定所述光伏阵列中的每一个光伏组串的编号。
优选的,所述组串识别神经网络模型的构建步骤包括:
采用SSD神经网络架构,Resnet18作为骨干网络,采用卷积层和全连接层共18层;
所述SSD神经网络架构的主体共6个不同特征图检测不同尺度的目标,每一个特征层会根据像素生成不同比例的默认框;
采用多特征层预测机制,提取所述光伏阵列图像不同特征层的不同特征,融合特征金字塔FPN,对每一层进行1*1卷积后再融合上一层的特征;
分别采用Smooth L1 loss和softmax损失函数对位置信息的回归和置信度的计算,使数据集中标注的坐标与产生的默认框进行回归计算,输出预测的偏移量及分类信息。
优选的,所述步骤S104包括:
根据光伏组串在对应的光伏阵列图像中的像素坐标,计算该光伏组串的中心点像素坐标;
计算所述光伏组串的中心点像素坐标与对应的光伏阵列图像中的中心点像素坐标之间的方位角;
获取光伏阵列图像中的中心点GPS坐标,计算光伏组串的中心点像素坐标与对应的光伏阵列图像中的中心点像素坐标之间的直线距离;
通过焦距转换,计算得到所述光伏组串的中心点像素坐标与对应的光伏阵列图像中的中心点像素坐标在实际地理环境中的真实距离;
根据所述光伏阵列图像中的中心点GPS坐标和中心点像素坐标,以及所述光伏组串的中心点像素坐标,以及两个中心点像素之间的真实距离和方位角,计算得到光伏组串的中心点所对应的GPS坐标。
优选的,所述步骤S104包括:
所述焦距转换公式为:
f=h*(D÷H) (1);
其中,f为焦距,h为相机传感器的对角线尺寸,D为无人机距离地面高度,H为图像实际对角线距离;
通过焦距转换公式计算得到H,图像的对角线像素尺寸除以H得到每个像素与真实距离的比例;
将所述直线距离乘以所述比例,得到所述光伏组串的中心点像素坐标与对应的光伏阵列图像中的中心点像素坐标在实际地理环境中的真实距离。
优选的,所述步骤104还包括:
根据得到的每一个光伏组串的中心点的GPS坐标,通过米勒二维投影转换为米勒平面坐标,每一个光伏组串对应一个米勒坐标;
根据获取的所有的光伏组串的米勒坐标,以及根据光伏电站的地形从左向右、从上往下依次排序,生成每一个光伏组串的编号。
优选的,所述步骤S2包括:
根据光伏组串的编号,对有缺陷的光伏组件进行通过行列方式进行定位,采用光伏组串号+缺陷组件行列号或者光伏组串的GPS坐标+缺陷组件行列号定位到缺陷的光伏组件;
所述缺陷类型包括阴影遮挡、二极管故障和热斑。
优选的,所述步骤S3包括:
利用最小二乘法拟合灰度值与温度的拟合函数;
所述拟合函数为:
y=k*x+b (2);
其中,拟合的斜率为x为灰度值,y为对应的温度;
通过采样不同点的温度对应的灰度值,可得到参数k和b,通过拟合函数可以获取不同像素点对应的温度值。
优选的,所述热斑性质包括轻度、中度和重度。
为实现上述目的,本发明提供了一种光伏组件缺陷检测和定位系统,所述系统包括:
组串识别模型模块,根据一预设的组串识别神经网络模型,对采集的多张光伏阵列图像进行特征提取,获取所述光伏阵列中的每一个光伏组串图像,并标定每一个光伏组串的编号;
缺陷类型模型模块,利用一预设的缺陷类型神经网络模型,对所述每一个光伏组串图像进行缺陷类型识别,并根据所述光伏组串的编号,确定有缺陷的光伏组件的位置信息;
拟合模块,分别获取有缺陷的光伏组件的图像像素的最大灰度值,以及有缺陷的光伏组件所对应的光伏组串中其它正常光伏组件的图像像素的灰度值,利用灰度值与温度的拟合函数,计算得到所述有缺陷的光伏组件的最大温度以及所述正常光伏组件的平均温度;
判断模块,将所述最大温度与所述平均温度进行比较,判断所述有缺陷的光伏组件的热斑性质。
与现有技术相比,本发明一种光伏组件缺陷检测和定位方法及系统,所带来的有益效果为:解决了现有技术中光伏巡检时,精度低、效果差、定位偏差大以及无法快速精确获取位置信息的技术问题;通过深度学习模型能够对光伏组串进行精确振动定位,实现组串号和GPS双重定位;该方案定位精度高,达到95%以上的准确率,且无需人工干预进行异常目标矫正,无需对图像进行繁杂的预处理,操作人员可根据组串号快速索引定位组串位置,无需考虑由地形复杂引起的GPS误差;通过深度学习模型对光伏组件的缺陷类型进行判断,以及能够精确地定位缺陷的光伏组件位置,对造成缺陷的热斑性质进行判断,对缺陷进行双重判定,能够更加地准确对缺陷进行判断。
附图说明
图1是根据本发明的一个实施例的光伏组件缺陷检测和定位方法的流程示意图。
图2是根据本发明的一个具体实施例的光伏组件缺陷检测和定位输出表格示意图。
图3是根据本发明的一个实施例的光伏组件缺陷检测和定位系统的系统示意图。
具体实施方式
以下将结合附图所示的具体实施方式对本发明进行详细描述,但这些实施方式并不限制本发明,本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。
如图1所示的本发明的一个实施例,本发明提供一种光伏组件缺陷检测和定位方法,所述方法包括:
S1、根据一预设的组串识别神经网络模型,对采集的多张光伏阵列图像进行特征提取,获取所述光伏阵列中的每一个光伏组串图像,并标定每一个光伏组串的编号;
S2、利用一预设的缺陷类型神经网络模型,对所述每一个光伏组串图像进行缺陷类型识别,并根据所述光伏组串的编号,确定有缺陷的光伏组件的位置信息;
S3、分别获取有缺陷的光伏组件的图像像素的最大灰度值,以及有缺陷的光伏组件所对应的光伏组串中其它的正常光伏组件的图像像素的灰度值,利用灰度值与温度的拟合函数,计算得到所述有缺陷的光伏组件的最大温度以及所述正常光伏组件的平均温度;
S4、将所述最大温度与所述平均温度进行比较,判断所述有缺陷的光伏组件的热斑性质。
本发明通过无人机对光伏电站进行巡检,无人机搭载可见光红外双镜头,对光伏电站进行巡检拍摄,获得多张光伏阵列图像,获取原始的图像数据。光伏阵列图像包括可见光图像和红外图像。
根据本发明的一具体实施例,所述步骤S1包括:
101、采集并获取无人机搭载的相机拍摄获得的多张光伏阵列图像;
S102、基于深度学习神经网络算法,对样本训练数据集进行模型训练,构建所述组串识别神经网络模型;
S103、将所述多张光伏阵列图像输入至所述组串识别神经网络模型进行图像识别,获取光伏阵列中的每一个光伏组串图像以及该光伏组串在对应的光伏阵列图像中的像素坐标;
S104、基于所述每一张光伏阵列图像的中心GPS坐标,计算得到每一个光伏组串中心对应的GPS坐标,确定所述光伏阵列中的每一个光伏组串的编号。
本发明通过深度学习神经网络模型,构建组串识别神经网络模型,将拍摄获得多张光伏阵列图像作为组串识别神经网络模型的输入,对所述多张光伏阵列图像进行特征提取,输出每一个光伏组串的图像以及每一个光伏组串图像的中心像素坐标。构建一样本训练数据集,通过前期大规模的数据采集工作,采集不同地形环境、不同时间的光照强度、不同尺寸的光伏组串的红外图像和可见光图像,图像要求不得有重复遗漏组串,辐照度大于700,无人机的相机镜头垂直于地面并保持恒定高度,基于采集的大量图像进行标注工作,并制作数据集,对数据集采用数据增强的处理,使用裁切、缩放和混合等处理手段,使样本训练集中的数据复杂度更高,从而使训练的模型效果更好。
所述组串识别神经网络模型采用SSD神经网络架构,Resnet18作为骨干网络,融合了特征金字塔FPN,其构建步骤包括:采用SSD神经网络架构,Resnet18作为骨干网络,采用卷积层和全连接层共18层,对光伏组串特征的初步提前,不同层之间使用了跳层连接,能够更好地保留各层的特征;SSD神经网络架构的主体共6个不同特征图检测不同尺度的目标,底层预测小目标,高层预测大目标,每一个特征层会根据像素生成不同比例的默认框,比如设置的宽度比为{1,2,3,1/2,1/3}五种不同的默认框比例,结合6个大小不同的特征层,每一张图片共有38*38*4+19*19*6+5*5*6+3*3*4+1*1*4)=8732个默认框,这样保证了模型可以对大小不同的光伏组串目标进行精确匹配。针对无人机拍摄改进了SSD网络结构,由单特征层预测更换成多特征层预测。采用多特征层预测机制,提取所述光伏阵列图像不同特征层的不同特征,融合特征金字塔FPN,对bottom-up网络进行上采样,构建top-down网络,对每一层进行1*1卷积后再融合上一层的特征。目的是为了对不同高度无人机采集的照片进行特征融合,避免因为采集高度不同,造成的数据近大远小产生的误差。实验结果表明对于20米,30米,50米的目标均有很好的检测效果。分别采用Smooth L1 loss和softmax损失函数对位置信息的回归和置信度的计算,使数据集中标注的坐标与产生的默认框进行回归计算,输出预测的偏移量及分类信息。损失函数包括分类损失和位置损失,与标注文件的信息进行随机梯度下降计算损失,对所述样本训练数据集进行模型训练,该模型可适用于上述各种地形环境情况的检测,检测精度达到95%以上。
将所述光伏阵列图像输入所述组串识别神经网络模型,输出每一个光伏组串的图像,以及该光伏组串在对应的光伏阵列图像中的像素坐标,即光伏组串的左上角坐标和右下角坐标,计算该光伏组串的中心点像素坐标,计算所述光伏组串的中心点像素坐标与对应的光伏阵列图像中的中心点像素坐标之间的方位角;获取光伏阵列图像中的中心点GPS坐标,计算光伏组串的中心点像素坐标与对应的光伏阵列图像中的中心点像素坐标之间的直线距离,通过焦距转换,计算得到所述光伏组串的中心点像素坐标与对应的光伏阵列图像中的中心点像素坐标在实际地理环境中的真实距离。焦距转换公式为:
f=h*(D÷H) (1);
其中,f为焦距,h为相机传感器的对角线尺寸,D为无人机距离地面高度,H为图像实际对角线距离。
通过焦距转换公式计算得到H,图像的对角线像素尺寸除以H得到每个像素与真实距离的比例,将所述直线距离乘以所述比例,得到所述光伏组串的中心点像素坐标与对应的光伏阵列图像中的中心点像素坐标在实际地理环境中的真实距离。根据所述光伏阵列图像中的中心点GPS坐标和中心点像素坐标,以及所述光伏组串的中心点像素坐标,以及两个中心点像素之间的真实距离和方位角,计算得到光伏组串的中心点像素坐标所对应的GPS坐标。
根据得到的每一个光伏组串的中心点的GPS坐标,通过米勒二维投影转换为米勒平面坐标,每一个光伏组串对应一个米勒坐标,根据获取的所有的光伏组串的米勒坐标,根据光伏电站的地形从左向右、从上往下依次排序,生成每一个光伏组串的编号。该编号具有唯一性。如图2所示,组串号为A2L3H4表示第二区域第三列第四行的光伏组串。基于唯一的光伏组串号,光伏电站运维人员能够快速准确得根据组串号索引定位到对应的光伏组串,避免了在复杂地形通过GPS定位寻找光伏组串所产生的误差。
根据一预设的缺陷类型神经网络模型,对所述每一个光伏组串的图像进行缺陷类型识别,并根据所述光伏组串的编号,确定有缺陷的光伏组件的位置信息。利用深度学习神经网络模型,构建缺陷类型神经网络模型,该模型能够对光伏组件的缺陷类型进行识别和判断。所述缺陷类型神经网络模型采用SSD神经网络架构,Resnet18作为骨干网络,融合了特征金字塔FPN。其构建步骤同上述实施例中所描述的步骤。所述缺陷类型包括阴影遮挡、二极管故障和热斑。缺陷类型神经网络模型对红外图像可检测的缺陷类型包括阴影遮挡、二极管故障和热斑,对可见光图像可检测的缺陷类型包括遮挡。根据光伏组串的编号,对有缺陷的光伏组件进行通过行列方式进行定位,采用光伏组串号+缺陷组件行列号或者光伏组串的GPS坐标——缺陷组件行列号定位到缺陷的光伏组件。如图2所示,组串号为A1H2L0的光伏组串的有缺陷的光伏组件的缺陷类型为热斑,位置在第2行第1列。双重定位保证了在平原或者丘陵地带的不同光伏组串排布的定位精度和效率。
分别获取有缺陷的光伏组件的图像像素的最大灰度值,以及有缺陷的光伏组件所对应的光伏组串号中其他的正常光伏组件的图像像素的灰度值,利用灰度值与温度的拟合函数,计算得到有缺陷的光伏组件的最大温度以及无缺陷的光伏组件的平均温度。具体地,对获取的有缺陷的光伏组件的图像转换为灰度图,并进行高斯模糊处理,遍历所述灰度图并获得该灰度图的最大灰度值;利用最小二乘法拟合灰度值与温度的拟合函数,计算所述最大灰度值所对应的光伏组件的最高温度,获取有缺陷的光伏组件对应的最高温度,所述拟合函数为:
y=k*x+b;
其中,拟合的斜率为x为灰度值,y为对应的温度;通过采样不同点的温度对应的灰度值,可得到参数k和b,从而通过拟合函数可以获取不同像素点对应的温度值。基于同样的处理步骤,计算有缺陷的光伏组件所对应的光伏组号中其它正常光伏组件的图像像素的灰度值,从而计算得到所述正常光伏组件的平均温度。
将所述有缺陷的光伏组件的最高温度与平均温度进行比较,判断缺陷造成的热斑性质。所述热斑性质包括轻度、中度和重度。结合缺陷类型识别模块和温度比较,经过双重判断,对缺陷的判断更精确,能够准确识别出组件内部肉眼不能识别的缺陷。如图2所示,组串号为A1H2L0的光伏组串的有缺陷的光伏组件的缺陷类型为热斑,位置在第2行第1列,有缺陷的光伏组件最高温度为82.2度,正常光伏组件的平均温度为54.66度,其热斑性质为中度。
如图3所示的一实施例,本发明提供了一种光伏组件缺陷检测和定位系统,所述系统包括:
组串识别模型模块30,根据一预设的组串识别神经网络模型,对采集的多张光伏阵列图像进行特征提取,获取所述光伏阵列中的每一个光伏组串图像,并标定每一个光伏组串的编号;
缺陷类型模型模块31,利用一预设的缺陷类型神经网络模型,对所述每一个光伏组串图像进行缺陷类型识别,并根据所述光伏组串的编号,确定有缺陷的光伏组件的位置信息;
拟合模块32,分别获取有缺陷的光伏组件的图像像素的最大灰度值,以及有缺陷的光伏组件所对应的光伏组串中其它正常光伏组件的图像像素的灰度值,利用灰度值与温度的拟合函数,计算得到所述有缺陷的光伏组件的最大温度以及所述正常光伏组件的平均温度;
判断模块33,将所述最大温度与所述平均温度进行比较,判断所述有缺陷的光伏组件的热斑性质。
组串识别模型模块获取无人机搭载的相机拍摄获得的多张光伏阵列图像,通过深度学习神经网络模型,采用SSD神经网络架构,Resnet18作为骨干网络,融合了特征金字塔FPN,构建组串识别神经网络模型,将拍摄获得多张光伏阵列图像作为组串识别神经网络模型的输入,对所述多张光伏阵列图像进行特征提取,输出每一个光伏组串的图像,以及该光伏组串在对应的光伏阵列图像中的像素坐标;基于所述每一张光伏阵列图像的中心GPS坐标和每一个光伏组串的图像对应的像素坐标,计算该光伏组串的中心点像素坐标,计算得到所述光伏组串的中心点像素坐标与对应的光伏阵列图像中的中心点像素坐标在实际地理环境中的真实距离,计算得到每一个光伏组串中心对应的GPS坐标,通过米勒二维投影转换为米勒平面坐标,确定所述光伏阵列中的每一个光伏组串的编号。
缺陷类型模型模块利用深度学习神经网络模型,构建缺陷类型神经网络模型,对所述每一个光伏组串的图像进行缺陷类型识别,并根据所述光伏组串的编号,确定有缺陷的光伏组件的位置信息。所述缺陷类型包括阴影遮挡、二极管故障和热斑。
拟合模块对获取的有缺陷的光伏组件的图像计算其灰度值,以及计算有缺陷的光伏组件所对应的光伏组串中其它正常光伏组件的图像像素的灰度值,利用最小二乘法拟合灰度值与温度的拟合函数,分别计算得到有缺陷的光伏组件的最大温度以及正常光伏组件的平均温度。
判断模块将所述有缺陷的光伏组件的最高温度与平均温度进行比较,判断缺陷造成的热斑性质。所述热斑性质包括轻度、中度和重度。
尽管为示例目的,已经公开了本发明的优选实施方式,但是本领域的普通技术人员将意识到,在不脱离由所附的权利要求书公开的本发明的范围和精神的情况下,各种改进、增加以及取代是可能的。
Claims (7)
1.一种光伏组件缺陷检测和定位方法,其特征在于,所述方法包括步骤:
S1、根据一预设的组串识别神经网络模型,对采集的多张光伏阵列图像进行特征提取,获取所述光伏阵列中的每一个光伏组串图像,并标定每一个光伏组串的编号;
S2、利用一预设的缺陷类型神经网络模型,对所述每一个光伏组串图像进行缺陷类型识别,并根据所述光伏组串的编号,确定有缺陷的光伏组件的位置信息;
S3、分别获取有缺陷的光伏组件的图像像素的最大灰度值,以及所述有缺陷的光伏组件所对应的光伏组串中其它正常光伏组件的图像像素的灰度值,利用灰度值与温度的拟合函数,计算得到所述有缺陷的光伏组件的最大温度以及所述正常光伏组件的平均温度;
S4、将所述最大温度与所述平均温度进行比较,判断所述有缺陷的光伏组件的热斑性质,所述热斑性质包括轻度、中度和重度;
其中,
步骤S2包括:
根据光伏组串的编号,对有缺陷的光伏组件进行通过行列方式进行定位,采用光伏组串号+缺陷组件行列号或者光伏组串的GPS坐标+缺陷组件行列号定位到缺陷的光伏组件;
缺陷类型包括阴影遮挡、二极管故障和热斑;
步骤S3包括:
对获取的有缺陷的光伏组件的图像转换为灰度图,并进行高斯模糊处理,遍历所述灰度图并获得该灰度图的最大灰度值;
利用最小二乘法拟合灰度值与温度的拟合函数,计算所述最大灰度值所对应的光伏组件的最高温度,获取有缺陷的光伏组件对应的最高温度;
所述灰度值与温度的拟合函数为:
y=k*x+b (1);
其中,拟合的斜率为x为灰度值,y为对应的温度;
通过采样不同图像像素点的温度对应的灰度值,得到斜率k和参数b,通过拟合函数可以获取不同图像像素点对应的温度值。
2.如权利要求1所述的光伏组件缺陷检测和定位方法,其特征在于,步骤S1包括:
S101、采集并获取无人机搭载的相机拍摄的多张光伏阵列图像;
S102、基于深度学习神经网络算法,对样本训练数据集进行模型训练,构建所述组串识别神经网络模型;
S103、将所述多张光伏阵列图像输入至所述组串识别神经网络模型进行图像识别,获取所述光伏阵列图像中的每一个光伏组串图像以及每一个光伏组串在对应的光伏阵列图像中的像素坐标;
S104、基于每一张所述光伏阵列图像的中心GPS坐标,计算得到每一个光伏组串中心对应的GPS坐标,确定所述光伏阵列中的每一个光伏组串的编号。
3.如权利要求2所述的光伏组件缺陷检测和定位方法,其特征在于,所述组串识别神经网络模型的构建步骤包括:
采用SSD神经网络架构,Resnet18作为骨干网络,采用卷积层和全连接层共18层;
所述SSD神经网络架构的主体共6个不同特征图,检测不同尺度的目标,每一个特征层会根据像素生成不同比例的默认框;
采用多特征层预测机制,提取所述光伏阵列图像不同特征层的不同特征,融合特征金字塔FPN,对每一层进行1*1卷积后再融合上一层的特征;
分别采用Smooth L1 loss和softmax损失函数对位置信息进行回归和置信度的计算,使数据集中标注的坐标与产生的默认框进行回归计算,输出预测的偏移量及分类信息。
4.如权利要求2所述的光伏组件缺陷检测和定位方法,其特征在于,S104包括:
根据光伏组串在对应的光伏阵列图像中的像素坐标,计算光伏组串的中心点像素坐标;
计算所述光伏组串的中心点像素坐标与对应的光伏阵列图像中的中心点像素坐标之间的方位角;
获取光伏阵列图像中的中心点GPS坐标,计算光伏组串的中心点像素坐标与对应的光伏阵列图像中的中心点像素坐标之间的直线距离;
通过焦距转换,计算得到所述光伏组串的中心点像素坐标与对应的光伏阵列图像中的中心点像素坐标在实际地理环境中的真实距离;
根据所述光伏阵列图像中的中心点GPS坐标和中心点像素坐标,以及所述光伏组串的中心点像素坐标,以及所述光伏阵列图像中的中心点像素坐标与所述光伏组串的中心点像素之间的真实距离和方位角,计算得到光伏组串的中心点所对应的GPS坐标。
5.如权利要求4所述的光伏组件缺陷检测和定位方法,其特征在于,S104包括:
焦距转换公式为:
f=h*(D÷H) (2);
其中,f为焦距,h为相机传感器的对角线尺寸,D为无人机距离地面高度,H为图像实际对角线距离;
通过焦距转换公式计算得到H,图像的对角线像素尺寸除以H得到每个像素与真实距离的比例;
将所述直线距离乘以所述比例,得到所述光伏组串的中心点像素坐标与对应的光伏阵列图像中的中心点像素坐标在实际地理环境中的真实距离。
6.如权利要求5所述的光伏组件缺陷检测和定位方法,其特征在于,S104还包括:
根据得到的每一个光伏组串的中心点的GPS坐标,通过米勒二维投影转换为米勒平面坐标,每一个光伏组串对应一个米勒坐标;
根据获取的所有的光伏组串的米勒坐标,以及根据光伏电站的地形从左向右、从上往下依次排序,生成每一个光伏组串的编号。
7.一种光伏组件缺陷检测和定位系统,其特征在于,所述系统包括:
组串识别模型模块,根据一预设的组串识别神经网络模型,对采集的多张光伏阵列图像进行特征提取,获取所述光伏阵列图像中的每一个光伏组串图像,并标定每一个光伏组串的编号;
缺陷类型模型模块,利用一预设的缺陷类型神经网络模型,对所述每一个光伏组串图像进行缺陷类型识别,并根据所述光伏组串的编号,确定有缺陷的光伏组件的位置信息;
拟合模块,分别获取有缺陷的光伏组件的图像像素点的最大灰度值,以及有缺陷的光伏组件所对应的光伏组串中其它正常光伏组件的图像像素点的灰度值,利用灰度值与温度的拟合函数,计算得到所述有缺陷的光伏组件的最大温度以及所述正常光伏组件的平均温度;
判断模块,将所述最大温度与所述平均温度进行比较,判断所述有缺陷的光伏组件的热斑性质,所述热斑性质包括轻度、中度和重度;
拟合模块具体用于:
对获取的有缺陷的光伏组件的图像转换为灰度图,并进行高斯模糊处理,遍历所述灰度图并获得灰度图的最大灰度值;
利用最小二乘法拟合灰度值与温度的拟合函数,计算所述最大灰度值所对应的光伏组件的最高温度,获取有缺陷的光伏组件对应的最高温度;
所述灰度值与温度的拟合函数为:
y=k*x+b (1);
其中,拟合的斜率为x为灰度值,y为对应的温度;
通过采样不同图像像素点的温度对应的灰度值,得到斜率k和参数b,通过拟合函数可以获取不同图像像素点对应的温度值;
缺陷类型模型模块具体用于:
根据光伏组串的编号,对有缺陷的光伏组件进行通过行列方式进行定位,采用光伏组串号+缺陷组件行列号或者光伏组串的GPS坐标+缺陷组件行列号定位到缺陷的光伏组件;
缺陷类型包括阴影遮挡、二极管故障和热斑。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011223205.8A CN112184711B (zh) | 2020-11-05 | 2020-11-05 | 一种光伏组件缺陷检测和定位方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011223205.8A CN112184711B (zh) | 2020-11-05 | 2020-11-05 | 一种光伏组件缺陷检测和定位方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112184711A CN112184711A (zh) | 2021-01-05 |
CN112184711B true CN112184711B (zh) | 2024-04-02 |
Family
ID=73916470
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011223205.8A Active CN112184711B (zh) | 2020-11-05 | 2020-11-05 | 一种光伏组件缺陷检测和定位方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112184711B (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114972150B (zh) * | 2021-02-24 | 2023-12-05 | 正泰集团研发中心(上海)有限公司 | 光伏组件尺寸缺陷检测方法 |
CN113205493B (zh) * | 2021-04-26 | 2023-02-07 | 西安西热产品认证检测有限公司 | 一种缺陷光伏组件定位方法及系统 |
CN113379703B (zh) * | 2021-06-08 | 2023-05-02 | 西安理工大学 | 基于Yolo-v4网络结构光伏面板暗斑缺陷检测方法 |
CN113435369A (zh) * | 2021-07-01 | 2021-09-24 | 华风数据(深圳)有限公司 | 基于ssd算法模型和远红外视频的光伏故障智能识别方法 |
CN113554610A (zh) * | 2021-07-19 | 2021-10-26 | 合肥阳光智维科技有限公司 | 一种光伏组件运行状态检测方法及其应用装置 |
CN113393459A (zh) * | 2021-08-09 | 2021-09-14 | 旻投电力发展有限公司 | 基于实例分割的红外图像光伏组件视觉识别方法 |
CN113781448B (zh) * | 2021-09-14 | 2024-01-23 | 国电四子王旗光伏发电有限公司 | 一种基于红外图像分析的光伏电站组件智能缺陷识别方法 |
CN113779891A (zh) * | 2021-09-26 | 2021-12-10 | 中机国能电力工程有限公司 | 一种基于数据深度挖掘的光伏组件设计方法 |
CN114022482B (zh) * | 2022-01-07 | 2022-04-12 | 浙江正泰智维能源服务有限公司 | 光伏板点状热斑检测方法、装置、设备及可读存储介质 |
CN115049648B (zh) * | 2022-08-12 | 2022-11-01 | 北京中拓新源科技有限公司 | 光伏组件热斑缺陷检测方法及装置 |
CN115861162B (zh) * | 2022-08-26 | 2024-07-26 | 宁德时代新能源科技股份有限公司 | 定位目标区域的方法、装置及计算机可读存储介质 |
CN116818799A (zh) * | 2023-06-20 | 2023-09-29 | 广州宝立科技有限公司 | 一种基于机器视觉检测技术的智能验布方法及装置 |
CN117132419B (zh) * | 2023-10-26 | 2024-01-23 | 北京图知天下科技有限责任公司 | 一种光伏组件的编号方法 |
CN117456371B (zh) * | 2023-12-26 | 2024-04-12 | 浙江正泰智维能源服务有限公司 | 一种组串热斑检测方法、装置、设备及介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107314819A (zh) * | 2017-07-03 | 2017-11-03 | 南京绿谷信息科技有限公司 | 一种基于红外图像的光伏电站热斑检测与定位方法 |
CN109344821A (zh) * | 2018-08-30 | 2019-02-15 | 西安电子科技大学 | 基于特征融合和深度学习的小目标检测方法 |
WO2019214268A1 (zh) * | 2018-05-09 | 2019-11-14 | 北京理工大学 | 一种基于复合信息的光伏阵列故障诊断方法 |
CN111397596A (zh) * | 2020-04-02 | 2020-07-10 | 西安因诺航空科技有限公司 | 一种固定轴光伏场景的无人机巡检目标定位方法 |
CN111738097A (zh) * | 2020-05-29 | 2020-10-02 | 理光软件研究所(北京)有限公司 | 一种目标分类方法、装置、电子设备和可读存储介质 |
-
2020
- 2020-11-05 CN CN202011223205.8A patent/CN112184711B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107314819A (zh) * | 2017-07-03 | 2017-11-03 | 南京绿谷信息科技有限公司 | 一种基于红外图像的光伏电站热斑检测与定位方法 |
WO2019214268A1 (zh) * | 2018-05-09 | 2019-11-14 | 北京理工大学 | 一种基于复合信息的光伏阵列故障诊断方法 |
CN109344821A (zh) * | 2018-08-30 | 2019-02-15 | 西安电子科技大学 | 基于特征融合和深度学习的小目标检测方法 |
CN111397596A (zh) * | 2020-04-02 | 2020-07-10 | 西安因诺航空科技有限公司 | 一种固定轴光伏场景的无人机巡检目标定位方法 |
CN111738097A (zh) * | 2020-05-29 | 2020-10-02 | 理光软件研究所(北京)有限公司 | 一种目标分类方法、装置、电子设备和可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112184711A (zh) | 2021-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112184711B (zh) | 一种光伏组件缺陷检测和定位方法及系统 | |
US11003940B2 (en) | System and methods for automatic solar panel recognition and defect detection using infrared imaging | |
US11451192B2 (en) | Automated photovoltaic plant inspection system and method | |
CN107564062B (zh) | 位姿异常检测方法及装置 | |
Kim et al. | Automatic fault recognition of photovoltaic modules based on statistical analysis of UAV thermography | |
CN111931565A (zh) | 一种基于光伏电站uav的自主巡检与热斑识别方法及系统 | |
CN107782764B (zh) | 一种光伏组件的故障识别方法 | |
CN114265418A (zh) | 一种用于光伏电站的无人机巡检与缺陷定位系统及方法 | |
CN114299033A (zh) | 一种基于YOLOv5的光伏板红外图像热斑检测方法及系统 | |
CN115131268A (zh) | 一种基于图像特征提取与三维模型匹配的自动化焊接系统 | |
Mantel et al. | Correcting for perspective distortion in electroluminescence images of photovoltaic panels | |
CN114881931A (zh) | 基于双光融合的光伏面板缺陷检测方法、系统、设备和计算机可读存储介质 | |
CN113989199A (zh) | 一种基于深度学习的双目窄对接焊缝检测方法 | |
CN118196070B (zh) | 一种基于无人机热红外遥感的光伏板缺陷识别方法 | |
CN116192044A (zh) | 一种故障光伏板编号定位方法、装置、电子设备及存储介质 | |
Ying et al. | Anchor points based accurate fault locating in large-scale photovoltaic plants via aerial infrared videos | |
CN117690045A (zh) | 一种光伏组件缺陷检测和直观定位方法 | |
Bommes et al. | Georeferencing of photovoltaic modules from aerial infrared videos using structure‐from‐motion | |
JP2022066062A (ja) | 状態判定システムおよび状態判定方法。 | |
CN116773598A (zh) | 无人机自动巡检与定位光伏板缺陷的数字化方法 | |
CN116342693A (zh) | 一种基于点云和卷积神经网络的桥梁缆索表面损伤快速定位方法 | |
Cardoso et al. | Automated detection and tracking of photovoltaic modules from 3D remote sensing data | |
JP7308733B2 (ja) | 状態判定システムおよび状態判定方法。 | |
KR20180082265A (ko) | 태양광 패널 검출 장치 | |
José et al. | Computer vision algorithm for relative misalignments estimation in CPV modules |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |