CN114758002A - 一种基于航拍图像的光伏组串位置确定方法及系统 - Google Patents

一种基于航拍图像的光伏组串位置确定方法及系统 Download PDF

Info

Publication number
CN114758002A
CN114758002A CN202210670391.2A CN202210670391A CN114758002A CN 114758002 A CN114758002 A CN 114758002A CN 202210670391 A CN202210670391 A CN 202210670391A CN 114758002 A CN114758002 A CN 114758002A
Authority
CN
China
Prior art keywords
photovoltaic
string
power station
image
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210670391.2A
Other languages
English (en)
Other versions
CN114758002B (zh
Inventor
许盛之
龚友康
孟子尧
赵颖
张晓丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nankai University
Original Assignee
Nankai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nankai University filed Critical Nankai University
Priority to CN202210670391.2A priority Critical patent/CN114758002B/zh
Publication of CN114758002A publication Critical patent/CN114758002A/zh
Application granted granted Critical
Publication of CN114758002B publication Critical patent/CN114758002B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04SSYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于航拍图像的光伏组串位置确定方法及系统,涉及太阳能光伏电站运维及图像处理技术领域,该方法包括:建立光伏电站的样本数据集,并基于样本数据集对改进的U‑Net模型进行训练,得到目标分割模型;将获取的目标光伏电站的航拍图像输入到目标分割模型中,以确定目标光伏电站的光伏组串分割结果图;采用形态学图像处理算法对光伏组串分割结果图进行处理,以确定目标光伏电站中各个光伏组串的位置信息和尺寸信息。本发明能够准确检测出光伏电站中光伏组串的位置信息和尺寸信息,以便于航线规划和光伏电站的数字化和信息化管理。

Description

一种基于航拍图像的光伏组串位置确定方法及系统
技术领域
本发明涉及太阳能光伏电站运维及图像处理技术领域,特别是涉及一种基于航拍图像的光伏组串位置确定方法及系统。
背景技术
无人机巡检已经在光伏电站大规模推广应用。为了实现无人机对光伏电站的全自动高效巡检,须根据精准的光伏电站组串分布地图,确定光伏组串位置,从而规划出高效的巡航路线,节省宝贵的巡航时间。此外,精准的光伏电站组串分布地图对查找定位缺陷光伏组串、光伏电站的数字化管理、光伏电站资产评估以及光伏电站施工验收等方面均有重要意义。绘制精准的光伏电站组串分布地图,需要获得光伏组串的具体位置、具体形状等数据。现存的人工勘测需要大量时间,成本高昂,且在一些地形复杂的光伏电站,人工测量也存在一定的安全隐患。
发明内容
鉴于此,本发明的目的是提供一种基于航拍图像的光伏组串位置确定方法及系统,能够准确检测出光伏电站中光伏组串的位置信息和尺寸信息,以便于航线规划和光伏电站的数字化和信息化管理。
为实现上述目的,本发明提供了如下方案:
本发明提供了一种基于航拍图像的光伏组串位置确定方法,包括:
建立光伏电站的样本数据集,并基于所述样本数据集对改进的U-Net模型进行训练,得到目标分割模型;
获取目标光伏电站的航拍图像;
将所述目标光伏电站的航拍图像输入到目标分割模型中,以确定所述目标光伏电站的光伏组串分割结果图;
采用形态学图像处理算法对所述光伏组串分割结果图进行处理,以确定所述目标光伏电站中各个光伏组串的位置信息和尺寸信息;所述光伏组串的位置信息包括光伏组串中心点图像坐标和光伏组串中心点地理位置坐标;所述光伏组串的尺寸信息包括光伏组串像素级长度、光伏组串像素级宽度、光伏组串实际长度和光伏组串实际宽度;
其中,所述样本数据集包括多个样本,且所述样本包括子图片以及所述子图片对应的光伏组串位置信息;所述光伏组串位置信息包括图像坐标和地理位置坐标;所述子图片为包含光伏组串的图片;
改进的所述U-Net模型为采用scSE模块对U-Net模型进行改进后得到的模型。
可选地,所述样本数据集的构建过程为:
获取不同的光伏电站的航拍图像;
对每张所述航拍图像均进行分割处理以得到多张子图片,并使用数据集标注软件,将每张所述子图片中的光伏组串标注出来,以确定每张所述子图片对应的光伏组串位置信息;
或者,使用数据集标注软件对每张所述航拍图像中的光伏组串标注出来,并对光伏组串标注出来的航拍图像进行分割,以确定每张子图片对应的光伏组串位置信息。
可选地,改进的所述U-Net模型包括收缩路径和扩展路径;
所述收缩路径包括多个第一模块;每个所述第一模块均包括卷积层和池化层,且所述第一模块中的所述卷积层和所述池化层之间均设置有所述scSE模块;
所述扩展路径包括多个第二模块和一个输出模块;每个所述第二模块均包括卷积层和上卷积层,且按照信息传输方向,除了第一个所述第二模块外,其他所述第二模块中的所述卷积层和所述上卷积层之间均设置有所述scSE模块。
可选地,所述采用形态学图像处理算法对所述光伏组串分割结果图进行处理,以确定所述目标光伏电站中各个光伏组串的位置信息和尺寸信息,具体包括:
对所述光伏组串分割结果图进行二值化处理,得到二值图像;
采用八连通计算方式,确定所述二值图像中的所有连通区域;
采用面积阈值方式和形态学操作,剔除所述连通区域中的误检区域和填补所述连通区域中的漏检区域,得到最终的连通区域;
采用边界提取算法对每个最终得到的连通区域进行处理,以确定所述目标光伏电站中各个光伏组串的位置信息和尺寸信息。
可选地,所述采用边界提取算法对每个最终得到的连通区域进行处理,以确定所述目标光伏电站中各个光伏组串的位置信息和尺寸信息,具体包括:
采用边界提取算法对每个最终得到的连通区域进行处理,以确定所述目标光伏电站中各个光伏组串的中心点图像坐标、像素级长度和像素级宽度;
将所述目标光伏电站中各个光伏组串的中心点图像坐标、像素级长度和像素级宽度进行转换,以确定各个光伏组串的中心点地理位置坐标、实际长度和实际宽度。
本发明还提供了一种基于航拍图像的光伏组串位置确定系统包括:
目标分割模型确定模块,用于建立光伏电站的样本数据集,并基于所述样本数据集对改进的U-Net模型进行训练,得到目标分割模型;
获取模块,用于获取目标光伏电站的航拍图像;
光伏组串分割结果图确定模块,用于将所述目标光伏电站的航拍图像输入到目标分割模型中,以确定所述目标光伏电站的光伏组串分割结果图;
光伏组串位置信息和尺寸信息计算模块,用于采用形态学图像处理算法对所述光伏组串分割结果图进行处理,以确定所述目标光伏电站中各个光伏组串的位置信息和尺寸信息;所述光伏组串的位置信息包括光伏组串中心点图像坐标和光伏组串中心点地理位置坐标;所述光伏组串的尺寸信息包括光伏组串像素级长度、光伏组串像素级宽度、光伏组串实际长度和光伏组串实际宽度;
其中,所述样本数据集包括多个样本,且所述样本包括子图片以及所述子图片对应的光伏组串位置信息;所述光伏组串位置信息包括图像坐标和地理位置坐标;所述子图片为包含光伏组串的图片;
改进的所述U-Net模型为采用scSE模块对U-Net模型进行改进后得到的模型。
可选地,还包括样本数据集构建模块;
所述样本数据集构建模块,用于:
数据获取单元,用于获取不同的光伏电站的航拍图像;
标签信息标注单元,用于:
对每张所述航拍图像均进行分割处理以得到多张子图片,并使用数据集标注软件,将每张所述子图片中的光伏组串标注出来,以确定每张所述子图片对应的光伏组串位置信息;
或者,使用数据集标注软件对每张所述航拍图像中的光伏组串标注出来,并对光伏组串标注出来的航拍图像进行分割,以确定每张子图片对应的光伏组串位置信息。
可选地,改进的所述U-Net模型包括收缩路径和扩展路径;
所述收缩路径包括多个第一模块;每个所述第一模块均包括卷积层和池化层,且所述第一模块中的所述卷积层和所述池化层之间均设置有所述scSE模块;
所述扩展路径包括多个第二模块和一个输出模块;每个所述第二模块均包括卷积层和上卷积层,且按照信息传输方向,除了第一个所述第二模块外,其他所述第二模块中的所述卷积层和所述上卷积层之间均设置有所述scSE模块。
可选地,所述光伏组串位置信息和尺寸信息计算模块,具体包括:
二值图像计算单元,用于对所述光伏组串分割结果图进行二值化处理,得到二值图像;
连通区域确定单元,用于采用八连通计算方式,确定所述二值图像中的所有连通区域;
最终连通区域确定单元,用于采用面积阈值方式和形态学操作,剔除所述连通区域中的误检区域和填补所述连通区域中的漏检区域,得到最终的连通区域;
位置信息和尺寸信息计算单元,用于采用边界提取算法对每个最终得到的连通区域进行处理,以确定所述目标光伏电站中各个光伏组串的位置信息和尺寸信息。
可选地,所述位置信息和尺寸信息计算单元,具体包括:
第一信息计算子单元,用于采用边界提取算法对每个最终得到的连通区域进行处理,以确定所述目标光伏电站中各个光伏组串的中心点图像坐标、像素级长度和像素级宽度;
第二信息计算子单元,用于将所述目标光伏电站中各个光伏组串的中心点图像坐标、像素级长度和像素级宽度进行转换,以确定各个光伏组串的中心点地理位置坐标、实际长度和实际宽度。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
本发明通过改进的U-Net模型和形态学图像处理算法对光伏电站的航拍图像进行处理,以达到准确检测出光伏电站中光伏组串的位置信息的目的,从而便于航线规划和光伏电站的数字化和信息化管理。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于航拍图像的光伏组串位置确定方法的流程图;
图2为本发明实施例提供的改进的U-Net模型结构示意图;
图3为本发明实施例光伏电站5的航拍图;
图4为本发明实施例光伏电站5的航拍图像对应的光伏组串分割结果图;
图5为本发明实施例消除误检后的的光伏组串分割结果图;
图6为本发明实施例消除漏检后的的光伏组串分割结果图;
图7为本发明实施例收集到的典型光伏电站航拍图;
图8为本发明实施例样本数据集中的图片形式示意图;
图9为本发明实施例子图片示意图;
图10为本发明实施例目标分割模型输出的光伏组串分割结果图;
图11为本发明实施例经过图形图像算法修正后的分割结果图;
图12为本发明实施例经过边界提取算法后提取出的光伏组件边界和位置信息示意图;
图13为本发明实施例提供的基于航拍图像的光伏组串位置确定系统的结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种基于航拍图像的光伏组串位置确定方法及系统,能够准确检测出光伏电站中光伏组串的位置信息,以便于航线规划和光伏电站的数字管理。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一
图1为本发明实施例提供的基于航拍图像的光伏组串位置确定方法的流程图,如图1所示,本发明实施例提供的基于航拍图像的光伏组串位置确定方法包括:
步骤101:建立光伏电站的样本数据集,并基于所述样本数据集对改进的U-Net模型进行训练,得到目标分割模型。
步骤102:获取目标光伏电站的航拍图像。
步骤103:将所述目标光伏电站的航拍图像输入到目标分割模型中,以确定所述目标光伏电站的光伏组串分割结果图。
步骤104:采用形态学图像处理算法对所述光伏组串分割结果图进行处理,以确定所述目标光伏电站中各个光伏组串的位置信息和尺寸信息;所述光伏组串的位置信息包括光伏组串中心点图像坐标和光伏组串中心点地理位置坐标;所述光伏组串的尺寸信息包括光伏组串像素级长度、光伏组串像素级宽度、光伏组串实际长度和光伏组串实际宽度。
其中,所述样本数据集包括多个样本,且所述样本包括子图片以及所述子图片对应的光伏组串位置信息;所述光伏组串位置信息包括图像坐标和地理位置坐标;所述子图片为包含光伏组串的图片;改进的所述U-Net模型为采用scSE模块对U-Net模型进行改进后得到的模型。
进一步地,本发明实施例所述的样本数据集的构建过程为:
1)获取不同的光伏电站的航拍图像。
为了得到光伏电站的航拍图像,首先在白天时候对光伏电站的全部区域进行地毯式巡航拍摄,可以得到多张包含光伏电站局部分布的航拍图像。其次将拍摄得到的图像使用大疆制图(DJI Terra)软件进行合成,即可得到整个光伏电站的航拍图像,重复上述操作,得到所有光伏电站的航拍图像。
在本发明实施例中,共获取了5个光伏电站的航拍图像。光伏电站的航拍图像可以通过卫星图像获得,也可以使用无人机进行建图航拍。
2)对每张所述航拍图像均进行分割处理,得到多张子图片。
将光伏电站的航拍图像分割成为多张且大小一致的小图片,即子图片,分辨率为256×256像素,并保证每张子图片包含三个左右的局部光伏组串。
其中,可采用平移翻转、模糊等数据增强方法对子图片进行二次处理,以增加子图片的数量。
经过上述处理可获得1596张子图片。
3)使用数据集标注软件,将每张所述子图片中的光伏组串标注出来,以确定每张所述子图片对应的光伏组串位置信息。
或者,也可以采用以下处理步骤来构建样本数据集,具体为:
先获取不同的光伏电站的航拍图像;然后使用数据集标注软件对每张所述航拍图像中的光伏组串标注出来,并对光伏组串标注出来的航拍图像进行分割,以确定每张子图片对应的光伏组串位置信息。
进一步地,本发明实施例所述的改进的U-Net模型如图2所示,改进的U-Net模型包括收缩路径和扩展路径。
所述收缩路径包括多个第一模块;每个所述第一模块均包括卷积层和池化层,且所述第一模块中的所述卷积层和所述池化层之间均设置有所述scSE模块;所述扩展路径包括多个第二模块和一个输出模块;每个所述第二模块均包括卷积层和上卷积层,且按照信息传输方向,除了第一个所述第二模块外,其他所述第二模块中的所述卷积层和所述上卷积层之间均设置有所述scSE模块。
进一步地,上述样本数据集包括训练集,验证集和测试集。
一个示例:将4个光伏电站的子图片按照8:2随机划分训练集和验证集,以参与改进的所述U-Net模型的训练,进而得到目标分割模型。
为了验证目标分割模型对于整体光伏电站的光伏组串分割效果,将另外一个光伏电站(即光伏电站5)的子图片整体保留下来,并作为测试集,不参与模型训练。样本数据集分布如表1所示。
表1 样本数据集情况表
Figure DEST_PATH_IMAGE001
在此基础上,通过模型训练、验证等步骤,使目标分割模型具有从航拍图像中分割光伏组串的能力。其中,训练过程中的学习率设定为0.001,批量大小为32
经过上述训练优化得到的目标分割模型的输入是分割后的航拍图像,输出是光伏组串分割结果图(光伏组串部分为1,背景部分为0)。
另一示例:为了评价目标分割模型在测试集上的准确率和泛化性能,采用了改进的五折交叉验证方式,具体做法为:
将光伏电站(即光伏电站5)的子图片整体保留下来,并作为测试集,以验证目标分割模型对于整个光伏电站航拍图像中的光伏组串的识别能力,剩下的子图片随机分为五份,每份包含20%的数据。模型在其中四份组成的训练集上进行训练,剩余一份作为验证集。重复五次,每份数据必须充当一次验证集。在测试集上计算训练好的模型的mIOU,取五次测试集的均值作为训练好的模型的最终的mIOU。
训练好的模型在五次交叉验证中都迭代300次,结果由表2给出。在测试集上的交叉验证结果分别是:98.77%,98.8%,98.51%,98.64%和98.42%(均值98.62%,标准差0.16%),五次交叉验证结果表明训练后的模型在测试集上的mIOU趋于稳定状态,波动较小。
表2 五折交叉验证实验结果表
Figure 606198DEST_PATH_IMAGE002
其中,图3为光伏电站5的航拍图像,图4为光伏电站5的航拍图像对应的光伏组串分割结果图。
进一步地,步骤103得到的光伏组串分割结果图为0-255的灰度图像。
步骤104具体包括:
第一步,将输出的光伏组串分割结果图进行二值化处理,得到二值图像;为了最大程度的保留模型识别出的光伏组串区域,将二值化阈值设置为较小值,例如10。
第二步,采用八连通计算方式,确定二值图像中的所有连通区域。
第三步,采用面积阈值方式和形态学操作,剔除连通区域中的误检区域和填补所述连通区域中的漏检区域,得到最终的连通区域;具体为:
计算出每个连通区域的面积,如果连通区域为光伏组串,则连通区域面积会比较大,如果是像素级别的误检,则连通区域面积比较小。根据此可以通过设置面积阈值方式,过滤掉面积较小的连通区域,即误检区,其处理后的结果如图5所示。
漏检区域在检测结果中表示为白色组串区域中间出现的小黑块。本发明实施例利用形态学中的闭操作来消除连通区域中的少量漏检和不平滑的边缘。这是因为闭操作是对图像进行先膨胀后腐蚀的过程,因为先进行了膨胀操作,所以可以填充物体内部的细小空洞,可以填补检测结果中的漏检区;再进行腐蚀操作起到可以平滑细小边界的作用,平滑检测到的光伏组串边缘。其处理后的结果如图6所示。
第四步,采用边界提取算法对每个最终得到的连通区域进行处理,以确定所述目标光伏电站中各个光伏组串的位置信息和尺寸信息;具体为:
步骤A:采用边界提取算法对每个最终得到的连通区域进行处理,以确定所述目标光伏电站中各个光伏组串的中心点图像坐标、像素级长度和像素级宽度。
一个示例:在得到消除误检和漏检的检测结果后,先利用Canny算子检测每个最终得到的连通区域的边缘,得到每个光伏组串的边缘信息。
利用轮廓提取算法,获得每个光伏组串的外接多边形和最小外接矩形轮廓,进而计算出中心坐标位置。
步骤B:将所述目标光伏电站中各个光伏组串的中心点图像坐标、像素级长度和像素级宽度进行转换,以确定各个光伏组串的中心点地理位置坐标、实际长度和实际宽度。
实施例二
本发明实施例提供的基于航拍图像的光伏组串位置确定方法包含了数据收集和预处理、数据集建立、模型训练、模型应用、结果精修和位置信息提取六大部分。在算法优化阶段需要完成数据收集和预处理、数据集建立、模型训练这三个步骤。在实际应用中只需要模型应用、结果精修和位置信息提取这三部分。
图7为本发明实施例收集到的典型光伏电站航拍图像,收集方法为使用无人机搭载云台相机的方式进行建图航拍任务,获得光伏电站的完整正射图像。
图8为本发明实施例样本数据集中的图片形式,为了充分利用收集到的航拍图像,先将整个航拍图像分割为一个个小图片,图片尺寸为256像素x256像素,即子图片,如图9所示,并仅保留包含光伏组串的子图片。使用数据集标注软件将每张子图片中的光伏组串标注出来。将标注好的样本数据集按照一定比例进行划分,分为训练集,验证集和测试集。
使用训练集在提出的目标分割网络上进行训练,根据实验结果调整超参数使得目标分割网络训练效果更佳。根据验证集上的结果优化网络和调整超参数,在测试集上进行网络的效果测试,最终得到目标分割模型。此过程中,针对样本数据集图片缺少的问题可以使用数据增强方法。
目标分割模型在光伏电站航拍图像上的初步结果如图10所示,包含了一些误检和漏检,为了不影响最终效果,现使用图像算法进行消除。该过程的主要步骤包括:
1.初步结果二值化处理;
2.过滤掉面积较小的连通区域,即误检区;
3.利用膨胀腐蚀等形态学操作消除漏检区,消除误检漏检后的结果如图11所示;
4.经过边界提取算法即可提取出光伏组串的详细位置信息,如图12所示,具体步骤为:利用轮廓提取算法,获得光伏组串的外接多边形和最小外接矩形轮廓,并计算出中心坐标位置和光伏组串的长宽。优选地,轮廓提取算法为canny算子边缘检测算法。
实施例三
图13为本发明实施例提供的基于航拍图像的光伏组串位置确定系统的结构图,如图13所示,本发明实施例提供的一种基于航拍图像的光伏组串位置确定系统,包括:
目标分割模型确定模块100,用于建立光伏电站的样本数据集,并基于所述样本数据集对改进的U-Net模型进行训练,得到目标分割模型。
获取模块200,用于获取目标光伏电站的航拍图像。
光伏组串分割结果图确定模块300,用于将所述目标光伏电站的航拍图像输入到目标分割模型中,以确定所述目标光伏电站的光伏组串分割结果图。
光伏组串位置信息和尺寸信息计算模块400,用于采用形态学图像处理算法对所述光伏组串分割结果图进行处理,以确定所述目标光伏电站中各个光伏组串的位置信息和尺寸信息;所述光伏组串的位置信息包括光伏组串中心点图像坐标和光伏组串中心点地理位置坐标;所述光伏组串的尺寸信息包括光伏组串像素级长度、光伏组串像素级宽度、光伏组串实际长度和光伏组串实际宽度。
其中,所述样本数据集包括多个样本,且所述样本包括子图片以及所述子图片对应的光伏组串位置信息;所述光伏组串位置信息包括图像坐标和地理位置坐标;所述子图片为包含光伏组串的图片。
改进的所述U-Net模型为采用scSE模块对U-Net模型进行改进后得到的模型。
作为一种优选的实施方式,本发明实施例提供的系统还包括样本数据集构建模块;所述样本数据集构建模块,用于:
数据获取单元,用于获取不同的光伏电站的航拍图像。
标签信息标注单元,用于:
对每张所述航拍图像均进行分割处理以得到多张子图片,并使用数据集标注软件,将每张所述子图片中的光伏组串标注出来,以确定每张所述子图片对应的光伏组串位置信息。
或者,使用数据集标注软件对每张所述航拍图像中的光伏组串标注出来,并对光伏组串标注出来的航拍图像进行分割,以确定每张子图片对应的光伏组串位置信息。
作为一种优选的实施方式,本发明实施例提供的改进的所述U-Net模型包括收缩路径和扩展路径。
所述收缩路径包括多个第一模块;每个所述第一模块均包括卷积层和池化层,且所述第一模块中的所述卷积层和所述池化层之间均设置有所述scSE模块。
所述扩展路径包括多个第二模块和一个输出模块;每个所述第二模块均包括卷积层和上卷积层,且按照信息传输方向,除了第一个所述第二模块外,其他所述第二模块中的所述卷积层和所述上卷积层之间均设置有所述scSE模块。
作为一种优选的实施方式,本发明实施例提供的所述光伏组串位置信息和尺寸信息计算模块400,具体包括:
二值图像计算单元,用于对所述光伏组串分割结果图进行二值化处理,得到二值图像。
连通区域确定单元,用于采用八连通计算方式,确定所述二值图像中的所有连通区域。
最终连通区域确定单元,用于采用面积阈值方式和形态学操作,剔除所述连通区域中的误检区域和填补所述连通区域中的漏检区域,得到最终的连通区域。
位置信息和尺寸信息计算单元,用于采用边界提取算法对每个最终得到的连通区域进行处理,以确定所述目标光伏电站中各个光伏组串的位置信息和尺寸信息。
进一步地,所述位置信息和尺寸信息计算单元,具体包括:
第一信息计算子单元,用于采用边界提取算法对每个最终得到的连通区域进行处理,以确定所述目标光伏电站中各个光伏组串的中心点图像坐标、像素级长度和像素级宽度。
第二信息计算子单元,用于将所述目标光伏电站中各个光伏组串的中心点图像坐标、像素级长度和像素级宽度进行转换,以确定各个光伏组串的中心点地理位置坐标、实际长度和实际宽度。
通过本发明可以从光伏电站航拍图像中得到每个光伏组串的确切位置,结合无人机飞行和路线自动规划技术,可以实现按照组串位置进行高效巡检。同时对电站的数字化管理和施工进度评估等也有重要意义。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于航拍图像的光伏组串位置确定方法,其特征在于,包括:
建立光伏电站的样本数据集,并基于所述样本数据集对改进的U-Net模型进行训练,得到目标分割模型;
获取目标光伏电站的航拍图像;
将所述目标光伏电站的航拍图像输入到目标分割模型中,以确定所述目标光伏电站的光伏组串分割结果图;
采用形态学图像处理算法对所述光伏组串分割结果图进行处理,以确定所述目标光伏电站中各个光伏组串的位置信息和尺寸信息;所述光伏组串的位置信息包括光伏组串中心点图像坐标和光伏组串中心点地理位置坐标;所述光伏组串的尺寸信息包括光伏组串像素级长度、光伏组串像素级宽度、光伏组串实际长度和光伏组串实际宽度;
其中,所述样本数据集包括多个样本,且所述样本包括子图片以及所述子图片对应的光伏组串位置信息;所述光伏组串位置信息包括图像坐标和地理位置坐标;所述子图片为包含光伏组串的图片;
改进的所述U-Net模型为采用scSE模块对U-Net模型进行改进后得到的模型。
2.根据权利要求1所述的一种基于航拍图像的光伏组串位置确定方法,其特征在于,所述样本数据集的构建过程为:
获取不同的光伏电站的航拍图像;
对每张所述航拍图像均进行分割处理以得到多张子图片,并使用数据集标注软件,将每张所述子图片中的光伏组串标注出来,以确定每张所述子图片对应的光伏组串位置信息;
或者,使用数据集标注软件对每张所述航拍图像中的光伏组串标注出来,并对光伏组串标注出来的航拍图像进行分割,以确定每张子图片对应的光伏组串位置信息。
3.根据权利要求1所述的一种基于航拍图像的光伏组串位置确定方法,其特征在于,改进的所述U-Net模型包括收缩路径和扩展路径;
所述收缩路径包括多个第一模块;每个所述第一模块均包括卷积层和池化层,且所述第一模块中的所述卷积层和所述池化层之间均设置有所述scSE模块;
所述扩展路径包括多个第二模块和一个输出模块;每个所述第二模块均包括卷积层和上卷积层,且按照信息传输方向,除了第一个所述第二模块外,其他所述第二模块中的所述卷积层和所述上卷积层之间均设置有所述scSE模块。
4.根据权利要求1所述的一种基于航拍图像的光伏组串位置确定方法,其特征在于,所述采用形态学图像处理算法对所述光伏组串分割结果图进行处理,以确定所述目标光伏电站中各个光伏组串的位置信息和尺寸信息,具体包括:
对所述光伏组串分割结果图进行二值化处理,得到二值图像;
采用八连通计算方式,确定所述二值图像中的所有连通区域;
采用面积阈值方式和形态学操作,剔除所述连通区域中的误检区域和填补所述连通区域中的漏检区域,得到最终的连通区域;
采用边界提取算法对每个最终得到的连通区域进行处理,以确定所述目标光伏电站中各个光伏组串的位置信息和尺寸信息。
5.根据权利要求4所述的一种基于航拍图像的光伏组串位置确定方法,其特征在于,所述采用边界提取算法对每个最终得到的连通区域进行处理,以确定所述目标光伏电站中各个光伏组串的位置信息和尺寸信息,具体包括:
采用边界提取算法对每个最终得到的连通区域进行处理,以确定所述目标光伏电站中各个光伏组串的中心点图像坐标、像素级长度和像素级宽度;
将所述目标光伏电站中各个光伏组串的中心点图像坐标、像素级长度和像素级宽度进行转换,以确定各个光伏组串的中心点地理位置坐标、实际长度和实际宽度。
6.一种基于航拍图像的光伏组串位置确定系统,其特征在于,包括:
目标分割模型确定模块,用于建立光伏电站的样本数据集,并基于所述样本数据集对改进的U-Net模型进行训练,得到目标分割模型;
获取模块,用于获取目标光伏电站的航拍图像;
光伏组串分割结果图确定模块,用于将所述目标光伏电站的航拍图像输入到目标分割模型中,以确定所述目标光伏电站的光伏组串分割结果图;
光伏组串位置信息和尺寸信息计算模块,用于采用形态学图像处理算法对所述光伏组串分割结果图进行处理,以确定所述目标光伏电站中各个光伏组串的位置信息和尺寸信息;所述光伏组串的位置信息包括光伏组串中心点图像坐标和光伏组串中心点地理位置坐标;所述光伏组串的尺寸信息包括光伏组串像素级长度、光伏组串像素级宽度、光伏组串实际长度和光伏组串实际宽度;
其中,所述样本数据集包括多个样本,且所述样本包括子图片以及所述子图片对应的光伏组串位置信息;所述光伏组串位置信息包括图像坐标和地理位置坐标;所述子图片为包含光伏组串的图片;
改进的所述U-Net模型为采用scSE模块对U-Net模型进行改进后得到的模型。
7.根据权利要求6所述的一种基于航拍图像的光伏组串位置确定系统,其特征在于,还包括样本数据集构建模块;
所述样本数据集构建模块,用于:
数据获取单元,用于获取不同的光伏电站的航拍图像;
标签信息标注单元,用于:
对每张所述航拍图像均进行分割处理以得到多张子图片,并使用数据集标注软件,将每张所述子图片中的光伏组串标注出来,以确定每张所述子图片对应的光伏组串位置信息;
或者,使用数据集标注软件对每张所述航拍图像中的光伏组串标注出来,并对光伏组串标注出来的航拍图像进行分割,以确定每张子图片对应的光伏组串位置信息。
8.根据权利要求6所述的一种基于航拍图像的光伏组串位置确定系统,其特征在于,改进的所述U-Net模型包括收缩路径和扩展路径;
所述收缩路径包括多个第一模块;每个所述第一模块均包括卷积层和池化层,且所述第一模块中的所述卷积层和所述池化层之间均设置有所述scSE模块;
所述扩展路径包括多个第二模块和一个输出模块;每个所述第二模块均包括卷积层和上卷积层,且按照信息传输方向,除了第一个所述第二模块外,其他所述第二模块中的所述卷积层和所述上卷积层之间均设置有所述scSE模块。
9.根据权利要求6所述的一种基于航拍图像的光伏组串位置确定系统,其特征在于,所述光伏组串位置信息和尺寸信息计算模块,具体包括:
二值图像计算单元,用于对所述光伏组串分割结果图进行二值化处理,得到二值图像;
连通区域确定单元,用于采用八连通计算方式,确定所述二值图像中的所有连通区域;
最终连通区域确定单元,用于采用面积阈值方式和形态学操作,剔除所述连通区域中的误检区域和填补所述连通区域中的漏检区域,得到最终的连通区域;
位置信息和尺寸信息计算单元,用于采用边界提取算法对每个最终得到的连通区域进行处理,以确定所述目标光伏电站中各个光伏组串的位置信息和尺寸信息。
10.根据权利要求9所述的一种基于航拍图像的光伏组串位置确定系统,其特征在于,所述位置信息和尺寸信息计算单元,具体包括:
第一信息计算子单元,用于采用边界提取算法对每个最终得到的连通区域进行处理,以确定所述目标光伏电站中各个光伏组串的中心点图像坐标、像素级长度和像素级宽度;
第二信息计算子单元,用于将所述目标光伏电站中各个光伏组串的中心点图像坐标、像素级长度和像素级宽度进行转换,以确定各个光伏组串的中心点地理位置坐标、实际长度和实际宽度。
CN202210670391.2A 2022-06-15 2022-06-15 一种基于航拍图像的光伏组串位置确定方法及系统 Active CN114758002B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210670391.2A CN114758002B (zh) 2022-06-15 2022-06-15 一种基于航拍图像的光伏组串位置确定方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210670391.2A CN114758002B (zh) 2022-06-15 2022-06-15 一种基于航拍图像的光伏组串位置确定方法及系统

Publications (2)

Publication Number Publication Date
CN114758002A true CN114758002A (zh) 2022-07-15
CN114758002B CN114758002B (zh) 2022-09-02

Family

ID=82336687

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210670391.2A Active CN114758002B (zh) 2022-06-15 2022-06-15 一种基于航拍图像的光伏组串位置确定方法及系统

Country Status (1)

Country Link
CN (1) CN114758002B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115311587A (zh) * 2022-09-07 2022-11-08 无锡海纳智能科技有限公司 一种光伏电站巡检航点的智能生成方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109308685A (zh) * 2018-08-09 2019-02-05 南京邮电大学 基于阈值分割和k均值聚类的红外光伏阵列分割方法
CN109784228A (zh) * 2018-12-28 2019-05-21 苏州易助能源管理有限公司 一种基于图像识别技术的光伏电站识别系统及方法
CN110244766A (zh) * 2019-07-03 2019-09-17 王峰 一种光伏电站无人机巡检航线的规划方法及系统
CN110503052A (zh) * 2019-08-27 2019-11-26 西南交通大学 一种基于改进u-net网络的图像语义分割方法
CN111030592A (zh) * 2019-12-31 2020-04-17 华为技术有限公司 光伏组串丢失告警方法和装置
CN112633088A (zh) * 2020-12-10 2021-04-09 西安理工大学 一种基于航拍图像中光伏组件识别的电站容量估测方法
CN112862777A (zh) * 2021-02-03 2021-05-28 国家电投集团江西电力有限公司 一种光伏电站组件缺陷巡检系统及其缺陷处理方法
CN113505726A (zh) * 2021-07-24 2021-10-15 北京思万智瞰科技有限公司 一种地图中的光伏组串识别与定位方法
CN113673418A (zh) * 2021-08-19 2021-11-19 合肥阳光智维科技有限公司 一种光伏电站智能无人巡检系统及智能巡检终端
CN113989261A (zh) * 2021-11-09 2022-01-28 浙江浙能嘉华发电有限公司 基于Unet改进的无人机视角下红外图像光伏板边界分割方法
CN114140420A (zh) * 2021-11-26 2022-03-04 合肥阳光智维科技有限公司 光伏组串的巡检方法、飞行设备、巡检装置及存储介质
CN114298084A (zh) * 2021-11-17 2022-04-08 华能大理风力发电有限公司洱源分公司 一种基于XGBoost的光伏组串通信异常识别方法及系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109308685A (zh) * 2018-08-09 2019-02-05 南京邮电大学 基于阈值分割和k均值聚类的红外光伏阵列分割方法
CN109784228A (zh) * 2018-12-28 2019-05-21 苏州易助能源管理有限公司 一种基于图像识别技术的光伏电站识别系统及方法
CN110244766A (zh) * 2019-07-03 2019-09-17 王峰 一种光伏电站无人机巡检航线的规划方法及系统
CN110503052A (zh) * 2019-08-27 2019-11-26 西南交通大学 一种基于改进u-net网络的图像语义分割方法
CN111030592A (zh) * 2019-12-31 2020-04-17 华为技术有限公司 光伏组串丢失告警方法和装置
CN112633088A (zh) * 2020-12-10 2021-04-09 西安理工大学 一种基于航拍图像中光伏组件识别的电站容量估测方法
CN112862777A (zh) * 2021-02-03 2021-05-28 国家电投集团江西电力有限公司 一种光伏电站组件缺陷巡检系统及其缺陷处理方法
CN113505726A (zh) * 2021-07-24 2021-10-15 北京思万智瞰科技有限公司 一种地图中的光伏组串识别与定位方法
CN113673418A (zh) * 2021-08-19 2021-11-19 合肥阳光智维科技有限公司 一种光伏电站智能无人巡检系统及智能巡检终端
CN113989261A (zh) * 2021-11-09 2022-01-28 浙江浙能嘉华发电有限公司 基于Unet改进的无人机视角下红外图像光伏板边界分割方法
CN114298084A (zh) * 2021-11-17 2022-04-08 华能大理风力发电有限公司洱源分公司 一种基于XGBoost的光伏组串通信异常识别方法及系统
CN114140420A (zh) * 2021-11-26 2022-03-04 合肥阳光智维科技有限公司 光伏组串的巡检方法、飞行设备、巡检装置及存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ABHIJIT GUHA ROY ET AL.: "Concurrent Spatial and Channel ‘Squeeze & Excitation’ in Fully Convolutional Networks", 《ARXIV》 *
张一平等: "基于FC-ACGAN网络的太阳电池EL图像的数据增强方法", 《太阳能学报》 *
徐伟等: "基于图像处理的光伏组件串识别技术研究", 《信息技术与信息化》 *
无: "阿里天池2分类遥感图像分割", 《CSDN》 *
田启川等: "卷积神经网络图像语义分割技术", 《小型微型计算机系统》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115311587A (zh) * 2022-09-07 2022-11-08 无锡海纳智能科技有限公司 一种光伏电站巡检航点的智能生成方法
CN115311587B (zh) * 2022-09-07 2024-05-31 无锡海纳智能科技有限公司 一种光伏电站巡检航点的智能生成方法

Also Published As

Publication number Publication date
CN114758002B (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
CN107424142B (zh) 一种基于图像显著性检测的焊缝识别方法
CN106683119B (zh) 基于航拍视频图像的运动车辆检测方法
CN111914795A (zh) 一种航拍图像中旋转目标检测方法
CN110599445A (zh) 一种电网螺母和销的目标鲁棒检测与缺陷识别方法及装置
CN110956681B (zh) 一种结合卷积网络和邻域相似性的人像背景自动替换方法
CN113689445B (zh) 结合语义分割与边缘检测的高分辨率遥感建筑物提取方法
CN112232351A (zh) 一种基于深度神经网络的车牌识别系统
CN110263716B (zh) 一种基于街景图像的遥感影像超分辨率土地覆被制图方法
CN111640116B (zh) 基于深层卷积残差网络的航拍图建筑物分割方法及装置
CN113052170B (zh) 一种无约束场景下的小目标车牌识别方法
CN113435407B (zh) 一种输电系统的小目标识别方法及装置
CN111027538A (zh) 一种基于实例分割模型的集装箱检测方法
CN111353396A (zh) 一种基于SCSEOCUnet的混凝土裂缝分割方法
CN113327255A (zh) 基于YOLOv3检测定位裁剪及fine-tune的输电线路巡检图像处理方法
CN114758002B (zh) 一种基于航拍图像的光伏组串位置确定方法及系统
CN112528994B (zh) 一种自由角度车牌检测方法、车牌识别方法和识别系统
CN113610024B (zh) 一种多策略的深度学习遥感影像小目标检测方法
CN115240020A (zh) 基于弱光补偿的MaskRCNN渗水检测方法及系统
CN113326846B (zh) 一种基于机器视觉的桥梁表观病害快速检测方法
CN116645351A (zh) 一种复杂场景的缺陷在线检测方法及系统
CN111160262A (zh) 一种融合人体关键点检测的人像分割方法
CN116385477A (zh) 一种基于图像分割的杆塔图像配准方法
CN115953678A (zh) 一种基于局部灰度极值点和特征融合的路面破损检测方法
CN113095309A (zh) 一种基于点云的道路场景地面标识物的提取方法
CN114445726A (zh) 一种基于深度学习的样本库建立方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant