CN114463308A - 一种无人机视角光伏组件视觉检测方法、装置及处理设备 - Google Patents

一种无人机视角光伏组件视觉检测方法、装置及处理设备 Download PDF

Info

Publication number
CN114463308A
CN114463308A CN202210121130.5A CN202210121130A CN114463308A CN 114463308 A CN114463308 A CN 114463308A CN 202210121130 A CN202210121130 A CN 202210121130A CN 114463308 A CN114463308 A CN 114463308A
Authority
CN
China
Prior art keywords
photovoltaic module
semantic segmentation
photovoltaic
mask
threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210121130.5A
Other languages
English (en)
Inventor
粟骏龙
袁鑫
陈晓健
周妙林
刘扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Digital Ecological Technology Co ltd
Original Assignee
Guangdong Digital Ecological Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Digital Ecological Technology Co ltd filed Critical Guangdong Digital Ecological Technology Co ltd
Priority to CN202210121130.5A priority Critical patent/CN114463308A/zh
Publication of CN114463308A publication Critical patent/CN114463308A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种无人机视角光伏组件视觉检测方法、装置及处理设备，用于结合语义分割模型以及自适应阈值划分机制，来精确地检测出每个光伏组件实例个体。方法包括：获取初始图像I；将初始图像I输入语义分割模型M语义分割，得到光伏组件预测掩膜
Figure DDA0003498510640000011
将初始图像I中各像素点取值归一化至[0,255]，得到映射结果I′；获取映射结果I′中光伏组件预测掩膜
Figure DDA0003498510640000012
所对应的区域内的像素值集合P′，记为
Figure DDA0003498510640000013
在映射结果I′的像素取值范围内遍历使方差g最大的阈值T，阈值T为像素值集合P′中光伏组件间隔的分割阈值；将阈值T应用于光伏组件预测掩膜
Figure DDA0003498510640000014
中，以完成不同光伏组件与不同光伏组件间隔之间的分割，得到光伏组件细粒度分割掩膜
Figure DDA0003498510640000015
其中，光伏组件细粒度分割掩膜
Figure DDA0003498510640000016
中每个独立联通域代表一个光伏组件实例个体。

Description

一种无人机视角光伏组件视觉检测方法、装置及处理设备
技术领域
本申请涉及光伏发电领域，具体涉及一种无人机视角光伏组件视觉检测方法、装置及处理设备。
背景技术
随着光伏电站的建设规模不断扩大，光伏电站的运维工作挑战日益突出。传统的人工巡检方式越来越难以迎合光伏电站的大规模运维的要求，且传统人工巡检方式在耗费大量的人力成本的同时，存在光伏组件信息不能及时收集、巡检人员安全性等问题。
如今，在光伏电站的运维工作中，无人机已成为当前较为有效的解决方案。无人机可以通过搭载的摄像装置，采集图像，在对采集的图像通过图像分析技术解析其中所蕴含的信息，达到巡检大量光伏组件的目的，在该智能巡检机制下，能够有效降低事故发生风险、提升电站的运维效率。其中，图像处理中涉及的对光伏组件的视觉检测，是实现无人机光伏电站巡检的核心环节。
而在现有的相关技术的研究过程中，发明人发现，光伏组件的现有视觉检测方案的实用性较差，例如基于传统图像处理技术的光伏组件轮廓提取方法，其依据光伏组件颜色特征与形状特征等先验信息，提取图像中的光伏组件的轮廓对象。然而该方法需要极为精准的颜色与形状定义，对于光伏电站复杂多变场景的适应性较低；又例如基于神经网络的光伏组件目标检测方法，其采用SSD、Mask R-CNN、YOLO等模型检测图像中的光伏组件，对复杂场景的适应性较好，相应方法按检测框的图形学定义可再次细分为基于常规矩形检测框、基于旋转矩形检测框及基于凸多边形检测框的目标检测方法，然而受无人机拍摄时相机类型、拍摄角度、光伏组件倾斜角度等因素影响，光伏组件轮廓常属于非凸多边形，常规矩形检测框、旋转矩形检测框及凸多边形检测框均不能很好地拟合光伏组件的形状特征。此外，目标检测算法对于密集分布场景(Densely Packed Scenes)中目标的检测效果并不稳定，检测结果中的临近检测框之间存在冲突风险；又例如基于神经网络的光伏组件语义分割方法，其将图像中各像素点转为语义标注类别，从而实现像素级精度的光伏组件检测，不论在复杂场景适应性抑或是光伏组件形状特征表现能力上均表现出优势，然而当前基于神经网络的光伏组件语义分割方法未能标明各光伏组件的实例信息，属于粗粒度的光伏组件检测，并不能很好地满足光伏组件信息按台账进行组织、存储的要求。
发明内容
本申请提供了一种无人机视角光伏组件视觉检测方法、装置及处理设备，用于结合语义分割模型以及自适应阈值划分机制，来精确地检测出每个光伏组件实例个体，完成光伏组件细粒度的光伏组件视觉检测。
第一方面，本申请提供了一种无人机视角光伏组件视觉检测方法，方法包括：
获取通过无人机采集的包括光伏组件集合的初始图像I；
将初始图像I输入预先训练好的语义分割模型M语义分割，使得语义分割模型M语义分割对初始图像I进行语义分割，得到光伏组件预测掩膜
Figure BDA0003498510620000021
其中，光伏组件预测掩膜
Figure BDA0003498510620000022
用于指示初始图像I分割出的光伏组件集合所处区域；
将初始图像I中各像素点取值归一化至[0,255]，得到映射结果I′；
获取映射结果I′中光伏组件预测掩膜
Figure BDA0003498510620000023
所对应的区域内的像素值集合P′，记为
Figure BDA0003498510620000024
在映射结果I′的像素取值范围内遍历使方差g最大的阈值T，其中，阈值T为像素值集合P′中光伏组件间隔的分割阈值，方差g的计算公式为：
Figure BDA0003498510620000025
N0为像素值集合P′中取值低于阈值T的像素点个数，N1为像素值集合P′中取值高于阈值T的像素点个数，μ0为像素值集合P′中光伏组件像素点的平均取值，μ为像素值集合P′的平均值，N为像素值集合P′的像素点个数；
将阈值T应用于光伏组件预测掩膜
Figure BDA0003498510620000026
中，以完成不同光伏组件与不同光伏组件间隔之间的分割，得到光伏组件细粒度分割掩膜
Figure BDA0003498510620000027
其中，光伏组件细粒度分割掩膜
Figure BDA0003498510620000031
中每个独立联通域代表一个光伏组件实例个体。
结合本申请第一方面，在本申请第一方面第一种可能的实现方式中，初始图像I具体包括HSV颜色空间下的图像，方法还包括：
在HSV颜色空间下的图像所对应的第一光伏组件细粒度分割掩膜
Figure BDA0003498510620000032
中，分析各个独立连通域内的像素点HSV色彩值pi是否满足下式：
(35,43,46)＜pi＜(77,255,255)；
若满足，则确定光伏组件集合存在树障遮挡。
结合本申请第一方面或者第一方面第一种可能的实现方式，在本申请第一方面第二种可能的实现方式中，初始图像I具体包括红外图像IIR，方法还包括：
将红外图像IIR转入灰色色彩空间，给定热斑阈值TIR；
在红外图像IIR所对应的第二光伏组件细粒度分割掩膜
Figure BDA0003498510620000033
中，分析各个独立连通域内的像素点灰度色彩值pi是否满足下式：
pi＞TIR；
若满足，则确定光伏组件集合存在热斑问题。
结合本申请第一方面第二种可能的实现方式，在本申请第一方面第三种可能的实现方式中，方法还包括：
按照下式计算光伏组件细粒度分割掩膜
Figure BDA0003498510620000034
中各个独立连通域的几何点在像素坐标系下的坐标(x,y)：
Figure BDA0003498510620000035
其中，记光伏组件细粒度分割掩膜
Figure BDA0003498510620000036
中各个连通域的横轴坐标为
Figure BDA0003498510620000037
纵轴坐标为
Figure BDA0003498510620000038
分别获取初始图像I采集时的距地面高度H、GPS地理坐标(lon,lat)、无人机偏航角A以及相机FOV角度F；
确定光伏组件实例个体的中心点地理坐标Ci，其中，Ci＝(lon+sin A*tan F*H,lat+cos A*tan F*H)；
将中心点坐标Ci与中心点地理坐标Ci距离最近的台账中坐标所对应的光伏组件中心关联，并上传对应的树障检测结果以及热斑检测结果中的至少一种。
结合本申请第一方面第三种可能的实现方式，在本申请第四方面第一种可能的实现方式中，方法还包括：
根据更新的台账数据，配置光伏电站的运维策略。
结合本申请第一方面，在本申请第一方面第五种可能的实现方式中，方法还包括：
获取通过无人机采集的包括光伏组件集合的样本图像I；
基于标注了对应样本光伏组件掩膜M的样本图像I，训练初始模型，并将完成训练的模型作为语义分割模型M语义分割，其中，语义分割模型M语义分割使用Multi-Stage策略设计，模型三层结构分别为特征抽取重组层、非线性映射层及语义分割重组；
特征抽取重组层使用单层卷积结构，使用尺寸为f1×f1的卷积核W1，偏置项矢量为B1，其目的在于抽取输入图像中的特征，并将特征重组为特征矩阵，以用于非线性映射；
非线性映射层使用尺寸为f2×f2的卷积核W2，偏置项矢量为B2，用于将特征抽取重层的特征重映射为语义分割重组层的所需特征；
语义分割重组层使用尺寸为f3×f3的卷积核W3，偏置项矢量为B3，用于将重映射后的特征转换为语义分割预测矩阵，并使用softmax算法将语义分割预测矩阵转换为语义分割预测掩膜
Figure BDA0003498510620000041
结合本申请第一方面，在本申请第一方面第六种可能的实现方式中，无人机的摄像装置具体包括可见光相机、红外传感器以及可见光双目深度相机中的至少一种。
第二方面，本申请提供了一种无人机视角光伏组件视觉检测装置，装置包括：
获取单元，用于获取通过无人机采集的包括光伏组件集合的初始图像I；
语义分割单元，用于将初始图像I输入预先训练好的语义分割模型M语义分割，使得语义分割模型M语义分割对初始图像I进行语义分割，得到光伏组件预测掩膜
Figure BDA0003498510620000042
其中，光伏组件预测掩膜
Figure BDA0003498510620000043
用于指示初始图像I分割出的光伏组件集合所处区域；
归一化处理单元，用于将初始图像I中各像素点取值归一化至[0,255]，得到映射结果I′；
获取单元，还用于获取映射结果I′中光伏组件预测掩膜
Figure BDA0003498510620000051
所对应的区域内的像素值集合P′，记为
Figure BDA0003498510620000052
遍历单元，用于在映射结果I′的像素取值范围内遍历使方差g最大的阈值T，其中，阈值T为像素值集合P′中光伏组件间隔的分割阈值，方差g的计算公式为：
Figure BDA0003498510620000053
N0为像素值集合P′中取值低于阈值T的像素点个数，N1为像素值集合P′中取值高于阈值T的像素点个数，μ0为像素值集合P′中光伏组件像素点的平均取值，μ为像素值集合P′的平均值，N为像素值集合P′的像素点个数；
光伏组件分割单元，用于将阈值T应用于光伏组件预测掩膜
Figure BDA0003498510620000054
中，以完成不同光伏组件与不同光伏组件间隔之间的分割，得到光伏组件细粒度分割掩膜
Figure BDA0003498510620000055
其中，光伏组件细粒度分割掩膜
Figure BDA0003498510620000056
中每个独立联通域代表一个光伏组件实例个体。
结合本申请第二方面，在本申请第二方面第一种可能的实现方式中，初始图像I具体包括HSV颜色空间下的图像，装置还包括树障遮挡确定单元，用于：
在HSV颜色空间下的图像所对应的第一光伏组件细粒度分割掩膜
Figure BDA0003498510620000057
中，分析各个独立连通域内的像素点HSV色彩值pi是否满足下式：
(35,43,46)＜pi＜(77,255,255)；
若满足，则确定光伏组件集合存在树障遮挡。
结合本申请第二方面或者第二方面第一种可能的实现方式，在本申请第二方面第二种可能的实现方式中，初始图像I具体包括红外图像IIR，装置还包括热斑确定单元，用于：
将红外图像IIR转入灰色色彩空间，给定热斑阈值TIR；
在红外图像IIR所对应的第二光伏组件细粒度分割掩膜
Figure BDA0003498510620000058
中，分析各个独立连通域内的像素点灰度色彩值pi是否满足下式：
pi＞TIR；
若满足，则确定光伏组件集合存在热斑问题。
结合本申请第二方面第二种可能的实现方式，在本申请第二方面第三种可能的实现方式中，装置还包括关联单元，用于：
按照下式计算光伏组件细粒度分割掩膜
Figure BDA0003498510620000061
中各个独立连通域的几何点在像素坐标系下的坐标(x,y)：
Figure BDA0003498510620000062
其中，记光伏组件细粒度分割掩膜
Figure BDA0003498510620000063
中各个连通域的横轴坐标为
Figure BDA0003498510620000064
纵轴坐标为
Figure BDA0003498510620000065
分别获取初始图像I采集时的距地面高度H、GPS地理坐标(lon,lat)、无人机偏航角A以及相机FOV角度F；
确定光伏组件实例个体的中心点地理坐标Ci，其中，Ci＝(lon+sin A*tan F*H,lat+cos A*tan F*H)；
将中心点坐标Ci与中心点地理坐标Ci距离最近的台账中坐标所对应的光伏组件中心关联，并上传对应的树障检测结果以及热斑检测结果中的至少一种。
结合本申请第二方面第三种可能的实现方式，在本申请第四方面第一种可能的实现方式中，装置还包括配置单元，用于：
根据更新的台账数据，配置光伏电站的运维策略。
结合本申请第二方面，在本申请第二方面第五种可能的实现方式中，装置还包括训练单元，用于：
获取通过无人机采集的包括光伏组件集合的样本图像I；
基于标注了对应样本光伏组件掩膜M的样本图像I，训练初始模型，并将完成训练的模型作为语义分割模型M语义分割，其中，语义分割模型M语义分割使用Multi-Stage策略设计，模型三层结构分别为特征抽取重组层、非线性映射层及语义分割重组；
特征抽取重组层使用单层卷积结构，使用尺寸为f1×f1的卷积核W1，偏置项矢量为B1，其目的在于抽取输入图像中的特征，并将特征重组为特征矩阵，以用于非线性映射；
非线性映射层使用尺寸为f2×f2的卷积核W2，偏置项矢量为B2，用于将特征抽取重层的特征重映射为语义分割重组层的所需特征；
语义分割重组层使用尺寸为f3×f3的卷积核W3，偏置项矢量为B3，用于将重映射后的特征转换为语义分割预测矩阵，并使用softmax算法将语义分割预测矩阵转换为语义分割预测掩膜
Figure BDA0003498510620000071
结合本申请第二方面，在本申请第二方面第六种可能的实现方式中，无人机的摄像装置具体包括可见光相机、红外传感器以及可见光双目深度相机中的至少一种。
第三方面，本申请提供了一种处理设备，包括处理器和存储器，存储器中存储有计算机程序，处理器调用存储器中的计算机程序时执行本申请第一方面或者本申请第一方面任一种可能的实现方式提供的方法。
第四方面，本申请提供了一种计算机可读存储介质，计算机可读存储介质存储有多条指令，指令适于处理器进行加载，以执行本申请第一方面或者本申请第一方面任一种可能的实现方式提供的方法。
从以上内容可得出，本申请具有以下的有益效果：
针对于光伏组件的图像检测，本申请一方面通过语义分割模型M语义分割对初始图像I进行语义分割，得到光伏组件预测掩膜
Figure BDA0003498510620000072
另一方面将初始图像I中各像素点取值归一化至[0,255]，得到映射结果I′，此时获取映射结果I′中光伏组件预测掩膜
Figure BDA0003498510620000073
所对应的区域内的像素值集合P′，记为
Figure BDA0003498510620000074
接着在映射结果I′的像素取值范围内遍历使方差g最大的阈值T，其中，阈值T为像素值集合P′中光伏组件间隔的分割阈值，并将阈值T应用于光伏组件预测掩膜
Figure BDA0003498510620000075
中，在该语义分割模型以及自适应阈值划分机制的结合下，完成不同光伏组件与不同光伏组件间隔之间的分割，得到光伏组件细粒度分割掩膜
Figure BDA0003498510620000076
其中，该光伏组件细粒度分割掩膜
Figure BDA0003498510620000077
中每个独立联通域代表一个光伏组件实例个体，由此，精确地检测出每个光伏组件实例个体，完成光伏组件细粒度的光伏组件视觉检测，为光伏电站的运维工作提供精确的、细颗粒度的数据支持。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请无人机视角光伏组件视觉检测方法的一种流程示意图；
图2为本申请无人机的图像采集工作的一种场景示意图；
图3为本申请光伏组件掩膜M的一种场景示意图；
图4为本申请语义分割模型M语义分割的一种场景示意图；
图5为本申请无人机视角光伏组件视觉检测方法的一种场景示意图；
图6为本申请光伏组件视觉检测结果的一种场景示意图；
图7为本申请无人机视角光伏组件视觉检测装置的一种结构示意图；
图8为本申请处理设备的一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。在本申请中出现的对步骤进行的命名或者编号，并不意味着必须按照命名或者编号所指示的时间/逻辑先后顺序执行方法流程中的步骤，已经命名或者编号的流程步骤可以根据要实现的技术目的变更执行次序，只要能达到相同或者相类似的技术效果即可。
本申请中所出现的模块的划分，是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个系统中，或一些特征可以忽略，或不执行，另外，所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块之间的间接耦合或通信连接可以是电性或其他类似的形式，本申请中均不作限定。并且，作为分离部件说明的模块或子模块可以是也可以不是物理上的分离，可以是也可以不是物理模块，或者可以分布到多个电路模块中，可以根据实际的需要选择其中的部分或全部模块来实现本申请方案的目的。
在介绍本申请提供的无人机视角光伏组件视觉检测方法之前，首先介绍本申请所涉及的背景内容。
本申请提供的无人机视角光伏组件视觉检测方法、装置以及计算机可读存储介质，可应用于处理设备，用于结合语义分割模型以及自适应阈值划分机制，来精确地检测出每个光伏组件实例个体，完成光伏组件细粒度的光伏组件视觉检测。
本申请提及的无人机视角光伏组件视觉检测方法，其执行主体可以为无人机视角光伏组件视觉检测装置，或者集成了该无人机视角光伏组件视觉检测装置的服务器、物理主机或者用户设备(User Equipment，UE)等不同类型的处理设备。其中，无人机视角光伏组件视觉检测装置可以采用硬件或者软件的方式实现，UE具体可以为智能手机、平板电脑、笔记本电脑、台式电脑或者个人数字助理(Personal Digital Assistant，PDA)等终端设备，处理设备可以通过设备集群的方式设置。
举例而言，处理设备具体可以为光伏电站在分配、执行站内相关设备的运维工作的设备，例如搭载了光伏电站的运维管理系统的设备，又或者光伏电站的工作人员的个人设备，可以理解，处理设备的形式可以在光伏电站在促使完成站内的相关设备的运维工作的情况下，根据不同应用场景的划分，可以配置为不同的设备形式，因此本申请在此不做具体限定。
下面，开始介绍本申请提供的无人机视角光伏组件视觉检测方法。
首先，参阅图1，图1示出了本申请无人机视角光伏组件视觉检测方法的一种流程示意图，本申请提供的无人机视角光伏组件视觉检测方法，具体可包括如下步骤S101至步骤S106：
步骤S101，获取通过无人机采集的包括光伏组件集合的初始图像I；
可以理解，对于本申请所涉及的光伏组件的视觉检测，是从光伏电站现场采集光伏电站集合采集的图像开始的。
其中，对于步骤S101中对于初始图像I的获取，既可以是图像的实时获取，例如实时分配无人机的图像采集工作或者实时控制无人机执行图像采集工作，也可以是图像的调取处理，即，调取之前无人机已经完成的图像采集工作所采集到的图像。
对于无人机的图像采集工作，还可参考图2示出的本申请无人机的图像采集工作的一种场景示意图，通过无人机在空中采集光伏电站中光伏组件集合的图像，具有能够突破地形环境限制、获取光伏组件全貌的优点。
此外，对于无人机的工作环境，作为一个实例，其飞行过程中使用有限的摄像头云台姿态，即旋转角在[-5，5]之间，俯仰角取值设定为{-90，-60，-30}，不对偏航角设置要求。
可以理解，在光伏电站的实际应用场景中，包含了光伏组件集群(光伏组件集合)，大量的光伏组件是以高密度的形式配置的，而这导致了现有方案中存在只能识别出光伏组件集群的大概范围，而未能精确识别出每个光伏组件的问题，这也是本申请所针对的问题，以此提出下面的光伏组件颗粒度的视觉检测方案。
进一步的，作为一种适于实用的实现方式，在本申请中，无人机(搭载的)的摄像装置(用于采集光伏组件集合的图像)，具体可以包括可见光相机、红外传感器以及可见光双目深度相机中的至少一种。
可以理解，相比于现有方案中使用激光雷达+红外传感器的方案，本申请使用可见光相机(包括可见光双目深度相机)+红外传感器的方案，可以有效减少硬件部署成本。
步骤S102，将初始图像I输入预先训练好的语义分割模型M语义分割，使得语义分割模型M语义分割对初始图像I进行语义分割，得到光伏组件预测掩膜
Figure BDA0003498510620000101
其中，光伏组件预测掩膜
Figure BDA0003498510620000102
用于指示初始图像I分割出的光伏组件集合所处区域；
可以理解，对于初始图像I中光伏组件集合的初始识别，本申请是通过语义分割实现的，具体则可交由本申请预先训练好的语义分割模型M语义分割完成，其所执行的语义分割，则是通过光伏组件掩膜M来指示输入图像中识别出的光伏组件集合，即光伏组件集合所处区域，如图3示出的本申请光伏组件掩膜M的一种场景示意图。
容易发现，语义分割模型M语义分割所实现的光伏组件的视觉检测，是从一个整体的角度出发的，其并未检测出具体的光伏组件实例个体，而是识别出光伏组件集合，也就是一种相对粗糙的检测效果。
因此，在将本次所需执行的光伏组件视觉检测任务对应的初始图像I输入预先训练好的语义分割模型M语义分割后，则可获得模型语义分割处理得到的语义分割结果，即光伏组件预测掩膜
Figure BDA0003498510620000111
其中，作为又一种适于实用的实现方式，在实际应用中，本申请所涉及的语义分割模型M语义分割，可以按照Multi-Stage策略进行具体设计，以此促使语义分割模型M语义分割可以获得较佳的识别精度。
以模型的训练过程为例，可以先获取通过无人机采集的包括光伏组件集合的样本图像I，再由工作人员对样本图像I中的光伏组件集合进行标注，即标注对应的样本光伏组件掩膜M，接着基于标注了对应样本光伏组件掩膜M的样本图像I，训练初始模型，并将完成训练的模型作为语义分割模型M语义分割，其中，语义分割模型M语义分割使用Multi-Stage策略设计，模型三层结构分别为特征抽取重组层、非线性映射层及语义分割重组；
具体的，特征抽取重组层使用单层卷积结构，使用尺寸为f1×f1的卷积核W1，偏置项矢量为B1，其目的在于抽取输入图像中的特征，并将特征重组为特征矩阵，以用于非线性映射；
非线性映射层使用尺寸为f2×f2的卷积核W2，偏置项矢量为B2，用于将特征抽取重层的特征重映射为语义分割重组层的所需特征；
语义分割重组层使用尺寸为f3×f3的卷积核W3，偏置项矢量为B3，用于将重映射后的特征转换为语义分割预测矩阵，并使用softmax算法将语义分割预测矩阵转换为语义分割预测掩膜
Figure BDA0003498510620000112
进一步的，还可结合图4示出的本申请语义分割模型M语义分割的一种场景示意图以及下面示出的在Multi-Stage策略下语义分割模型M语义分割的数学定义进行理解：
F1(Y)＝max(0,W1*Y+B1)
F2(Y)＝max(0,W2*F1(Y)+B2)
F3(Y)＝softmax(W3*F2(Y)+B3)
在语义分割模型M语义分割的具体训练过程中，可以理解为，将训练模型用的样本图像I输入初始模型，由模型进行光伏组件集合的语义分割，完成一次正向传播，再根据模型输出的语义分割结果(光伏组件掩膜M)以及对应的样本光伏组件掩膜M计算损失函数，根据损失函数计算结果优化模型参数，完成一次反向传播，如此在达到训练次数、训练时长、识别精度等训练要求后，则可完成模型的训练，此时的模型则可作为语义分割模型M语义分割投入实际使用。
其中，损失函数可以采用不同类型的损失函数，以使用交叉熵损失函数为例，其数学定义如下：
Figure BDA0003498510620000121
其中，i＝0,1,2,...,N表示像素点编号，c＝0,1,2,...,M表示语义分割类别编号，y(i,c)表示编号为i的像素点标注数据的独热编码数值，如果像素点i的真实类别等于c则y(i,c)＝1，否则y(i,c)＝0，p(i,c)表示编号为i的像素点的预测概率。
又以训练要求包括损失函数期望阈值T语义分割为例，在不断的模型训练过程中，每次都可计算当前轮次的模型训练环节计算得到的损失函数期望值L语义分割，如果L语义分割＜T语义分割，则代表模型能够正确划分出输入图片中光伏组件集合所处区域，即模型符合要求；如果L语义分割＞T语义分割，则代表模型不能够正确划分出输入图片中光伏组件集合所处区域，即模型不符合要求，继续下一轮的模型训练环节，直至L语义分割＜T语义分割、完成模型训练。
步骤S103，将初始图像I中各像素点取值归一化至[0,255]，得到映射结果I′；
可以理解，本申请所实现的光伏组件颗粒度的视觉检测，具体是结合了语音分割模型以及自适应阈值划分机制来实现的，在上面介绍了语义分割模型方面的内容后，下面则开始介绍本申请所提出的自适应阈值划分机制的相关内容。
具体的，为便于后续处理得到自适应阈值，此处需要将初始图像I(如可见光图片、红外图片等无人机的摄像装置采集到的不同类别的图像)中各像素点取值归一化至[0,255]，完成归一化处理，并将处理结果(图片归一化结果)记为映射结果I′。
作为一种实例，归一化处理的计算过程可以通过以下公式实现：
Figure BDA0003498510620000131
其中，pi,i＝1,2,3....,n表示初始图像I中的各个像素点，pi′,i＝1,2,3....,n表示映射结果I′中的各个像素点。
步骤S104，获取映射结果I′中光伏组件预测掩膜
Figure BDA0003498510620000132
所对应的区域内的像素值集合P′，记为
Figure BDA0003498510620000133
在获得了初始图像I经过归一化处理的映射结果I′后，则可继续对其进行加工，获取映射结果I′中光伏组件预测掩膜
Figure BDA0003498510620000134
所对应的区域内的像素值集合P′，记为
Figure BDA0003498510620000135
为后面的自适应阈值提供数据依据。
步骤S105，在映射结果I′的像素取值范围内遍历使方差g最大的阈值T，其中，阈值T为像素值集合P′中光伏组件间隔的分割阈值，方差g的计算公式为：
Figure BDA0003498510620000136
N0为像素值集合P′中取值低于阈值T的像素点个数，N1为像素值集合P′中取值高于阈值T的像素点个数，μ0为像素值集合P′中光伏组件像素点的平均取值，μ为像素值集合P′的平均值，N为像素值集合P′的像素点个数；
可以理解，本申请记像素值集合P′中光伏组件与光伏组件间隔之间的分割阈值为T，属于光伏组件的像素点在集合P′中的比例记为ω0，其像素点平均取值为μ0；
属于光伏组件间隔的像素点在集合P′中的比例记为ω1，其像素点平均取值为μ1；
像素值集合P′的平均值总记为μ，方差记为g，像素点个数为N；
像素值集合P′中取值低于阈值T的像素点个数为N0，像素值集合P′中取值高于阈值T的像素点个数为N1，
在上述配置条件下，则有：
Figure BDA0003498510620000141
推理可得到，方差g越大，表示光伏组件与光伏组件间隔之间的分割越彻底，因此在步骤S103所得的归一化图片像素取值范围(映射结果I′的像素取值范围)内遍历使方差g最大时的阈值T，后续则可将其应用于语义分割模型M语义分割输出的光伏组件预测掩膜
Figure BDA0003498510620000142
中，以完成光伏组件与光伏组件间隔之间的分割，获得光伏组件细粒度分割掩膜
Figure BDA0003498510620000143
该掩膜
Figure BDA0003498510620000144
中每个独立联通域代表一个光伏组件实例个体。
步骤S106，将阈值T应用于光伏组件预测掩膜
Figure BDA0003498510620000145
中，以完成不同光伏组件与不同光伏组件间隔之间的分割，得到光伏组件细粒度分割掩膜
Figure BDA0003498510620000146
其中，光伏组件细粒度分割掩膜
Figure BDA0003498510620000147
中每个独立联通域代表一个光伏组件实例个体。
如上面步骤S105中对于自适应阈值T的说明，在确定了可以使得方差g最大的阈值T后，则可将其应用于光伏组件预测掩膜
Figure BDA0003498510620000148
中，完成光伏组件与光伏组件间隔之间的分割，如此分割得到图像中包含的不同光伏组件(以光伏组件细粒度分割掩膜
Figure BDA0003498510620000149
中的不同独立联通域体现)。
可以理解的是，此时，得到了光伏组件细粒度分割掩膜
Figure BDA00034985106200001410
后，则可从初始图像I中分割出所包含的不同光伏组件，完成光伏组件颗粒度的视觉检测，在这过程中，本申请以细粒度的形式检测出各个光伏组件实例，尤其适应于实际应用场景中的光伏组件密集分布场景。
从以上所示实施例可看出，针对于光伏组件的图像检测，本申请一方面通过语义分割模型M语义分割对初始图像I进行语义分割，得到光伏组件预测掩膜
Figure BDA0003498510620000151
另一方面将初始图像I中各像素点取值归一化至[0,255]，得到映射结果I′，此时获取映射结果I′中光伏组件预测掩膜
Figure BDA0003498510620000152
所对应的区域内的像素值集合P′，记为
Figure BDA0003498510620000153
接着在映射结果I′的像素取值范围内遍历使方差g最大的阈值T，其中，阈值T为像素值集合P′中光伏组件间隔的分割阈值，并将阈值T应用于光伏组件预测掩膜
Figure BDA0003498510620000154
中，在该语义分割模型以及自适应阈值划分机制的结合下，完成不同光伏组件与不同光伏组件间隔之间的分割，得到光伏组件细粒度分割掩膜
Figure BDA0003498510620000155
其中，该光伏组件细粒度分割掩膜
Figure BDA0003498510620000156
中每个独立联通域代表一个光伏组件实例个体，由此，精确地检测出每个光伏组件实例个体，完成光伏组件细粒度的光伏组件视觉检测，为光伏电站的运维工作提供精确的、细颗粒度的数据支持。
进一步的，本申请在提供基础的光伏组件视觉检测结果的基础上，还可通过相关的数据加工，继续提供更为细腻的数据支持，如此促使更为精细化的光伏组件的智能运维工作。
作为又一种适于实用的实现方式，上述的初始图像I，具体可以包括HSV颜色空间下的图像(可以由可见光相机或者可见光双目深度相机采集，在本申请中，对于初始图像I还可涉及到不同颜色空间之间的格式转换处理)，对应的，在进行光伏组件颗粒度的视觉检测后可以获得该HSV颜色空间下的图像所对应的光伏组件细粒度分割掩膜
Figure BDA0003498510620000157
此处记为第一光伏组件细粒度分割掩膜
Figure BDA0003498510620000158
此时根据该第一光伏组件细粒度分割掩膜
Figure BDA0003498510620000159
可以实现本申请引入的树障遮挡问题检测。
即，在得到了第一光伏组件细粒度分割掩膜
Figure BDA00034985106200001510
后，本申请所提供的无人机视角光伏组件视觉检测方法，还可包括以下步骤：
在HSV颜色空间下的图像所对应的第一光伏组件细粒度分割掩膜
Figure BDA00034985106200001511
中，分析各个独立连通域内的像素点HSV色彩值pi是否满足下式：
(35,43,46)＜pi＜(77,255,255)；
若满足，则确定光伏组件集合存在树障遮挡。
可以理解，通过上述设置，在实现光伏组件颗粒度的视觉检测的基础上，还可继续实现树障遮挡问题的识别，并为树障遮挡问题的识别提供了一种便捷的具体实现方式。
而在从光伏组件集合中识别出存在树障遮挡问题的具体光伏组件后，可以方便后续安排相关设备、工作人员解决该光伏组件处的树障，以便后面进行更为高精度的光伏组件视觉检测以及保障光伏组件不会因为树障影响其光伏发电工作的进行。
作为又一种适于实用的实现方式，上述的初始图像I，具体可以包括红外图像IIR(可以由红外传感器采集)，对应的，在进行光伏组件颗粒度的视觉检测后可以获得该红外图像IIR对应的光伏组件细粒度分割掩膜
Figure BDA0003498510620000161
此处记为第二光伏组件细粒度分割掩膜
Figure BDA0003498510620000162
此时根据该第二光伏组件细粒度分割掩膜
Figure BDA0003498510620000163
可以实现本申请引入的热斑问题检测。
即，在本申请所提供的无人机视角光伏组件视觉检测方法，还可包括以下步骤：
将红外图像IIR转入灰色色彩空间，给定热斑阈值TIR；
在红外图像IIR所对应的第二光伏组件细粒度分割掩膜
Figure BDA0003498510620000164
中，分析各个独立连通域内的像素点灰度色彩值pi是否满足下式：
pi＞TIR；
若满足，则确定光伏组件集合存在热斑问题。
可以理解，通过上述设置，在实现光伏组件颗粒度的视觉检测的基础上，还可继续实现热斑问题的识别，并为热斑问题的识别提供了一种便捷的具体实现方式。
而在从光伏组件集合中识别出存在热斑问题的具体光伏组件后，可以方便后续安排相关设备、工作人员解决该光伏组件处的热斑，以便后面进行更为高精度的光伏组件视觉检测以及保障光伏组件不会因为热斑影响其光伏发电工作的进行。
进一步的，在通过上述方案结合了可见光+红外等多源影像协同检测光伏组件实例个体的树障、热斑等问题后，还可进行系统上的台账自动更新，以便在系统上精确地识别出具体光伏组件存在的树障遮挡、热斑问题，方便精确分配对应的响应策略。
具体的，可以按照下式计算光伏组件细粒度分割掩膜
Figure BDA0003498510620000165
中各个独立连通域的几何点在像素坐标系下的坐标(x,y)：
Figure BDA0003498510620000171
其中，记光伏组件细粒度分割掩膜
Figure BDA0003498510620000172
中各个连通域的横轴坐标为
Figure BDA0003498510620000173
纵轴坐标为
Figure BDA0003498510620000174
分别获取初始图像I采集时的距地面高度H、GPS地理坐标(lon,lat)、无人机偏航角A以及相机FOV(视场角)角度；其中，则光伏组件实例个体中心点相对无人机拍摄时的相机地理坐标的偏移有：
经度方向偏移＝sin A*tan F*H
维度方向偏移＝cos A*tan F*H’
光伏组件实例个体的中心点地理坐标为Ci。
确定光伏组件实例个体的中心点地理坐标Ci，其中，Ci＝(lon+sin A*tan F*H,lat+cos A*tan F*H)；
将中心点坐标Ci与中心点地理坐标Ci距离最近的台账中坐标所对应的光伏组件中心关联，并上传对应的树障检测结果以及热斑检测结果中的至少一种。
可以理解，通过上述设置，为系统上台账的自动更新，基于中心点坐标提供了一套光伏组件的自动定位方案，如此可以精确地完成当前检测出问题的光伏组件与系统台账上光伏组件的配对，将光伏组件细粒度检测结果与地理定位信息(如北斗定位、GPS定位等定位方式下得到的中心点坐标)相结合，获取光伏组件的地理位置及形状信息，实现光伏组件的台账对应，从而可以精确更新系统上台账中出现树障遮挡、热斑等问题的光伏组件的相关信息。
为方便理解以上内容，还可结合图5示出的本申请无人机视角光伏组件视觉检测方法的一种场景示意图以及图6示出的本申请光伏组件视觉检测结果的一种场景示意图(每个光伏组件还可以通过不同颜色进行区分)进行理解。
而在更新了台账后，还可继续根据更新的台账数据，配置光伏电站的运维策略，如此在光伏电站的智能运维中，自动执行末端的运维策略的分配工作，促使出现问题的具体光伏组件(通过光伏组件颗粒度的视觉检测定位)，可以得到及时的、适配的运维处理，保障光伏组件的正常工作，进而促进光伏电站可以实现高稳定性、高效率的光伏发电工作。
以上是本申请提供无人机视角光伏组件视觉检测方法的介绍，为便于更好的实施本申请提供的无人机视角光伏组件视觉检测方法，本申请还从功能模块角度提供了一种无人机视角光伏组件视觉检测装置。
参阅图7，图7为本申请无人机视角光伏组件视觉检测装置的一种结构示意图，在本申请中，无人机视角光伏组件视觉检测装置700具体可包括如下结构：
获取单元701，用于获取通过无人机采集的包括光伏组件集合的初始图像I；
语义分割单元702，用于将初始图像I输入预先训练好的语义分割模型M语义分割，使得语义分割模型M语义分割对初始图像I进行语义分割，得到光伏组件预测掩膜
Figure BDA0003498510620000181
其中，光伏组件预测掩膜
Figure BDA0003498510620000182
用于指示初始图像I分割出的光伏组件集合所处区域；
归一化处理单元703，用于将初始图像I中各像素点取值归一化至[0,255]，得到映射结果I′；
获取单元701，还用于获取映射结果I′中光伏组件预测掩膜
Figure BDA0003498510620000183
所对应的区域内的像素值集合P′，记为
Figure BDA0003498510620000184
遍历单元704，用于在映射结果I′的像素取值范围内遍历使方差g最大的阈值T，其中，阈值T为像素值集合P′中光伏组件间隔的分割阈值，方差g的计算公式为：
Figure BDA0003498510620000185
N0为像素值集合P′中取值低于阈值T的像素点个数，N1为像素值集合P′中取值高于阈值T的像素点个数，μ0为像素值集合P′中光伏组件像素点的平均取值，μ为像素值集合P′的平均值，N为像素值集合P′的像素点个数；
光伏组件分割单元705，用于将阈值T应用于光伏组件预测掩膜
Figure BDA0003498510620000186
中，以完成不同光伏组件与不同光伏组件间隔之间的分割，得到光伏组件细粒度分割掩膜
Figure BDA0003498510620000187
其中，光伏组件细粒度分割掩膜
Figure BDA0003498510620000188
中每个独立联通域代表一个光伏组件实例个体。
在一种示例性的实现方式中，初始图像I具体包括HSV颜色空间下的图像，装置还包括树障遮挡确定单元706，用于：
在HSV颜色空间下的图像所对应的第一光伏组件细粒度分割掩膜
Figure BDA0003498510620000191
中，分析各个独立连通域内的像素点HSV色彩值pi是否满足下式：
(35,43,46)＜pi＜(77,255,255)；
若满足，则确定光伏组件集合存在树障遮挡。
在又一种示例性的实现方式中，初始图像I具体包括红外图像IIR，装置还包括热斑确定单元707，用于：
将红外图像IIR转入灰色色彩空间，给定热斑阈值TIR；
在红外图像IIR所对应的第二光伏组件细粒度分割掩膜
Figure BDA0003498510620000192
中，分析各个独立连通域内的像素点灰度色彩值pi是否满足下式：
pi＞TIR；
若满足，则确定光伏组件集合存在热斑问题。
在又一种示例性的实现方式中，装置还包括关联单元708，用于：
按照下式计算光伏组件细粒度分割掩膜
Figure BDA0003498510620000193
中各个独立连通域的几何点在像素坐标系下的坐标(x,y)：
Figure BDA0003498510620000194
其中，记光伏组件细粒度分割掩膜
Figure BDA0003498510620000195
中各个连通域的横轴坐标为
Figure BDA0003498510620000196
纵轴坐标为
Figure BDA0003498510620000197
分别获取初始图像I采集时的距地面高度H、GPS地理坐标(lon,lat)、无人机偏航角A以及相机FOV角度F；
确定光伏组件实例个体的中心点地理坐标Ci，其中，Ci＝(lon+sin A*tan F*H,lat+cos A*tan F*H)；
将中心点坐标Ci与中心点地理坐标Ci距离最近的台账中坐标所对应的光伏组件中心关联，并上传对应的树障检测结果以及热斑检测结果中的至少一种。
在又一种示例性的实现方式中，装置还包括配置单元709，用于：
根据更新的台账数据，配置光伏电站的运维策略。
在又一种示例性的实现方式中，装置还包括训练单元710，用于：
获取通过无人机采集的包括光伏组件集合的样本图像I；
基于标注了对应样本光伏组件掩膜M的样本图像I，训练初始模型，并将完成训练的模型作为语义分割模型M语义分割，其中，语义分割模型M语义分割使用Multi-Stage策略设计，模型三层结构分别为特征抽取重组层、非线性映射层及语义分割重组；
特征抽取重组层使用单层卷积结构，使用尺寸为f1×f1的卷积核W1，偏置项矢量为B1，其目的在于抽取输入图像中的特征，并将特征重组为特征矩阵，以用于非线性映射；
非线性映射层使用尺寸为f2×f2的卷积核W2，偏置项矢量为B2，用于将特征抽取重层的特征重映射为语义分割重组层的所需特征；
语义分割重组层使用尺寸为f3×f3的卷积核W3，偏置项矢量为B3，用于将重映射后的特征转换为语义分割预测矩阵，并使用softmax算法将语义分割预测矩阵转换为语义分割预测掩膜
Figure BDA0003498510620000201
在又一种示例性的实现方式中，无人机的摄像装置具体包括可见光相机、红外传感器以及可见光双目深度相机中的至少一种。
本申请还从硬件结构角度提供了一种处理设备，参阅图8，图8示出了本申请处理设备的一种结构示意图，具体的，本申请处理设备可包括处理器801、存储器802以及输入输出设备803，处理器801用于执行存储器802中存储的计算机程序时实现如图1对应实施例中无人机视角光伏组件视觉检测方法的各步骤；或者，处理器801用于执行存储器802中存储的计算机程序时实现如图7对应实施例中各单元的功能，存储器802用于存储处理器801执行上述图1对应实施例中无人机视角光伏组件视觉检测方法所需的计算机程序。
示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器802中，并由处理器801执行，以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机装置中的执行过程。
处理设备可包括，但不仅限于处理器801、存储器802、输入输出设备803。本领域技术人员可以理解，示意仅仅是处理设备的示例，并不构成对处理设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如处理设备还可以包括网络接入设备、总线等，处理器801、存储器802、输入输出设备803等通过总线相连。
处理器801可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是处理设备的控制中心，利用各种接口和线路连接整个设备的各个部分。
存储器802可用于存储计算机程序和/或模块，处理器801通过运行或执行存储在存储器802内的计算机程序和/或模块，以及调用存储在存储器802内的数据，实现计算机装置的各种功能。存储器802可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据处理设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器801用于执行存储器802中存储的计算机程序时，具体可实现以下功能：
获取通过无人机采集的包括光伏组件集合的初始图像I；
将初始图像I输入预先训练好的语义分割模型M语义分割，使得语义分割模型M语义分割对初始图像I进行语义分割，得到光伏组件预测掩膜
Figure BDA0003498510620000211
其中，光伏组件预测掩膜
Figure BDA0003498510620000212
用于指示初始图像I分割出的光伏组件集合所处区域；
将初始图像I中各像素点取值归一化至[0,255]，得到映射结果I′；
获取映射结果I′中光伏组件预测掩膜
Figure BDA0003498510620000213
所对应的区域内的像素值集合P′，记为
Figure BDA0003498510620000214
在映射结果I′的像素取值范围内遍历使方差g最大的阈值T，其中，阈值T为像素值集合P′中光伏组件间隔的分割阈值，方差g的计算公式为：
Figure BDA0003498510620000221
N0为像素值集合P′中取值低于阈值T的像素点个数，N1为像素值集合P′中取值高于阈值T的像素点个数，μ0为像素值集合P′中光伏组件像素点的平均取值，μ为像素值集合P′的平均值，N为像素值集合P′的像素点个数；
将阈值T应用于光伏组件预测掩膜
Figure BDA0003498510620000222
中，以完成不同光伏组件与不同光伏组件间隔之间的分割，得到光伏组件细粒度分割掩膜
Figure BDA0003498510620000223
其中，光伏组件细粒度分割掩膜
Figure BDA0003498510620000224
中每个独立联通域代表一个光伏组件实例个体。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的无人机视角光伏组件视觉检测装置、处理设备及其相应单元的具体工作过程，可以参考如图1对应实施例中无人机视角光伏组件视觉检测方法的说明，具体在此不再赘述。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请如图1对应实施例中无人机视角光伏组件视觉检测方法的步骤，具体操作可参考如图1对应实施例中无人机视角光伏组件视觉检测方法的说明，在此不再赘述。
其中，该计算机可读存储介质可以包括：只读存储器(Read Only Memory，ROM)、随机存取记忆体(Random Access Memory，RAM)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令，可以执行本申请如图1对应实施例中无人机视角光伏组件视觉检测方法的步骤，因此，可以实现本申请如图1对应实施例中无人机视角光伏组件视觉检测方法所能实现的有益效果，详见前面的说明，在此不再赘述。
以上对本申请提供的无人机视角光伏组件视觉检测方法、装置、处理设备以及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种无人机视角光伏组件视觉检测方法，其特征在于，所述方法包括：
获取通过无人机采集的包括光伏组件集合的初始图像I；
将所述初始图像I输入预先训练好的语义分割模型M语义分割，使得所述语义分割模型M语义分割对所述初始图像I进行语义分割，得到光伏组件预测掩膜
Figure FDA0003498510610000011
其中，所述光伏组件预测掩膜
Figure FDA0003498510610000012
用于指示所述初始图像I分割出的光伏组件集合所处区域；
将所述初始图像I中各像素点取值归一化至[0,255]，得到映射结果I′；
获取映射结果I′中所述光伏组件预测掩膜
Figure FDA0003498510610000013
所对应的区域内的像素值集合P′，记为
Figure FDA0003498510610000014
在所述映射结果I′的像素取值范围内遍历使方差g最大的阈值T，其中，所述阈值T为所述像素值集合P′中光伏组件间隔的分割阈值，所述方差g的计算公式为：
Figure FDA0003498510610000015
N0为所述像素值集合P′中取值低于所述阈值T的像素点个数，N1为所述像素值集合P′中取值高于所述阈值T的像素点个数，μ0为所述像素值集合P′中光伏组件像素点的平均取值，μ为所述像素值集合P′的平均值，N为所述像素值集合P′的像素点个数；
将所述阈值T应用于所述光伏组件预测掩膜
Figure FDA0003498510610000016
中，以完成不同光伏组件与不同光伏组件间隔之间的分割，得到光伏组件细粒度分割掩膜
Figure FDA0003498510610000017
其中，所述光伏组件细粒度分割掩膜
Figure FDA0003498510610000018
中每个独立联通域代表一个光伏组件实例个体。
2.根据权利要求1所述的方法，其特征在于，所述初始图像I具体包括HSV颜色空间下的图像，所述方法还包括：
在所述HSV颜色空间下的图像所对应的第一光伏组件细粒度分割掩膜
Figure FDA0003498510610000019
中，分析各个独立连通域内的像素点HSV色彩值pi是否满足下式：
(35,43,46)＜pi＜(77,255,255)；
若满足，则确定所述光伏组件集合存在树障遮挡。
3.根据权利要求1或2所述的方法，其特征在于，所述初始图像I具体包括红外图像IIR，所述方法还包括：
将所述红外图像IIR转入灰色色彩空间，给定热斑阈值TIR；
在所述红外图像IIR所对应的第二光伏组件细粒度分割掩膜
Figure FDA0003498510610000021
中，分析各个独立连通域内的像素点灰度色彩值pi是否满足下式：
pi＞TIR；
若满足，则确定所述光伏组件集合存在热斑问题。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
按照下式计算所述光伏组件细粒度分割掩膜
Figure FDA0003498510610000022
中各个独立连通域的几何点在像素坐标系下的坐标(x,y)：
Figure FDA0003498510610000023
其中，记所述光伏组件细粒度分割掩膜
Figure FDA0003498510610000024
中各个连通域的横轴坐标为
Figure FDA0003498510610000025
纵轴坐标为
Figure FDA0003498510610000026
分别获取所述初始图像I采集时的距地面高度H、GPS地理坐标(lon,lat)、无人机偏航角A以及相机FOV角度F；
确定所述光伏组件实例个体的中心点地理坐标Ci，其中，Ci＝(lon+sin A*tan F*H,lat+cos A*tan F*H)；
将中心点坐标Ci与所述中心点地理坐标Ci距离最近的台账中坐标所对应的光伏组件中心关联，并上传对应的树障检测结果以及热斑检测结果中的至少一种。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
根据更新的台账数据，配置光伏电站的运维策略。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取通过所述无人机采集的包括所述光伏组件集合的样本图像I；
基于标注了对应样本光伏组件掩膜M的样本图像I，训练初始模型，并将完成训练的模型作为所述语义分割模型M语义分割，其中，所述语义分割模型M语义分割使用Multi-Stage策略设计，模型三层结构分别为特征抽取重组层、非线性映射层及语义分割重组；
所述特征抽取重组层使用单层卷积结构，使用尺寸为f1×f1的卷积核W1，偏置项矢量为B1，其目的在于抽取输入图像中的特征，并将特征重组为特征矩阵，以用于非线性映射；
所述非线性映射层使用尺寸为f2×f2的卷积核W2，偏置项矢量为B2，用于将所述特征抽取重层的特征重映射为所述语义分割重组层的所需特征；
所述语义分割重组层使用尺寸为f3×f3的卷积核W3，偏置项矢量为B3，用于将重映射后的特征转换为语义分割预测矩阵，并使用softmax算法将语义分割预测矩阵转换为语义分割预测掩膜
Figure FDA0003498510610000031
7.根据权利要求1所述的方法，其特征在于，所述无人机的摄像装置具体包括可见光相机、红外传感器以及可见光双目深度相机中的至少一种。
8.一种无人机视角光伏组件视觉检测装置，其特征在于，所述装置包括：
获取单元，用于获取通过无人机采集的包括光伏组件集合的初始图像I；
语义分割单元，用于将所述初始图像I输入预先训练好的语义分割模型M语义分割，使得所述语义分割模型M语义分割对所述初始图像I进行语义分割，得到光伏组件预测掩膜
Figure FDA0003498510610000032
其中，所述光伏组件预测掩膜
Figure FDA0003498510610000033
用于指示所述初始图像I分割出的光伏组件集合所处区域；
归一化处理单元，用于将所述初始图像I中各像素点取值归一化至[0,255]，得到映射结果I′；
所述获取单元，还用于获取映射结果I′中所述光伏组件预测掩膜
Figure FDA0003498510610000034
所对应的区域内的像素值集合P′，记为
Figure FDA0003498510610000035
遍历单元，用于在所述映射结果I′的像素取值范围内遍历使方差g最大的阈值T，其中，所述阈值T为所述像素值集合P′中光伏组件间隔的分割阈值，所述方差g的计算公式为：
Figure FDA0003498510610000036
N0为所述像素值集合P′中取值低于所述阈值T的像素点个数，N1为所述像素值集合P′中取值高于所述阈值T的像素点个数，μ0为所述像素值集合P′中光伏组件像素点的平均取值，μ为所述像素值集合P′的平均值，N为所述像素值集合P′的像素点个数；
光伏组件分割单元，用于将所述阈值T应用于所述光伏组件预测掩膜
Figure FDA0003498510610000037
中，以完成不同光伏组件与不同光伏组件间隔之间的分割，得到光伏组件细粒度分割掩膜
Figure FDA0003498510610000038
其中，所述光伏组件细粒度分割掩膜
Figure FDA0003498510610000039
中每个独立联通域代表一个光伏组件实例个体。
9.一种处理设备，其特征在于，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至7任一项所述的方法。
CN202210121130.5A 2022-02-09 2022-02-09 一种无人机视角光伏组件视觉检测方法、装置及处理设备 Pending CN114463308A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210121130.5A CN114463308A (zh) 2022-02-09 2022-02-09 一种无人机视角光伏组件视觉检测方法、装置及处理设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210121130.5A CN114463308A (zh) 2022-02-09 2022-02-09 一种无人机视角光伏组件视觉检测方法、装置及处理设备

Publications (1)

Publication Number Publication Date
CN114463308A true CN114463308A (zh) 2022-05-10

Family

ID=81413946

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210121130.5A Pending CN114463308A (zh) 2022-02-09 2022-02-09 一种无人机视角光伏组件视觉检测方法、装置及处理设备

Country Status (1)

Country Link
CN (1) CN114463308A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114723184A (zh) * 2022-06-08 2022-07-08 广东数字生态科技有限责任公司 一种基于视觉感知的风力发电机测量方法、装置以及设备
CN115661466A (zh) * 2022-12-14 2023-01-31 尚特杰电力科技有限公司 一种基于深度学习图像分割的光伏板定位方法及装置
EP4290454A1 (fr) * 2022-06-10 2023-12-13 Commissariat à l'énergie atomique et aux énergies alternatives Procédé et dispositif de segmentation d 'au moins une image couleur source représentative d'une centrale photovoltaïque

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114723184A (zh) * 2022-06-08 2022-07-08 广东数字生态科技有限责任公司 一种基于视觉感知的风力发电机测量方法、装置以及设备
CN114723184B (zh) * 2022-06-08 2022-10-11 广东数字生态科技有限责任公司 一种基于视觉感知的风力发电机测量方法、装置以及设备
EP4290454A1 (fr) * 2022-06-10 2023-12-13 Commissariat à l'énergie atomique et aux énergies alternatives Procédé et dispositif de segmentation d 'au moins une image couleur source représentative d'une centrale photovoltaïque
FR3136576A1 (fr) * 2022-06-10 2023-12-15 Commissariat à l'énergie atomique et aux énergies alternatives Procédé et dispositif de segmentation d’au moins une image couleur source représentative d’une centrale photovoltaïque
CN115661466A (zh) * 2022-12-14 2023-01-31 尚特杰电力科技有限公司 一种基于深度学习图像分割的光伏板定位方法及装置

Similar Documents

Publication Publication Date Title
CA2994508C (en) Vegetation management for power line corridor monitoring using computer vision
CN114463308A (zh) 一种无人机视角光伏组件视觉检测方法、装置及处理设备
CA2994511C (en) Condition detection using image processing
Bang et al. Image augmentation to improve construction resource detection using generative adversarial networks, cut-and-paste, and image transformation techniques
US20140212055A1 (en) Automated Mapping of Land Cover Using Sequences of Aerial Imagery
CN113761999B (zh) 一种目标检测方法、装置、电子设备和存储介质
CN113537180B (zh) 树障的识别方法、装置、计算机设备和存储介质
Yang et al. Intelligent video analysis: A Pedestrian trajectory extraction method for the whole indoor space without blind areas
Axelsson et al. Roof type classification using deep convolutional neural networks on low resolution photogrammetric point clouds from aerial imagery
Petso et al. Automatic animal identification from drone camera based on point pattern analysis of herd behaviour
CN114519819B (zh) 一种基于全局上下文感知的遥感图像目标检测方法
CN103970901A (zh) 一种地理信息图形数据整合方法
JP2021179839A (ja) 地物の分類システム、分類方法及びそのプログラム
CN114880730A (zh) 确定目标设备的方法、装置及光伏系统
CN111125290A (zh) 一种基于河长制的智能巡河方法、装置及存储介质
Oliveira et al. Detecting tree and wire entanglements with deep learning
Li et al. Low-cost 3D building modeling via image processing
CN112488076A (zh) 一种人脸图像采集方法、系统以及设备
Mou et al. A novel efficient wildlife detecting method with lightweight deployment on UAVs based on YOLOv7
Fawad et al. Impact of Machine Learning Techniques for Lulc Classification of Peshawar Pakistan
Tutzauer et al. Processing of crawled urban imagery for building use classification
CN113743410B (zh) 图像处理方法、装置和计算机可读存储介质
JP2024058712A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
Huang et al. A knowledge representation architecture for remote sensing image understanding systems
CN117131663A (zh) 基于倾斜摄影的自动驾驶仿真场景生成方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination