CN116385421A - 光伏面板检测方法、无人机和计算机可读存储介质 - Google Patents

光伏面板检测方法、无人机和计算机可读存储介质 Download PDF

Info

Publication number
CN116385421A
CN116385421A CN202310406721.1A CN202310406721A CN116385421A CN 116385421 A CN116385421 A CN 116385421A CN 202310406721 A CN202310406721 A CN 202310406721A CN 116385421 A CN116385421 A CN 116385421A
Authority
CN
China
Prior art keywords
image
photovoltaic panel
visible light
detection
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310406721.1A
Other languages
English (en)
Inventor
李嘉琪
岳清瑞
张素梅
金楠
杨新聪
施钟淇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Urban Safety Development Science And Technology Research Institute Shenzhen
Shenzhen Graduate School Harbin Institute of Technology
Shenzhen Technology Institute of Urban Public Safety Co Ltd
Original Assignee
Urban Safety Development Science And Technology Research Institute Shenzhen
Shenzhen Graduate School Harbin Institute of Technology
Shenzhen Technology Institute of Urban Public Safety Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Urban Safety Development Science And Technology Research Institute Shenzhen, Shenzhen Graduate School Harbin Institute of Technology, Shenzhen Technology Institute of Urban Public Safety Co Ltd filed Critical Urban Safety Development Science And Technology Research Institute Shenzhen
Priority to CN202310406721.1A priority Critical patent/CN116385421A/zh
Publication of CN116385421A publication Critical patent/CN116385421A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/50—Photovoltaic [PV] energy

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种光伏面板检测方法、无人机和计算机可读存储介质，其中，所述一种光伏面板检测方法包括：获取无人机采集的时序多模态图像，并基于所述时序多模态图像获取待检测的光伏面板对应的可见光图像和红外图像；提取所述可见光图像和所述红外图像的共同特征，并基于所述共同特征生成所述可见光图像和所述红外图像对应的融合图像；基于光伏面板特征对所述融合图像进行语义分割，并确定所述融合图像中异常所处的分割区域及缺陷类型；根据所述分割区域确定异常位置，并基于所述缺陷类型及所述异常位置输出光伏面板检测结果。通过无人机巡检，实现对光伏面板缺陷及异常的自动识别及定位，提升对大体量光伏面板异常检测的效率。

Description

光伏面板检测方法、无人机和计算机可读存储介质
技术领域
本申请涉及光伏发电技术领域，尤其涉及一种光伏面板检测方法、无人机和计算机可读存储介质。
背景技术
在新能源领域中，光伏发电技术因其储能充裕、耗能清洁、技术成熟等优点广受人们的青睐。然而，光伏面板在使用过程中，会由于外界环境、工艺缺陷或者生产环境的影响、使用年限等因素造成不同程度的损坏，同时光伏面板的局部损坏或异常又可能导致与其并联发电面板电池组的损坏，使得光伏能源利用率降低。因此，为了最大化光伏面板发电效率及使用寿命，对光伏面板进行定期巡检意义重大，通过巡检可及时发现异常，并进行修复或替换。
在相关技术中，通过人工进行光伏面板的巡检，根据光伏面板的发电效率判断光伏面板是否异常，在判断光伏面板出现异常后仍需要在一定范围内再次对光伏面板进行损伤定位，然而部分安装位置的光伏面板因所处位置特殊导致难以开展人工巡检，增加人工巡检负担，从而降低检测效率。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本申请实施例通过提供一种光伏面板检测方法、设备和计算机可读存储介质，旨在解决光伏面板检测效率低的技术问题。
为实现上述目的，本发明实施例提供一种光伏面板检测方法，所述光伏面板检测方法包括以下：
获取无人机采集的时序多模态图像，并基于所述时序多模态图像获取待检测的光伏面板对应的可见光图像和红外图像；
提取所述可见光图像和所述红外图像的共同特征，并基于所述共同特征生成所述可见光图像和所述红外图像对应的融合图像；
基于光伏面板特征对所述融合图像进行语义分割，并确定所述融合图像中异常所处的分割区域及缺陷类型；
根据所述分割区域确定异常位置，并基于所述缺陷类型及所述异常位置输出光伏面板检测结果。
可选地，所述提取所述可见光图像和所述红外图像的共同特征，并基于所述共同特征生成所述可见光图像和所述红外图像对应的融合图像的步骤，包括：
对所述可见光图像和所述红外图像进行卷积和下采样操作，提取多个不同尺度的所述可见光图像和所述红外图像的共同特征；
基于跳层连接方式，拼接所述可见光图像和所述红外图像在同一尺度上的共同特征，并进行转置卷积和上采样操作，确定所述可见光图像和所述红外图像对应的融合图像。
可选地，所述基于光伏面板特征对所述融合图像进行语义分割，并确定所述融合图像中异常所处的分割区域及缺陷类型的步骤，包括：
将所述融合图像输入改进的缺陷检测模型，基于注意力机制，增大所述融合图像中检测目标的权重值；
基于所述光伏面板特征和所述改进的缺陷检测模型，对所述融合图像进行语义分割，得到多个所述分割区域；
确定多个所述分割区域是否存在异常；
在确定存在异常时，标注所述异常所处的分割区域，并输出所述检测结果。
可选地，所述基于光伏面板特征对所述融合图像进行语义分割，并确定所述融合图像中异常所处的分割区域及缺陷类型的步骤，包括：
获取所述分割区域对应的区域图像；
将所述区域图像与存储的历史图像进行匹配，确定缺陷类型，其中，所述缺陷类型包括异物遮挡类型、外观损坏类型以及功能缺陷类型。
可选地，所述获取无人机采集的时序多模态图像，并基于所述时序多模态图像获取待检测光伏面板对应的可见光图像和红外图像的步骤之前，包括：
获取待检测的光伏面板的分布位置；
根据待检测的光伏面板的分布位置确定无人机的巡检航线和拍摄方向角；
控制所述无人机按照所述巡检航线航行，并根据所述拍摄方向角采集所述时序多模态图像。
可选地，所述根据所述分割区域确定异常位置，并基于所述缺陷类型及所述异常位置输出光伏面板检测结果的步骤，包括：
获取无人机采集的所述时序多模态图像时所处的位置以及拍摄方向角；
根据所述位置和所述拍摄方向角确定所述异常所处的分布区域；
获取所述异常对应的光伏面板的标识；
根据所述标识和所述分布区域确定所述异常位置。
可选地，所述方法还包括：
确定所述异常对应的缺陷类型；
根据所述缺陷类型更新数据库对应的所述异常的数量，以在客户端显示。
可选地，所述基于光伏面板特征对所述融合图像进行语义分割，并确定所述融合图像中异常所处的分割区域及缺陷类型的步骤之前，包括：
确定所述改进的缺陷检测模型的初始权重和损失函数；
获取具有所述光伏面板特征的检测数据集，将所述检测数据集输入所述改进的缺陷检测模型，确定检测结果与预期结果之间的误差值；
根据所述误差值更新所述改进的缺陷检测模型的模型参数。
此外，本发明为实现上述目的，本发明还提供一种无人机，其特征在于，所述无人机包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的光伏面板检测程序，所述光伏面板检测程序被所述处理器执行时实现如上所述的光伏面板检测方法的步骤。
此外，本发明为实现上述目的，本发明还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有光伏面板检测程序，所述光伏面板检测程序被处理器执行时实现如上所述的光伏面板检测方法的步骤。
本发明一实施例提出的一种光伏面板检测方法，设备和计算机可读存储介质，通过获取无人机采集的时序多模态图像，并基于时序多模态图像获取待检测的光伏面板对应的可见光图像和红外图像，然后提取可见光图像和红外图像的共同特征，并基于共同特征生成可见光图像和红外图像对应的融合图像，然后再对融合图像进行异常识别，在识别出异常后，基于光伏面板特征对融合图像进行语义分割，并确定融合图像中异常所处的分割区域，根据分割区域确定异常位置，并基于异常位置输出光伏面板检测结果。通过无人机自动巡检，实时对采集的时序多模态图像进行分析处理，实现对光伏面板缺陷及异常的自动识别和定位，并给出缺陷类型的预测，极大的减轻了人工负担，并提升对大体量光伏面板的检测效率。
附图说明
图1为本发明光伏面板检测方法的一实施例的流程示意图；
图2为本发明光伏面板检测方法的第二实施例中步骤S20的细化流程示意图；
图3为本发明光伏面板检测方法涉及的可见光图像和红外图像特征提取和融合的流程示意图；
图4为本发明光伏面板检测方法的第三实施例中步骤S30的细化流程示意图；
图5为本发明光伏面板检测方法的第四实施例中步骤S40的另一细化流程示意图；
图6是本发明实施例方案涉及的硬件运行环境的终端结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
由于在相关技术中，通过人工进行光伏面板的巡检，根据光伏面板的发电效率判断光伏面板是否异常，在判断光伏面板出现异常后仍需要在一定范围内再次对光伏面板进行损伤定位，然而部分安装位置的光伏面板因所处位置特殊导致难以开展人工巡检，增加人工巡检负担，从而降低检测效率。
为解决相关技术中的上述缺陷，本发明提出一种光伏面板检测方法，其主要解决步骤包括以下：
首先通过获取无人机采集的时序多模态图像，并基于时序多模态图像获取待检测的光伏面板对应的可见光图像和红外图像，然后提取可见光图像和红外图像的共同特征，并基于共同特征生成可见光图像和红外图像对应的融合图像，然后再对融合图像进行异常识别，在识别出异常后，基于光伏面板特征对融合图像进行语义分割，并确定融合图像中异常所处的分割区域及缺陷类型，根据分割区域确定异常位置，并基于异常位置及缺陷类型输出光伏面板检测结果。通过无人机自动巡检，并实时对采集的时序多模态图像进行分析处理，实现对光伏面板缺陷及异常的自动识别和定位，并给缺陷类型的预测，无需工作人员到达现场逐个对光伏面板进行人工检测，减轻人工负担，提高光伏面板的检测效率。融合可见光图像和红外图像的共同特征，使得融合图像具有更多的语义信息和位置信息，提高光伏面板检测的准确率。
为了更好地理解上述技术方案，下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整地传达给本领域的技术人员。
参照图1，在本发明光伏面板检测方法的一实施例中，所述一种光伏面板检测方法包括以下步骤：
步骤S10：获取无人机采集的时序多模态图像，并基于所述时序多模态图像获取待检测的光伏面板对应的可见光图像和红外图像；
在本实施例中，本发明采用无人机自主巡航方式实现对光伏面板的检测，能够提高检测效率。无人机设置有可见光和红外光设备，分别用于采集可见光时序多模态图像和红外时序多模态图像。在同一时刻，红外设备和可见光设备拍摄的方向角一致。无人机在巡检时，按照预设的方向角移动红外设备和可见光设备，然后同时采集时序多模态图像，采集完毕后，分别获取同一时间内的可见光时序多模态图像和红外时序多模态图像，基于可见光时序模态图像获取可见光图像，红外时序多模态图像获取红外图像，以使获取的可见光图像和红外图像本质上为同一画面，实现可见光图像和红外图像的同步提取。
可选地，在一些实施方式中，可见光设备和红外设备采集的时序多模态图像带有时间戳信息，在采集到时序多模态图像后，通过时间戳实现时序多模态图像的时间同步。
可选地，在获取无人机采集的时序多模态图像，并基于所述时序多模态图像获取待检测光伏面板对应的可见光图像和红外图像的步骤之前，包括：获取待检测的光伏面板的分布位置，根据待检测的光伏面板的分布位置确定无人机的巡检航线和拍摄方向角，控制所述无人机按照所述巡检航线航行，并根据所述拍摄方向角采集所述时序多模态图像。
在本实施例中，由于光伏发电厂通常配置有大批量的光伏面板，因此在控制无人机对光伏面板进行检测前，通过获取所有光伏面板的分布位置，可根据光伏面板的分布位置划分为不同的分布区域，根据分布区域确定无人机的巡检航线以及拍摄方向角，致使无人机在巡检时，能够采集到所有光伏面板的时序多模态图像，实现光伏面板的全面检测，避免存在光伏面板采集不完全的情况，产生误检，影响检测结果的准确率。
进一步的，可以根据每个分布区域确定对应的巡检航线和拍摄方向角，然后根据各个分布区域所在的位置确定各个巡检航线的巡检顺序，控制无人机按照巡检航线的顺序进行巡检，提高巡检速度。
步骤S20：提取所述可见光图像和所述红外图像的共同特征，并基于所述共同特征生成所述可见光图像和所述红外图像对应的融合图像；
在本实施例中，可见光图像具有高空间分辨率和清晰度的纹理细节，能够准确的检测出光伏面板的异常情况，但是检测结果很容易受到外界恶劣条件的影响，例如恶劣的照明，雾气和恶劣天气等。红外图像可以根据辐射差异将检测目标与背景区分开来，能够抵抗外界环境影响，但是其容易受到光照时间、气候温度、辐射射线等的影响，导致光伏面板表面温度升高，从而影响检测结果。并且由于红外图像的分辨率低，不能识别出缺陷是由于光伏面板内部损坏导致还是由于外部异物遮挡导致。因此，本发明在获取可见光图像和红外图像后，通过对其进行图像融合处理，得到融合图像，然后再基于融合图像进行异常检测。得到的融合图像结合了红外图像中的热辐射信息和可见光图像中的详细纹理信息，能够获得更加准确的和详细的场景信息，且不受外界恶劣条件的影响，从而提高检测结果的准确率。需要说明的是，基于融合图像的检测，能够检测出光伏面板的多种缺陷类型，缺陷类型包括：异物遮挡类型(灰尘、异物)、外观损坏类型(缺角、裂纹等)以及功能缺陷类型(热斑、黑团等)。
步骤S30：基于光伏面板特征对所述融合图像进行语义分割，并确定所述融合图像中异常所处的分割区域及缺陷类型；
步骤S40：根据所述分割区域确定异常位置，并基于所述缺陷类型及所述异常位置输出光伏面板的检测结果。
在本实施例中，通过提取可见光图像和红外图像的共同特征生成融合图像后，需要基于光伏面板特征对融合图像进行异常识别，在识别出存在异常时，通过确定异常的所处的分割区域，根据分割区域确定异常的异常位置及缺陷类型输出光伏面板检测结果。可以理解的是，检测结果包括但不限于：检测图像、缺陷类型和异常位置。
在本实施例提供的技术方案中，通过获取无人机采集的时序多模态图像，并基于时序多模态图像获取待检测的光伏面板对应的可见光图像和红外图像，然后提取可见光图像和红外图像的共同特征，并基于共同特征生成可见光图像和红外图像对应的融合图像，然后再对融合图像进行异常识别，在识别出异常后，基于光伏面板特征对融合图像进行语义分割，并确定融合图像中异常所处的分割区域及缺陷类型，根据分割区域确定异常位置，并基于缺陷类型及异常位置输出光伏面板检测结果。通过无人机自动巡检，并实时对采集的时序多模态图像进行分析处理，实现对光伏面板的检测，无需工作人员到达现场逐个对光伏面板进行人工检测，提高光伏面板的检测效率。融合可见光图像和红外图像的共同特征，使得融合图像具有更多的语义信息和位置信息，提高光伏面板检测的准确率。
参照图2，在第二实施例中，基于第一实施例，所述步骤S20：包括：
步骤S21：对所述可见光图像和所述红外图像进行卷积和下采样操作，提取多个不同尺度的所述可见光图像和所述红外图像的共同特征；
在本实施例中，通过对可见光图像和红外图像进行卷积操作，实现共同特征的提取，每次卷积操作后通过对提取的特征进行最大池化处理，实现下采样操作。可以理解的是，通过预设层数的下采样操作能够提取出多个不同尺度的共同特征，保留图像中每个区域最重要的信息，并且丢弃不重要的信息。需要说明的是，这里的”重要“是指，能最好描述图片内容的信息。
步骤S22：基于跳层连接方式，拼接所述可见光图像和所述红外图像在同一尺度上的共同特征，并进行转置卷积和上采样操作，确定所述可见光图像和所述红外图像对应的融合图像。
在本实施例中，在提取到多个不同尺度的所述可见光图像和红外图像的共同特征后，基于跳层连接方式，将可见光图像和红外图像中同一尺度的共同特征进行拼接，然后进行转置卷积和上采样操作，得到初始融合图像特征。然后再基于跳层连接方式，将与初始融合图像特征同一尺度的共同特征与初始融合图像特征进行拼接，继续执行转置卷积和上采样操作，在经过预设层数的上采样操作后，最终得到融合图像。
可选地，参照图3，本发明采用Unet网络提取可见光图像和红外热图像的共同特征，确定可见光图像和红外热图像对应的融合图像。融合图像结合了红外图像中的热辐射信息和可见光图像中的详细纹理信息，能够获得更加准确的和详细的场景信息，且不受外界恶劣条件的影响，提高检测结果的准确率。
在本实施例提供的技术方案中，通过对可见光图像和所述红外图像进行卷积和下采样操作，进行预设层数的下采样操作，提取多个不同尺度的可见光图像和红外图像的共同特征。然后基于跳层连接方式，拼接可见光图像和红外图像在同一尺度上的共同特征，并进行转置卷积和上采样操作得到初始融合图像特征，然后基于跳层连接方式，将与初始融合图像特征在同一尺度的共同特征与初始融合图像特征进行拼接，继续执行转置卷积和上采样操作，在经过预设层数的上采样操作后，最终得到可见光图像和红外图像对应的融合图像。通过跳层连接方式拼接可见光图像和红外图像的共同特征，且每次上采样操作后都再次将同一尺度上的共同特征进行拼接，保留图像中每个区域最重要的信息，并且丢弃不重要的信息，在后续进行检测时，能够提高检测的准确率。
参照图4，在第三实施例中，基于上述任一实施例，所述步骤S30，包括：
步骤S31：将所述融合图像输入改进的缺陷检测模型，基于注意力机制，增大所述融合图像中检测目标的权重值；
在本实施例中，通过改进的缺陷检测模型对融合图像进行异常识别。需要说明的是，本发明的缺陷检测模型可以是Unet网络模型，通过在Unet网络模型添加注意力机制，增大融合图像中检测目标的权重值，避免在识别过程中，由于缺少检测目标的边缘和轮廓信息，导致检测不全面，得到错误的检测结果。
可选地，在对融合图像进行语义分割前，通过对改进的缺陷检测模型进行训练。通过确定改进的缺陷检测模型的初始权重和损失函数，获取具有光伏面板特征的检测数据集，将检测数据集输入改进的缺陷检测模型，确定检测结果与预期结果之间的误差值，然后根据误差值更新改进的缺陷检测模型的模型参数。
步骤S32：基于所述光伏面板特征和所述改进的缺陷检测模型，对所述融合图像进行语义分割，得到多个所述分割区域；
步骤S33：确定多个所述分割区域是否存在异常；
步骤S34：在确定存在异常时，标注所述异常所处的分割区域，并输出所述检测结果。
在本实施例中，基于改进的Unet网络基于注意力机制增强融合图像中的检测目标的权重值，再将融合图像输入预测网络，进行异常识别。
进一步的，将融合图像输入改进的Unet网络，Unet网络基于光伏面板特征，对融合图像中的光伏面板进行分割，得到多个分割区域，每个分割区域具有对应的标识。然后通过将分割区域输入预测网络中，确定分割区域是否存在异常，在确定存在异常时，在检测图像中标注出异常所处的分割区域，并输出对应的检测结果，发送至客户端，以使客户端工作人员及时获知异常情况。需要说明的是，检测结果可以以检测报告的形式进行输出。可以理解的是，本发明的光伏面板的检测方法可检测出多种缺陷类型，因此，输出的检测报告中显示缺陷类型。需要说明的是，该检测图像可以是融合图像，也可以是红外图像，或者其它图像，本实施例对此不做具体限定。
在本实施例提供的技术方案中，通过将融合图像输入改进的缺陷检测模型，基于注意力机制，增大融合图像中检测目标的权重值，然后基于光伏面板特征和改进的缺陷检测模型，对融合图像进行语义分割，得到多个分割区域，然后分别确定分割区域是否存在异常，在确定存在异常时，标注异常所处的分割区域，并输出检测结果，发送至客户端，以使客户端工作人员及时获知异常情况。通过融合图像进行语义分割，对光伏面板异常进行检测识别，可有效检测出多种缺陷类型，提高检测的准确率以及检测效率。
参照图5，在第四实施例中，基于上述任一实施例，步骤S40包括：
步骤S41：获取无人机采集的所述时序多模态图像时所处的位置以及拍摄方向角；
在本实施例中，无人机安装有定位装置，定位装置可以是激光雷达传感器，本实施例对此不做具体限定。在确定存在异常后，需要确定异常的位置，便于客户端人员准确获知异常的位置，及时前往该位置进行处理。
步骤S42：根据所述位置和所述拍摄方向角确定所述异常所处的分布区域；
步骤S43：获取所述异常对应的光伏面板的标识；
步骤S44：根据所述标识和所述分布区域确定所述异常位置。
在本实施例中，各个分布区域内的光伏面板设置有对应的唯一标识。在通过改进的缺陷检测模型得到标注异常所处的分布区域的检测图像后，进一步根据无人机采集时序多模态图像时所处的位置以及拍摄方向角，确定异常所处的分布区域，然后获取异常对应的光伏面板的标识，从而根据该标识和分布区域能够准确的确定出异常位置。在确定异常位置后，根据异常位置输出检测结果，并发送至客户端。
可选地，所述基于光伏面板特征对所述融合图像进行语义分割，并确定所述融合图像中异常所处的分割区域及缺陷类型的步骤之后，包括：根据所述检测结果输出对应的检测报告。
可选地，所述基于光伏面板特征对所述融合图像进行语义分割，并确定所述融合图像中异常所处的分割区域和缺陷类型的步骤，包括：获取分割区域对应的区域图像，通过将区域图像与存储的历史图像进行匹配，确定缺陷类型，缺陷类型包括异物遮挡类型、外观损坏类型以及功能缺陷类型，在确定缺陷类型后，根据缺陷类型和异常位置输出对应的检测结果。可以理解的是，检测结果包括但不限于：检测图像、缺陷类型和异常位置。
在本实施例中，存储的历史图像为各种缺陷类型对应的图像，通过图像匹配方式能够确定异常对应的类型。需要说明的是，检测报告中显示标注了异常对应的分割区域的检测图像，并在预设位置显示检测图像中的缺陷类型，以及异常名称和异常位置。例如，缺陷类型：功能缺陷类型；异常名称：黑团；异常位置：第二分布区域8号光伏面板。
可以理解的是，在确定缺陷类型后，根据缺陷类型更新数据库对应的异常的数量，并通过图表进行展示，可有助于分析光伏面板的整体损坏情况，制定合理的解决方案。
可选地，在另一实施方式中，通过获取无人机的位姿信息和航测信息，然后基于无人机的位姿信息和航测信息，采用多传感器融合算法解算出异常光伏位置信息。可以理解的是，航测信息指的是无人机的巡检航线相关的信息。
在本实施例提供的技术方案中，通过获取无人机采集的时序多模态图像时所处的位置以及拍摄方向角，根据位置和拍摄方向角确定异常所处的分布区域，然后获取异常对应的光伏面板的标识，根据标识和分布区域确定异常位置，从而根据异常位置输出检测结果，进一步的根据检测结果输出对应的检测报告，发送至客户端进行显示，检测报告包括但不限于检测图像、缺陷类型和异常位置。通过以检测报告的形式展示检测结果，降低对技术人员的专业要求。并通过统计各种缺陷类型的数量，以图表方式进行展示，有助于了解光伏面板的整体损坏情况。
参照图6，图6为本发明实施例方案涉及的硬件运行环境的终端结构示意图。
本发明实施例终端可以是无人机。
如图6所示，该终端可以包括：处理器1001，例如CPU，网络接口1003，存储器1004，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。存储器1004可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1004可选的还可以是独立于前述处理器1001的存储设备。
本领域技术人员可以理解，图6中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图6所示，作为一种计算机存储介质的存储器1004中可以包括操作系统、网络通信模块、用户接口模块以及光伏面板检测程序。
在图6所示的终端中，网络接口1003主要用于连接后台服务器，与后台服务器进行数据通信；处理器1001可以用于调用存储器1004中存储的光伏面板检测程序，并执行以下操作：
获取无人机采集的时序多模态图像，并基于所述时序多模态图像获取待检测的光伏面板对应的可见光图像和红外图像；
提取所述可见光图像和所述红外图像的共同特征，并基于所述共同特征生成所述可见光图像和所述红外图像对应的融合图像；
基于光伏面板特征对所述融合图像进行语义分割，并确定所述融合图像中异常所处的分割区域及缺陷类型；
根据所述分割区域确定异常位置，并基于所述缺陷类型及所述异常位置输出光伏面板检测结果。
进一步地，处理器1001可以调用存储器1004中存储的光伏面板检测程序，还执行以下操作：
对所述可见光图像和所述红外图像进行卷积和下采样操作，提取多个不同尺度的所述可见光图像和所述红外图像的共同特征；
基于跳层连接方式，拼接所述可见光图像和所述红外图像在同一尺度上的共同特征，并进行转置卷积和上采样操作，确定所述可见光图像和所述红外图像对应的融合图像。
进一步地，处理器1001可以调用存储器1004中存储的光伏面板检测程序，还执行以下操作：
将所述融合图像输入改进的缺陷检测模型，基于注意力机制，增大所述融合图像中检测目标的权重值；
基于所述光伏面板特征和所述改进的缺陷检测模型，对所述融合图像进行语义分割，得到多个所述分割区域；
确定多个所述分割区域是否存在异常；
在确定存在异常时，标注所述异常所处的分割区域，并输出所述检测结果。
进一步地，处理器1001可以调用存储器1004中存储的光伏面板检测程序，还执行以下操作：
获取所述分割区域对应的区域图像；
将所述区域图像与存储的历史图像进行匹配，确定缺陷类型，其中，所述缺陷类型包括异物遮挡类型、外观损坏类型以及功能缺陷类型。
进一步地，处理器1001可以调用存储器1004中存储的光伏面板检测程序，还执行以下操作：
获取待检测的光伏面板的分布位置；
根据待检测的光伏面板的分布位置确定无人机的巡检航线和拍摄方向角；
控制所述无人机按照所述巡检航线航行，并根据所述拍摄方向角采集所述时序多模态图像。
进一步地，处理器1001可以调用存储器1004中存储的光伏面板检测程序，还执行以下操作：
获取无人机采集的所述时序多模态图像时所处的位置以及拍摄方向角；
根据所述位置和所述拍摄方向角确定所述异常所处的分布区域；
获取所述异常对应的光伏面板的标识；
根据所述标识和所述分布区域确定所述异常位置。
进一步地，处理器1001可以调用存储器1004中存储的光伏面板检测程序，还执行以下操作：
确定所述异常对应的缺陷类型；
根据所述缺陷类型更新数据库对应的所述异常的数量，以在客户端显示。
确定所述改进的缺陷检测模型的初始权重和损失函数；
获取具有所述光伏面板特征的检测数据集，将所述检测数据集输入所述改进的缺陷检测模型，确定检测结果与预期结果之间的误差值；
根据所述误差值更新所述改进的缺陷检测模型的模型参数。
此外，本发明为实现上述目的，本发明还提供一种无人机，其特征在于，所述无人机包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的光伏面板检测程序，所述光伏面板检测程序被所述处理器执行时实现如上所述的光伏面板检测方法的步骤。
此外，本发明为实现上述目的，本发明还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有光伏面板检测程序，所述光伏面板检测程序被处理器执行时实现如上所述的光伏面板检测方法的步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM.磁碟.光盘)中，包括若干指令用以使得一台终端设备(无人机)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种光伏面板检测方法，其特征在于，所述光伏面板检测方法包括：
获取无人机采集的时序多模态图像，并基于所述时序多模态图像获取待检测的光伏面板对应的可见光图像和红外图像；
提取所述可见光图像和所述红外图像的共同特征，并基于所述共同特征生成所述可见光图像和所述红外图像对应的融合图像；
基于光伏面板特征对所述融合图像进行语义分割，并确定所述融合图像中异常所处的分割区域及缺陷类型；
根据所述分割区域确定异常位置，并基于所述缺陷类型及所述异常位置输出光伏面板检测结果。
2.如权利要求1所述的光伏面板检测方法，其特征在于，所述提取所述可见光图像和所述红外图像的共同特征，并基于所述共同特征生成所述可见光图像和所述红外图像对应的融合图像的步骤，包括：
对所述可见光图像和所述红外图像进行卷积和下采样操作，提取多个不同尺度的所述可见光图像和所述红外图像的共同特征；
基于跳层连接方式，拼接所述可见光图像和所述红外图像在同一尺度上的共同特征，并进行转置卷积和上采样操作，确定所述可见光图像和所述红外图像对应的融合图像。
3.如权利要求2所述的光伏面板检测方法，其特征在于，所述基于光伏面板特征对所述融合图像进行语义分割，并确定所述融合图像中异常所处的分割区域及缺陷类型的步骤，包括：
将所述融合图像输入改进的缺陷检测模型，基于注意力机制，增大所述融合图像中检测目标的权重值；
基于所述光伏面板特征和所述改进的缺陷检测模型，对所述融合图像进行语义分割，得到多个所述分割区域；
确定多个所述分割区域是否存在异常；
在确定存在异常时，标注所述异常所处的分割区域，并输出所述检测结果。
4.如权利要求1所述的光伏面板检测方法，其特征在于，所述基于光伏面板特征对所述融合图像进行语义分割，并确定所述融合图像中异常所处的分割区域及缺陷类型的步骤，包括：
获取所述分割区域对应的区域图像；
将所述区域图像与存储的历史图像进行匹配，确定缺陷类型，其中，所述缺陷类型包括异物遮挡类型、外观损坏类型以及功能缺陷类型。
5.如权利要求1所述的光伏面板检测方法，其特征在于，所述获取无人机采集的时序多模态图像，并基于所述时序多模态图像获取待检测光伏面板对应的可见光图像和红外图像的步骤之前，包括：
获取待检测的光伏面板的分布位置；
根据待检测的光伏面板的分布位置确定无人机的巡检航线和拍摄方向角；
控制所述无人机按照所述巡检航线航行，并根据所述拍摄方向角采集所述时序多模态图像。
6.如权利要求1所述的光伏面板检测方法，其特征在于，所述根据所述分割区域确定异常位置，并基于所述缺陷类型及所述异常位置输出光伏面板检测结果的步骤，包括：
获取无人机采集的所述时序多模态图像时所处的位置以及拍摄方向角；
根据所述位置和所述拍摄方向角确定所述异常所处的分布区域；
获取所述异常对应的光伏面板的标识；
根据所述标识和所述分布区域确定所述异常位置。
7.如权利要求1所述的光伏面板检测方法，其特征在于，所述方法还包括：
确定所述异常对应的缺陷类型；
根据所述缺陷类型更新数据库对应的所述异常的数量，以在客户端显示。
8.如权利要求1所述的光伏面板检测方法，其特征在于，所述基于光伏面板特征对所述融合图像进行语义分割，并确定所述融合图像中异常所处的分割区域的步骤之前，包括：
确定所述改进的缺陷检测模型的初始权重和损失函数；
获取具有所述光伏面板特征的检测数据集，将所述检测数据集输入所述改进的缺陷检测模型，确定检测结果与预期结果之间的误差值；
根据所述误差值更新所述改进的缺陷检测模型的模型参数。
9.一种无人机，其特征在于，所述无人机包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的光伏面板检测程序，所述光伏面板检测程序被所述处理器执行时实现如权利要求1至8中任一项所述的光伏面板检测方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有光伏面板检测程序，所述光伏面板检测程序被处理器执行时实现如权利要求1至8中任一项所述的光伏面板检测方法的步骤。
CN202310406721.1A 2023-04-07 2023-04-07 光伏面板检测方法、无人机和计算机可读存储介质 Pending CN116385421A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310406721.1A CN116385421A (zh) 2023-04-07 2023-04-07 光伏面板检测方法、无人机和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310406721.1A CN116385421A (zh) 2023-04-07 2023-04-07 光伏面板检测方法、无人机和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN116385421A true CN116385421A (zh) 2023-07-04

Family

ID=86978660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310406721.1A Pending CN116385421A (zh) 2023-04-07 2023-04-07 光伏面板检测方法、无人机和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN116385421A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117173601A (zh) * 2023-11-03 2023-12-05 中铁建设集团有限公司 光伏电站阵列热斑识别方法和系统
CN117315350A (zh) * 2023-09-26 2023-12-29 金开智维(宁夏)科技有限公司 基于无人机的光伏太阳能板的热斑检测方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315350A (zh) * 2023-09-26 2023-12-29 金开智维(宁夏)科技有限公司 基于无人机的光伏太阳能板的热斑检测方法及装置
CN117315350B (zh) * 2023-09-26 2024-05-07 金开智维(宁夏)科技有限公司 基于无人机的光伏太阳能板的热斑检测方法及装置
CN117173601A (zh) * 2023-11-03 2023-12-05 中铁建设集团有限公司 光伏电站阵列热斑识别方法和系统
CN117173601B (zh) * 2023-11-03 2024-03-01 中铁建设集团有限公司 光伏电站阵列热斑识别方法和系统

Similar Documents

Publication Publication Date Title
CN108037133B (zh) 一种基于无人机巡检图像的电力设备缺陷智能识别方法及其系统
CN116385421A (zh) 光伏面板检测方法、无人机和计算机可读存储介质
US11361417B2 (en) Aircraft-utilizing deterioration diagnosis system
CN107808133B (zh) 基于无人机巡线的油气管道安全监测方法、系统及软件存储器
CN111861978A (zh) 基于Faster R-CNN的桥梁裂缝实例分割方法
CN110264444B (zh) 基于弱分割的损伤检测方法及装置
CN110910350B (zh) 一种用于风电塔筒的螺母松动检测方法
CN103247039B (zh) 一种基于复合视觉的高压线缆带电检测方法
CN112528979B (zh) 变电站巡检机器人障碍物判别方法及系统
CN116797206A (zh) 一种基于无人机的光伏电站的智能巡检方法与系统
CN116228670A (zh) 基于Yolov5的光伏缺陷检测方法、装置、计算机设备及介质
CN115995056A (zh) 一种基于深度学习的桥梁病害自动识别方法
CN115171045A (zh) 一种基于yolo的电网作业现场违章识别方法及终端
CN117726958A (zh) 配电线路无人机巡检图像目标检测及隐患智能识别方法
CN115661429B (zh) 一种锅炉水冷壁管缺陷识别系统、方法和存储介质
CN115912183A (zh) 高压输电线路生态措施巡视方法、系统及可读存储介质
CN114372922A (zh) 夜间环境下基于无人机巡检的绝缘子红外缺陷诊断方法
Zhao et al. RGR-Net: Refined Graph Reasoning Network for multi-height hotspot defect detection in photovoltaic farms
Gao et al. Low saliency crack detection based on improved multimodal object detection network: an example of wind turbine blade inner surface
De Filippo et al. AI-powered inspections of facades in reinforced concrete buildings
CN112346481A (zh) 一种无人机电力巡检作业的方法及系统
Zhou et al. Three dimensional fully autonomous inspection method for wind power employing unmanned aerial vehicle based on 5G wireless communication and artificial intelligence
CN117095316B (zh) 路面巡检方法、装置、设备及可读存储介质
CN117823741B (zh) 一种结合智能机器人的管网非开挖修复方法及系统
Al Gizi High Voltage Transmission Line Fault Checker With Fuzzy Controller Of The Vehicle Scanner Tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination