CN113222896A - 一种基于元学习的光伏面板缺陷检测方法 - Google Patents

一种基于元学习的光伏面板缺陷检测方法 Download PDF

Info

Publication number
CN113222896A
CN113222896A CN202110389446.8A CN202110389446A CN113222896A CN 113222896 A CN113222896 A CN 113222896A CN 202110389446 A CN202110389446 A CN 202110389446A CN 113222896 A CN113222896 A CN 113222896A
Authority
CN
China
Prior art keywords
meta
data set
image
network
stage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110389446.8A
Other languages
English (en)
Inventor
钱惠敏
许庶威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN202110389446.8A priority Critical patent/CN113222896A/zh
Publication of CN113222896A publication Critical patent/CN113222896A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于元学习的光伏面板缺陷检测方法，包括：建立基类数据集和新类数据集；对基类数据集和新类数据集图像进行预处理；从预处理后的基类数据集中选取图像数据，进行第一阶段训练；从预处理后的基类数据集和新类数据集中选取图像数据，进行第二阶段训练；采集待测光伏面板近红外视频，从视频中提取图像帧，利用图像分割算法将图像帧分割成电池片图像；利用光伏面板缺陷检测模型对电池片图像进行检测，确认是否存在光伏缺陷，若有，则标注出缺陷在待测图像中位置。本发明将元学习方法与两阶段的目标检测算法Faster RCNN结合起来，更加适用于只有少量样本的表面缺陷检测任务，具有检测成本低、检测速度快、准确率高的优点。

Description

一种基于元学习的光伏面板缺陷检测方法
技术领域
本发明涉及光伏面板检测领域，特别涉及一种基于元学习的光伏面板缺陷检测方法。
背景技术
随着化石燃料的消耗，煤炭、石油和天然气等非可再生能源逐渐减少，空气污染、土壤污染和水资源污染问题十分严重，常规能源已不足以满足节能环保的需求，而太阳能作为清洁能源，成为关注焦点。在光伏利用方面，光伏面板是光伏发电系统中的核心组件之一，光伏面板暴露在户外，且多位于环境复杂、气候恶劣的区域，易产生隐裂、划伤、污垢、热斑等表面缺陷，若面板缺陷发现不及时不仅会影响光伏面板的发电效率和使用寿命，更重要的是易导致光伏面板局部升温，引发火灾，从而威胁电站的运行安全。
传统光伏电站的检测手段主要包括人工检测和基于电气特性的监控检测，随着光伏电站规模和容量的不断扩大，光伏面板的占地面积大、数量多，然而以上两种检测手段存在着运维难度大、成本高、可靠性低等缺点。
随着人工智能技术的发展，越来越多的从业者将深度学习技术应用于光伏面板缺陷检测领域，然而基于深度学习的图像检测方法需要海量的训练数据和充足的迭代次数，才能对特定的图像类别进行精准的分类和检测，因此不适用于只有少量样本的表面缺陷检测任务。
发明内容
发明目的：针对以上问题，本发明目的是提供一种基于元学习的光伏面板缺陷检测方法，通过元学习方法实现小样本面板缺陷的自动检测。
技术方案：本发明的一种基于元学习的光伏面板缺陷检测方法，包括如下步骤：
(1)采集工业产品表面缺陷图像，建立基类数据集；采集光伏面板缺陷图像，建立新类数据集：
(2)分别对基类数据集和新类数据集中的图像进行预处理，预处理后的基类数据集包括基类训练数据集和基类测试数据集，预处理后的新类数据集包括新类训练数据集和新类测试数据集；
(3)从预处理后的基类数据集中选取子任务episode图像数据，组成第一阶段的元训练数据集，将第一阶段元训练数据集送入Meta RCNN网络进行第一阶段训练，训练完毕后保存Meta RCNN网络权重；
(4)从预处理后的基类数据集和新类数据集中选取episode图像数据，组成第二阶段的元训练数据集，将第二阶段元训练数据集送入第一阶段训练后的Meta RCNN网络进行第二阶段训练，得到光伏面板缺陷检测模型；
(5)采集待测光伏面板近红外视频，从视频中提取图像帧，对每帧图像进行预处理后，利用图像分割算法将图像帧分割成电池片图像；
(6)利用光伏面板缺陷检测模型对电池片图像进行检测，确认是否存在光伏缺陷，若有，则标注出缺陷在待测图像中位置。
进一步，步骤(1)基类数据集的图像类别数大于新类数据集中图像类别数。
进一步，步骤(2)预处理包括图像去噪、对比度增强、亮度和饱和度调整、图像大小缩放；对预处理后的基类数据集和新类数据集表面缺陷图像利用标注工具进行标注，制作成VOC格式的基类和新类数据集。
进一步，所述步骤(3)中的元训练数据集包括支持集和查询集，支持集的图像从基类训练集中选取，查询集的图像从基类测试集中选取；所述步骤(4)中的元训练数据集包括支持集和查询集，支持集的图像从基类训练集和新类训练集中选取，查询集的图像从基类测试集和新类测试集中选取。
进一步，步骤(3)支持集和查询集图片用随机采样的方式从基类数据集中获取；步骤(4)支持集和查询集图片用随机采样的方式从基类数据集和新类数据集中获取。
进一步，步骤(3)包括：
(31)根据第一阶段设定的epoch数从基类数据集中随机抽取n1条episode数据，作为第一阶段的元训练数据集；
(32)将第一阶段的元训练数据集送入Meta RCNN网络进行第一阶段的训练，输入数据流分为两个分支，其中查询集图像送入Faster RCNN网络，支持集图像首先经过FasterRCNN的主干网络提取图像特征，然后将特征图送入区域生成网络RPN，获取包含缺陷特征的目标区域，利用非极大抑制算法从目标区域中筛选出感兴趣区域RoI，将感兴趣区域送入RoIAlign网络提取RoI特征
Figure BDA0003015921160000021
(33)支持集图像送入PRN网络，在PRN网络中首先利用与Faster RCNN共享的主干网络提取图像特征，接着将特征图送入soft-attention层，获取小样本支持集中各类别对应的类注意向量vmeta，利用类注意向量对从查询集图像中提取到的ROI特征进行重构，获得重构后的RoI特征，重构的方法是进行逐通道的乘法，表达式如下：
Figure BDA0003015921160000031
(34)将重构后的RoI特征送入预测头网络，输出表面缺陷在图片上的位置参数和类别预测置信度；
(35)依据选择的损失函数，利用梯度下降反向传播算法，对Meta RCNN网络中的参数进行迭代更新，将迭代至最大设定次数后的模型参数设定为最优网络参数并保存，完成第一阶段的训练。
进一步，步骤(4)包括：
(41)根据第二阶段设定的epoch数从基类数据集和新类数据集中随机抽取n2条episode数据，作为第二阶段的元训练数据集；
(42)用第一阶段训练得到的网络权重初始化网络，将第二阶段的元训练数据集送入Meta RCNN网络进行第二阶段的训练，输入数据流分为两个分支，其中查询集图像送入Faster RCNN网络，支持集图像首先经过Faster RCNN的主干网络提取图像特征，然后将特征图送入区域生成网络RPN，获取包含缺陷特征的目标区域，利用非极大抑制算法从目标区域中筛选出感兴趣区域RoI，将感兴趣区域送入RoIAlign网络提取RoI特征
Figure BDA0003015921160000032
(43)支持集图像送入PRN网络，在PRN网络中首先利用与Faster RCNN共享的主干网络提取图像特征，接着将特征图送入soft-attention层，获取小样本支持集中各类别对应的类注意向量vmeta，利用类注意向量对从查询集图像中提取到的ROI特征进行重构，获得重构后的RoI特征，重构的方法是进行逐通道的乘法，表达式如下：
Figure BDA0003015921160000033
(44)将重构后的RoI特征送入预测头网络，输出表面缺陷在图片上的位置参数和类别预测置信度；
(45)依据选择的损失函数，利用梯度下降反向传播算法，对Meta RCNN网络中的参数进行迭代更新，将迭代至最大设定次数后的模型参数设定为最优网络参数并保存，完成第二阶段的训练。
进一步，所述步骤(35)和步骤(45)损失函数包括分类损失Lcls、位置损失Lreg和元损失Lmeta，损失函数表达式为：
Figure BDA0003015921160000041
其中，pi为第i个预测锚框包含缺陷目标的概率；pi *为第i个锚框是否包含缺陷目标的真实标签；ti为预测回归框的坐标参数；ti *为真实包围框的坐标参数；ci为经过PRN网络重构后的第i个RoI特征的类别预测概率；ci *为第i个RoI特征对应的真实标签矩阵；Ncls为归一化项，为mini-batch的大小；Nreg为归一化项，为锚框位置的数量；Nmeta也是归一化项，为感兴趣区域的数目；
Lcls是缺陷类和背景类别上的交叉熵损失，计算公式为：
Lcls(pi,pi *)＝-pi *logpi-(1-pi *)log(1-pi)
L1 smooth是L1 smooth函数，计算公式为：
Figure BDA0003015921160000042
Lmeta是多分类交叉熵损失函数，计算公式为：
Figure BDA0003015921160000043
进一步，步骤(5)包括：用图像滤波算法去除获取的近红外图像的椒盐噪声，对红外图像的对比度进行增强、亮度和饱和度进行调整，将电池片图像缩放至固定的尺寸。
进一步，步骤(32)主干网络为分类数据集ImageNet预训练的ResNet-101网络。
有益效果：本发明与现有技术相比，其显著优点是：
1、将元学习方法与两阶段的目标检测算法Faster RCNN结合起来，更加适用于只有小样本的表面缺陷检测任务，具有检测成本低、检测速度快、准确率高的优点；
2、使用训练好的深度卷积神经网络模型，自动检测光伏面板的表面缺陷，自动提取特征，避免人工提取特征的复杂工作。
附图说明
图1为本发明流程图；
图2为网络框架结构示意图。
具体实施方式
本实施例所述的一种基于元学习的光伏面板缺陷检测方法，流程图如图1所示，包括如下步骤：
(1)采集工业产品表面缺陷图像，建立基类数据集；采集光伏面板缺陷图像，建立新类数据集。其中基类数据集的图像类别数大于新类数据集中图像类别数，基类数据集和新类数据集通过自行拍摄或者网络爬虫方式获取。
(2)分别对基类数据集和新类数据集中的图像进行预处理，包括图像去噪、对比度增强、亮度和饱和度调整、图像大小缩放，预处理后的基类数据集包括基类训练数据集和基类测试数据集，预处理后的新类数据集包括新类训练数据集和新类测试数据集，对预处理后的基类数据集和新类数据集表面缺陷图像利用标注工具进行标注，制作成VOC格式的基类和新类数据集。
采集了光伏面板隐裂，热斑这两类表面缺陷的少量近红外图像制作成了新类数据集。利用德国DAGM 2007的数据集中包含的十类纹理缺陷图像来制作基类数据集。
(3)从预处理后的基类数据集中按照随机采样方式选取子任务episode图像数据，组成第一阶段的元训练数据集，元训练数据集包括支持集和查询集，支持集的图像从基类训练集中选取，查询集的图像从基类测试集中选取。将第一阶段元训练数据集送入MetaRCNN网络进行第一阶段训练，训练完毕后保存Meta RCNN网络权重，网络框架结构示意图如图2所示，训练过程具体包括：
(31)根据第一阶段设定的epoch数从基类数据集中随机抽取n1条episode数据，作为第一阶段的元训练数据集；
(32)将第一阶段的元训练数据集送入Meta RCNN网络进行第一阶段的训练，输入数据流分为两个分支，其中查询集图像送入Faster RCNN网络，支持集图像首先经过FasterRCNN的主干网络提取图像特征，然后将特征图送入区域生成网络RPN，获取包含缺陷特征的目标区域，利用非极大抑制算法从目标区域中筛选出感兴趣区域RoI，将感兴趣区域送入RoIAlign网络提取RoI特征
Figure BDA0003015921160000051
其中主干网络为分类数据集ImageNet预训练的ResNet-101网络。
(33)支持集图像送入PRN网络，在PRN网络中首先利用与Faster RCNN共享的主干网络提取图像特征，接着将特征图送入soft-attention层，获取小样本支持集中各类别对应的类注意向量vmeta，利用类注意向量对从查询集图像中提取到的ROI特征进行重构，获得重构后的RoI特征，重构的方法是进行逐通道的乘法，表达式如下：
Figure BDA0003015921160000061
(34)将重构后的RoI特征送入预测头网络，输出表面缺陷在图片上的位置参数和类别预测置信度；
(35)依据选择的损失函数，利用梯度下降反向传播算法，对Meta RCNN网络中的参数进行迭代更新，将迭代至最大设定次数后的模型参数设定为最优网络参数并保存，完成第一阶段的训练。
损失函数包括分类损失Lcls、位置损失Lreg和元损失Lmeta，损失函数表达式为：
Figure BDA0003015921160000062
其中，pi为第i个预测锚框包含缺陷目标的概率；pi *为第i个锚框是否包含缺陷目标的真实标签；ti为预测回归框的坐标参数；ti *为真实包围框的坐标参数；ci为经过PRN网络重构后的第i个RoI特征的类别预测概率；ci *为第i个RoI特征对应的真实标签矩阵；Ncls为归一化项，为mini-batch的大小；Nreg为归一化项，为锚框位置的数量；Nmeta也是归一化项，为感兴趣区域的数目；
Lcls是缺陷类和背景类别上的交叉熵损失，计算公式为：
Lcls(pi,pi *)＝-pi *logpi-(1-pi *)log(1-pi)
L1 smooth是L1 smooth函数，计算公式为：
Figure BDA0003015921160000063
Lmeta是多分类交叉熵损失函数，计算公式为：
Figure BDA0003015921160000071
(4)从预处理后的基类数据集和新类数据集中按照随机采样的方式选取episode图像数据，组成第二阶段的元训练数据集，元训练数据集包括支持集和查询集，支持集的图像从基类训练集和新类训练集中选取，查询集的图像从基类测试集和新类测试集中选取。将第二阶段元训练数据集送入第一阶段训练后的Meta RCNN网络进行第二阶段训练，得到光伏面板隐裂、热斑缺陷检测模型，具体包括：
(41)根据第二阶段设定的epoch数从基类数据集和新类数据集中随机抽取n2条episode数据，作为第二阶段的元训练数据集；
(42)用第一阶段训练得到的网络权重初始化网络，将第二阶段的元训练数据集送入Meta RCNN网络进行第二阶段的训练，训练过程与步骤3中一致；
(43)依据选择的损失函数，利用梯度下降反向传播算法，对Meta RCNN网络中的参数进行迭代更新，将迭代至最大设定次数后的模型参数设定为最优网络参数并保存，完成第二阶段的训练。
采用SGD算法对模型参数进行学习，学习率设置为0.001，网络动量参数设置为为0.9，权值衰减设置为0.0001；第一阶段的训练设置为20个epoch，第二阶段的训练则设置为10个epoch。
(5)在光伏面板两侧加上正向偏压使面板电致发光，利用搭载红外热成像仪的巡检无人机采集待测光伏面板近红外视频，将拍摄到的视频输入到计算机，从视频中基于ffmpeg框架每25-30帧提取一张图像，对每帧图像用图像滤波算法去除获取的近红外图像的椒盐噪声，对红外图像的对比度进行增强、亮度和饱和度进行调整，利用图像分割算法将图像帧分割成电池片图像，将电池片图像缩放至固定的尺寸。
(6)利用光伏面板缺陷检测模型对电池片图像进行检测，确认是否存在光伏缺陷，若有，则标注出缺陷在待测图像中位置。

Claims (9)

1.一种基于元学习的光伏面板缺陷检测方法，其特征在于，包括如下步骤：
(1)采集工业产品表面缺陷图像，建立基类数据集；采集光伏面板缺陷图像，建立新类数据集；
(2)分别对基类数据集和新类数据集中的图像进行预处理，预处理后的基类数据集包括基类训练数据集和基类测试数据集，预处理后的新类数据集包括新类训练数据集和新类测试数据集；
(3)从预处理后的基类数据集中随机选取图像数据作为子任务，组成第一阶段的元训练数据集，将第一阶段元训练数据集送入Meta RCNN网络进行第一阶段训练，训练完毕后保存Meta RCNN网络权重；
(4)从预处理后的基类数据集和新类数据集中随机选取图像数据，组成第二阶段的元训练数据集，将第二阶段元训练数据集送入第一阶段训练后的Meta RCNN网络进行第二阶段训练，得到光伏面板缺陷检测模型；
(5)采集待测光伏面板近红外视频，从视频中提取图像帧，对每帧图像进行预处理后，利用图像分割算法将图像帧分割成电池片图像；
(6)利用光伏面板缺陷检测模型对电池片图像进行检测，确认是否存在光伏缺陷，若有，则标注出缺陷在待测图像中位置。
2.根据权利要求1所述的基于元学习的光伏面板缺陷检测方法，其特征在于，所述步骤(1)基类数据集的图像类别数大于新类数据集中图像类别数。
3.根据权利要求2所述的基于元学习的光伏面板缺陷检测方法，其特征在于，所述步骤(2)预处理包括图像去噪、对比度增强、亮度和饱和度调整、图像大小缩放；对预处理后的基类数据集和新类数据集表面缺陷图像利用标注工具进行标注，制作成VOC格式的基类和新类数据集。
4.根据权利要求3所述的基于元学习的光伏面板缺陷检测方法，其特征在于，所述步骤(3)中的元训练数据集包括支持集和查询集，支持集的图像从基类训练集中选取，查询集的图像从基类测试集中选取；所述步骤(4)中的元训练数据集包括支持集和查询集，支持集的图像从基类训练集和新类训练集中选取，查询集的图像从基类测试集和新类测试集中选取。
5.根据权利要求4所述的基于元学习的光伏面板缺陷检测方法，其特征在于，步骤(3)包括：
(31)根据第一阶段设定的epoch数从基类数据集中随机抽取n1条episode数据，作为第一阶段的元训练数据集；
(32)将第一阶段的元训练数据集送入Meta RCNN网络进行第一阶段的训练，输入数据流分为两个分支，其中查询集图像送入Faster RCNN网络，支持集图像首先经过FasterRCNN的主干网络提取图像特征，然后将特征图送入区域生成网络RPN，获取包含缺陷特征的目标区域，利用非极大抑制算法从目标区域中筛选出感兴趣区域RoI，将感兴趣区域送入RoIAlign网络提取RoI特征
Figure FDA0003015921150000021
i,j表示预测锚框；
(33)支持集图像送入PRN网络，在PRN网络中首先利用与Faster RCNN共享的主干网络提取图像特征，接着将特征图送入soft-attention层，获取小样本支持集中各类别对应的类注意向量vmeta，利用类注意向量对从查询集图像中提取到的ROI特征进行重构，获得重构后的RoI特征，重构的方法是进行逐通道的乘法，表达式如下：
Figure FDA0003015921150000022
(34)将重构后的RoI特征送入预测头网络，输出表面缺陷在图片上的位置参数和类别预测置信度；
(35)依据选择的损失函数，利用梯度下降反向传播算法，对Meta RCNN网络中的参数进行迭代更新，将迭代至最大设定次数后的模型参数设定为最优网络参数并保存，完成第一阶段的训练。
6.根据权利要求5所述的基于元学习的光伏面板缺陷检测方法，其特征在于，步骤(4)包括：
(41)根据第二阶段设定的epoch数从基类数据集和新类数据集中随机抽取n2条episode数据，作为第二阶段的元训练数据集；
(42)用第一阶段训练得到的网络权重初始化网络，将第二阶段的元训练数据集送入Meta RCNN网络进行第二阶段的训练，输入数据流分为两个分支，其中查询集图像送入Faster RCNN网络，支持集图像首先经过Faster RCNN的主干网络提取图像特征，然后将特征图送入区域生成网络RPN，获取包含缺陷特征的目标区域，利用非极大抑制算法从目标区域中筛选出感兴趣区域RoI，将感兴趣区域送入RoIAlign网络提取RoI特征
Figure FDA0003015921150000023
(43)支持集图像送入PRN网络，在PRN网络中首先利用与Faster RCNN共享的主干网络提取图像特征，接着将特征图送入soft-attention层，获取小样本支持集中各类别对应的类注意向量vmeta，利用类注意向量对从查询集图像中提取到的ROI特征进行重构，获得重构后的RoI特征，重构的方法是进行逐通道的乘法，表达式如下：
Figure FDA0003015921150000031
(44)将重构后的RoI特征送入预测头网络，输出表面缺陷在图片上的位置参数和类别预测置信度；
(45)依据选择的损失函数，利用梯度下降反向传播算法，对Meta RCNN网络中的参数进行迭代更新，将迭代至最大设定次数后的模型参数设定为最优网络参数并保存，完成第二阶段的训练。
7.根据权利要求6所述的基于元学习的光伏面板缺陷检测方法，其特征在于，所述步骤(35)和步骤(45)损失函数包括分类损失Lcls、位置损失Lreg和元损失Lmeta，损失函数表达式为：
Figure FDA0003015921150000032
其中，pi为第i个预测锚框包含缺陷目标的概率；pi *为第i个预测锚框是否包含缺陷目标的真实标签；ti为预测回归框的坐标参数；ti *为真实包围框的坐标参数；ci为经过PRN网络重构后的第i个RoI特征的类别预测概率；ci *为第i个RoI特征对应的真实标签矩阵；Ncls为归一化项，为mini-batch的大小；Nreg为归一化项，为锚框位置的数量；Nmeta也是归一化项，为感兴趣区域的数目；
Lcls是缺陷类和背景类别上的交叉熵损失，计算公式为：
Lcls(pi,pi *)＝-pi *logpi-(1-pi *)log(1-pi)
L1 smooth是L1 smooth函数，计算公式为：
Figure FDA0003015921150000033
Lmeta是多分类交叉熵损失函数，计算公式为：
Figure FDA0003015921150000041
8.根据权利要求1所述的基于元学习的光伏面板缺陷检测方法，其特征在于，步骤(5)包括：用图像滤波算法去除获取的近红外图像的椒盐噪声，对红外图像的对比度进行增强、亮度和饱和度进行调整，将电池片图像缩放至固定的尺寸。
9.根据权利要求5所述的基于元学习的光伏面板缺陷检测方法，其特征在于，步骤(32)主干网络为分类数据集ImageNet预训练的ResNet-101网络。
CN202110389446.8A 2021-04-12 2021-04-12 一种基于元学习的光伏面板缺陷检测方法 Pending CN113222896A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110389446.8A CN113222896A (zh) 2021-04-12 2021-04-12 一种基于元学习的光伏面板缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110389446.8A CN113222896A (zh) 2021-04-12 2021-04-12 一种基于元学习的光伏面板缺陷检测方法

Publications (1)

Publication Number Publication Date
CN113222896A true CN113222896A (zh) 2021-08-06

Family

ID=77086958

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110389446.8A Pending CN113222896A (zh) 2021-04-12 2021-04-12 一种基于元学习的光伏面板缺陷检测方法

Country Status (1)

Country Link
CN (1) CN113222896A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113610252A (zh) * 2021-08-17 2021-11-05 浙江捷瑞电力科技有限公司 一种元学习小样本输电线缺陷目标检测和告警系统及方法
CN113781448A (zh) * 2021-09-14 2021-12-10 国电四子王旗光伏发电有限公司 一种基于红外图像分析的光伏电站组件智能缺陷识别方法
CN114140398A (zh) * 2021-11-15 2022-03-04 上海大学 一种利用无缺陷图像的少样本缺陷检测方法
CN116403071A (zh) * 2023-03-23 2023-07-07 河海大学 基于特征重构的少样本混凝土缺陷检测方法及装置
CN116757534A (zh) * 2023-06-15 2023-09-15 中国标准化研究院 一种基于神经训练网络的智能冰箱可靠性分析方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180268257A1 (en) * 2017-03-20 2018-09-20 Rolls-Royce Plc Surface defect detection
CN111986145A (zh) * 2020-07-09 2020-11-24 浙江工业大学 一种基于Faster-RCNN的轴承滚子瑕疵检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180268257A1 (en) * 2017-03-20 2018-09-20 Rolls-Royce Plc Surface defect detection
CN111986145A (zh) * 2020-07-09 2020-11-24 浙江工业大学 一种基于Faster-RCNN的轴承滚子瑕疵检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ANONYMOUS AUTHORS: "《META-RCNN: META LEARNING FOR FEW-SHOT OBJECT DETECTION》", 《UNDER REVIEW AS A CONFERENCE PAPER AT ICLR 2020》 *
位硕权: "《基于红外图像的光伏组件热斑智能检测》", 《CNKI硕士论文数据库》 *
甘胜丰: "《机器视觉表面缺陷检测技术及其在钢铁工业中的应用》", 30 June 2017 *
陆军: "《网络安全态势感知技术》", 中国铁道出版社有限公司 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113610252A (zh) * 2021-08-17 2021-11-05 浙江捷瑞电力科技有限公司 一种元学习小样本输电线缺陷目标检测和告警系统及方法
CN113610252B (zh) * 2021-08-17 2023-09-19 浙江捷瑞电力科技有限公司 一种元学习小样本输电线缺陷目标检测和告警系统及方法
CN113781448A (zh) * 2021-09-14 2021-12-10 国电四子王旗光伏发电有限公司 一种基于红外图像分析的光伏电站组件智能缺陷识别方法
CN113781448B (zh) * 2021-09-14 2024-01-23 国电四子王旗光伏发电有限公司 一种基于红外图像分析的光伏电站组件智能缺陷识别方法
CN114140398A (zh) * 2021-11-15 2022-03-04 上海大学 一种利用无缺陷图像的少样本缺陷检测方法
CN116403071A (zh) * 2023-03-23 2023-07-07 河海大学 基于特征重构的少样本混凝土缺陷检测方法及装置
CN116403071B (zh) * 2023-03-23 2024-03-26 河海大学 基于特征重构的少样本混凝土缺陷检测方法及装置
CN116757534A (zh) * 2023-06-15 2023-09-15 中国标准化研究院 一种基于神经训练网络的智能冰箱可靠性分析方法
CN116757534B (zh) * 2023-06-15 2024-03-15 中国标准化研究院 一种基于神经训练网络的智能冰箱可靠性分析方法

Similar Documents

Publication Publication Date Title
CN113222896A (zh) 一种基于元学习的光伏面板缺陷检测方法
CN113538391B (zh) 一种基于Yolov4和热红外图像的光伏缺陷检测方法
CN109166094B (zh) 一种基于深度学习的绝缘子故障定位识别方法
CN113486865B (zh) 一种基于深度学习的输电线路悬挂异物目标检测方法
CN114022420B (zh) 一种自动识别光伏电池el组件缺陷的检测方法
CN114973032B (zh) 一种基于深度卷积神经网络的光伏板热斑检测方法及装置
CN115861263A (zh) 一种基于改进YOLOv5网络的绝缘子缺陷图像检测方法
CN114283137A (zh) 基于多尺度特征图推理网络的光伏组件热斑缺陷检测方法
CN113076816A (zh) 基于红外与可见光图像的太阳能光伏组件热斑识别方法
CN115908354A (zh) 一种基于双尺度策略和改进的yolov5网络的光伏面板缺陷检测方法
CN114596278A (zh) 一种用于光伏电站的光伏面板热斑缺陷检测方法及装置
Sun et al. Defect detection of photovoltaic modules based on convolutional neural network
CN114155474A (zh) 基于视频语义分割算法的损伤识别技术
CN114972225A (zh) 一种基于深度学习的两阶段光伏板缺陷检测方法
Peng et al. Non-uniform illumination image enhancement for surface damage detection of wind turbine blades
CN116703919A (zh) 一种基于最优传输距离损失模型的表面杂质检测方法
CN116012310A (zh) 基于线性残差注意力的跨海大桥桥墩表面裂缝检测方法
CN109409285B (zh) 基于重叠切片的遥感视频目标检测方法
CN113496210B (zh) 基于注意力机制的光伏组串跟踪及故障跟踪方法
CN114612803A (zh) 一种改进CenterNet的输电线路绝缘子缺陷检测方法
Al-Otum Deep learning-based automated defect classification in Electroluminescence images of solar panels
CN116485802B (zh) 一种绝缘子闪络缺陷检测方法、装置、设备及存储介质
CN117152094A (zh) 基于计算机视觉的钢板表面缺陷分析方法、装置及系统
Özer et al. An approach based on deep learning methods to detect the condition of solar panels in solar power plants
CN116433591A (zh) 一种光伏板热斑的检测与面积占比计算方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210806

RJ01 Rejection of invention patent application after publication