CN111768398A - 光伏组件的缺陷检测方法、装置、存储介质和计算设备 - Google Patents

光伏组件的缺陷检测方法、装置、存储介质和计算设备 Download PDF

Info

Publication number
CN111768398A
CN111768398A CN202010642006.4A CN202010642006A CN111768398A CN 111768398 A CN111768398 A CN 111768398A CN 202010642006 A CN202010642006 A CN 202010642006A CN 111768398 A CN111768398 A CN 111768398A
Authority
CN
China
Prior art keywords
photovoltaic module
detected
detection model
target detection
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010642006.4A
Other languages
English (en)
Inventor
陈云天
刘强
朱益灵
李黄享
田天
朱军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Real AI Technology Co Ltd
Original Assignee
Beijing Real AI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Real AI Technology Co Ltd filed Critical Beijing Real AI Technology Co Ltd
Priority to CN202010642006.4A priority Critical patent/CN111768398A/zh
Publication of CN111768398A publication Critical patent/CN111768398A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Photovoltaic Devices (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明的实施方式提供了一种光伏组件的缺陷检测方法，包括：获取待检测的光伏组件发光图像；将所述待检测的光伏组件发光图像输入特定的目标检测模型进行缺陷检测，其中，所述特定的目标检测模型基于所述待检测的光伏组件发光图像构建特征金字塔以对所述待检测的光伏组件发光图像中的缺陷进行检测；基于所述特定的目标检测模型检测得到的结果进行数据展示处理。本方法采用计算机视觉自研算法，能够自动识别光伏组件常见缺陷。相比于人工检测，漏检率更低，检测速度更快，且具有更加强大的微视缺陷检测能力。此外，本发明的实施方式还提供了光伏组件的缺陷检测装置、存储介质和计算设备。

Description

光伏组件的缺陷检测方法、装置、存储介质和计算设备
技术领域
本发明的实施方式涉及光伏组件检测领域，更具体地，本发明的实施方式涉及一种光伏组件的缺陷检测方法、装置、存储介质和计算设备。
背景技术
本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
光伏系统是利用光伏组件及其他辅助设备将太阳能转换成电能的系统。目前光伏系统的应用十分广泛，除了中国作为最大的应用市场外，其他诸如西班牙、美国、印度、越南以及中东等的新兴地区也对其市场拓展起到了很大的推动作用。
作为光伏系统的核心组成部分，光伏组件对于整个系统的发电效率起着至关重要的作用。然而除去制造工艺的参差不一，现场的施工安装、后期的运营维护同样会成为影响组件质量优劣的因素。因此，在生产和使用过程中，对光伏组件定期进行检测成为必不可少的程序，但是，光伏组件中的很多缺陷是无法通过肉眼直接观察到的，因此需要进行光伏组件的EL(Electro Luminescence，电致发光)检测。
光伏组件的EL检测，是给光伏组件通上反向电压，通过专业相机(如红外相机)在黑暗环境下拍摄其照片，从图像中找出隐裂、虚焊、裂片、黑斑等缺陷。然而，目前产线拍摄的EL图像仍然只能通过人眼识别的方式来判断缺陷类型和位置，无法做到自动化检测。人工的判断速度较慢，使得EL检测成为光伏组件生产的瓶颈环节。同时人工检测的准确率会随着人的疲劳程度增加而降低，在12小时持续工作中，难以保证整体质量。
因此，本领域的技术人员致力于在光伏组件产线上实现基于计算机视觉技术的自动EL缺陷检测，替代人工质检人员。
发明内容
在本上下文中，本发明的实施方式期望提供一种光伏组件的缺陷检测方法、装置、存储介质和计算设备。
在本发明实施方式的第一方面中，提供了一种光伏组件的缺陷检测方法，包括：
获取待检测的光伏组件发光图像；
将所述待检测的光伏组件发光图像输入特定的目标检测模型进行缺陷检测，其中，所述特定的目标检测模型基于所述待检测的光伏组件发光图像构建特征金字塔以对所述待检测的光伏组件发光图像中的缺陷进行检测；
基于所述特定的目标检测模型检测得到的结果进行数据展示处理。
在本实施方式的一个实施例中，所述特定的目标检测模型基于所述待检测的光伏组件发光图像构建的特征金字塔为多级特征金字塔，所述多级特征金字塔包括基于输入图像得到的多个级别多个尺度的特征图像。
在本实施方式的一个实施例中，特定的目标检测模型通过以下方式构建输入图像的多级特征金字塔：
通过目标检测模型中的主干网络提取输入图像的不同级别的特征图像；
将不同级别的特征图像融合为基本特征；
将所述基本特征输入交替连接的特定数量的细化U形模块和特征融合模块，得到多组不同级别的特征，其中每一组特征包括多个尺度的特征；
将多组包括多个尺度的特征聚合生成所述多级特征金字塔。
在本实施方式的一个实施例中，所述目标检测模型基于神经网络构建，其中部分神经元后连接特定的归一化层。
在本实施方式的一个实施例中，所述归一化层采用自适配归一化方法构建。
在本实施方式的一个实施例中，获取待检测的光伏组件发光图像之前，所述方法还包括：
采用训练数据对所述目标检测模型进行训练，以确定多个不同的检测等级；
其中，多个检测等级对应不同的检测参数值。
在本实施方式的一个实施例中，在所述训练数据的数据量较小时，对所述训练数据进行增量处理。
在本发明实施方式的第二方面中，提供了一种光伏组件的缺陷检测装置，包括：
图像获取模块，被配置为获取待检测的光伏组件发光图像；
缺陷检测模块，被配置为将所述待检测的光伏组件发光图像输入特定的目标检测模型进行缺陷检测，其中，所述特定的目标检测模型基于所述待检测的光伏组件发光图像构建特征金字塔以对所述待检测的光伏组件发光图像中的缺陷进行检测；
结果展示模块，被配置为基于所述特定的目标检测模型检测得到的结果进行数据展示处理。
在本发明实施方式的第三方面中,提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本发明实施方式的第一方面中所述的方法。
在本发明实施方式的第四方面中,提供了一种计算设备，所述计算设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于执行本发明实施方式的第一面中所述的方法。
根据本发明实施方式的光伏组件的缺陷检测方法、装置、存储介质和计算设备，采用计算机视觉自研算法，能够自动识别光伏组件常见缺陷。对比显示，人工漏检率可达1.2％，而EL缺陷自动识别软件漏检率仅为0.78％。人工识别每张组件耗时15-30秒，EL缺陷自动识别软件耗时1-2秒，效率得到极大提升。针对微观缺陷，EL缺陷自动识别软件已可分辨10个像素点大小的缺陷，优于人工识别能力。
附图说明
通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：
图1为本发明一实施方式的光伏组件的缺陷检测的应用场景示意图；
图2为本发明一实施方式的光伏组件的缺陷检测方法的流程示意图；
图3为本发明实施例提供的光伏组件的缺陷检测系统的离线调试界面的示意图；
图4为本发明实施例提供的光伏组件的缺陷检测系统的在线展示界面的示意图；
图5为本发明实施例提供的数据生成装置的模块示意图；
图6为本发明实施例提供的一种计算机可读存储介质的示意图；
图7为本发明实施例提供的一种计算设备的示意；
在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
根据本发明的实施方式，提出了一种光伏组件的缺陷检测方法、装置、存储介质和计算设备。
此外，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。
应用场景总览
首先参考图1，本发明的一个实施方式提供的光伏组件的缺陷检测方法可以用过离线或实时的方式进行工作，所述光伏组件的缺陷检测方法可以应用于终端设备，该终端设备可以是个人计算机或服务器等，例如，可以通过便携式终端设备直接在部署或生成光伏组件的现场进行EL图像的获取，然后实时的进行光伏组件的缺陷检测，也可以由用户在部署或生成光伏组件的现场通过专用相机进行EL图像的拍摄，然后将拍摄的图像通过其他设备上传至部署了光伏组件的缺陷检测软件的系统进行检测。
示例性方法
下面结合图1的应用场景，参考图2来描述根据本发明示例性实施方式的光伏组件的缺陷检测方法。需要注意的是，上述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。
本发明的实施方式提供了一种光伏组件的缺陷检测方法，包括：
步骤S110，获取待检测的光伏组件发光图像；
步骤S120，将所述待检测的光伏组件发光图像输入特定的目标检测模型进行缺陷检测，其中，所述特定的目标检测模型基于所述待检测的光伏组件发光图像构建特征金字塔以对所述待检测的光伏组件发光图像中的缺陷进行检测；
步骤S130，基于所述特定的目标检测模型检测得到的结果进行数据展示处理。
下面结合附图说明如何进行光伏组件的缺陷检测：
在步骤S110中，待检测的光伏组件发光图像可以是对需要进行缺陷检测的光伏组件进行反向通电，然后采用专用的图像获取设备进行光伏组件的发光图像拍摄而获取到的；也可以是用户自行上传的待检测的光伏组件发光图像。
其中，光伏组件的缺陷类别可以包括隐裂、黑斑、混档、虚焊和划痕。
然后执行步骤S120，将所述待检测的光伏组件发光图像输入特定的目标检测模型进行缺陷检测，其中，所述特定的目标检测模型基于所述待检测的光伏组件发光图像构建特征金字塔以对所述待检测的光伏组件发光图像中的缺陷进行检测；
在光伏组件存在缺陷时，通过电致发光形成的图像上多包括大量尺度不一的缺陷图像，并且很多缺陷图像的尺度较小，非常不易于进行目标检测，由此，在本实施方式中，通过构建待检测的光伏组件发光图像的特征金字塔进行缺陷检测，其实质其实是对光伏组件发光图像中可能存在的大量尺度不一的缺陷图像进行目标检测，即将缺陷图像作为目标图像进行检测；具体而言，所述特定的目标检测模型可以是一阶段目标检测器(如DSSD、RetinaNet、RefineDet)和两阶段目标检测器(如Mask RCNN、DetNet)，本实施方式对此不做限定。
为了得到更加准确的目标检测结果，本实施方式的一个实施例中，特定的目标检测模型构建的特征金字塔为多级特征金字塔，所述多级特征金字塔包括基于输入图像得到的多个级别多个尺度的特征图像，所述特定的目标检测模型为M2Det，在本实施例中，特定的目标检测模型通过以下方式构建输入图像的多级特征金字塔：
通过目标检测模型中的主干网络提取输入图像的不同级别的特征图像；
具体而言，在M2Det中通过主干网络(Backbone Network)和多级特征金字塔网络(MLFPN)从输入图像中提取特征；然后与SSD类似，根据所学习的特征生成密集的边界框和类别得分；最后通过非最大抑制(NMS)操作生成最终结果；在本实施例中，所述主干网络为ResNet，但是并不限于次，其还可以是DetNet或者其他类型的卷积神经网络，本领域的技术人员可以根据实际需要进行选择。
在通过主干网络提取输入图像的不同级别的特征图像后，接下来，将不同级别的特征图像融合为基本特征；具体而言，本实施例中通过多级特征金字塔网络(MLFPN)中的第一特征融合模块(FFM1)进行基本特征的融合，首先通过卷积核大小为1x1的卷积层压缩特征图像的通道数，然后再进行拼接(在一般的神经网络中，神经网络单元是由NHWC构成的，其中N代表批次数目(batch size)，HW代表宽高，C(channel)代表通道数，压缩通道数是将C的数目降低，这样做有利于加速特征融合，拼接是指将不同的特征层(feature level)拼接成一个新的特征层)。具体而言：FFM1使用两种不同尺度(scale)的特征层(feature map)作为输入，所以在拼接操作之前加入了上采样操作来调整大小(目的在于保持HW相同)；
接下来，将所述基本特征输入交替连接的特定数量的细化U形模块和特征融合模块，得到多组不同级别的特征，其中每一组特征包括多个尺度的特征；具体而言，在本实施例中，所述第一特征融合模块(FFM1)和每一第二特征融合模块(FFMv2)以及第一个细化U形模块(TUM)直接连接，所述细化U形模块和第二特征融合模块(FFMv2)交替连接，即第二特征融合模块(FFMv2)存在两个输入，分别是第一特征融合模块(FFM1)输出的特征以及上一细化U形模块(TUM)输出的特征，另外，每一细化U形模块(TUM)生成一组多尺度特征，在本实施例中通过交替关联的TUMs和FFMv2s提取多级多尺度特征。TUMs不同于FPN和RetinaNet，FPN和Retinanet用的是多个阶段(stage)，每个stage有多个卷积层。TUM用每一个卷积(conv)作为一个stage。在上采样和元素相加操作之后加上1x1卷积来加强学习能力和保持特征平滑度。TUM中每个解码器的输出共同构成了该TUM的multi-scale输出。每个TUM的输出共同构成了multi-level&multi-scale特征，前面的TUM提供low level feature(低语义特征层)，后面的TUM提供high level feature(高语义特征层)。
最后，尺度特征聚合模块(SFAM)将这些特征聚合到一个(多级)多层次的特征金字塔中。在第一阶段，SFAM沿着通道维度将拥有相同尺度(指的是W(width)H(height))的特征层进行拼接，这样得到的每个尺度的特征都包含了多个层次的信息。然后在第二阶段，借鉴SENet(一种神经网络结构特点是突出注意力机制)的思想，加入channel-wise attention(通道层注意力机制操作)，以更好地捕捉有用的特征。
在介绍清楚本实施方式的一个实施例所采用的目标检测模型原理之后，针对于光伏组件的发光图像的特点，对所述目标检测模型进行更进一步的说明，由于光伏图像与自然场景图片差异大，无法使用比较好的预训练模型进行迁移性学习，在本实施方式的一个实施例中，大量使用Batch Normalization(批量归一化)和Switchable Normalization(自适配归一化)来解决无预训练模型的训练难度与精度问题，具体而言，在所述目标检测模型的部分神经元后连接特定的归一化层，所述归一化层采用自适配归一化方法构建。另外，为了更进一步的提高模型的训练/学习效率，在本实施例中，所述目标检测模型的主干网络(以采用ResNet为基础)去掉了第一层的下采样操作，然后使用3*3卷积替代原始的7*7卷积。另外，使用了残差块替代原来普通的卷积层。
考虑到，不同的应用场景对缺陷检测的精度要求并不统一，在本实施方式的一个实施例中，获取待检测的光伏组件发光图像之前，所述方法还包括：
采用训练数据对所述目标检测模型进行训练，以确定多个不同的检测等级；
其中，多个检测等级对应不同的检测参数值。
为了更加方便的进行检测等级的确定，本实施方式的一个实施例中，提供了可视化的操作界面对检测参数进行调整，参照图，图中的参数调节区可供用户进行操作以区分不同的检测等级，用户在使用时，可以自行根据实际需要对其中的参数或参数组合进行调节。
考虑到训练数据的数据量可能存在较小的情况，即光伏组件的发光图像中小尺度缺陷的数量较少，在本实施方式的一个实施例中，在所述训练数据的数据量较小时，对所述训练数据进行增量处理。具体而言，针对小尺度缺陷的图像少的问题，采取过采样(oversampling)策略，也就是重复使用这些小尺度缺陷的图像；针对位置不够多样的问题，将小尺度缺陷的图像在训练数据中任意光伏组件发光图像上的任意位置粘贴，另外，还可以进行各种位置的变换操作，进行加强处理。
在本实施方式的一个实施例中，基于以上实施例所述的光伏组件的缺陷检测方法，发明人构建了一个可视化的光伏组件的缺陷检测系统，用户可以通过可视化操作界面进行任意光伏组件的离线或在线缺陷检测，参照图3，图3为所述系统的离线调试界面，其中，前端交互内容概括：
数据导入区：
1.测试数据和测试结果两部分路径允许用户自行指定；
2.点击“运行”后，开始运行目标检测模型。从测试数据路径中读取jpg图片(即待检测的光伏组件发光图像)，然后预测生成json文件存入测试结果路径中。模型返回当前检测进度，如100/287(即共需完成287个，已完成100个)。前端界面还将基于进度绘制进度条；
参数调节区：
1.滑块可以左右滑动，滑动位置对应极限漏检率数值，在极限漏检率处显示目前极限漏检率。模型会给前端提供一个极限漏检率和极限误检率之间的对应函数，通过函数计算获得极限误检率，然后在极限误检率处显示目前极限误检率。
2.在参数路径处，用户可以指定当前电脑中的某个文件夹。若文件夹中有json，则将json中的数据展示在下方数据表中。若没有json，则下方表格空置。
3.用户可以手动输入各种参数，并通过下拉菜单指定等级。
4.点击更新后，将用户当前设置的参数内容发送给后台模型，模型处理后反馈结果，基于这些结果绘制展示区内部的各种图标。
5.用户可以重复修改参数与更新。
6.用户满意后，点击“部署”，则前端将当前参数组合存储为json并替代文件夹中原有的json。
模型效果展示区：
1.从模型反馈的json文件中读取漏检率，误检率和劣品率，并展示数字。
2.模型反馈中的json会反馈N1、N2、N3和N4四个数值，将N1+N2+N3+N4记为SUM，以N1/SUM,N2/SUM,N3/SUM和N4/SUM为边长绘制四个矩形。
缺陷分布与可调参数展示区：
1.根据模型反馈的json绘制a表，每次显示50行数据，显示区域可以拖动以显示当前显示界面中下方未显示的数据。
2.a表包含根据ID检索的功能。
3.根据模型反馈json，绘制b表和柱状图。
离线调试界面用户使用流程：
测试环节：
1.在测试数据输入栏选择对应文件夹，测试文件夹中本身含有人工标注结果json_0。
2.(可选步骤)点击“运行”，对测试数据进行分析，生成模型预测结果json_1。注意，若该文件夹中已有模型判断结果，则无需点击“运行”。此时点击“运行”会覆盖之前预测结果。
3.在测试结果导入栏选择对应文件夹，对应文件夹中需同时含有人工标注结果json_0和模型预测结果json_1。
4.在参数路径输入栏选择对应文件夹，文件夹中包含参数文件json_2。
5.点击“更新”，读取人工标注结果json_0，模型预测结果json_1，和参数文件json_2(若不存在，则采用默认值)，根据json_0，json_1和json_2更新全部界面信息。
调参环节：
6.手动修改右侧参数，点击“更新”，读取人工标注结果json_0，模型预测结果json_1，和当前参数。根据json_0，json_1和当前参数更新全部界面信息。
7.若结果仍不满意，可重复步骤5，继续调整参数。
8.待结果满意后，选择“等级”，即当前判断严格等级。
9.点击“部署”，将步骤5中修改后参数保存在对应参数路径中，存为json_2。
另外，图4示出了光伏组件缺陷检测系统的在线展示界面。
在所述在线展示界面中，前端交互内容概括：
1.根据输入前端的jpg和json，显示左侧图和右侧两个表格。
2.右侧上方缺陷分布表若过长，可根据实际需要做成可拖动查看的，本实施方式对此不作限定。
3.点击右上角正确或错误后(只能点一个)，对应选项置灰，同时将True和False信息存入json中。如果下一张图片已经传入，而正确或错误都未被点击，则将Nan存入json中。
4.点击左侧EL图像，则在线展示暂停(停止抓取图片和json)，同时打开新的窗口并展示当前EL图像的原始大图。
5.关闭原始大图窗口后，若5秒内没有操作，则继续运行在线展示，若点击了正确或错误，则立即继续运行在线展示。
在线展示界面用户使用流程：
1.软件启动后自动运行，跟随产线进度显示最新判断结果。
2.人工可以选择右上角“正确”或“错误”，若在下一张EL图传入时未进行选择，则记录为“Nan”。
3.单击EL图像可以打开新窗口，显示原始大图。
本实施方式提供的光伏组件的缺陷检测方法、装置、存储介质和计算设备，采用计算机视觉自研算法，能够自动识别光伏组件常见缺陷。对比显示，人工漏检率可达1.2％，而EL缺陷自动识别软件漏检率仅为0.78％。人工识别每张组件耗时15-30秒，EL缺陷自动识别软件耗时1-2秒，效率得到极大提升。针对微观缺陷，EL缺陷自动识别软件已可分辨10个像素点大小的缺陷，优于人工识别能力。另外，基于本实施方式的方法构建的光伏组件缺陷检测系统还具有以下优势：1)具有小数据训练优势，算法迭代速度快；2)预测精度高，漏检率低；3)预测速度快，每张组件耗时小于2秒；4)图像分辨率要求低，高于100万像素即可；5)定制化可接受质量水平；6)兼容性强，单多晶组件均适用；7)可实时在线和远程离线检测。
示例性装置
在介绍了本发明示例性实施方式的方法之后，接下来，参考图5对本发明示例性实施方式的光伏组件的缺陷检测装置，所述装置包括：
图像获取模块210，被配置为获取待检测的光伏组件发光图像；
缺陷检测模块220，被配置为将所述待检测的光伏组件发光图像输入特定的目标检测模型进行缺陷检测，其中，所述特定的目标检测模型基于所述待检测的光伏组件发光图像构建特征金字塔以对所述待检测的光伏组件发光图像中的缺陷进行检测；
结果展示模块230，被配置为基于所述特定的目标检测模型检测得到的结果进行数据展示处理。
在本实施方式的一个实施例中，所述特定的目标检测模型基于所述待检测的光伏组件发光图像构建的特征金字塔为多级特征金字塔，所述多级特征金字塔包括基于输入图像得到的多个级别多个尺度的特征图像。
在本实施方式的一个实施例中，特定的目标检测模型通过以下方式构建输入图像的多级特征金字塔：
通过目标检测模型中的主干网络提取输入图像的不同级别的特征图像；
将不同级别的特征图像融合为基本特征；
将所述基本特征输入交替连接的特定数量的细化U形模块和特征融合模块，得到多组不同级别的特征，其中每一组特征包括多个尺度的特征；
将多组包括多个尺度的特征聚合生成所述多级特征金字塔。
在本实施方式的一个实施例中，所述目标检测模型基于神经网络构建，其中部分神经元后连接特定的归一化层。
在本实施方式的一个实施例中，所述归一化层采用自适配归一化方法构建。
在本实施方式的一个实施例中，所述装置还包括训练模块，被配置为采用训练数据对所述目标检测模型进行训练，以确定多个不同的检测等级；
其中，多个检测等级对应不同的检测参数值。
在本实施方式的一个实施例中，所述装置还包括数据预处理模块，被配置为在所述训练数据的数据量较小时，对所述训练数据进行增量处理。
示例性介质
在介绍了本发明示例性实施方式的方法之后，接下来，参考图6对本发明示例性实施方式的计算机可读存储介质进行说明，请参考图6，其示出的计算机可读存储介质为光盘60，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会实现上述方法实施方式中所记载的各步骤，例如，获取待检测的光伏组件发光图像；将所述待检测的光伏组件发光图像输入特定的目标检测模型进行缺陷检测，其中，所述特定的目标检测模型基于所述待检测的光伏组件发光图像构建特征金字塔以对所述待检测的光伏组件发光图像中的缺陷进行检测；基于所述特定的目标检测模型检测得到的结果进行数据展示处理。；各步骤的具体实现方式在此不再重复说明。
需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。
示例性计算设备
在介绍了本发明示例性实施方式的方法、介质和装置之后，接下来，参考图7对本发明示例性实施方式的用于光伏组件的缺陷检测的计算设备进行说明。
图7示出了适于用来实现本发明实施方式的示例性计算设备40的框图，该计算设备40可以是计算机系统或服务器。图7显示的计算设备40仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，计算设备40的组件可以包括但不限于：一个或者多个处理器或者处理单元401，系统存储器402，连接不同系统组件(包括系统存储器402和处理单元401)的总线403。
计算设备40典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算设备40访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器402可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)4021和/或高速缓存存储器4022。计算设备40可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，ROM4023可以用于读写不可移动的、非易失性磁介质(图7中未显示，通常称为“硬盘驱动器”)。尽管未在图7中示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线403相连。系统存储器402中可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块4024的程序/实用工具4025，可以存储在例如系统存储器402中，且这样的程序模块4024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块4024通常执行本发明所描述的实施例中的功能和/或方法。
计算设备40也可以与一个或多个外部设备404(如键盘、指向设备、显示器等)通信。这种通信可以通过输入/输出(I/O)接口405进行。并且，计算设备40还可以通过网络适配器406与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图7所示，网络适配器406通过总线403与计算设备40的其它模块(如处理单元401等)通信。应当明白，尽管图7中未示出，可以结合计算设备40使用其它硬件和/或软件模块。
处理单元401通过运行存储在系统存储器402中的程序，从而执行各种功能应用以及数据处理，例如，获取待检测的光伏组件发光图像；将所述待检测的光伏组件发光图像输入特定的目标检测模型进行缺陷检测，其中，所述特定的目标检测模型基于所述待检测的光伏组件发光图像构建特征金字塔以对所述待检测的光伏组件发光图像中的缺陷进行检测；基于所述特定的目标检测模型检测得到的结果进行数据展示处理。各步骤的具体实现方式在此不再重复说明。应当注意，尽管在上文详细描述中提及了对抗样本生成装置的若干单元/模块或子单元/子模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
通过上述的描述，本发明的实施例提供了以下的技术方案，但不限于此：
1.一种光伏组件的缺陷检测方法，包括：
获取待检测的光伏组件发光图像；
将所述待检测的光伏组件发光图像输入特定的目标检测模型进行缺陷检测，其中，所述特定的目标检测模型基于所述待检测的光伏组件发光图像构建特征金字塔以对所述待检测的光伏组件发光图像中的缺陷进行检测；
基于所述特定的目标检测模型检测得到的结果进行数据展示处理。
2.如方案1所述的光伏组件的缺陷检测方法，其中，所述特定的目标检测模型基于所述待检测的光伏组件发光图像构建的特征金字塔为多级特征金字塔，所述多级特征金字塔包括基于输入图像得到的多个级别多个尺度的特征图像。
3.如方案2所述的光伏组件的缺陷检测方法，其中，特定的目标检测模型通过以下方式构建输入图像的多级特征金字塔：
通过目标检测模型中的主干网络提取输入图像的不同级别的特征图像；
将不同级别的特征图像融合为基本特征；
将所述基本特征输入交替连接的特定数量的细化U形模块和特征融合模块，得到多组不同级别的特征，其中每一组特征包括多个尺度的特征；
将多组包括多个尺度的特征聚合生成所述多级特征金字塔。
4.如方案1所述的光伏组件的缺陷检测方法，其中，所述目标检测模型基于神经网络构建，其中部分神经元后连接特定的归一化层。
5.如方案4所述的光伏组件的缺陷检测方法，其中，所述归一化层采用自适配归一化方法构建。
6.如方案1-5中任一项所述的光伏组件的缺陷检测方法，其中，获取待检测的光伏组件发光图像之前，所述方法还包括：
采用训练数据对所述目标检测模型进行训练，以确定多个不同的检测等级；
其中，多个检测等级对应不同的检测参数值。
7.如方案6所述的光伏组件的缺陷检测方法，其中，在所述训练数据的数据量较小时，对所述训练数据进行增量处理。
8.一种光伏组件的缺陷检测装置，其中，包括：
图像获取模块，被配置为获取待检测的光伏组件发光图像；
缺陷检测模块，被配置为将所述待检测的光伏组件发光图像输入特定的目标检测模型进行缺陷检测，其中，所述特定的目标检测模型基于所述待检测的光伏组件发光图像构建特征金字塔以对所述待检测的光伏组件发光图像中的缺陷进行检测；
结果展示模块，被配置为基于所述特定的目标检测模型检测得到的结果进行数据展示处理。
9.如方案8所述的光伏组件的缺陷检测装置，其中，所述特定的目标检测模型基于所述待检测的光伏组件发光图像构建的特征金字塔为多级特征金字塔，所述多级特征金字塔包括基于输入图像得到的多个级别多个尺度的特征图像。
10.如方案9所述的光伏组件的缺陷检测装置，其中，特定的目标检测模型通过以下方式构建输入图像的多级特征金字塔：
通过目标检测模型中的主干网络提取输入图像的不同级别的特征图像；
将不同级别的特征图像融合为基本特征；
将所述基本特征输入交替连接的特定数量的细化U形模块和特征融合模块，得到多组不同级别的特征，其中每一组特征包括多个尺度的特征；
将多组包括多个尺度的特征聚合生成所述多级特征金字塔。
11.如方案8所述的光伏组件的缺陷检测装置，其中，所述目标检测模型基于神经网络构建，其中部分神经元后连接特定的归一化层。
12.如方案11所述的光伏组件的缺陷检测装置，其中，所述归一化层采用自适配归一化方法构建。
13.如方案8-12中任一所述的光伏组件的缺陷检测装置，其中，所述装置还包括训练模块，被配置为采用训练数据对所述目标检测模型进行训练，以确定多个不同的检测等级；
其中，多个检测等级对应不同的检测参数值。
14.如方案13所述的光伏组件的缺陷检测装置，其中，所述装置还包括数据预处理模块，被配置为在所述训练数据的数据量较小时，对所述训练数据进行增量处理。
15.一种存储介质，所述存储介质存储有计算机程序，
所述计算机程序用于执行上述方案1-7中任一项所述的光伏组件的缺陷检测方法。
16.一种计算设备，所述计算设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于执行上述方案1-7项中任一所述的光伏组件的缺陷检测方法。

Claims (10)

1.一种光伏组件的缺陷检测方法，包括：
获取待检测的光伏组件发光图像；
将所述待检测的光伏组件发光图像输入特定的目标检测模型进行缺陷检测，其中，所述特定的目标检测模型基于所述待检测的光伏组件发光图像构建特征金字塔以对所述待检测的光伏组件发光图像中的缺陷进行检测；
基于所述特定的目标检测模型检测得到的结果进行数据展示处理。
2.如权利要求1所述的光伏组件的缺陷检测方法，其中，所述特定的目标检测模型基于所述待检测的光伏组件发光图像构建的特征金字塔为多级特征金字塔，所述多级特征金字塔包括基于输入图像得到的多个级别多个尺度的特征图像。
3.如权利要求2所述的光伏组件的缺陷检测方法，其中，特定的目标检测模型通过以下方式构建输入图像的多级特征金字塔：
通过目标检测模型中的主干网络提取输入图像的不同级别的特征图像；
将不同级别的特征图像融合为基本特征；
将所述基本特征输入交替连接的特定数量的细化U形模块和特征融合模块，得到多组不同级别的特征，其中每一组特征包括多个尺度的特征；
将多组包括多个尺度的特征聚合生成所述多级特征金字塔。
4.如权利要求1所述的光伏组件的缺陷检测方法，其中，所述目标检测模型基于神经网络构建，其中部分神经元后连接特定的归一化层。
5.一种光伏组件的缺陷检测装置，其中，包括：
图像获取模块，被配置为获取待检测的光伏组件发光图像；
缺陷检测模块，被配置为将所述待检测的光伏组件发光图像输入特定的目标检测模型进行缺陷检测，其中，所述特定的目标检测模型基于所述待检测的光伏组件发光图像构建特征金字塔以对所述待检测的光伏组件发光图像中的缺陷进行检测；
结果展示模块，被配置为基于所述特定的目标检测模型检测得到的结果进行数据展示处理。
6.如权利要求5所述的光伏组件的缺陷检测装置，其中，所述特定的目标检测模型基于所述待检测的光伏组件发光图像构建的特征金字塔为多级特征金字塔，所述多级特征金字塔包括基于输入图像得到的多个级别多个尺度的特征图像。
7.如权利要求6所述的光伏组件的缺陷检测装置，其中，特定的目标检测模型通过以下方式构建输入图像的多级特征金字塔：
通过目标检测模型中的主干网络提取输入图像的不同级别的特征图像；
将不同级别的特征图像融合为基本特征；
将所述基本特征输入交替连接的特定数量的细化U形模块和特征融合模块，得到多组不同级别的特征，其中每一组特征包括多个尺度的特征；
将多组包括多个尺度的特征聚合生成所述多级特征金字塔。
8.如权利要求5所述的光伏组件的缺陷检测装置，其中，所述目标检测模型基于神经网络构建，其中部分神经元后连接特定的归一化层。
9.一种存储介质，所述存储介质存储有计算机程序，
所述计算机程序用于执行上述权利要求1-4中任一项所述的光伏组件的缺陷检测方法。
10.一种计算设备，所述计算设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于执行上述权利要求1-4项中任一所述的光伏组件的缺陷检测方法。
CN202010642006.4A 2020-07-06 2020-07-06 光伏组件的缺陷检测方法、装置、存储介质和计算设备 Pending CN111768398A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010642006.4A CN111768398A (zh) 2020-07-06 2020-07-06 光伏组件的缺陷检测方法、装置、存储介质和计算设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010642006.4A CN111768398A (zh) 2020-07-06 2020-07-06 光伏组件的缺陷检测方法、装置、存储介质和计算设备

Publications (1)

Publication Number Publication Date
CN111768398A true CN111768398A (zh) 2020-10-13

Family

ID=72724605

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010642006.4A Pending CN111768398A (zh) 2020-07-06 2020-07-06 光伏组件的缺陷检测方法、装置、存储介质和计算设备

Country Status (1)

Country Link
CN (1) CN111768398A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112036517A (zh) * 2020-11-05 2020-12-04 中科创达软件股份有限公司 图像缺陷分类方法、装置及电子设备
CN112598073A (zh) * 2020-12-28 2021-04-02 南方电网深圳数字电网研究院有限公司 电网设备图像标注方法、电子设备及存储介质
CN113205502A (zh) * 2021-05-10 2021-08-03 内蒙古大学 一种基于深度学习的绝缘子缺陷检测方法及其系统
CN113269775A (zh) * 2021-06-11 2021-08-17 河南理工大学 一种基于多尺度特征融合ssd的缺陷检测方法及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110517224A (zh) * 2019-07-12 2019-11-29 上海大学 一种基于深度神经网络的光伏板缺陷检测方法
CN110852255A (zh) * 2019-11-08 2020-02-28 福州大学 一种基于u型特征金字塔的交通目标检测方法
CN111062429A (zh) * 2019-12-12 2020-04-24 上海点泽智能科技有限公司 基于深度学习的厨师帽和口罩佩戴的检测方法
CN111292308A (zh) * 2020-02-11 2020-06-16 南京邮电大学 基于卷积神经网络的光伏太阳能板红外缺陷检测方法
CN111340791A (zh) * 2020-03-02 2020-06-26 浙江浙能技术研究院有限公司 一种基于gan改进算法的光伏组件无监督缺陷检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110517224A (zh) * 2019-07-12 2019-11-29 上海大学 一种基于深度神经网络的光伏板缺陷检测方法
CN110852255A (zh) * 2019-11-08 2020-02-28 福州大学 一种基于u型特征金字塔的交通目标检测方法
CN111062429A (zh) * 2019-12-12 2020-04-24 上海点泽智能科技有限公司 基于深度学习的厨师帽和口罩佩戴的检测方法
CN111292308A (zh) * 2020-02-11 2020-06-16 南京邮电大学 基于卷积神经网络的光伏太阳能板红外缺陷检测方法
CN111340791A (zh) * 2020-03-02 2020-06-26 浙江浙能技术研究院有限公司 一种基于gan改进算法的光伏组件无监督缺陷检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JULEN BALZATEGUI等: "Defect detection on Polycrystalline solar cells using Electroluminescence and Fully Convolutional Neural Networks", 《PROCEEDINGS OF THE 2020 IEEE/SICE INTERNATIONAL SYMPOSIUM ON SYSTEM INTEGRATION》 *
MUHAMMAD RAMEEZ UR RAHMAN等: "Defects Inspection in Polycrystalline Solar Cells Electroluminescence Images Using Deep Learning", 《IEEE ACCESS》 *
QIJIE ZHAO等: "M2Det: A Single-Shot Object Detector based on Multi-Level Feature Pyramid Network", 《ARXIV:1811.04533V3》 *
WUQIN TANG等: "Deep learning based model for Defect Detection of Mono-Crystalline-Si Solar PV Module Cells in Electroluminescence Images Using Data Augmentation", 《APPEEC》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112036517A (zh) * 2020-11-05 2020-12-04 中科创达软件股份有限公司 图像缺陷分类方法、装置及电子设备
CN112598073A (zh) * 2020-12-28 2021-04-02 南方电网深圳数字电网研究院有限公司 电网设备图像标注方法、电子设备及存储介质
CN113205502A (zh) * 2021-05-10 2021-08-03 内蒙古大学 一种基于深度学习的绝缘子缺陷检测方法及其系统
CN113269775A (zh) * 2021-06-11 2021-08-17 河南理工大学 一种基于多尺度特征融合ssd的缺陷检测方法及设备
CN113269775B (zh) * 2021-06-11 2022-10-28 河南理工大学 一种基于多尺度特征融合ssd的缺陷检测方法及设备

Similar Documents

Publication Publication Date Title
CN111768398A (zh) 光伏组件的缺陷检测方法、装置、存储介质和计算设备
CN106875373B (zh) 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法
EP3483833B1 (en) Data generation apparatus, data generation method, and data generation program
CN113469953B (zh) 一种基于改进YOLOv4算法的输电线路绝缘子缺陷检测方法
CN110136101B (zh) 一种基于孪生距离比对的轮胎x光病疵检测方法
CN111598860B (zh) 基于嵌入自注意力门模块的yolov3网络的锂电池缺陷检测方法
CN108280822A (zh) 屏幕划痕的检测方法及装置
CN106530284A (zh) 基于图像识别的焊点类型检测和装置
JP6063756B2 (ja) 教師データ作成支援装置、教師データ作成装置、画像分類装置、教師データ作成支援方法、教師データ作成方法および画像分類方法
JP6059486B2 (ja) 教師データ検証装置、教師データ作成装置、画像分類装置、教師データ検証方法、教師データ作成方法および画像分類方法
TW202001795A (zh) 瑕疵分類標記系統及瑕疵分類標記方法
CN111080639A (zh) 基于人工智能的多场景消化道内镜图像识别方法及系统
JP2014137284A (ja) 教師データ作成支援装置、教師データ作成装置、画像分類装置、教師データ作成支援方法、教師データ作成方法および画像分類方法
CN113222913A (zh) 一种电路板缺陷检测定位方法、装置和存储介质
CN113780484B (zh) 工业产品缺陷检测方法和装置
CN116205876A (zh) 基于多尺度标准化流的无监督笔记本外观缺陷检测方法
CN116167910B (zh) 文本编辑方法、装置、计算机设备及计算机可读存储介质
CN116433634A (zh) 一种基于域自适应的工业图像异常检测方法
CN110674721A (zh) 一种试卷版面公式自动检测的方法
CN116385465A (zh) 图像分割模型的构建及图像分割方法、系统、设备和介质
CN116188391A (zh) 断栅缺陷检测方法、装置、电子设备和存储介质
CN114399754A (zh) 一种基于sw-fssd的数字仪表字符检测方法
CN112730437B (zh) 基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法、装置、存储介质及设备
CN116188374A (zh) 插座检测方法、装置、计算机设备及存储介质
CN114757941A (zh) 变电站设备缺陷的识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination