CN117541587A - 太阳能电池板缺陷检测方法、系统、电子设备及存储介质 - Google Patents
太阳能电池板缺陷检测方法、系统、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117541587A CN117541587A CN202410032820.2A CN202410032820A CN117541587A CN 117541587 A CN117541587 A CN 117541587A CN 202410032820 A CN202410032820 A CN 202410032820A CN 117541587 A CN117541587 A CN 117541587A
- Authority
- CN
- China
- Prior art keywords
- feature
- convolution
- solar panel
- defect detection
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 105
- 238000001514 detection method Methods 0.000 title claims abstract description 88
- 238000003860 storage Methods 0.000 title claims abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 42
- 238000010586 diagram Methods 0.000 claims abstract description 36
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000000605 extraction Methods 0.000 claims abstract description 25
- 238000000926 separation method Methods 0.000 claims abstract description 24
- 230000000149 penetrating effect Effects 0.000 claims abstract description 7
- 238000005096 rolling process Methods 0.000 claims abstract description 7
- 238000011176 pooling Methods 0.000 claims description 18
- 238000013519 translation Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 5
- 230000004931 aggregating effect Effects 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/778—Active pattern-learning, e.g. online learning of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种太阳能电池板缺陷检测方法、系统、电子设备及存储介质，属于太阳能电池板缺陷检测技术领域。包括获取太阳能电池板图像；将太阳能电池板图像输入训练好的缺陷检测模型进行处理，以获取缺陷检测结果；具体的，通过主干特征网络对太阳能电池板图像进行深度卷积和跨空间学习，压缩空间维度且融合不同尺度的特征信息，获取不同尺度的第一特征图；将不同尺度的第一特征图输入加强特征提取网络进行处理，对第一特征图进行密集卷积和分离卷积，将密集卷积生成的信息渗透至分离卷积，获取不同尺度的第二特征图；根据第二特征图，获取缺陷检测结果。能够平衡太阳能电池板检测的精度和速度，解决了现有缺陷检测精度和速度不均衡的问题。
Description
技术领域
本发明涉及太阳能电池板缺陷检测技术领域，特别是涉及一种太阳能电池板缺陷检测方法、系统、电子设备及存储介质。
背景技术
本部分的陈述仅仅是提到了与本发明相关的背景技术，并不必然构成现有技术。
随着科技的发展，针对太阳能电池板缺陷的检测已经开始从传统的机器学习方法细化为后续的深度学习以及计算机视觉方法。
传统的机器学习方法包括针对太阳能电池板缺陷的成像处理算法以及通过图像异常增强识别缺陷等方法，深度学习算法则主要包括支持向量机、长短时记忆神经网络等方法。
现在的计算机视觉方法，包括YOLO系列以及SSD等目标检测算法，尤其是以YOLO为代表的一阶段目标检测算法，更是在太阳能电池板缺陷检测方面展现出了巨大的潜力。
但由于太阳能电池板长期处于室外环境，受环境影响较大，因而采集到的缺陷图像大多背景较为复杂，复杂的背景导致使用现有的计算机视觉方法进行缺陷检测的准确性较差。
为了提高缺陷检测的准确度，对检测模型的结构进行改进，但这导致模型结构复杂、过大，影响缺陷检测的速度。基于此，在进行太阳能电池板缺陷检测时，存在缺陷检测精度不高、模型较大、缺陷检测精度与速度不均衡的问题。
发明内容
为了解决现有技术的不足，本发明提供了一种太阳能电池板缺陷检测方法、系统、电子设备及计算机可读存储介质，有效改善以往太阳能电池板缺陷检测不精确以及速度慢等缺点。
第一方面，本发明提供了一种太阳能电池板缺陷检测方法；
一种太阳能电池板缺陷检测方法，包括：
获取太阳能电池板图像；
将太阳能电池板图像输入训练好的缺陷检测模型进行处理，以获取缺陷检测结果；
其中，所述将太阳能电池板图像输入训练好的缺陷检测模型进行处理包括：
通过主干特征网络对太阳能电池板图像进行深度卷积和跨空间学习，压缩空间维度且融合不同尺度的特征信息，获取不同尺度的第一特征图；
将不同尺度的第一特征图输入加强特征提取网络进行处理，对第一特征图进行密集卷积和分离卷积，将密集卷积生成的信息渗透至分离卷积，获取不同尺度的第二特征图；
根据第二特征图，获取缺陷检测结果。
进一步的，所述通过主干特征网络对太阳能电池板图像进行深度卷积和跨空间学习包括：
将太阳能电池板图像输入级联的深度卷积层和多组堆叠的特征学习单元进行处理，并行对多层残差特征进行学习，获取不同尺度的输出特征图；
通过多尺度注意力层对特征学习单元最终输出的输出特征图进行处理，通过多条平行路径捕获像素级的成对关系，融合不同尺度的特征信息，获取多尺度注意力层的最终输出特征，以和其余输出特征图作为不同尺度的第一特征图。
优选的，所述特征学习单元包括级联的深度卷积层和特征学习模块；
所述深度卷积层使用多个卷积核对输入特征进行单通道卷积，获取对应大小的多个特征图，并将多个特征图进行堆叠，获取与输入深度相同的特征图；
将特征图输入特征学习模块，进行卷积操作后进行特征分层，将特征图划分为多层残差特征，通过残差连接层并行对多层残差特征进行学习，获取不同尺度的输出特征图。
进一步优选的，所述残差连接层中的卷积为具有平移依赖性的位置卷积，可根据不同的缺陷检测任务需求进行动态调整。
优选的，所述通过多尺度注意力层对特征学习单元最终输出的输出特征图进行处理包括：
对输出特征图进行特征分组；
采用一维全局平均池化操作沿水平维度方向对分组后输出特征图的全局信息进行编码，获取第一编码特征；采用一维全局平均池化操作沿空间维度方向对分组后输出特征图的全局信息进行编码，获取第二编码特征；采用卷积操作捕捉分组后的输出特征图的多尺度特征表示，获取第三编码特征；
将第一编码特征和第二编码特征融合并聚合权重，获取聚合特征并进行组标准化处理、全局空间信息编码和拟合线性变换，引入第三编码特征进行跨空间学习，获取第一空间注意力图；
利用二维全局平均池化编码第三编码特征的全局空间信息，引入组标准化处理后的聚合特征进行跨空间学习，获取第二空间注意力图；
聚合第一空间注意力图和第二空间注意力图的权重，获取多尺度注意力层的最终输出特征图。
进一步的，所述将不同尺度的第一特征图输入加强特征提取网络进行处理包括：
将第一特征图进行上采样处理，并将上采样处理后的第一特征图与同尺度的第一特征图进行特征融合，特征融合后输入至对应的级联的特征学习模块和分离卷积层进行处理，获取不同尺度的第二特征图。
优选的，所述分离卷积层对输入特征分别进行卷积和深度卷积，并将卷积后的输入特征和深度卷积后的输入特征进行拼接，将拼接后的特征进行改组。
第二方面，本发明提供了一种太阳能电池板缺陷检测系统；
一种太阳能电池板缺陷检测系统，包括：
获取模块，被配置为：获取太阳能电池板图像；
缺陷检测模块，被配置为：将太阳能电池板图像输入训练好的缺陷检测模型进行处理，以获取缺陷检测结果；
其中，所述将太阳能电池板图像输入训练好的缺陷检测模型进行处理包括：
通过主干特征网络对太阳能电池板图像进行深度卷积和跨空间学习，压缩空间维度且融合不同尺度的特征信息，获取不同尺度的第一特征图；
将不同尺度的第一特征图输入加强特征提取网络，对第一特征图进行密集卷积和分离卷积，将密集卷积生成的信息渗透至分离卷积，获取不同尺度的第二特征图；
根据第二特征图，获取缺陷检测结果。
第三方面，本发明提供了一种电子设备；
一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述太阳能电池板缺陷检测方法的步骤。
第四方面，本发明提供了一种计算机可读存储介质；
一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述太阳能电池板缺陷检测方法的步骤。
与现有技术相比，本发明的有益效果是：
1、本发明提供的技术方案，采用改进的YOLO v8主干特征网络，利用深度卷积替换普通卷积，减少主干特征网络在特征提取方面的计算成本，在通道上进行卷积计算；并在最后嵌入多尺度注意力机制，通过跨空间学习策略来融合不同尺度的特征信息，提高缺陷检测的精度。
2、本发明提供的技术方案，在加强特征提取网络中，利用分离卷积替换普通卷积，发挥分离卷积在细长通道中处理连接特征图的优势，降低数据流阻力，在减少参数量的情况下保证精度，同时加快推理速度。
3、本发明提供的技术方案，在整个网络所使用的特征学习模块中，增加了位置卷积，相较于传统卷积，位置卷积在输入特征图的同时增加了x坐标与y坐标的两个通道，用于学习缺陷的位置信息，如果未学习到缺陷位置信息，则与传统卷积作用相同，可以根据不同的缺陷检测任务需求进行动态调整。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例提供的流程示意图；
图2为本发明实施例提供的缺陷检测模型的网络架构示意图；
图3为本发明实施例提供的深度卷积层的网络架构示意图；
图4为本发明实施例提供的特征学习模块的网络架构示意图；
图5为本发明实施例提供的多尺度注意力层的网络架构示意图；
图6为本发明实施例提供的分离卷积层的网络架构示意图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
现有技术中的太阳能电池板检测方法的缺陷检测精度和速度不均衡；因此，本发明提供了一种太阳能电池板缺陷检测方法，首先，利用改进的YOLOv8主干特征网络提取输入样本中的光伏缺陷信息，改进的YOLOv8主干特征网络中插入了深度卷积层，用于减少特征提取时的计算成本，使得整个主干特征网络可以更容易提取训练样本中的缺陷信息；同时，在主干特征网络的最后，插入多尺度注意力层，通过对信道间信息进行编码以调整不同信道的重要性，而且将精确的空间结构信息保留到信道中；其次，在加强特征提取网络中，使用分离卷积替换普通卷积，减少在该阶段的重复信息，在减少参数量的同时保证加强特征提取网络的准确性，并提高推理速度；在整个缺陷检测模型的网络结构中，特征学习模块使用位置卷积来学习缺陷的本质特征与位置信息，建模平移不变性，从而提高模型的泛化能力；最后使用YOLOv8的检测头对输出的特征进行检测，得到检测结果。
接下来，结合图1-图6，对本实施例公开的一种太阳能电池板缺陷检测方法进行详细说明。该太阳能电池板缺陷检测方法，包括如下步骤：
S1、获取待检测的太阳能电池板图像并进行预处理。
具体的，通过工业摄像机等设备对太阳能电池板的表面情况进行采集，收集太阳能电池板表面情况的视频帧，分帧提取太阳能电池板图像，并将太阳能电池板图像的大小调整为640×640×3（长度×宽度×通道数）。
S2、将预处理后的太阳能电池板图像输入训练好的缺陷检测模型进行处理，获取缺陷检测结果；其中，缺陷检测模型包括依次连接的主干特征网络、加强特征提取网络和缺陷检测模块。
具体的，如图1所示，主干特征提取网络包括级联的一个深度卷积层、4组堆叠的特征学习单元、一个多尺度注意力层和一个池化层，一组特征学习单元包括级联的深度卷积层和特征学习模块；加强特征提取网络包括依次连接的上采样层、特征学习模块、上采样层、特征学习模块、分离卷积层、特征学习模块和分离卷积层，上采样层的输出与对应特征学习单元中特征学习模块的输入拼接后输入下一特征学习模块；缺陷检测模块包括三个检测头。
作为一种实施方式，太阳能电池板图像输入训练好的缺陷检测模型进行处理具体包括如下步骤：
S1、通过主干特征网络对太阳能电池板图像进行深度卷积和跨空间学习，压缩空间维度且融合不同尺度的特征信息，获取不同尺度的第一特征图。
具体流程如下：
（1）预处理后大小为640×640×3的太阳能电池板图像首先经过主干特征网络中第一个深度卷积层进行处理，得到大小为320×320×64的第一输出特征图，将大小为320×320×64的第一输出特征图输入第二个深度卷积层，得到大小为160×160×128的第二输出特征图。
其中，深度卷积层的网络架构如图3所示，深度卷积层的分组数量等于通道数量，将每个通道作为一个小组分别进行卷积，最后将每个小组卷积的结果进行拼接输出。
示例性的，将预处理后的太阳能电池板图像作为深度卷积层的输入，先经过一个11的卷积核调整通道数，使用多个3×3的卷积核，每个卷积核负责一个通道，对每个通道进行独立的卷积运算，得到对应大小的特征图，之后将多个特征图进行堆叠，最终得到与经1×1的卷积核处理后的图像输入通道数相同的输出特征图，但不同的是压缩了空间维度。
（2）再将大小为160×160×128的第二输出特征图输入至特征学习模块，特征学习模块对输入的第二输出特征图进行1*1卷积操作后，将其输入特征分层模块，特征分层模块对经过1×1卷积之后的第二输出特征图进行分层，使原有特征分为多层的特征信息，并输入至N个级联的残差连接层，每个残差连接层的输出和特征学习模块的输出拼接，拼接后再进行1*1卷积处理后输出，得到大小为160×160×128的第三输出特征图；其中，N为残差连接层的数量。
其中，残差连接层作为梯度流的分支，主要对多层残差特征进行学习，同时并行化的设计可以获得更为丰富的梯度流信息。
由于传统卷积只具备平移不变性，当传统卷积需要感知位置信息时，无法准确地获得关于缺陷特征的全面信息；因此，本实施例中所使用残差连接层中的卷积为位置卷积，位置卷积在输入特征图的同时增加了i与j（即x坐标与y坐标）两个通道，当两个通道学习到一定的缺陷信息时，可以使其具备平移依赖性。即通过位置卷积，由图4中尺寸大小为h×w×c的输入，得到大小为h’×w’×c’的位置卷积特征图，其中，h为长度，w为宽度，c为输入通道数，h’为位置卷积特征图的长度，w’为位置卷积特征图的宽度，c’为位置卷积特征图的通道数；而当两个坐标通道没有学习到信息时，则和传统卷积作用相同。位置卷积增加i与j两个通道后，根据学习情况去保持或丢弃平移不变性，允许网络学习完全的平移不变性或端任务所需的不同程度的平移依赖性。在使用位置卷积之后，可以使网络根据任务的不同学习不同程度的平移不变性与平移依赖性，主要用于提高模型的泛化能力。
之后经过三个相同的深度卷积层与特征学习模块，分别得到第二个特征学习模块输出的大小为的第四输出特征图、第三个特征学习模块输出的大小为的第五输出特征图以及第四个特征学习模块输出的大小为/>的第六输出特征图。
（3）将大小为20×20×512的第六输出特征图输入多尺度注意力层进行处理，首先，对大小为20×20×512的第六输出特征图进行特征分组，用于学习不同的语义特征，通过三条平行路径提取其不同通道的注意力权重，其中，两条平行路径在1×1分支上，第三条平行路径在3×3分支上，在1×1分支的平行路径中分别沿两个空间方向对通道进行编码，并采用一维全局平均池化操作对图像进行处理。
示例性的，如图5所示，以代表大小为20×20×512的第六输出特征图，具体流程如下：
（301）对进行特征分组。
具体的，在跨通道维度方向将输入映射X划分为G个子特征，用于学习不同的语义，第i个输入映射可表示为。
（302）在第一个1*1分支的平行路径中，采用一维全局平均池化操作沿水平维度的通道方向对分组后输出特征图的全局信息进行编码，获取第一编码特征；在第二个1*1分支的平行路径中，采用一维全局平均池化操作沿空间维度方向对分组后输出特征图的全局信息进行编码，获取第二编码特征；在第三个3*3分支的平行路径中，采用3*3卷积操作捕捉分组后的输出特征图的多尺度特征表示，获取第三编码特征。
其中，在高度H处，沿水平维度的通道方向，采用一维全局平均池化操作对分组后输出特征图的全局信息进行编码表示为：，式中，/>为第一编码特征，/>为宽度，/>为第/>个通道处的输入特征，H为长度，i为在宽度W上的第i个维度。
在宽度W处，沿水平维度的通道方向，采用一维全局平均池化操作对分组后输出特征图的全局信息进行编码表示为：，其中，/>为第二编码特征，/>为第/>个通道处的输入特征，H为输入特征的长度 ，W为输入特征的宽度，j为在长度H上的第j个维度。
在3×3分支的平行路径中仅堆叠一个3×3卷积核以捕获多尺度特征表示，将第一编码特征和第二编码特征沿图像高度方向进行拼接，使其共享相同的1×1卷积，而不降低1×1分支的维数。
（303）将第一编码特征和第二编码特征融合并聚合权重，获取聚合特征并进行组标准化处理、全局空间信息编码和拟合线性变换，引入第三编码特征进行跨空间学习，获取第一空间注意力图；利用二维全局平均池化编码第三编码特征的全局空间信息，引入组标准化处理后的聚合特征进行跨空间学习，获取第二空间注意力图。
具体的，在两个1*1分支的平行路径上，将其输出的第一编码特征和第二编码特征沿图像的高度方向进行拼接，使其共享相同的1×1卷积，而不降低1×1分支的维数。将1×1卷积的输出分解为两个向量后，利用两个非线性Sigmoid函数进行拟合，聚合权重，得到尺寸为C//G×H×W的特征图，之后通过组标准化将特征图重塑为尺寸为C//G×H×W大小的张量。
利用二维全局平均池化对C//G×H×W大小的张量进行全局空间信息编码，之后采用自然非线性函数Softmax来拟合线性变换，并将3×3分支通过3×3卷积捕获的信息与其进行矩阵点积运算相乘，从而得到第一空间注意力图。
而在3×3分支的平行路径中，同样利用二维全局平均池化编码全局空间信息，采用自然非线性函数Softmax来拟合线性变换，并将其输出与组标准化后得到的C//G×H×W大小的张量进行乘法操作，从而得到了保留整个精确空间位置信息的第二空间注意力图。
最后，集合第一空间注意力图和第二空间注意力图的空间注意力权重值，使用Sigmoid函数拟合，最终聚合权重。
需要注意的是，多尺度注意力层的输出与输入相同，经过池化层得到20×20×512大小的特征图输出，并将此输出与第二个特征学习模块和第三个特征学习模块的输出作为不同尺度的第一特征图共同输入至加强特征提取网络。
S2、将不同尺度的第一特征图输入加强特征提取网络进行处理，对第一特征图进行密集卷积和分离卷积，将密集卷积生成的信息渗透至分离卷积，获取不同尺度的第二特征图；根据第二特征图，获取缺陷检测结果。
示例性的，在加强特征提取网络中，池化层输出的20×20×512大小的第一特征图首先输入至上采样层，得到大小为40×40×512的特征图，然后将其与主干特征网络中第三个特征学习模块输出的第一特征图拼接，输入至加强特征提取网络中的第一个特征学习模块，得到大小为40×40×512的第二特征图。
大小为40×40×512的第二特征图经上采样后得到大小为80×80×512的输出，将其与主干特征网络中第二个特征学习模块输出的第一特征图进行拼接，得到大小为80×80×768的输出，并输入至加强特征提取网络中的第二个特征学习模块，得到大小为80×80×256的第二特征图，将其分别输入至缺陷检测模块中的第一个检测头和加强特征提取网络中的第一个分离卷积层。
大小为80×80×256的第二特征图输入至第一个分离卷积层后，输出得到大小为40×40×256的特征图，将其与加强特征学习网络中第一个特征学习模块的输出进行拼接，得到尺寸大小为40×40×768的输出，将其输入加强特征提取网络中的第三个特征学习模块，输出大小为40×40×512的第二特征图，将其分别输入缺陷检测模块中的第二个检测头和加强特征提取网络中的第二个分离卷积层，得到大小为20×20×512的输出，将大小为20×20×512的输出与主干特征网络中池化层的输出拼接，得到大小为20×20×512的输出，将大小为20×20×512的输出井加强特提取网络中的第三个特征学习模块处理后，输出大小为20×20×512的第二特征图至缺陷检测模块的第三个检测头，得到太阳能电池板缺陷检测结果。
其中，结合图6，针对输入的特征图，分离卷积首先将其进行卷积操作，之后进行深度卷积操作，之后将卷积操作之后的输出与深度卷积之后的进行拼接，将拼接后的进行改组，从而将密集卷积操作生成的信息渗透至深度可分离卷积的每个信息，最终得到输出；使用分离卷积的目的在于在减轻模型复杂度的同时保持精度。
作为一种实施方式，在将缺陷检测模型应用至太阳能电池板的缺陷检测之前，对缺陷检测模型进行训练。具体流程如下：
（a）制作数据集。
通过利用高分辨率的工业摄像机来实时捕获太阳能电池板表面的视频，工业摄像机平行于建筑分布式光伏的太阳能电池板表面进行视频的采集。将采集后的视频帧进行格式转换，数据增强，并对图像尺寸、大小以及分辨率进行处理，标记裂纹（线状和星状）、断栅、黑芯、未对准、粗线、划痕、碎片、断角等缺陷类型，最终得到带有类别标签的缺陷图像，按照8：2的比例划分训练集与验证集，至此，数据集制作完毕。
（b）将训练集输入构建好的缺陷检测模型进行训练。
（c）使用验证集验证缺陷检测模型的性能。
本实施例提供的技术方案可以有效改善以往太阳能电池板缺陷检测不精确以及速度慢等缺点，同时单阶段目标检测器的优势，使得模型轻量化，从而使得迁移学习成为可能。
通过对缺陷检测模型进行训练得到训练权重，训练权重是指将数据集输入至网络和模型中训练所得到的特征权值文件，可以用作对光伏缺陷的直接检测。即调用权值文件作为该模型的预训练权值，用于预测光伏缺陷。
实施例二
本实施例公开了一种太阳能电池板缺陷检测系统，包括：
获取模块，被配置为：获取太阳能电池板图像；
缺陷检测模块，被配置为：将太阳能电池板图像输入训练好的缺陷检测模型进行处理，以获取缺陷检测结果；
其中，所述将太阳能电池板图像输入训练好的缺陷检测模型进行处理包括：
通过主干特征网络对太阳能电池板图像进行深度卷积和跨空间学习，压缩空间维度且融合不同尺度的特征信息，获取不同尺度的第一特征图；
将不同尺度的第一特征图输入加强特征提取网络，对第一特征图进行密集卷积和分离卷积，将密集卷积生成的信息渗透至分离卷积，获取不同尺度的第二特征图；
根据第二特征图，获取缺陷检测结果。
此处需要说明的是，上述获取模块和缺陷检测模块对应于实施例一中的步骤，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
实施例三
本发明实施例三提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，计算机指令被处理器运行时，完成上述太阳能电池板缺陷检测方法的步骤。
实施例四
本发明实施例四提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述太阳能电池板缺陷检测方法的步骤。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.太阳能电池板缺陷检测方法，其特征在于，包括：
获取太阳能电池板图像；
将太阳能电池板图像输入训练好的缺陷检测模型进行处理，以获取缺陷检测结果；
其中，所述将太阳能电池板图像输入训练好的缺陷检测模型进行处理包括：
通过主干特征网络对太阳能电池板图像进行深度卷积和跨空间学习，压缩空间维度且融合不同尺度的特征信息，获取不同尺度的第一特征图；
将不同尺度的第一特征图输入加强特征提取网络进行处理，对第一特征图进行密集卷积和分离卷积，将密集卷积生成的信息渗透至分离卷积，获取不同尺度的第二特征图；
根据第二特征图，获取缺陷检测结果。
2.如权利要求1所述的太阳能电池板缺陷检测方法，其特征在于，所述通过主干特征网络对太阳能电池板图像进行深度卷积和跨空间学习包括：
将太阳能电池板图像输入级联的深度卷积层和多组堆叠的特征学习单元进行处理，并行对多层残差特征进行学习，获取不同尺度的输出特征图；
通过多尺度注意力层对特征学习单元最终输出的输出特征图进行处理，通过多条平行路径捕获像素级的成对关系，融合不同尺度的特征信息，获取多尺度注意力层的最终输出特征，以和其余输出特征图作为不同尺度的第一特征图。
3.如权利要求2所述的太阳能电池板缺陷检测方法，其特征在于，所述特征学习单元包括级联的深度卷积层和特征学习模块；
所述深度卷积层使用多个卷积核对输入特征进行单通道卷积，获取对应大小的多个特征图，并将多个特征图进行堆叠，获取与输入深度相同的特征图；
将特征图输入特征学习模块，进行卷积操作后进行特征分层，将特征图划分为多层残差特征，通过残差连接层并行对多层残差特征进行学习，获取不同尺度的输出特征图。
4.如权利要求3所述的太阳能电池板缺陷检测方法，其特征在于，所述残差连接层中的卷积为具有平移依赖性的位置卷积，可根据不同的缺陷检测任务需求进行动态调整。
5.如权利要求2所述的太阳能电池板缺陷检测方法，其特征在于，所述通过多尺度注意力层对特征学习单元最终输出的输出特征图进行处理包括：
对输出特征图进行特征分组；
采用一维全局平均池化操作沿水平维度方向对分组后输出特征图的全局信息进行编码，获取第一编码特征；采用一维全局平均池化操作沿空间维度方向对分组后输出特征图的全局信息进行编码，获取第二编码特征；采用卷积操作捕捉分组后的输出特征图的多尺度特征表示，获取第三编码特征；
将第一编码特征和第二编码特征融合并聚合权重，获取聚合特征并进行组标准化处理、全局空间信息编码和拟合线性变换，引入第三编码特征进行跨空间学习，获取第一空间注意力图；
利用二维全局平均池化编码第三编码特征的全局空间信息，引入组标准化处理后的聚合特征进行跨空间学习，获取第二空间注意力图；
聚合第一空间注意力图和第二空间注意力图的权重，获取多尺度注意力层的最终输出特征图。
6.如权利要求1所述的太阳能电池板缺陷检测方法，其特征在于，所述将不同尺度的第一特征图输入加强特征提取网络进行处理包括：
将第一特征图进行上采样处理，并将上采样处理后的第一特征图与同尺度的第一特征图进行特征融合，特征融合后输入至对应的级联的特征学习模块和分离卷积层进行处理，获取不同尺度的第二特征图。
7.如权利要求6所述的太阳能电池板缺陷检测方法，其特征在于，所述分离卷积层对输入特征分别进行卷积和深度卷积，并将卷积后的输入特征和深度卷积后的输入特征进行拼接，将拼接后的特征进行改组。
8.太阳能电池板缺陷检测系统，其特征在于，包括：
获取模块，被配置为：获取太阳能电池板图像；
缺陷检测模块，被配置为：将太阳能电池板图像输入训练好的缺陷检测模型进行处理，以获取缺陷检测结果；
其中，所述将太阳能电池板图像输入训练好的缺陷检测模型进行处理包括：
通过主干特征网络对太阳能电池板图像进行深度卷积和跨空间学习，压缩空间维度且融合不同尺度的特征信息，获取不同尺度的第一特征图；
将不同尺度的第一特征图输入加强特征提取网络，对第一特征图进行密集卷积和分离卷积，将密集卷积生成的信息渗透至分离卷积，获取不同尺度的第二特征图；
根据第二特征图，获取缺陷检测结果。
9.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项所述太阳能电池板缺陷检测方法的步骤。
10.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项所述太阳能电池板缺陷检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410032820.2A CN117541587B (zh) | 2024-01-10 | 2024-01-10 | 太阳能电池板缺陷检测方法、系统、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410032820.2A CN117541587B (zh) | 2024-01-10 | 2024-01-10 | 太阳能电池板缺陷检测方法、系统、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117541587A true CN117541587A (zh) | 2024-02-09 |
| CN117541587B CN117541587B (zh) | 2024-04-02 |
Family
ID=89786594
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410032820.2A Active CN117541587B (zh) | 2024-01-10 | 2024-01-10 | 太阳能电池板缺陷检测方法、系统、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117541587B (zh) |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190147283A1 (en) * | 2016-05-16 | 2019-05-16 | United Technologies Corporation | Deep convolutional neural networks for crack detection from image data |
| WO2019104767A1 (zh) * | 2017-11-28 | 2019-06-06 | 河海大学常州校区 | 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法 |
| CN113077444A (zh) * | 2021-04-01 | 2021-07-06 | 复旦大学 | 一种基于cnn的超声无损检测图像缺陷分类方法 |
| CN113298797A (zh) * | 2021-06-10 | 2021-08-24 | 太原科技大学 | 太阳能电池表面缺陷检测方法 |
| WO2022120665A1 (zh) * | 2020-12-09 | 2022-06-16 | 电子科技大学 | 一种基于深度学习的电容缺陷智能检测方法 |
| CN114842019A (zh) * | 2022-07-06 | 2022-08-02 | 山东建筑大学 | 一种电池板表面缺陷检测方法、系统、存储介质及设备 |
| CN114972280A (zh) * | 2022-06-07 | 2022-08-30 | 重庆大学 | 精细坐标注意力模块及其在表面缺陷检测中的应用 |
| WO2022252348A1 (zh) * | 2021-06-01 | 2022-12-08 | 浙江工商大学 | 基于旋转目标和改进注意力机制的薄膜划痕瑕疵检测方法 |
| CN115861223A (zh) * | 2022-11-29 | 2023-03-28 | 国网山东省电力公司营销服务中心(计量中心) | 一种太阳能电池板缺陷检测方法及系统 |
| WO2023056889A1 (zh) * | 2021-10-09 | 2023-04-13 | 百果园技术(新加坡)有限公司 | 模型训练和场景识别方法、装置、设备及介质 |
| CN116051549A (zh) * | 2023-03-29 | 2023-05-02 | 山东建筑大学 | 一种太阳能电池片缺陷分割方法、系统、介质及设备 |
| CN116385402A (zh) * | 2023-04-06 | 2023-07-04 | 国网山西省电力公司信息通信分公司 | 一种基于图像深度学习的蓄电池缺陷检测方法及系统 |
| WO2023173598A1 (zh) * | 2022-03-15 | 2023-09-21 | 中国华能集团清洁能源技术研究院有限公司 | 基于改进ssd模型的风机叶片缺陷检测方法及系统 |
| US20230306577A1 (en) * | 2022-05-25 | 2023-09-28 | Nanjing University Of Aeronautics And Astronautics | Cross-scale defect detection method based on deep learning |
| CN116958046A (zh) * | 2023-06-08 | 2023-10-27 | 西安电子科技大学 | 一种基于深度学习的屏幕Mura检测方法及设备 |
| CN117372346A (zh) * | 2023-09-28 | 2024-01-09 | 成都数之联科技股份有限公司 | 一种小样本缺陷识别方法、系统、设备及存储介质 |
-
2024
- 2024-01-10 CN CN202410032820.2A patent/CN117541587B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190147283A1 (en) * | 2016-05-16 | 2019-05-16 | United Technologies Corporation | Deep convolutional neural networks for crack detection from image data |
| WO2019104767A1 (zh) * | 2017-11-28 | 2019-06-06 | 河海大学常州校区 | 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法 |
| WO2022120665A1 (zh) * | 2020-12-09 | 2022-06-16 | 电子科技大学 | 一种基于深度学习的电容缺陷智能检测方法 |
| CN113077444A (zh) * | 2021-04-01 | 2021-07-06 | 复旦大学 | 一种基于cnn的超声无损检测图像缺陷分类方法 |
| WO2022252348A1 (zh) * | 2021-06-01 | 2022-12-08 | 浙江工商大学 | 基于旋转目标和改进注意力机制的薄膜划痕瑕疵检测方法 |
| CN113298797A (zh) * | 2021-06-10 | 2021-08-24 | 太原科技大学 | 太阳能电池表面缺陷检测方法 |
| WO2023056889A1 (zh) * | 2021-10-09 | 2023-04-13 | 百果园技术(新加坡)有限公司 | 模型训练和场景识别方法、装置、设备及介质 |
| WO2023173598A1 (zh) * | 2022-03-15 | 2023-09-21 | 中国华能集团清洁能源技术研究院有限公司 | 基于改进ssd模型的风机叶片缺陷检测方法及系统 |
| US20230306577A1 (en) * | 2022-05-25 | 2023-09-28 | Nanjing University Of Aeronautics And Astronautics | Cross-scale defect detection method based on deep learning |
| CN114972280A (zh) * | 2022-06-07 | 2022-08-30 | 重庆大学 | 精细坐标注意力模块及其在表面缺陷检测中的应用 |
| CN114842019A (zh) * | 2022-07-06 | 2022-08-02 | 山东建筑大学 | 一种电池板表面缺陷检测方法、系统、存储介质及设备 |
| CN115861223A (zh) * | 2022-11-29 | 2023-03-28 | 国网山东省电力公司营销服务中心(计量中心) | 一种太阳能电池板缺陷检测方法及系统 |
| CN116051549A (zh) * | 2023-03-29 | 2023-05-02 | 山东建筑大学 | 一种太阳能电池片缺陷分割方法、系统、介质及设备 |
| CN116385402A (zh) * | 2023-04-06 | 2023-07-04 | 国网山西省电力公司信息通信分公司 | 一种基于图像深度学习的蓄电池缺陷检测方法及系统 |
| CN116958046A (zh) * | 2023-06-08 | 2023-10-27 | 西安电子科技大学 | 一种基于深度学习的屏幕Mura检测方法及设备 |
| CN117372346A (zh) * | 2023-09-28 | 2024-01-09 | 成都数之联科技股份有限公司 | 一种小样本缺陷识别方法、系统、设备及存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| 刘伟森;方亦建;: "基于多尺度轻量级卷积网络的PCB裸板缺陷识别算法", 自动化与信息工程, no. 05, 28 October 2020 (2020-10-28) * |
| 周颖;毛立;张燕;陈海永;: "改进的CNN在太阳能电池板缺陷检测中的应用", 计算机仿真, no. 03, 15 March 2020 (2020-03-15) * |
| 王若霄;徐智勇;张建林;: "跨深度的卷积特征增强目标检测算法", 计算机工程与设计, no. 07, 16 July 2020 (2020-07-16) * |
| 陈凤妹;程显毅;姚泽峰;: "基于深度学习的太阳能电池板缺陷检测模型设计", 无线互联科技, no. 23, 10 December 2019 (2019-12-10) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117541587B (zh) | 2024-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113850825B (zh) | 基于上下文信息和多尺度特征融合的遥感图像道路分割方法 | |
| CN110378222B (zh) | 一种输电线路防震锤目标检测与缺陷识别方法及装置 | |
| CN114240878A (zh) | 面向巡检场景的绝缘子缺陷检测神经网络构建与优化方法 | |
| CN115829999A (zh) | 一种绝缘子缺陷检测模型生成方法、装置、设备和存储介质 | |
| CN114495029B (zh) | 一种基于改进YOLOv4的交通目标检测方法及系统 | |
| WO2021238420A1 (zh) | 图像去雾方法、终端及计算机存储介质 | |
| CN113723377A (zh) | 一种基于ld-ssd网络的交通标志检测方法 | |
| CN114022770A (zh) | 基于改进自注意力机制与迁移学习的山体裂缝检测方法 | |
| CN113569672A (zh) | 轻量级目标检测与故障识别方法、装置及系统 | |
| CN116416244A (zh) | 一种基于深度学习的裂缝检测方法及系统 | |
| CN113903022A (zh) | 基于特征金字塔与注意力融合的文本检测方法及系统 | |
| CN116740516A (zh) | 基于多尺度融合特征提取的目标检测方法及系统 | |
| CN115240259A (zh) | 一种基于yolo深度网络的课堂环境下人脸检测方法及其检测系统 | |
| CN116503677B (zh) | 一种湿地分类信息提取方法、系统、电子设备及存储介质 | |
| CN117541587B (zh) | 太阳能电池板缺陷检测方法、系统、电子设备及存储介质 | |
| CN117315584A (zh) | 一种基于改进YOLOv7-tiny的危化品车辆目标检测方法 | |
| CN117037119A (zh) | 基于改进YOLOv8的道路目标检测方法及系统 | |
| CN116580324A (zh) | 一种基于YOLOv5的无人机对地目标检测方法 | |
| CN113221731B (zh) | 一种多尺度遥感图像目标检测方法及系统 | |
| CN113343977B (zh) | 一种集装箱码头集卡车牌的多路自动识别方法 | |
| CN115601675A (zh) | 一种基于Swin-transformer与yolov5模型集成的手术器械清点方法 | |
| CN114998866A (zh) | 一种基于改进YOLOv4的交通标志识别方法 | |
| CN114677558A (zh) | 一种基于方向梯度直方图与改进胶囊网络的目标检测方法 | |
| CN115375677B (zh) | 基于多路径和多尺度特征融合的酒瓶缺陷检测方法及系统 | |
| CN117557775B (zh) | 基于红外和可见光融合的变电站电力设备检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |