CN113781466B - 基于多尺度注意力密集网络的太阳能电池板缺陷识别方法 - Google Patents
基于多尺度注意力密集网络的太阳能电池板缺陷识别方法 Download PDFInfo
- Publication number
- CN113781466B CN113781466B CN202111106218.1A CN202111106218A CN113781466B CN 113781466 B CN113781466 B CN 113781466B CN 202111106218 A CN202111106218 A CN 202111106218A CN 113781466 B CN113781466 B CN 113781466B
- Authority
- CN
- China
- Prior art keywords
- layer
- attention
- solar panel
- scale
- dense network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 113
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000004927 fusion Effects 0.000 claims abstract description 39
- 238000012360 testing method Methods 0.000 claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 29
- 230000007246 mechanism Effects 0.000 claims abstract description 20
- 230000006870 function Effects 0.000 claims description 27
- 238000011176 pooling Methods 0.000 claims description 22
- 230000004913 activation Effects 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 13
- 230000007704 transition Effects 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 8
- 238000003466 welding Methods 0.000 claims description 8
- 239000007787 solid Substances 0.000 claims description 7
- 238000012935 Averaging Methods 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000009795 derivation Methods 0.000 claims description 2
- 230000005284 excitation Effects 0.000 claims description 2
- 238000005336 cracking Methods 0.000 claims 1
- 239000012141 concentrate Substances 0.000 abstract description 2
- 238000001514 detection method Methods 0.000 description 11
- 238000013527 convolutional neural network Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000005283 ground state Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000012535 impurity Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005424 photoluminescence Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 229910000679 solder Inorganic materials 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Quality & Reliability (AREA)
- Photovoltaic Devices (AREA)
Abstract
本发明公开了一种基于多尺度注意力密集网络的太阳能电池板缺陷识别方法，包括：划分太阳能电池板缺陷图像、构建多尺度融合注意力机制的密集网络、训练阶段和测试阶段。本发明在原本的密集网络中加入空间组增强模块、多尺度融合思想以及注意力机制，使得改进后的网络针对太阳能电池板缺陷识别的准确率得到极大提升。采用多尺度融合，将不同层级中的特征聚合到一起提高了网络模型的表达能力，有效地提高了网络模型的识别准确率。在网络中注入注意力机制，使得网络能够专注于要识别的缺陷，抑制背景信息，解决类间相似性过高，难以辨别的问题。采用空间组增强策略，增强不同种类缺陷的特征，解决缺陷种类多。
Description
技术领域
本发明涉及神经网络图像数据处理领域，具体是一种基于多尺度注意力密集网络的太阳能电池板缺陷识别方法。
背景技术
由于太阳能可再生和清洁无污染的特点，使得光伏产业迅速发展，而太阳能电池板是能量转换的核心部件，产量也在不断上升。在制作、运输、安装和使用的过程中都可能会对电池板造成损伤。这些因损伤所造成的缺陷将会严重降低太阳能电池板的光电转换效率和使用寿命。因此，必须在使用之前及时识别出太阳能电池板的缺陷，并替换有缺陷的太阳能电池板。近年来，随着计算机技术日趋成熟，越来越多的太阳能电池板检测开始使用计算机视觉技术来替代人工目视缺陷检测，实现太阳能电池板缺陷的在线检测与识别，以降低人工成本并提高太阳能电池板缺陷的检测效率和准确率。
目前常用的基于机器视觉的太阳能电池板缺陷检测方法有三种，一是使用电致发光成像，对电池板施加正向电压后，表面会发出红外光，根据电致发光图像中的发光强度和形状差异就可以识别出缺陷，但电池板杂质对成像影响较大且需要稳定的电源；二是光致发光法，使用激光照射电池板，激光中的光子可以激发硅片中处于基态的电子，一段时间后再回到基态并发出荧光，根据荧光效应的强弱来确定缺陷位置，但无法确定缺陷类型；三是红外热成像，使用红外光源照射电池板，根据图像中的明暗对比可检测出裂纹和缺角的缺陷，但因缺陷模板单一使得检测的准确率较低。
卷积神经网络是深度学习的代表算法之一，因其可以自动学习图像特征，能有效提取图像中的纹理、形状和颜色等高层特征并分类，通常能够获得比其他传统特征提取方法更好的分类效果。由于太阳能电池板图像往往背景复杂，还有杂质和栅线等因素的干扰，传统特征提取方法提取的太阳能电池板图像的单一底层特征使得太阳能电池板的缺陷分类效果不理想。因此，将深度学习用于太阳能电池板缺陷的快速准确分类是本领域的研究方向。申请号201810250676.4的文献公开了一种基于卷积神经网络的太阳能电池板缺陷识别方法，包括模型离线训练和在线检测两个阶段，将卷积神经网络模型应用于太阳能电池板的缺陷识别上，使用两个CNN模型递进地实现了缺陷检测和分类，但是该方法使用两个CNN模型实际并未解决太阳能电池板缺陷样本较少的问题，因此在太阳能电池板缺陷分类上准确率很低；同时使用两个CNN模型不仅无法取得较好的缺陷分类效果，反而大量增加了计算量，严重影响了检测效率。除此之外，太阳能电池板缺陷类内大小尺度不一，难以识别也是太阳能电池板缺陷检测领域的一大痛点问题。
总之，现有的太阳能电池板缺陷识别或检测方法存在功能单一、泛化能力较弱、实际检测任务中准确率无法保证、一套参数很难通用、可识别类别较少、计算量较大和效率较低的缺陷。
发明内容
针对现有技术的不足，本发明拟解决的技术问题是，提供一种基于多尺度注意力密集网络的太阳能电池板缺陷识别方法。
本发明解决所述技术问题的技术方案是，提供一种基于多尺度注意力密集网络的太阳能电池板缺陷识别方法，其特征在于，该方法包括以下步骤：
(1)划分太阳能电池板缺陷图像：从现有太阳能电池板图像数据库中选择太阳能电池板缺陷图像，再将太阳能电池板缺陷图像划分为训练集和测试集；
(2)构建多尺度融合注意力机制的密集网络：密集网络包括图像输入部分、空间组增强模块、多尺度融合注意力特征提取模块和预测输出部分；将测试集输入图像输入部分，初步提取特征，得到特征图X；再将特征图X依次送入空间组增强模块和多尺度融合注意力特征提取模块中进行高级语义信息特征的提取，得到多尺度特征融合图；最后将多尺度特征融合图通过预测输出部分重置成一维张量图像特征，再输出缺陷类别；
(3)训练阶段：将步骤(1)得到的训练集输入到步骤(2)构建的多尺度融合注意力机制的密集网络中进行训练；训练结束，得到训练好的多尺度融合注意力机制的密集网络；
(4)测试阶段：将步骤(1)得到的测试集输入步骤(3)得到的训练好的多尺度融合注意力机制的密集网络中进行测试，得到测试集的分类输出结果。
与现有技术相比，本发明有益效果在于：
(1)本发明在原本的密集网络中加入空间组增强模块、多尺度融合思想以及注意力机制，使得改进后的网络针对太阳能电池板缺陷识别的准确率得到极大提升。
(2)传统的卷积神经网络模型中都是使用的顺次连接的结构，这样的结构往往会丢失一些重要特征，从而影响识别准确率。本发明采用多尺度融合，将不同层级中的特征聚合到一起，将低级特征与高级特征融合，解决缺陷大小尺度不一的问题，提高了网络模型的表达能力，有效地提高了网络模型的识别准确率。本发明不仅仅只根据某一类太阳能电池板缺陷的特点，而是针对图像的多尺度特征多次融合，既能够同时检测出多种类型的缺陷，准确率又高，通用性强。
(3)本发明在网络中注入注意力机制，使得网络能够专注于要识别的缺陷，抑制背景信息，解决类间相似性过高，难以辨别的问题。在特征图不同通道引入不同的权重，显式地表现出不同通道的重要性程度。
(4)本发明采用空间组增强策略，增强不同种类缺陷的特征，解决缺陷种类多，难以区分的问题，克服了太阳能电池板缺陷识别方法现有技术存在功能单一、泛化能力较弱、实际识别任务中准确率无法保证、一套参数很难通用、可识别类别较少、计算量较大和效率较低的缺陷。
附图说明
图1为本发明的多尺度融合注意力机制的密集网络的结构图；
图2为本发明的空间组增强模块的结构图；
图3为本发明的多尺度融合注意力特征提取模块的结构图；
图4为本发明的改进的瓶颈层的结构图；
图5为本发明的密集网络与原始密集网络针对训练集实验的准确率随训练轮次变化的曲线图；
图6为本发明的密集网络对测试集的测试结果的混淆矩阵图；
图7为现有原始密集网络对测试集的测试结果的混淆矩阵图。
具体实施方式
下面给出本发明的具体实施例。具体实施例仅用于进一步详细说明本发明，不限制本申请权利要求的保护范围。
本发明提供了一种基于多尺度注意力密集网络的太阳能电池板缺陷识别方法(简称方法)，其特征在于，该方法包括以下步骤：
(1)划分太阳能电池板缺陷图像：从现有太阳能电池板图像数据库中选择太阳能电池板缺陷图像，太阳能电池板缺陷图像均为灰度图像；再将太阳能电池板缺陷图像采用随机抽样的方式划分为训练集和测试集；
优选地，步骤(1)中，太阳能电池板缺陷图像的缺陷类型为实心黑、开焊、隐裂、阴影和断栅。
(2)根据步骤(1)采集的太阳能电池板缺陷图像中的各种缺陷样本的特点，在实验的软件环境和硬件环境中构建多尺度融合注意力机制的密集网络(简称密集网络，Densenet，如图1所示)：
所述密集网络包括图像输入部分、空间组增强模块、多尺度融合注意力特征提取模块和预测输出部分；将测试集输入图像输入部分，初步提取特征，得到特征图X；再将特征图X依次送入空间组增强模块(Spational Group Enhance Module)和多尺度融合注意力特征提取模块(Multi Scale Fusion Attention Module)中进行高级语义信息特征的提取，得到多尺度特征融合图；最后将多尺度特征融合图通过预测输出部分重置成一维张量图像特征，再输出缺陷类别。
优选地，步骤(2)中，实验的软件环境是在win10系统下的Pytorch学习框架，编译器为Python；硬件环境为NVDIA GTX2070super显卡。
优选地，步骤(2)中，图像输入部分由一个卷积层构成；卷积层的卷积核大小为3×3，步长为1，Padding为1；经过一次卷积操作(Convlution)，初步提取特征，得到特征图X。
优选地，步骤(2)中，空间组增强模块(如图2所示)由依次连接的全局平均池化层、卷积层和激活层组成；首先将特征图X按照通道进行分组，分别为Xi(i∈[1,2,...])，组数不超过通道数；再对每组Xi(i∈[1,2,...])分别进行全局平均池化操作，得到Gi(i∈[1,2,...])；再将Gi与各自的Xi进行逐点乘积得到Ci，Ci再归一化为再对每个/>引入一对参数γ和β来进行缩放和移位，得到/>其中γ和β的初值分别选取大小为1×groups×1×1的全0三维张量和全1三维张量；最后通过Sigmoid函数生成重要性系数Ki，再与各自的Xi进行逐点乘积来缩放Xi，进而得到特征向量/>整个过程的表达式为：
式(1)中，GAP表示全局平均池化操作，BN表示归一化操作，σ表示Sigmoid函数。
优选地，步骤(2)中，多尺度融合注意力特征提取模块(如图3所示)由三个密集块(Dense Block)和两个过渡层(Transition Layer)构成；相邻两个密集块之间设置一个过渡层；特征向量输入第一个密集块(Dense Block1)，第一个密集块的输出经过渡层在宽度和高度两个维度上进行2倍下采样的操作，得到相应的输出；然后在通道维度上，将其与第二个密集块(Dense Block2)经过过渡层后的输出以及第三个密集块(Dense Block3)的输出在通道维度上进行拼接(Concat)，得到大小为batch_size(一次训练所选取的样本数，即每次输入的图片个数)×C(通道)×H(高度)×W(宽度)的三维多尺度特征融合图，联合高层特征和低层特征，实现多尺度融合，提高识别性能。Concat是将三个宽高相同、通道数不同的特征图按照通道维度相加。
每个密集块均由16个改进的瓶颈层(Bottleneck Layer)构成；每个瓶颈层由依次连接的两个卷积层和一个压缩-激励(Squenze-Excitation,Se)注意力层组成；其中第一个卷积层的卷积核大小为1×1，步长为1，Padding为0；第二个卷积层的卷积核大小为3×3，步长为1，Padding为1；两个卷积层输出的特征图再进入压缩-激励注意力层，通过压缩-激励的方式对缺陷特征进行聚焦。
优选地，步骤(2)中，压缩-激励注意力层的压缩部分由一个自适应全局平均池化层构成，将大小为batch_size×C×H×W的输入经过自适应全局平均池化操作变换成大小为batch_size×C×1×1的输出；压缩-激励注意力层的激励部分由依次连接的第一个全连接层、第一个激活函数层、第二个全连接层和第二个激活函数层组成；第一个全连接层的缩放率参数设置为0.25；第一个激活函数层采用Relu函数，其表达式为：
Relu＝Max(0,x) (2)
式(2)中，x为输入特征，当x>0时Relu激活函数取x，否则Relu激活函数取0；
第二个激活函数层采用Sigmoid函数，保证将输入缩放到0～1之间，其表达式为：
优选地，步骤(2)中，多尺度融合注意力特征提取模块的过渡层由依次连接的归一化层、激活函数层、卷积层和平均池化层构成；其中卷积层的卷积核大小为1×1，步长为1，Padding为0；平均池化层的卷积核为2×2，步长为2。
优选地，步骤(2)中，预测输出部分由依次连接的全局平均池化层和全连接层组成；将多尺度特征融合图通过全局平均池化操作(Pooling)和resize操作重置成一维张量图像特征，再经由全连接层输出缺陷类别。
(3)训练阶段：将步骤(1)得到的训练集输入到步骤(2)构建的多尺度融合注意力机制的密集网络中进行训练；训练过程分为前向传播和反向传播两个阶段，前向传播得到预测值，再利用反向传播进行链式求导，计算交叉熵损失函数对每个权重的偏导数，然后更新密集网络的权重，训练结束后，保存训练好的多尺度融合注意力机制的密集网络用于下一步的测试；
(4)测试阶段：将步骤(1)得到的测试集输入步骤(3)得到的训练好的多尺度融合注意力机制的密集网络中进行测试，得到测试集的分类输出结果；至此，完成基于多尺度注意力密集网络的太阳能电池板缺陷识别。
实施例1
(1)划分太阳能电池板缺陷图像：将766张太阳能电池板缺陷图像采用随机抽样的方式，按照7:3的比例划分为训练集和测试集，即529张作为训练集，237张作为测试集；图像均为灰度图像，具体划分结果如表1所示；太阳能电池板缺陷图像的大小为3×120×120；
| 缺陷类型 | 训练集 | 测试集 | 合计 |
| 实心黑 | 222 | 97 | 319 |
| 开焊 | 88 | 40 | 128 |
| 隐裂 | 56 | 24 | 80 |
| 阴影 | 91 | 36 | 127 |
| 断栅 | 72 | 40 | 112 |
| 合计 | 529 | 237 | 766 |
(2)构建多尺度融合注意力机制的密集网络：
图像输入部分的卷积层的卷积核大小为3×3，步长为1，Padding为1，数量为24个；
空间组增强模块(如图2所示)由依次连接的全局平均池化层、卷积层和激活层构成；首先将输入的特征图X按照通道进行分组，分为适当组数，本实施例取24组，分别为Xi(i∈[1,2,...,24])；再对每组Xi(i∈[1,2,...,24])分别进行全局平均池化操作，得到Gi(i∈[1,2,...,24])；空间组增强模块的输出为1×24×120×120；
特征向量输入第一个密集块，第一个密集块的大小为1(batch_size)×108(C)×60(H)×60(W)的输出经过渡层在宽度和高度两个维度上进行2倍下采样的操作，得到大小为1×108×30×30的输出；然后在通道维度上，将其与大小为1×150×30×30的第二个密集块经过过渡层后的输出以及大小为1×342×30×30的第三个密集块的输出在通道维度上进行拼接(Concat)，得到大小为1×600×30×30的三维多尺度特征融合图。
预测输出部分的全局平均池化操作的输入为1×600×30×30的三维多尺度特征融合图，输出为1×600×1×1；resize操作是将大小为1×600×1×1的特征转换成大小为1×600的一维张量图像特征；全连接层的输入为一维张量图像特征1×600，输出为1×N，N表示缺陷类别数，本实施例为5。
(3)训练阶段：参数设置为训练轮数为300轮，训练时batch_size为4，学习率初始设置为0.1，采用随机梯度优化算法，测试时batch_size为8。
(4)测试阶段：将步骤(1)得到的测试集输入步骤(3)得到的训练好的多尺度融合注意力机制的密集网络中进行测试，得到测试集的分类输出结果；至此，完成基于多尺度注意力密集网络的太阳能电池板缺陷识别。
由图5可以看出，随着迭代次数的增加，准确率不断上升，达到一定次数后趋于一个稳定值，相比之下，使用本发明的密集网络虽然前期迭代次数的准确率较低，但是第170轮迭代后，本发明的密集网络的准确率就超越了原始密集网络，且收敛速度更快，准确率更高，最终准确率为99.16％，相比原始密集网络的准确率提升了9.40％。
由图6可以看出，本发明的密集网络，针对实心黑样本，其检测为实心黑缺陷类别的概率为97.94％，检测为断栅缺陷的概率为2.06％，没有检测为其他类别缺陷。断栅样本为断栅缺陷类别的概率为100％，没有检测为其他类别缺陷。开焊样本为开焊缺陷类别的概率为100％，没有检测为其他类别缺陷；阴影样本为阴影缺陷类别的概率为97.22％，检测为断栅缺陷的概率为2.78％，没有检测为其他类别缺陷；隐裂样本为隐裂缺陷类别的概率为100％，没有检测为其他类别缺陷。
由图7可以看出，原始密集网络，针对实心黑样本，为实心黑缺陷类别的概率为76.29％，检测为断栅缺陷的概率为20.62％，检测为开焊缺陷的概率为3.10％，没有检测为其他类别缺陷；断栅样本为断栅缺陷类别的概率为100％，没有检测为其他类别缺陷；开焊样本为开焊缺陷类别的概率为91.67％，检测为阴影缺陷的概率为8.33％，没有检测为其他类别缺陷；阴影样本为阴影缺陷类别的概率为97.22％，检测为断栅缺陷的概率为2.78％，没有检测为其他类别缺陷；隐裂样本为隐裂缺陷类别的概率为100％，没有检测为其他类别缺陷。
消融实验结果如表1所示：
表1
由表1可以看出，在原始密集网络中(即三个模块都不加入)的情况下网络的识别准确率最低，为87.76％，加入一个或者两个模块的情况下，都不如三个模块同时加入的准确率高，因此，三个模块对于缺陷识别准确率的提高均具有增益作用，也说明了本多尺度注意力密集网络具有极好的识别性能。通过多尺度融合将低级语义信息中的细节信息和高级语义信息中的抽象特征融合在一起，不同感受野特征得到了融合，对于缺陷识别的输出精度有很大的提升。
本发明未述及之处适用于现有技术。
Claims (8)
1.一种基于多尺度注意力密集网络的太阳能电池板缺陷识别方法，其特征在于，该方法包括以下步骤：
(1)划分太阳能电池板缺陷图像：从现有太阳能电池板图像数据库中选择太阳能电池板缺陷图像，再将太阳能电池板缺陷图像划分为训练集和测试集；
(2)构建多尺度融合注意力机制的密集网络：密集网络包括图像输入部分、空间组增强模块、多尺度融合注意力特征提取模块和预测输出部分；将训练集输入图像输入部分，初步提取特征，得到特征图X；再将特征图X依次送入空间组增强模块和多尺度融合注意力特征提取模块中进行高级语义信息特征的提取，得到多尺度特征融合图；最后将多尺度特征融合图通过预测输出部分重置成一维张量图像特征，再输出缺陷类别；
空间组增强模块由依次连接的全局平均池化层、卷积层和激活层组成；首先将特征图X按照通道进行分组，分别为Xi(i∈[1,2,...])，组数不超过通道数；再对每组Xi(i∈[1,2,...])分别进行全局平均池化操作，得到Gi(i∈[1,2,...])；再将Gi与各自的Xi进行逐点乘积得到Ci，Ci再归一化为再对每个/>引入一对参数γ和β来进行缩放和移位，得到/>其中γ和β的初值分别选取大小为1×groups×1×1的全0三维张量和全1三维张量；最后通过Sigmoid函数生成重要性系数Ki，再与各自的Xi进行逐点乘积，得到特征向量/>整个过程的表达式为：
式(1)中，GAP表示全局平均池化操作，BN表示归一化操作，σ表示Sigmoid函数；
多尺度融合注意力特征提取模块由三个密集块和两个过渡层构成；相邻两个密集块之间设置一个过渡层；特征向量输入第一个密集块，第一个密集块的输出经过渡层在宽度和高度两个维度上进行2倍下采样的操作，得到相应的输出；然后将其与第二个密集块经过过渡层后的输出以及第三个密集块的输出在通道维度上进行拼接，得到三维多尺度特征融合图；
(3)训练阶段：将步骤(1)得到的训练集输入到步骤(2)构建的多尺度融合注意力机制的密集网络中进行训练；训练结束，得到训练好的多尺度融合注意力机制的密集网络；
(4)测试阶段：将步骤(1)得到的测试集输入步骤(3)得到的训练好的多尺度融合注意力机制的密集网络中进行测试，得到测试集的分类输出结果。
2.根据权利要求1所述的基于多尺度注意力密集网络的太阳能电池板缺陷识别方法，其特征在于，步骤(1)中，太阳能电池板缺陷图像均为灰度图像；太阳能电池板缺陷图像的缺陷类型为实心黑、开焊、隐裂、阴影和断栅。
3.根据权利要求1所述的基于多尺度注意力密集网络的太阳能电池板缺陷识别方法，其特征在于，步骤(2)中，图像输入部分由一个卷积层构成；卷积层的卷积核大小为3×3，步长为1，Padding为1；经过一次卷积操作，初步提取特征，得到特征图X。
4.根据权利要求1所述的基于多尺度注意力密集网络的太阳能电池板缺陷识别方法，其特征在于，多尺度融合注意力特征提取模块的过渡层由依次连接的归一化层、激活函数层、卷积层和平均池化层构成；其中卷积层的卷积核大小为1×1，步长为1，Padding为0；平均池化层的卷积核为2×2，步长为2。
5.根据权利要求1所述的基于多尺度注意力密集网络的太阳能电池板缺陷识别方法，其特征在于，每个密集块均由16个改进的瓶颈层构成；每个瓶颈层由依次连接的两个卷积层和一个压缩-激励注意力层组成；其中第一个卷积层的卷积核大小为1×1，步长为1，Padding为0；第二个卷积层的卷积核大小为3×3，步长为1，Padding为1；两个卷积层输出的特征图再进入压缩-激励注意力层，通过压缩-激励的方式对缺陷特征进行聚焦。
6.根据权利要求5所述的基于多尺度注意力密集网络的太阳能电池板缺陷识别方法，其特征在于，压缩-激励注意力层的压缩部分由一个自适应全局平均池化层构成，将大小为batch_size×C×H×W的输入经过自适应全局平均池化操作变换成大小为batch_size×C×1×1的输出；压缩-激励注意力层的激励部分由依次连接的第一个全连接层、第一个激活函数层、第二个全连接层和第二个激活函数层组成；第一个全连接层的缩放率参数设置为0.25；第一个激活函数层采用Relu函数，其表达式为：
Relu＝Max(0,x) (2)
式(2)中，x为输入特征，当x>0时Relu激活函数取x，否则Relu激活函数取0；
第二个激活函数层采用Sigmoid函数，保证将输入缩放到0～1之间，其表达式为：
7.根据权利要求1所述的基于多尺度注意力密集网络的太阳能电池板缺陷识别方法，其特征在于，步骤(2)中，预测输出部分由依次连接的全局平均池化层和全连接层组成；将多尺度特征融合图通过全局平均池化操作和resize操作重置成一维张量图像特征，再经全连接层输出缺陷类别。
8.根据权利要求1所述的基于多尺度注意力密集网络的太阳能电池板缺陷识别方法，其特征在于，步骤(3)中，训练过程分为前向传播和反向传播两个阶段；前向传播得到预测值，再利用反向传播进行链式求导，计算交叉熵损失函数对每个权重的偏导数，然后更新密集网络的权重。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111106218.1A CN113781466B (zh) | 2021-09-22 | 2021-09-22 | 基于多尺度注意力密集网络的太阳能电池板缺陷识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111106218.1A CN113781466B (zh) | 2021-09-22 | 2021-09-22 | 基于多尺度注意力密集网络的太阳能电池板缺陷识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113781466A CN113781466A (zh) | 2021-12-10 |
| CN113781466B true CN113781466B (zh) | 2024-01-19 |
Family
ID=78852598
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111106218.1A Active CN113781466B (zh) | 2021-09-22 | 2021-09-22 | 基于多尺度注意力密集网络的太阳能电池板缺陷识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113781466B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114201993A (zh) * | 2021-12-13 | 2022-03-18 | 厦门大学 | 一种检测超声缺陷的三分支注意力特征融合方法与系统 |
| CN115147375B (zh) * | 2022-07-04 | 2023-07-25 | 河海大学 | 基于多尺度注意力的混凝土表面缺陷特征检测方法 |
| CN117237270B (zh) * | 2023-02-24 | 2024-03-19 | 靖江仁富机械制造有限公司 | 耐磨防腐管道生产用成型控制方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110689011A (zh) * | 2019-09-29 | 2020-01-14 | 河北工业大学 | 多尺度联合卷积神经网络的太阳能电池板缺陷检测方法 |
| CN111275643A (zh) * | 2020-01-20 | 2020-06-12 | 西南科技大学 | 基于通道和空间注意力的真实噪声盲去噪网络模型及方法 |
| CN112200090A (zh) * | 2020-10-12 | 2021-01-08 | 桂林电子科技大学 | 基于交叉分组空谱特征增强网络的高光谱图像分类方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| MX2017016137A (es) * | 2015-06-30 | 2018-06-18 | Pirelli | Metodo y aparato para analizar una superficie de un neumatico. |
| CN111160297B (zh) * | 2019-12-31 | 2022-05-13 | 武汉大学 | 基于残差注意机制时空联合模型的行人重识别方法及装置 |
-
2021
- 2021-09-22 CN CN202111106218.1A patent/CN113781466B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110689011A (zh) * | 2019-09-29 | 2020-01-14 | 河北工业大学 | 多尺度联合卷积神经网络的太阳能电池板缺陷检测方法 |
| CN111275643A (zh) * | 2020-01-20 | 2020-06-12 | 西南科技大学 | 基于通道和空间注意力的真实噪声盲去噪网络模型及方法 |
| CN112200090A (zh) * | 2020-10-12 | 2021-01-08 | 桂林电子科技大学 | 基于交叉分组空谱特征增强网络的高光谱图像分类方法 |
Non-Patent Citations (1)
| Title |
|---|
| 改进的CNN在太阳能电池板缺陷检测中的应用;周颖;毛立;张燕;陈海永;;计算机仿真(第03期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113781466A (zh) | 2021-12-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113781466B (zh) | 基于多尺度注意力密集网络的太阳能电池板缺陷识别方法 | |
| CN108961235B (zh) | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 | |
| CN110689011A (zh) | 多尺度联合卷积神经网络的太阳能电池板缺陷检测方法 | |
| CN111931800B (zh) | 一种基于深度卷积神经网络的隧道表面缺陷分类方法 | |
| CN116310785B (zh) | 基于YOLO v4的无人机影像路面病害检测方法 | |
| CN113034483B (zh) | 基于深度迁移学习的烟支缺陷检测方法 | |
| NL2030315B1 (en) | Computer-implemented ai method for detecting surface defects of electroluminescent semiconductor panel | |
| CN112613350A (zh) | 一种基于深度神经网络的高分辨率光学遥感图像飞机目标检测方法 | |
| CN113076816B (zh) | 基于红外与可见光图像的太阳能光伏组件热斑识别方法 | |
| CN111861906A (zh) | 一种路面裂缝图像虚拟增广模型建立及图像虚拟增广方法 | |
| Jiang et al. | Attention M-net for automatic pixel-level micro-crack detection of photovoltaic module cells in electroluminescence images | |
| CN112329771A (zh) | 一种基于深度学习的建筑材料样本识别方法 | |
| CN114972225A (zh) | 一种基于深度学习的两阶段光伏板缺陷检测方法 | |
| CN116664941A (zh) | 一种轴承套圈表面缺陷视觉检测方法 | |
| TW202340868A (zh) | 基於機器學習模型之用於檢測樣品之缺陷偵測方法及系統 | |
| CN114821098A (zh) | 一种基于灰度梯度融合特征及cnn的高速路面破损检测算法 | |
| Karim | Solar Panel Defects Detection Using Convolutional Neural Network (CNN) | |
| CN112200762A (zh) | 二极管玻壳缺陷检测方法 | |
| US20220343479A1 (en) | Image processing method and system, and non-transitory computer readable medium | |
| Verma et al. | Automatic Defect Classification of Electro-Luminescence Images of Photovoltaic Modules Based on Deep Learning CNN | |
| Chen et al. | Plastic gasket defect detection based on Transfer learning | |
| CN116612124B (zh) | 一种基于双分支串行混合注意力的输电线路缺陷检测方法 | |
| Verma et al. | A machine learning-based image classification of silicon solar cells | |
| Guneser | Photovoltaics Cell Anomaly Detection Using Deep Learning Techniques | |
| Wang et al. | Accurate detection and intelligent classification of solar cells defects based on photoluminescence images: A novel study on the optimized YOLOv5 model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |