CN116385368A - 一种基于生成对抗网络的光伏电池缺陷检测数据集增广方法 - Google Patents
一种基于生成对抗网络的光伏电池缺陷检测数据集增广方法 Download PDFInfo
- Publication number
- CN116385368A CN116385368A CN202310224578.4A CN202310224578A CN116385368A CN 116385368 A CN116385368 A CN 116385368A CN 202310224578 A CN202310224578 A CN 202310224578A CN 116385368 A CN116385368 A CN 116385368A
- Authority
- CN
- China
- Prior art keywords
- network
- picture
- data set
- loss
- generator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 101
- 238000001514 detection method Methods 0.000 title claims abstract description 76
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000003416 augmentation Effects 0.000 title claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 55
- 230000003190 augmentative effect Effects 0.000 claims abstract description 28
- 238000003708 edge detection Methods 0.000 claims abstract description 14
- 238000000605 extraction Methods 0.000 claims abstract description 5
- 238000012216 screening Methods 0.000 claims abstract description 4
- 238000004364 calculation method Methods 0.000 claims description 34
- 238000010586 diagram Methods 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000010606 normalization Methods 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 10
- 238000001228 spectrum Methods 0.000 claims description 10
- 238000009826 distribution Methods 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000001629 suppression Effects 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 230000008014 freezing Effects 0.000 claims description 3
- 238000007710 freezing Methods 0.000 claims description 3
- 230000005764 inhibitory process Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 2
- 238000002372 labelling Methods 0.000 claims description 2
- 230000003321 amplification Effects 0.000 abstract description 7
- 238000003199 nucleic acid amplification method Methods 0.000 abstract description 7
- 238000006243 chemical reaction Methods 0.000 abstract description 3
- 238000005520 cutting process Methods 0.000 abstract description 3
- 238000005070 sampling Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 27
- 238000013136 deep learning model Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000010248 power generation Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 2
- 230000008485 antagonism Effects 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000009776 industrial production Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 239000002803 fossil fuel Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E10/00—Energy generation through renewable energy sources
- Y02E10/50—Photovoltaic [PV] energy
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Probability & Statistics with Applications (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
本发明提供一种基于生成对抗网络的光伏电池缺陷检测数据集增广方法，包括：对原始数据集中的图片按照种类进行筛选，并按照种类对图片进行边缘检测，获得每一图像对应的二值掩膜；构建改进型DCGAN模型，将每一种类的掩膜、对应图像输入到改进型DCGAN模型中训练，保存生成器网络权重；使用生成器网络生成增广图片并标注，获得增广的光伏电池缺陷检测数据集。本发明对DCGAN网络的判别器与生成器结构进行加深，特别对判别器网络添加上采样模块以提升其特征提取能力，并使用生成对抗网络对光伏电池缺陷检测数据集进行增广，避免传统增广中因增广方式搭配问题造成的缺陷图案被切割、不合理扭曲、颜色变换等问题，进而保证了目标的语义信息的正确性。
Description
技术领域
本发明涉及计算机视觉技术领域，具体而言，尤其涉及一种基于生成对抗网络的光伏电池缺陷检测数据集增广方法。
背景技术
光伏发电作为一种清洁、可再生的发电方式，弥补了传统化石燃料不可再生的缺陷。在能源消耗量不断增长的当下，光伏发电已成为发展最快的可再生能源之一。光伏电池是光伏发电系统中的核心元件，其产品质量的优劣将直接影响光电转换效率与寿命。光伏电池部分缺陷隐藏在内部，一些问题在运行一段时间后才可在外部明显观测到，因此在工业产线上对光伏电池板进行缺陷检测是十分有必要的。
电致发光，英文名称Electroluminescence，简称EL，是一种光伏电池产线上常见的缺陷检测成像技术。对光伏电池板PN结正向通电时，板材表面会发出近红外光线，使用CCD相机可观测图像。由于破损区域会出现明显暗斑，故可对其使用视觉缺陷检测。在传统工业场景中，光伏电池缺陷检测仍然依靠人工。人工检测的精度很大程度上依赖于工人的经验、疲劳程度与产线速度，受人为因素影响较大。随着AI智能技术的逐渐成熟，基于深度学习算法实现缺陷检测的模式得到广泛应用，令缺陷检测效率与精度得以大幅提升。同时，由于EL图像自身缺陷纹理与背景纹理的区分较为复杂，因此基于深度学习的检测方法更可取。
基于深度学习的缺陷检测方法尽管拥有诸多优点，但其仍然是数据密集型的检测方法。训练基于深度学习模型的检测方法时要求拥有足量的数据，否则会导致模型出现过拟合、泛化能力低等问题，在数据极端不足时，还会造成模型的不收敛。因此，保证训练数据充足是训练深度学习模型的一大基本要求。
在实际工业生产流程中光伏电池缺陷检测图像数据拥有着图片数量不足的问题。受限于生产环境以及工厂缺少数据收集意识，具有实际意义的带缺陷工件无法刻意制造出来，即使在正常生产流程中出现过的缺陷样本也没有有效保存。因此对光伏电池EL缺陷数据集进行增广有着十足的必要性。
数据集增广的主要方式通常可分为两种：传统增广与基于生成对抗网络的增广方式。传统增广包括平移、翻转、旋转、扭曲等几何变换方式、按颜色通道调整亮度值等信息的色域变换、局部位置擦除与添加噪声。传统增广使用单张或少数几张图片即可产生新样本，在对原始数据集要求低的同时拥有着增广操作便捷易实现的优点，因而常见于缺陷检测领域的预处理环节。然而，传统增广方法中如扭曲擦除等步骤有概率损害原始图像的语义信息，导致深度学习模型在训练中发生混淆，因此在实际应用中需要人工额外验证增广图片的合理性。基于生成对抗网络的增广方式依靠训练深度学习模型，学习数据集的潜在分布，从而以训练数据集的特征分布生成新数据。与传统增广方式使用单张或少数几张图片的方法不同，基于生成对抗网络的增广方式将数据集整体的分布作为先验知识生成新的样本，从而获得差异化更大的增广数据。生成对抗网络分为生成器与判别器网络两部分：在训练中生成器不断优化调整自身权重以拟合真实数据集分布，判别器学习真实图片与生成器生成的虚假图片，并以二分类任务判定输入图片的真伪，网络输出为当前图片真伪的概率值。判别器与生成器双方训练的核心思想源于二人零和博弈，即判别器与生成器的总损失为零，网络一方能力强大必为另一方的损失，因此在训练中两网络将不断提高自己的能力以对抗另一方网络。现有技术仍然存在如下缺陷：
光伏电池缺陷检测数据集存在数据量不足的问题，用于训练深度学习模型时，模型检测能力不足。
现有传统图像增广方法对深度学习模型训练的帮助有限。
现有DCGAN网络难以区分背景与光伏电池缺陷纹理，网络倾向于生成仅包含背景的增广图片，对数据集扩充没有帮助。
发明内容
根据上述提出的技术问题，提供一种基于生成对抗网络的光伏电池缺陷检测数据集增广方法。
本发明采用的技术手段如下：
一种基于生成对抗网络的光伏电池缺陷检测数据集增广方法，包括：
获取原始数据集，对原始数据集中的图片按照种类进行筛选，并按照种类对图片进行边缘检测，获得每一图像对应的二值掩膜；
构建改进型DCGAN模型结构，将每一种类的掩膜、对应图像输入到改进型DCGAN模型结构中训练，保存生成器网络权重；
使用生成器网络生成增广图片并标注，获得增广的光伏电池缺陷检测数据集。
进一步地，所述获取原始数据集，对原始数据集中的图片按照种类进行筛选，并按照种类对图片进行边缘检测，获得每一图像对应的二值掩膜，包括：
读取光伏电池缺陷检测数据集中一张图片与对应的json标注文件，按照标注文件给出的目标坐标位置，截取对应缺陷位置图片。
将所述缺陷位置图片进行亮度判断与调整；
使用高斯滤波器
对经过亮度判断与调整后的图片的像素进行卷积运算，式中σ2为高斯分布标准差，卷积核大小为3×3；
计算经过卷积运算后得到的图像中的各点梯度的值与方向；
将得到的梯度矩阵进行非极大值抑制，若其中一个像素点为相同梯度方向上的最大值点则保留，反之则将像素值清零；
对经过非极大值抑制后得到的图像矩阵进行双阈值过滤；
将经过双阈值过滤后得到的图像进行二值化处理，若其中一像素点具有非零的像素值，则将其像素值改为“1”，此后图像中则仅包含像素值“0”与“1”，构成了缺陷图像的掩膜；
将得到的缺陷图像的掩膜施加膨胀处理，用于在补足缺陷中间部位掩膜信息的同时，改善边缘检测环节偶发的漏检问题。
进一步地，所述将所述缺陷位置图片进行亮度判断与调整，具体包括：
将图片颜色空间自RGB模式调整为HSV模式，提取亮度通道计算均值；
当图片亮度均值低于120时，对图片进行亮度调整，将图像中像素值缩放至0～255之间；
调整后每一像素点取值计算公式如下：
其中，x为当前像素值，xmax、xmin为图片中像素点的最大值与最小值，xmax′与xmin′是像素缩放区间的最大、最小值，即255和0。
进一步地，所述计算经过卷积运算后得到的图像中的各点梯度的值与方向，具体包括：
使用x方向与y方向的Sobel算子分别计算出x方向的梯度幅值Gx与y方向的梯度幅值Gy，计算公式如下：
其中，I指代图像形成的矩阵，
为卷积操作；
计算该像素点的梯度G与梯度方向θ，计算公式如下：
进一步地，所述对经过非极大值抑制后得到的图像矩阵进行双阈值过滤，具体包括：
设置双阈值区分边缘像素，若其中一点点像素高于上限阈值则记为强边缘；当像素值小于下限阈值则舍弃；当像素值处于下限上限阈值之间，若其与强边缘相接则保留，若不相接则舍弃。
进一步地，所述构建改进型DCGAN模型结构，具体包括：
构建改进生成器网络结构：
为了提升生成器网络特征提取能力与训练稳定性，在此网络前三个转置卷积层后都额外增加一层卷积核为3×3、步长为1的卷积用于提取更多特征，每个卷积层的卷积核个数分别与其邻近前一层相同；为维持训练稳定，在网络第三个反卷积层后使用谱归一化层促进模型收敛；
构建改进判别器网络结构：
为了适配掩膜形状，判别器网络需要具有与输入图片大小一致的特征层；将判别器网络以中间输出头为中点镜像扩展，通过4个反卷积层将特征层还原至128×128大小，具体步骤如下：规定网络输入层大小为128×128，输入层后连续接3个卷积层，下采样特征图至16×16×512，记为M1；为防止网络过拟合与提高稳定性，在M1层后连接谱归一化层与Dropout层，输出记为M2；在M2层后接卷积层下采样得到8×8×1024的特征图M3；M3拥有两条输出通道，其一通过全连接层输出1×1大小的值，后接Sigmoid函数输出概率值Dmid，区间为0～1；另一条通道串行连接3个反卷积层将特征图M3上采样得到64×64×128的特征图M4；与下采样环节相对应，在M4后接谱归一化层与Dropout层输出特征图M5；最后，在M5后接反卷积层输出大小为128×128×3的特征图，经过Sigmoid函数后作为网络末端输出概率图，记为Dout；
设计改进后的损失函数：
为凸显缺陷部位与背景的差别，使用边缘检测获得图片中缺陷部位像素对应位置；生成对应掩膜后，将判别器输出概率图矩阵各元素按二分类任务处理；设计的损失函数以二值交叉熵损失函数为基底，根据输出层不同位置调整其标签，网络整体损失函数为：
式中，s为样本个数，损失分为三部分：判别器真图损失DT、判别器伪图损失DF、生成器真图损失GT；
判别器真图损失DT计算公式为：
其中，λ1、λ2、λ3为权重系数，m与n分别为图像的宽与高，公式中出现的Dmid(x)、Dout(x)均与判别器网络结构对应，Dmid(x)指代网络中部输出概率值，Dout(x)指代网络最末端输出概率图；Lmask(i,j)代表掩膜损失，具体公式为：
LDTout(i,j)代表判别器真图整体像素损失，具体公式为：LDTout(i,j)＝logDout(x)，判别器真图整体像素损失LDTout(i,j)同样使用二值交叉熵损失函数分别对输出概率图Dout(x)中每一元素进行计算，标签取“1”；
判别器伪图损失DF计算公式为：
判别器此时输入生成器所生成图片，将Dmid(x)、Dout(x)中x改写为生成器随机生成图片G(z)；对网络中部概率图Dmid(G(z))与末端概率图Dout(G(z))的每一元素都使用二值交叉熵损失函数计算其损失，最后取两者均值；判别器此时需将整张图片判定为伪，标签为“0”，因此不需要额外计算掩膜损失；判别器伪图损失DF中LDFout(i,j)为判别器伪图整体像素损失：
LDFout(i,j)＝log(1-Dout(G(z)))
生成器真图损失GT的计算公式为：
在训练生成器参数时锁定判别器参数使其不更新，此时将生成器输出图片判定为真实图片以训练其产生真实图片的能力，同样对网络中部图Dmid(G(z))与末端Dout(G(z))的每一元素都使用二值交叉熵损失函数计算其损失，标签为“1”；生成器损失GT中LGTout(i,j)为生成器整体像素损失：
LGTout(i,j)＝logDout(G(z))。
进一步地，所述将每一种类的掩膜、对应图像输入到改进型DCGAN模型结构中训练，保存生成器网络权重，具体包括：
设置网络训练配置参数：
规定生成器每训练5次后判别器训练1次来限制判别器训练进度；
模型在训练时保存每类缺陷100轮以上每一轮次的权重文件，在其中随机挑选多个权重生成图片；
在模型训练50轮后向标签添加随机数，使其在之后的训练轮次中，真标签取0.8～1.0的随机值，伪标签取0～0.2的随机值之间波动，而非固定的0或1；
训练改进型DCGAN模型：
步骤1、读取数据集中的图片和对应的掩膜，将二者大小缩放至128×128；
步骤2、将缩放后的图片送入判别器网络，网络中部输出、末端输出与其对应的标签进行损失函数计算，更新判别器网络权重参数；
步骤3、生成维度为1×100的随机数，输入生成器网络，网络输出128×128×3的特征图；
步骤4、将所得的特征图输入判别器网络，得到网络中部输出、末端输出与其对应的标签进行损失函数计算；冻结判别器网络参数，仅更新生成器网络权重参数；
步骤5、重复进行五次步骤3和步骤4后，将当前轮次的生成器网络权重文件保存；
步骤6、重复进行步骤1至步骤5直至满足规定的训练轮次。
进一步地，所述使用生成器网络生成增广图片并标注，获得增广的光伏电池缺陷检测数据集，具体包括：
选取目标检测领域评价指标平均精度均值作为缺陷检测数据集增广算法的评价指标，其计算过程如下：
计算交并比：计算公式如下：
其中，A与B分别代表预测框与真实框；
计算精确率(Precision)与召回率(Recall)：
目标检测模型预测出的所有目标中，分为四种情况，分别为：
真正例(True Positive,TP)：正样本被预测为正样本的个数；
假正例(False Positive,FP)：负样本被预测为正样本的个数；
假反例(False Negative,FN)：正样本被预测为负样本的个数；
真反例(True Negative,TN)：负样本被预测为负样本的个数；
精确率P表示模型预测出的所有正样本中，实际真正为正样本所占比例，计算公式如下：
召回率R表示模型预测结果为正样本的个数与实际真正为正样本数量的比值，计算公式如下：
正负样本通过设定交并比IoU阈值来判定，召回率与精确率按照当前阈值可以按照数据集中目标类别绘出相应的P-R曲线，在这种情况下，AP定义为P-R曲线所包围区域：
计算平均精度均值(mean Average Precision,mAP)，其代表所有目标种类的AP均值，计算公式为：
其中，APi表示第i个种类的AP值，C为种类总数。
较现有技术相比，本发明具有以下优点：
1、受限于光伏产业的实际生产环境，产线上的缺陷品自身存在出现样本产生时间随机、缺陷种类随机的特点，给光伏电池缺陷检测数据集的建立造成了困难。本发明对原始DCGAN网络的判别器与生成器结构进行加深，特别对判别器网络添加上采样模块以提升其特征提取能力；现有的生成对抗网络基于图片整体特征学习，以生成新的样本。而在缺陷检测领域，多数缺陷纹理仅占整张图片的极小面积，现有的生成对抗网络通常过度关注图片背景纹理，而忽略缺陷纹理。本发明提出了掩膜损失函数与对应的判别器网络结构，引导网络关注缺陷部位的纹理，从而生成更多带有缺陷纹理，对缺陷检测数据集扩充更有帮助的图片；相对于传统数据集增广方式，本发明使用生成对抗网络对光伏电池缺陷检测数据集进行增广，避免了传统增广中，因增广方式搭配问题而造成的缺陷图案被切割、不合理扭曲、颜色变换等问题，从而保证了目标的语义信息的正确性，对检测模型起到正向作用。
2、本发明以缺陷检测数据集的扩充为着手点，提升基于深度学习的缺陷检测算法的准确性，是一种离线的图像增广操作。因此，相对于对检测算法的改进，本发明提出的改进型DCGAN缺陷检测数据集增广方法仅在检测算法训练时作为预处理手段被使用，不需要在检测算法推理时占用时间，进而为后续检测算法自身的进一步提升给出余量。
3、本发明提出的改进型DCGAN模型所生成的增广图片能够有效的提升目标检测算法的检测准确率，可应用于光伏电池缺陷检测数据集的增广任务。
基于上述理由本发明可在计算机视觉等领域广泛推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明方法流程图。
图2为本发明改进型生成器结构。
图3为本发明改进型判别器结构。
图4为本发明原始数据训练P-R曲线。
图5为本发明传统增广训练P-R曲线。
图6为本发明改进型DCGAN训练P-R曲线。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。同时，应当清楚，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员己知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任向具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
在本发明的描述中，需要理解的是，方位词如“前、后、上、下、左、右”、“横向、竖向、垂直、水平”和“顶、底”等所指示的方位或位置关系通常是基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，在未作相反说明的情况下，这些方位词并不指示和暗示所指的装置或元件必须具有特定的方位或者以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制：方位词“内、外”是指相对于各部件本身的轮廓的内外。
为了便于描述，在这里可以使用空间相对术语，如“在……之上”、“在……上方”、“在……上表面”、“上面的”等，用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是，空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的器件被倒置，则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其位器件或构造之下”。因而，示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位(旋转90度或处于其他方位)，并且对这里所使用的空间相对描述作出相应解释。
此外，需要说明的是，使用“第一”、“第二”等词语来限定零部件，仅仅是为了便于对相应零部件进行区别，如没有另行声明，上述词语并没有特殊含义，因此不能理解为对本发明保护范围的限制。
如图1所示，本发明提供了一种基于生成对抗网络的光伏电池缺陷检测数据集增广方法，包括：
S1、获取原始数据集，对原始数据集中的图片按照种类进行筛选，并按照种类对图片进行边缘检测，获得每一图像对应的二值掩膜；
S2、构建改进型DCGAN模型结构，将每一种类的掩膜、对应图像输入到改进型DCGAN模型结构中训练，保存生成器网络权重；
S3、使用生成器网络生成增广图片并标注，获得增广的光伏电池缺陷检测数据集。
具体实施时，作为本发明优选的实施方式，所述步骤S1中，获取原始数据集，对原始数据集中的图片按照种类进行筛选，并按照种类对图片进行边缘检测，获得每一图像对应的二值掩膜，包括：
S11、读取光伏电池缺陷检测数据集中一张图片与对应的json标注文件，按照标注文件给出的目标坐标位置，截取对应缺陷位置图片。
S12、将所述缺陷位置图片进行亮度判断与调整；在本实施例中，具体包括：
S121、将图片颜色空间自RGB模式调整为HSV模式，提取亮度通道计算均值；
S122、当图片亮度均值低于120时，对图片进行亮度调整，将图像中像素值缩放至0～255之间；
S123、调整后每一像素点取值计算公式如下：
其中，x为当前像素值，xmax、xmin为图片中像素点的最大值与最小值，xmax′与xmin′是像素缩放区间的最大、最小值，即255和0。
S13、使用高斯滤波器
对经过亮度判断与调整后的图片的像素进行卷积运算，式中σ2为高斯分布标准差，卷积核大小为3×3；
S14、计算经过卷积运算后得到的图像中的各点梯度的值与方向；在本实施例中，具体包括：
S141、使用x方向与y方向的Sobel算子分别计算出x方向的梯度幅值Gx与y方向的梯度幅值Gy，计算公式如下：
其中，I指代图像形成的矩阵，
为卷积操作；
S142、计算该像素点的梯度G与梯度方向θ，计算公式如下：
S15、将得到的梯度矩阵进行非极大值抑制，若其中一个像素点为相同梯度方向上的最大值点则保留，反之则将像素值清零；经过非极大值抑制后，原本模糊的边缘将被修整的更为精细，保留了更为真实的边缘信息；
S16、对经过非极大值抑制后得到的图像矩阵进行双阈值过滤；在本实施例中，具体包括：
设置双阈值区分边缘像素，若其中一点点像素高于上限阈值则记为强边缘；当像素值小于下限阈值则舍弃；当像素值处于下限上限阈值之间，若其与强边缘相接则保留，若不相接则舍弃。缺陷数据集中缺陷特征各异，单个缺陷类别内也存在不同的表现方式，因此在实际应用中阈值依据实际边缘检测效果进行灵活调整。
S17、将经过双阈值过滤后得到的图像进行二值化处理，若其中一像素点具有非零的像素值，则将其像素值改为“1”，此后图像中则仅包含像素值“0”与“1”，构成了缺陷图像的掩膜；
S18、将得到的缺陷图像的掩膜施加膨胀处理，用于在补足缺陷中间部位掩膜信息的同时，改善边缘检测环节偶发的漏检问题。
具体实施时，作为本发明优选的实施方式，所述步骤S2中，构建改进型DCGAN模型结构，具体包括：
S21、构建改进生成器网络结构：
生成器网络结构如图2所示。为了提升生成器网络特征提取能力与训练稳定性，在此网络前三个转置卷积层后都额外增加一层卷积核为3×3、步长为1的卷积用于提取更多特征，每个卷积层的卷积核个数分别与其邻近前一层相同；图例中“SN”为谱归一化层，为维持训练稳定，在网络第三个反卷积层后使用谱归一化层促进模型收敛；需要额外注意的是，本发明使用的谱归一化的目的与其原始意图不一致，此处仅为特定网络层数增加稳定性。除网络末尾激活函数外，本发明均使用Leaky ReLU作为激活函数。
S22、构建改进判别器网络结构：
判别器网络结构如图3所示，为了适配掩膜形状，判别器网络需要具有与输入图片大小一致的特征层；受U-Net网络结构启发，将判别器网络以中间输出头为中点镜像扩展，通过4个反卷积层将特征层还原至128×128大小，具体步骤如下：规定网络输入层大小为128×128，输入层后连续接3个卷积层，下采样特征图至16×16×512，记为M1；为防止网络过拟合与提高稳定性，在M1层后连接谱归一化层与Dropout层，输出记为M2；在M2层后接卷积层下采样得到8×8×1024的特征图M3；M3拥有两条输出通道，其一通过全连接层输出1×1大小的值，后接Sigmoid函数输出概率值Dmid，区间为0～1；另一条通道串行连接3个反卷积层将特征图M3上采样得到64×64×128的特征图M4；与下采样环节相对应，在M4后接谱归一化层与Dropout层输出特征图M5；最后，在M5后接反卷积层输出大小为128×128×3的特征图，经过Sigmoid函数后作为网络末端输出概率图，记为Dout；
S23、设计改进后的损失函数：
观察缺陷图像可得知，其存在着缺陷纹理与背景区分度较低、背景像素占据图像绝大多数面积的特点。在不对网络施加引导的情况下，原始版本DCGAN倾向于生成仅包含背景纹理的图片。为凸显缺陷部位与背景的差别，使用边缘检测获得图片中缺陷部位像素对应位置；生成对应掩膜后，将判别器输出概率图矩阵各元素按二分类任务处理；设计的损失函数以二值交叉熵损失函数为基底，根据输出层不同位置调整其标签，网络整体损失函数为：
式中，s为样本个数，损失分为三部分：判别器真图损失DT、判别器伪图损失DF、生成器真图损失GT；
判别器真图损失DT计算公式为：
其中，λ1、λ2、λ3为权重系数，m与n分别为图像的宽与高，公式中出现的Dmid(x)、Dout(x)均与判别器网络结构对应，Dmid(x)指代网络中部输出概率值，Dout(x)指代网络最末端输出概率图；Lmask(i,j)代表掩膜损失，具体公式为：
LDTout(i,j)代表判别器真图整体像素损失，具体公式为：LDTout(i,j)＝logDout(x)，判别器真图整体像素损失LDTout(i,j)同样使用二值交叉熵损失函数分别对输出概率图Dout(x)中每一元素进行计算，标签取“1”；
判别器伪图损失DF计算公式为：
判别器此时输入生成器所生成图片，将Dmid(x)、Dout(x)中x改写为生成器随机生成图片G(z)；对网络中部概率图Dmid(G(z))与末端概率图Dout(G(z))的每一元素都使用二值交叉熵损失函数计算其损失，最后取两者均值；判别器此时需将整张图片判定为伪，标签为“0”，因此不需要额外计算掩膜损失；判别器伪图损失DF中LDFout(i,j)为判别器伪图整体像素损失：
LDFout(i,j)＝log(1-Dout(G(z)))
生成器真图损失GT的计算公式为：
在训练生成器参数时锁定判别器参数使其不更新，此时将生成器输出图片判定为真实图片以训练其产生真实图片的能力，同样对网络中部图Dmid(G(z))与末端Dout(G(z))的每一元素都使用二值交叉熵损失函数计算其损失，标签为“1”；生成器损失GT中LGTout(i,j)为生成器整体像素损失：
LGTout(i,j)＝logDout(G(z))。
具体实施时，作为本发明优选的实施方式，所述步骤S2中，将每一种类的掩膜、对应图像输入到改进型DCGAN模型结构中训练，保存生成器网络权重，具体包括：
S21、设置网络训练配置参数：
规定生成器每训练5次后判别器训练1次来限制判别器训练进度；
模型在训练时保存每类缺陷100轮以上每一轮次的权重文件，在其中随机挑选多个权重生成图片；
在模型训练50轮后向标签添加随机数，使其在之后的训练轮次中，真标签取0.8～1.0的随机值，伪标签取0～0.2的随机值之间波动，而非固定的0或1；
S22、训练改进型DCGAN模型：
S221、读取数据集中的图片和对应的掩膜，将二者大小缩放至128×128；
S222、将缩放后的图片送入判别器网络，网络中部输出、末端输出与其对应的标签进行损失函数计算，更新判别器网络权重参数；
S223、生成维度为1×100的随机数，输入生成器网络，网络输出128×128×3的特征图；
S224、将所得的特征图输入判别器网络，得到网络中部输出、末端输出与其对应的标签进行损失函数计算；冻结判别器网络参数，仅更新生成器网络权重参数；
S225、重复进行五次步骤S223和步骤S224后，将当前轮次的生成器网络权重文件保存；
S226、重复进行步骤S221至步骤S225直至满足规定的训练轮次。
具体实施时，作为本发明优选的实施方式，所述步骤S3中，使用生成器网络生成增广图片并标注，获得增广的光伏电池缺陷检测数据集，具体包括：
选取目标检测领域评价指标平均精度均值(mean Average Precision,mAP)作为缺陷检测数据集增广算法的评价指标，其计算过程如下：
计算交并比(Intersection over Union,IoU)，即通过目标检测网络预测的框与真实框的面积的交集和并集的比值。交并比越大，说明网络预测结果与实际目标所在位置的重合程度更高，预测更准确。交并比的计算公式如下：
其中，A与B分别代表预测框与真实框；
计算精确率(Precision)与召回率(Recall)：
目标检测模型预测出的所有目标中，分为四种情况，分别为：
真正例(True Positive,TP)：正样本被预测为正样本的个数；
假正例(False Positive,FP)：负样本被预测为正样本的个数；
假反例(False Negative,FN)：正样本被预测为负样本的个数；
真反例(True Negative,TN)：负样本被预测为负样本的个数；
精确率P表示模型预测出的所有正样本中，实际真正为正样本所占比例，计算公式如下：
召回率R表示模型预测结果为正样本的个数与实际真正为正样本数量的比值，计算公式如下：
正负样本通过设定交并比IoU阈值来判定，召回率与精确率按照当前阈值可以按照数据集中目标类别绘出相应的P-R曲线，在这种情况下，AP定义为P-R曲线所包围区域：
计算平均精度均值(mean Average Precision,mAP)，其代表所有目标种类的AP均值，计算公式为：
其中，APi表示第i个种类的AP值，C为种类总数。本发明中，IoU阈值选择0.5与0.5以0.05为跨度至0.95平均值，记为mAP@0.5与mAP@0.5:0.95。
实施例：
为体现本发明所提出模型的有效性与优越性，本发明选择PVEL-AD数据集进行图片增广实验，该数据集包含12类缺陷的光伏电池EL图像与良品图像，本发明对选取其中7类缺陷图像(包含断栅、线状裂纹、星状裂纹、黑芯、粗线、错位、短路)训练目标检测模型YOLOv5-m以对比增广效果。在该7类图像中，挑选断栅、线状裂纹、星状裂纹、粗线这4类目标检测模型检测效果较低的种类进行增广。在实验中禁用该模型自带的增广方法，仅依靠外部给定的数据集进行训练。实验中将本发明所提出的改进型DCGAN方法与传统增广方法进行比较。在传统增广方法下输出的增广图片使用策略为：水平翻转、垂直翻转、横纵平移、随机切除、标注框区域随机切除、随机对比度，单张图片可进行一个或多个策略的处理。为与M-DCGAN生成的图片数量对应，传统增广方法同样生成了2400张图片。实验中训练集选取了如下数量组合方案，真实图片包含7190张含缺陷图片与5548张良品图片：
1、12738张真实图片
2、2400张传统增广图片+12738张真实图片
3、2400张改进型DCGAN增广图片+12738张真实图片
验证集均为1796张含缺陷图与5805张良品图的组合。实验结果如表1所示，加入本发明改进型DCGAN生成的增广图片能够使YOLOv5-m模型的mAP@0.5在原始数据的基础上提升1.1％，并超过传统增广算法0.7％；在mAP@0.5:0.95评级指标下，超过原始数据2％，并超过传统增广算法1.1％。
表1改进型DCGAN增广算法对比训练效果
实验进一步探究了本发明对数据集中各缺陷类别的提升能力，根据YOLOv5-m训练结果画出了各缺陷类别在IoU阈值0.5下的的P-R曲线，如图4至图6所示。
实验结果表明，经本发明提出网络增广的4类缺陷图片均有提升，其中断栅相对原始数据提高0.3％，相对传统增广提高0.9％；线状裂纹相对原始数据提高2.9％，相对传统增广提高1.5％；星状裂纹相对原始数据提高3.5％，相对传统增广提高2.6％；粗线相对原始数据提高0.2％，相对传统增广提高0.3％。传统增广对断栅、粗线类别产生了负效应，推测是由于传统增广方法中随机对比度等操作有概率的对图像特征产生损害性改变，说明传统增广方式的搭配无法适应所有目标，而本发明提出的基于改进型DCGAN的增广没有对数据集产生负效应。
综上所述，本发明提出的改进型DCGAN模型所生成的增广图片能够有效的提升目标检测算法的检测准确率，可应用于光伏电池缺陷检测数据集的增广任务。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (8)
1.一种基于生成对抗网络的光伏电池缺陷检测数据集增广方法，其特征在于，包括：
获取原始数据集，对原始数据集中的图片按照种类进行筛选，并按照种类对图片进行边缘检测，获得每一图像对应的二值掩膜；
构建改进型DCGAN模型结构，将每一种类的掩膜、对应图像输入到改进型DCGAN模型结构中训练，保存生成器网络权重；
使用生成器网络生成增广图片并标注，获得增广的光伏电池缺陷检测数据集。
2.根据权利要求1所述的基于生成对抗网络的光伏电池缺陷检测数据集增广方法，其特征在于，所述获取原始数据集，对原始数据集中的图片按照种类进行筛选，并按照种类对图片进行边缘检测，获得每一图像对应的二值掩膜，包括：
读取光伏电池缺陷检测数据集中一张图片与对应的json标注文件，按照标注文件给出的目标坐标位置，截取对应缺陷位置图片。
将所述缺陷位置图片进行亮度判断与调整；
使用高斯滤波器
对经过亮度判断与调整后的图片的像素进行卷积运算，式中σ2为高斯分布标准差，卷积核大小为3×3；
计算经过卷积运算后得到的图像中的各点梯度的值与方向；
将得到的梯度矩阵进行非极大值抑制，若其中一个像素点为相同梯度方向上的最大值点则保留，反之则将像素值清零；
对经过非极大值抑制后得到的图像矩阵进行双阈值过滤；
将经过双阈值过滤后得到的图像进行二值化处理，若其中一像素点具有非零的像素值，则将其像素值改为“1”，此后图像中则仅包含像素值“0”与“1”，构成了缺陷图像的掩膜；
将得到的缺陷图像的掩膜施加膨胀处理，用于在补足缺陷中间部位掩膜信息的同时，改善边缘检测环节偶发的漏检问题。
3.根据权利要求2所述的基于生成对抗网络的光伏电池缺陷检测数据集增广方法，其特征在于，所述将所述缺陷位置图片进行亮度判断与调整，具体包括：
将图片颜色空间自RGB模式调整为HSV模式，提取亮度通道计算均值；
当图片亮度均值低于120时，对图片进行亮度调整，将图像中像素值缩放至0～255之间；
调整后每一像素点取值计算公式如下：
其中，x为当前像素值，xmax、xmin为图片中像素点的最大值与最小值，xmax′与xmin′是像素缩放区间的最大、最小值，即255和0。
4.根据权利要求2所述的基于生成对抗网络的光伏电池缺陷检测数据集增广方法，其特征在于，所述计算经过卷积运算后得到的图像中的各点梯度的值与方向，具体包括：
使用x方向与y方向的Sobel算子分别计算出x方向的梯度幅值Gx与y方向的梯度幅值Gy，计算公式如下：
其中，I指代图像形成的矩阵，
为卷积操作；
计算该像素点的梯度G与梯度方向θ，计算公式如下：
5.根据权利要求2所述的基于生成对抗网络的光伏电池缺陷检测数据集增广方法，其特征在于，所述对经过非极大值抑制后得到的图像矩阵进行双阈值过滤，具体包括：
设置双阈值区分边缘像素，若其中一点点像素高于上限阈值则记为强边缘；当像素值小于下限阈值则舍弃；当像素值处于下限上限阈值之间，若其与强边缘相接则保留，若不相接则舍弃。
6.根据权利要求1所述的基于生成对抗网络的光伏电池缺陷检测数据集增广方法，其特征在于，所述构建改进型DCGAN模型结构，具体包括：
构建改进生成器网络结构：
为了提升生成器网络特征提取能力与训练稳定性，在此网络前三个转置卷积层后都额外增加一层卷积核为3×3、步长为1的卷积用于提取更多特征，每个卷积层的卷积核个数分别与其邻近前一层相同；为维持训练稳定，在网络第三个反卷积层后使用谱归一化层促进模型收敛；
构建改进判别器网络结构：
为了适配掩膜形状，判别器网络需要具有与输入图片大小一致的特征层；将判别器网络以中间输出头为中点镜像扩展，通过4个反卷积层将特征层还原至128×128大小，具体步骤如下：规定网络输入层大小为128×128，输入层后连续接3个卷积层，下采样特征图至16×16×512，记为M1；为防止网络过拟合与提高稳定性，在M1层后连接谱归一化层与Dropout层，输出记为M2；在M2层后接卷积层下采样得到8×8×1024的特征图M3；M3拥有两条输出通道，其一通过全连接层输出1×1大小的值，后接Sigmoid函数输出概率值Dmid，区间为0～1；另一条通道串行连接3个反卷积层将特征图M3上采样得到64×64×128的特征图M4；与下采样环节相对应，在M4后接谱归一化层与Dropout层输出特征图M5；最后，在M5后接反卷积层输出大小为128×128×3的特征图，经过Sigmoid函数后作为网络末端输出概率图，记为Dout；
设计改进后的损失函数：
为凸显缺陷部位与背景的差别，使用边缘检测获得图片中缺陷部位像素对应位置；生成对应掩膜后，将判别器输出概率图矩阵各元素按二分类任务处理；设计的损失函数以二值交叉熵损失函数为基底，根据输出层不同位置调整其标签，网络整体损失函数为：
式中，s为样本个数，损失分为三部分：判别器真图损失DT、判别器伪图损失DF、生成器真图损失GT；
判别器真图损失DT计算公式为：
其中，λ1、λ2、λ3为权重系数，m与n分别为图像的宽与高，公式中出现的Dmid(x)、Dout(x)均与判别器网络结构对应，Dmid(x)指代网络中部输出概率值，Dout(x)指代网络最末端输出概率图；Lmask(i,j)代表掩膜损失，具体公式为：
LDTout(i,j)代表判别器真图整体像素损失，具体公式为：LDTout(i,j)＝logDout(x)，判别器真图整体像素损失LDTout(i,j)同样使用二值交叉熵损失函数分别对输出概率图Dout(x)中每一元素进行计算，标签取“1”；
判别器伪图损失DF计算公式为：
判别器此时输入生成器所生成图片，将Dmid(x)、Dout(x)中x改写为生成器随机生成图片G(z)；对网络中部概率图Dmid(G(z))与末端概率图Dout(G(z))的每一元素都使用二值交叉熵损失函数计算其损失，最后取两者均值；判别器此时需将整张图片判定为伪，标签为“0”，因此不需要额外计算掩膜损失；判别器伪图损失DF中LDFout(i,j)为判别器伪图整体像素损失：
LDFout(i,j)＝log(1-Dout(G(z)))
生成器真图损失GT的计算公式为：
在训练生成器参数时锁定判别器参数使其不更新，此时将生成器输出图片判定为真实图片以训练其产生真实图片的能力，同样对网络中部图Dmid(G(z))与末端Dout(G(z))的每一元素都使用二值交叉熵损失函数计算其损失，标签为“1”；生成器损失GT中LGTout(i,j)为生成器整体像素损失：
LGTout(i,j)＝logDout(G(z))。
7.根据权利要求1所述的基于生成对抗网络的光伏电池缺陷检测数据集增广方法，其特征在于，所述将每一种类的掩膜、对应图像输入到改进型DCGAN模型结构中训练，保存生成器网络权重，具体包括：
设置网络训练配置参数：
规定生成器每训练5次后判别器训练1次来限制判别器训练进度；
模型在训练时保存每类缺陷100轮以上每一轮次的权重文件，在其中随机挑选多个权重生成图片；
在模型训练50轮后向标签添加随机数，使其在之后的训练轮次中，真标签取0.8～1.0的随机值，伪标签取0～0.2的随机值之间波动，而非固定的0或1；
训练改进型DCGAN模型：
步骤1、读取数据集中的图片和对应的掩膜，将二者大小缩放至128×128；
步骤2、将缩放后的图片送入判别器网络，网络中部输出、末端输出与其对应的标签进行损失函数计算，更新判别器网络权重参数；
步骤3、生成维度为1×100的随机数，输入生成器网络，网络输出128×128×3的特征图；
步骤4、将所得的特征图输入判别器网络，得到网络中部输出、末端输出与其对应的标签进行损失函数计算；冻结判别器网络参数，仅更新生成器网络权重参数；
步骤5、重复进行五次步骤3和步骤4后，将当前轮次的生成器网络权重文件保存；
步骤6、重复进行步骤1至步骤5直至满足规定的训练轮次。
8.根据权利要求1所述的基于生成对抗网络的光伏电池缺陷检测数据集增广方法，其特征在于，所述使用生成器网络生成增广图片并标注，获得增广的光伏电池缺陷检测数据集，具体包括：
选取目标检测领域评价指标平均精度均值作为缺陷检测数据集增广算法的评价指标，其计算过程如下：
计算交并比：计算公式如下：
其中，A与B分别代表预测框与真实框；
计算精确率与召回率：
目标检测模型预测出的所有目标中，分为四种情况，分别为：
真正例：正样本被预测为正样本的个数；
假正例：负样本被预测为正样本的个数；
假反例：正样本被预测为负样本的个数；
真反例：负样本被预测为负样本的个数；
精确率P表示模型预测出的所有正样本中，实际真正为正样本所占比例，计算公式如下：
召回率R表示模型预测结果为正样本的个数与实际真正为正样本数量的比值，计算公式如下：
正负样本通过设定交并比IoU阈值来判定，召回率与精确率按照当前阈值可以按照数据集中目标类别绘出相应的P-R曲线，在这种情况下，AP定义为P-R曲线所包围区域：
计算平均精度均值，其代表所有目标种类的AP均值，计算公式为：
其中，APi表示第i个种类的AP值，C为种类总数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310224578.4A CN116385368A (zh) | 2023-03-09 | 2023-03-09 | 一种基于生成对抗网络的光伏电池缺陷检测数据集增广方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310224578.4A CN116385368A (zh) | 2023-03-09 | 2023-03-09 | 一种基于生成对抗网络的光伏电池缺陷检测数据集增广方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116385368A true CN116385368A (zh) | 2023-07-04 |
Family
ID=86968467
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310224578.4A Pending CN116385368A (zh) | 2023-03-09 | 2023-03-09 | 一种基于生成对抗网络的光伏电池缺陷检测数据集增广方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116385368A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117474903A (zh) * | 2023-12-26 | 2024-01-30 | 浪潮电子信息产业股份有限公司 | 一种图像侵权检测方法、装置、设备及可读存储介质 |
-
2023
- 2023-03-09 CN CN202310224578.4A patent/CN116385368A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117474903A (zh) * | 2023-12-26 | 2024-01-30 | 浪潮电子信息产业股份有限公司 | 一种图像侵权检测方法、装置、设备及可读存储介质 |
| CN117474903B (zh) * | 2023-12-26 | 2024-03-22 | 浪潮电子信息产业股份有限公司 | 一种图像侵权检测方法、装置、设备及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108961235B (zh) | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 | |
| CN110503112B (zh) | 一种增强特征学习的小目标检测及识别方法 | |
| Zhu et al. | A deep learning approach to patch-based image inpainting forensics | |
| CN110175982B (zh) | 一种基于目标检测的缺陷检测方法 | |
| CN108334881B (zh) | 一种基于深度学习的车牌识别方法 | |
| CN109543606A (zh) | 一种加入注意力机制的人脸识别方法 | |
| CN109598891B (zh) | 一种利用深度学习分类模型实现烟雾检测的方法和系统 | |
| CN114445706A (zh) | 一种基于特征融合的输电线路目标检测与识别方法 | |
| CN113850242B (zh) | 一种基于深度学习算法的仓储异常目标检测方法及系统 | |
| CN107784661A (zh) | 基于区域生长法的变电站设备红外图像分类识别方法 | |
| CN112766195B (zh) | 一种电气化铁路弓网燃弧视觉检测方法 | |
| CN111539343B (zh) | 一种基于卷积注意力网络的黑烟车检测方法 | |
| CN112287941B (zh) | 一种基于自动字符区域感知的车牌识别方法 | |
| CN111178177A (zh) | 一种基于卷积神经网络的黄瓜病害识别方法 | |
| CN114419413A (zh) | 感受野自适应的变电站绝缘子缺陷检测神经网络构建方法 | |
| CN116385368A (zh) | 一种基于生成对抗网络的光伏电池缺陷检测数据集增广方法 | |
| CN115797813B (zh) | 基于航拍图像的水环境污染检测方法 | |
| CN116843999A (zh) | 一种基于深度学习的动火作业中气瓶检测方法 | |
| CN114005081A (zh) | 一种烟丝异物智能检测装置及方法 | |
| CN116645328A (zh) | 一种高精度轴承套圈表面缺陷智能检测方法 | |
| CN115082776A (zh) | 一种基于图像识别的电能表自动检测系统及方法 | |
| CN114022837A (zh) | 车站遗留物品检测方法、装置、电子设备及存储介质 | |
| CN116168240A (zh) | 基于注意力增强的任意方向密集舰船目标检测方法 | |
| CN115240259A (zh) | 一种基于yolo深度网络的课堂环境下人脸检测方法及其检测系统 | |
| CN114882423A (zh) | 一种基于改进Yolov5m模型和DeepSort的货车入库货物识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |