CN111768365B - 基于卷积神经网络多特征融合的太阳能电池缺陷检测方法 - Google Patents

基于卷积神经网络多特征融合的太阳能电池缺陷检测方法 Download PDF

Info

Publication number
CN111768365B
CN111768365B CN202010429805.3A CN202010429805A CN111768365B CN 111768365 B CN111768365 B CN 111768365B CN 202010429805 A CN202010429805 A CN 202010429805A CN 111768365 B CN111768365 B CN 111768365B
Authority
CN
China
Prior art keywords
candidate
convolution block
solar cell
convolution
defects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010429805.3A
Other languages
English (en)
Other versions
CN111768365A (zh
Inventor
上官宏
宁爱平
郝雅雯
张�雄
王安红
彭司春
侯婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan University of Science and Technology
Original Assignee
Taiyuan University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Science and Technology filed Critical Taiyuan University of Science and Technology
Priority to CN202010429805.3A priority Critical patent/CN111768365B/zh
Publication of CN111768365A publication Critical patent/CN111768365A/zh
Application granted granted Critical
Publication of CN111768365B publication Critical patent/CN111768365B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/50—Photovoltaic [PV] energy

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Photovoltaic Devices (AREA)
  • Image Analysis (AREA)

Abstract

基于卷积神经网络多特征融合的太阳能电池缺陷检测方法，属于太阳能电池表面缺陷检测技术领域，解决网络对太阳能电池板表面各种缺陷类型适应度的技术问题，本发明在Faster R‑CNN卷积神经网络结构基础上引入跨层连接的思想，使之在学习深层特性信息的同时，学习浅层信息，有效降低错误率；采用多尺度的方式进行目标候选框的提取，通过一定比例融合挑选出适合的框作为候选框，在一定程度上减少漏检率，增加多尺度特征融合层可以有效适用于太阳能电池板表面缺陷的检测。本发明针对太阳能电池板表面缺陷的狭长、细小的特性，使用多种纵横比和尺度，使之更适应缺陷类型，能增加预测框的准确度，能有效提高目标检测准确率、检测缺陷位置、具有较高的置信度值。

Description

基于卷积神经网络多特征融合的太阳能电池缺陷检测方法
技术领域
本发明属于太阳能电池表面缺陷检测技术领域，具体涉及基于卷积神经网络多特征融合的太阳能电池板缺陷检测方法。
背景技术
近年来，人类活动对能源的依赖越来越大，石油等不可再生能源的过度使用和大量消耗造成的环境问题愈演愈烈。太阳能光伏发电技术是新能源技术的典型代表，该技术的广泛应用能够很好地缓解目前遇到的能源问题，故而太阳能的开采和有效利用已成为未来重要发展趋势。太阳能来源于太阳光是一种安全可靠、清洁干净、不受地域限制、不需要消耗燃料且能源质量高的绿色能源。。由于太阳能硅片基体易碎，生产工艺、人工误操作等又常导致太阳能电池板表面出现裂纹、裂纹、虚焊等难以检测的细微缺陷，这些因素均会导致光伏组件[4]的使用寿命缩短。因此，深入研究太阳能电池组件表面缺陷检测技术，尤其是自动分类和检测问题，具有重要的理论意义和实际价值。随着机器学习理论的快速发展，尽管每年都有大量基于机器视觉和深度学习的太阳能电池缺陷检测相关研究成果发表。然而，由于在实际应用中有不少限制，这些方法难以被广泛推广应用。因此，在未来一段时间内针对实际工程需要，研究太阳能电池板表面缺陷的在线实时检测方法，仍然是一个具有挑战性的研究课题。
通过检测太阳能电池板表面缺陷来识别缺陷的类别和精确位置以此来进行缺陷部分电池板的替换。目前太阳能电池板表面的检测缺陷方法主要有三类：人工目视、物理方法以及机器视觉。机器视觉法是指利用太阳能电池板多种成像方式形成太阳能电池板表面缺陷图像，例如：热成像、电致发光、光致发光和可见光成像等，针对太阳能电池板表面缺陷图像中的像素分布、亮度、颜色等信息来检测裂片、裂纹、虚焊等缺陷。机器视觉法可分为图像域分析法、变换域分析法以及深度学习法。
图像域分析法和变换域分析法提取特征主要依赖于人工设计的提取器，需要有专业知识及复杂的调参过程，提取的特征都是基于低级特征，难以捕捉高级语义特征和复杂内容，且调参依赖专业知识和经验。传统算法的泛化能力及鲁棒性较差。当背景比较复杂时，还需要去除噪声，提升图像质量；同时检测的每个步骤也是独立的，缺乏一种全局的优化方案进行控制。
深度学习主要是模拟人类视觉来检测缺陷，依托计算机强大的计算能力和统计分析能力来实现。深度学习具有强大的特征提取能力，依托大量的数据样本可以获得深层的特征，更准确高效地表达数据样本所涵盖的信息。深度学习还具有更强的鲁棒性及泛化能力。在进行目标检测时不仅检测精度高，且检测速度快，还能够实现端到端的检测，更容易应用于实际场景。在网络训练时也不用人为调参；整个训练过程基本不需要人为干预；并且训练得到的网络参数具有抗噪声能力；迁移效果也较好，不同领域使用的深度学习的基本思想和技术可适当迁移。近年来卷积神经网络在图像识别目标检测等领域取得了突破性进展，掀起了新的研究热潮。
2006年，Geoffrey Hinton教授提出深度学习的概念，开启了目标检测新的方式方法，2012年，Yoshua Bengio提出卷积神经网络(Convolution neural network，CNN)，卷积神经网络由于其较好的鲁棒性和高级的特征表示，被广泛应用于计算机视觉方向。2013年，Ross Girshick提出了RCNN(Regions with Convolutional Neural Networks Features，RCNN)。结合Selection Search算法的区域建议框与CNN，使用SVM对卷积特征进行分类并对每类目标使用线形回归进行检测。RCNN虽然设计巧妙，但仍存在训练测试不简洁、速度慢等众多缺点。2015年，Ross Girshick再次提出了Fast RCNN。Fast RCNN虽然解决了RCNN训练耗时、测试速度慢及重复计算等问题，但是无法满足实时应用，不具有GPU的高度并行运算能力，检测效率较低。Shaoqin Ren团队提出的Faster RCNN。采用共享的卷积网络组成网络生成候选区域(Region Proposal Network，RPN)，使用RPN直接预测候选框，大幅度提高了检测速度与精度，将特征提取、候选ROI区域生成、分类回归三个目标检测的基本步骤整合到同一个深度网络框架内，真正实现端到端的检测。Redmon J等人于2016年提出了YOLO(You Only Look Once，YOLO)，YOLO将之前的目标检测网络进行了整合，即将多阶段检测统一成一个简单的神经网络，首次实现了单个网络检测目标，检测速度快，泛化能力强，但精准性和召回率较低。Redmon J等人于2017年提出了YOLO V9000，是在YOLO V1的基础上进行了技巧性的改进，提升了网络检测的速度和精度，并使得网络适用不同大小的输入，然而依旧无法解决重叠问题的分类等问题。
发明内容
为了克服现有技术的不足，解决网络对太阳能电池板表面各种缺陷类型适应度的技术问题，本发明提供一种基于卷积神经网络多特征融合的太阳能电池缺陷检测方法。
本发明通过以下技术方案予以实现。
基于卷积神经网络多特征融合的太阳能电池缺陷检测方法，包括以下步骤：
S1、输入一张任意尺寸的太阳能电池板表面图像；
S2、由卷积层、激活函数和池化层组成用于特征提取的卷积块，按图像处理的顺序依次设置五个卷积块，第一个卷积块输出的特征图连接到第二个卷积块的输入端，第二个卷积块输出的特征图连接到第三个卷积块的输入端，第二个卷积块输出的特征图经过下采样与第三个卷积块输出的特征图直接连接到第四个卷积块的输入端，第三个卷积块输出的特征图经过下采样与第四个卷积块输出的特征图直接连接到第五个卷积块的输入端；
S3、步骤S2中的第三个卷积块、第四个卷积块、第五个卷积块分别对图像进行特征提取，第三个卷积块、第四个卷积块、第五个卷积块输出的特征图分别对应输入候选区域生成网络RPN1、RPN2、RPN3中，判定特征图像中是否含有缺陷部分，并输出候选框的位置信息；
S4、对步骤S3生成的候选区域生成网络RPN1、RPN2、RPN3进行融合：
S5、将步骤S2中第三个卷积块、第四个卷积块和第五个卷积块输出的特征图与步骤S4中候选区域生成网络RPN1、RPN2、RPN3融合后输出的分类和坐标信息输入到ROI池化层中，ROI池化层将不同形状的区域输入转换为固定长度的向量特征输出；
S6、将步骤S5输出的向量特征分别连接到后续的全连接层，利用分类层对向量特征进行具体的类别判断，与此同时边框回归层进行精确的边框回归，通过进行缺陷类别分类和位置回归获得太阳能电池板表面缺陷的种类和位置。
进一步地，所述卷积层采用3*3的卷积核，填充1，步长1，池化层采用2*2的卷积核，步长为2。
进一步地，在所述步骤S3中，候选区域提取网络通过大小为n×n滑动窗口对最后一个共享卷积层输出的特征图进行遍历，将输出的低维短向量输入到两个并行的全连接网络层：太阳能电池板表面缺陷图像缺陷回归层和缺陷分类层；在滑动窗口的每个中心位置，同时输出k个不同的锚框，回归层输出k个四维坐标信息，包含每个缺陷锚框的左上角坐标(x1,y1)和右下角坐标(x2,y2)信息；分类层输出二维类别信息，分别对应k个缺陷锚框是缺陷还是非缺陷。
进一步地，在所述步骤S4中，每一个候选区域生成网络RPN1、RPN2、RPN3中均包括2条并行的数据处理线，其中一条用于判断检测目标是不是缺陷，采用softmax分类判断前景还是背景，另一条用于计算目标位置的偏移量，获得精确的候选框位置信息；2条并行数据处理线处理后的数据对应输入候选区域生成网络RPN1、RPN2、RPN3中的Proposal层，用于综合2条候选区域生成网络RPN1、RPN2、RPN3中并行数据处理的信息从而选取候选框，同时剔除太小和超出边界的候选框；最终，将候选区域生成网络RPN1、RPN2、RPN3中的Proposal层输出的候选框进行融合。
进一步地，在RPN1上的有效候选框主要针对小型缺陷，RPN推荐的候选框尺寸过大，会被判为无效的候选框，保留30％的中型尺寸和70％的小型尺寸的候选框，并参与后续的训练和梯度回传。
进一步地，在RPN2上，有效的候选框主要针对中型缺陷，RPN推荐的候选框中较大和较小尺寸，也不是最有效的尺寸，但由于太阳能电池板的缺陷相对于整幅图而言，比例太小，保留30％的小尺寸候选框，丢弃大尺寸候选框，70％的中型尺寸和30％的小型尺寸的候选框参与后续的训练和梯度回传。
进一步地，在RPN3上，有效的候选框主要针对大型缺陷，RPN推荐的候选框中较小尺寸，相对而言不是最有效的尺寸可以丢弃，70％的大尺寸和30％的中型尺寸的候选框进行保留，在RPN1上小尺寸候选框不参与训练和梯度回传。
与现有技术相比本发明的有益效果为：
本发明在Faster R-CNN卷积神经网络结构基础上引入了跨层连接的思想，使之在学习深层特性信息的同时，学习浅层信息，能有效降低错误率；并采用多尺度的方式进行目标候选框的提取，通过一定比例融合挑选出适合的框作为候选框，在一定程度上可以减少漏检率，其中增加的多尺度特征融合层可以有效适用于太阳能电池板表面缺陷的检测。而且本发明针对太阳能电池板表面缺陷的狭长、细小的特性，使用多种纵横比和尺度，使之更适应缺陷类型，能增加预测框的准确度。改进的Faster R-CNN算法能有效提高目标检测准确率，能够很好的检测出缺陷位置，并具有较高的置信度值。
附图说明
图1为整体网络结构图；
图2为RPN融合网络结构图；
图3为融合筛选方式示意图；
图4为具体实施方式中128*128尺度的5种比例示意图；
图5为标注完缺陷边界框信息真值的EL图像；
图6为采用本具体实施方式获取的裂片、裂纹、虚焊三种缺陷检测结果图；
图7为Faster R-CNN与本具体实施方式的检测结果局部图；
图8为Faster R-CNN与本发明改进后算法的准确率对比条形图；
图9为NMS算法前后预测框对比；
图10为融合筛选前后预测框对比图；
图11为不同置信度阈值下缺陷检测的准确率图。
具体实施方式
以下实施例用于说明本发明，但不用来限制本发明的范围。若未特别指明，实施例均按照常规实验条件。另外，对于本领域技术人员而言，在不偏离本发明的实质和范围的前提下，对这些实施方案中的物料成分和用量进行的各种修改或改进，均属于本发明要求保护的范围。
如图1所示的基于卷积神经网络多特征融合的太阳能电池板缺陷检测方法，包括以下步骤：
S1、输入一张任意尺寸的太阳能电池板表面图像；
S2、由卷积层、激活函数和池化层组成用于特征提取的卷积块，按图像处理的顺序依次设置五个卷积块，第一个卷积块输出的特征图连接到第二个卷积块的输入端，第二个卷积块输出的特征图连接到第三个卷积块的输入端，第二个卷积块输出的特征图经过下采样与第三个卷积块输出的特征图直接连接到第四个卷积块的输入端，第三个卷积块输出的特征图经过下采样与第四个卷积块输出的特征图直接连接到第五个卷积块的输入端；
S3、步骤S2中的第三个卷积块、第四个卷积块、第五个卷积块分别对图像进行特征提取，第三个卷积块、第四个卷积块、第五个卷积块输出的特征图分别对应输入候选区域生成网络RPN1、RPN2、RPN3中，判定特征图像中是否含有缺陷部分，并输出候选框的位置信息；
S4、对步骤S3生成的候选区域生成网络RPN1、RPN2、RPN3进行融合，如图3和图4所示：
在每个区域生成网络中，先进行初次筛选：对于每个真实框，选择与之重叠度最高的候选框作为正样本，剩下的候选框中选择IOU阈值大于0.7的样本作为正样本，之后随机选择IOU阈值小于0.3的作为负样本。其他的候选框剔除，不参与训练。
在融合部分：由于目标检测的过程中同一位置会有众多候选框，且候选框是重叠冗余的，故而采用非极大值抑制(Non-Maximum Suppression，NMS)方法进行再次筛选。NMS算法流程为：先按照置信度得分高低进行排序，选择最高置信度对应的候选框作为正样本，并遍历其他框，计算二者之间的交并比，之后丢弃IOU值大于阈值的候选框，之后从IOU值小于阈值的候选框中，再找出一个置信度得分相对较高的候选框，重复上述实验，直到所有的框全部被处理。处理后三个区域候选网络按照1:1:2的比例生成候选框进行训练。
在区域候选网络部分：由于过多锚点尺度和纵横比，在多层上进行候选区域的提取，会导致在同一目标上的重叠，候选框增加，信息的冗余。为了减低重叠，使用一定的方式进行区域的筛选，融合网络结构见图2，融合筛选方式见图3。
在RPN1上，有效的候选框主要针对小型缺陷，RPN推荐的候选框尺寸过大，会被判为无效的候选框，保留30％的中型尺寸和70％的小型尺寸的候选框，并参与后续的训练和梯度回传。
在RPN2上，有效的候选框主要针对中型缺陷，这时，RPN推荐的候选框中较大和较小尺寸，也不是最有效的尺寸，但由于太阳能电池板的缺陷相对于整幅图而言，比例太小，故而保留30％的小尺寸候选框，丢弃大尺寸候选框。70％的中型尺寸和30％的小型尺寸的候选框参与后续的训练和梯度回传。
在RPN3上，有效的候选框主要针对大型缺陷，这时，RPN推荐的候选框中较小尺寸，相对而言不是最有效的尺寸可以丢弃，70％的大尺寸和30％的中型尺寸的候选框进行保留。在RPN1上小尺寸候选框不参与训练和梯度回传。
由此，无论太阳能电池板表面缺陷是大是小，总可以找到最佳尺寸下的特征图，并在该尺寸下的特征图上进行特征提取。而这一操作基于训练过程中进行，并非前期处理，实验证明这种做法对太阳能电池板表面缺陷的检测非常有效。
一般使用低层检测小目标，但低层感受野小，上下文信息缺乏，容易引入误检；使用简单的单一检测层多尺度信息略显缺乏；高层虽然感受野较大，但毕竟经过了很多次降采样，大目标的语义信息有可能已经丢失；大分辨率输入图像虽然能提升小目标检测性能，但同时使得大目标过大导致其很难分类，本具体实施方式采用的多尺度多层特征结构能很好的解决这一难题。
由于太阳能电池板表面缺陷的狭长特性，考虑Faster R-CNN原本锚点的限制问题，使得检测结果不准确，针对图像的每一个位置，考虑采用25个区域候选窗口：五种尺度、五种比例。图4为128*128尺度的5种比例示意图。
S5、将步骤S2中第三个卷积块、第四个卷积块和第五个卷积块输出的特征图与步骤S4中候选区域生成网络RPN1、RPN2、RPN3融合后输出的分类和坐标信息输入到ROI池化层中，ROI池化层将不同形状的区域输入转换为固定长度的向量特征输出；
S6、将步骤S5输出的向量特征分别连接到后续的全连接层，利用分类层对向量特征进行具体的类别判断，与此同时边框回归层进行精确的边框回归，通过进行缺陷类别分类和位置回归获得太阳能电池板表面缺陷的种类和位置。
本具体实施方式中，采用了PASCAL VOC2007数据格式，主要包括：收集太阳能电池板EL图像集和为EL图像编写XML格式文件。流程为：(1)收集由发光致电的原理生成的太阳能电池板表面缺陷图像；(2)学习裂片、裂纹、虚焊缺陷各自的特点，能够人为的准确判定缺陷类型；(3)将待检测太阳能电池板表面缺陷图像统一采用jpg格式，采用6位数字进行命名，例000001.jpg，并存入JPEG文件夹；(4)将图像分成训练、验证、测试三部分；(5)通过LabelImg软件对训练和验证两部分的EL图像进行标注，如图5所示。标注完生成的类别及边界框信息将保存于每幅图对应的XML文件。
Faster R-CNN有两种训练方式，一种是采用分阶段训练区域提取RPN网络和分类回归Fast R-CNN网络的Faster_rcnn_alt_opt交替训练方式；一种是采用Faster_rcnn_end2end端到端训练方式。使用VGG-19网络进行FasterR-CNN交替训练，大约需要11G的内存；而同样的网络进行FasterR-CNN端到端训练，使用CUDNN，仅仅需要3G的GPU就可以了，CUDNN是用于深度神经网络的GPU加速库。本具体实施方式中，采用多个RPN的多尺度FasterR-CNN，增加了部分计算量，考虑到端到端训练方式不需要划分多个阶段去训练网络，使得网络训练过程简单易操作，且硬件条件有限，故采用端对端的网络训练方式。
在Caffe平台下训练Faster R-CNN，其框架目录是：data用来存放预训练模型以及读取文件的cache缓存，还有一些下载模型的脚本。experiments存放配置文件以及运行的log文件，还有初始命令faster_rcnn_end2end.sh等。lib存放一些python接口文件，如datasets主要负责数据库读取，config负责训练的配置选项。models存放了三个模型文件，小型网络ZF，中型网络VGG_CNN_M_1024以及大型网络VGG16。output存放训练完成后的模型。tools存放训练和测试的Python文件。
原始的Faster R-CNN模型中RPN网络由于锚点数的限制，对EL图像中的小目标缺陷容易出现漏检、精测位置精度不准确的情况。针对EL图像数据集中裂片大小不一、裂纹细长、尺寸多变等特点，本具体实施方式中对FasterR-CNN中的RPN网络在尺度上增加一个32,64的尺度，设置为{32,64,128,256，512}5类，长宽比也增设了两个{1:3，3:1}新比例，设置为{1:1，1:2，1:3，3:1，2:1}5类，最终锚点数增加到25。这样训练出的模型将能够学习到在各种尺寸范围内的特征，使得RPN提取的候选框更加准确，适用性更强。本具体实施方式中，RPN网络锚点参数设置如表1所示。
表1 RPN网络锚点参数设置
anchor 个数
base_size 256 1
原始ratios [1:1,1:2,2:1] 3
原始scale [128,256,512] 3
新的ratios [1:1,1:2,1:3,3:1,2:1] 5
新的scale [32,64,128,256,512] 5
由基本锚点计算多种比例的方式如下：
1.确定基本锚点的四个坐标(xmin,ymin,xmax,ymax)，假设基本锚点为(1000，2000，1128，2128)；
2.计算宽w＝xmax-xmin、高h＝ymax-ymin，并求面积S＝w×h，中心点坐标(xc,yc)＝(xmin+w/2,ymin+h/2)，即w＝128，h＝128，S＝16384，(xc,yc)＝(1064,2064)；
3.用面积除以比例，假设比例为1:2，则计算结果为：C＝S/ratio＝32768；
4.计算锚点变换比例后的宽为：对C开平方，结果四舍五入，ws≈181；
5.计算锚点变换比例后的高为：宽乘以比例，结果四舍五入，hs＝91；
6.此时锚点变换比例后的坐标为：
Figure BDA0002500123930000081
即(973.5，2018.5，1154.5，2109.5)；
7.同样的方式，计算其他尺寸和比例的锚点。
本具体实施方式的实验结果如下：
(一)、视觉效果分析
分别采用200张裂片、裂纹、虚焊缺陷图作为测试集来检测网络性能。图6给出了采用本具体实施方式获取的裂片、裂纹、虚焊三种缺陷检测结果，其中图6(a)、(b)为裂片缺陷检测结果图，图6(c)、(d)为裂纹缺陷检测结果图，图6(e)、(f)为虚焊缺陷检测结果图。可以看出，本具体实施方式能比较准确的检测出三种缺陷，跨层连接的使用、多尺度的候选框选取有利于太阳能电池板表面缺陷的分类更加准确，置信度值的提升，置信度值基本上高于0.9。新定义的候选框尺寸和比例使得检测边界框框出的位置比较准确，回归精度比较高，具有较高的检测质量，检测效果好。
在图7检测结果中，图7(a)、(b)、(c)为Faster R-CNN的检测结果局部图，图7(d)、(e)、(f)为本具体实施方式的检测结果局部图，即：图7(a)为Faster R-CNN对裂片检测局部图，图7(b)为Faster R-CNN对裂纹检测局部图，图7(c)为Faster R-CNN对虚焊检测局部图，图7(d)本具体实施方式对裂片检测局部图(与图7(a)对应)，图7(e)本具体实施方式对裂纹检测局部图(与图7(b)对应)，图7(f)本具体实施方式对虚焊检测局部图(与图7(c)对应)。图7(a)的检测结果的置信度没有图7(d)的高，且位置信息没有图7(d)的准确，有一部分裂片没有在框中显示，存在一定的位置偏差。图7(b)中，Faster R-CNN中没有检测出裂纹的具体位置，而图7(e)中，本具体实施方式不仅检测出裂纹，而且置信度值还高达0.991。图7(c)和(f)均检测出虚焊的位置，但是Faster R-CNN检测框较大，有一部分的外扩，置信度值也没有本具体实施方法的置信度高。本具体实施方式由于采用多尺度信息，并采用适合太阳能电池板表面缺陷的锚点和纵横比，使得能够很好的检测出缺陷位置，并具有较高的置信度值。
总的来看，本具体实施方式由于浅层特征和深层特征的融合，相比于Faster R-CNN，有效的提高了目标的漏检率和误检率，结果展示在表2中。可以看出，采用多尺度的方式进行太阳能电池板表面缺陷的检测，可以提升检测效果，尤其是误检图像数量，检测效果提升较大。采用本具体实施方式，裂纹图像张数由原本的Faster R-CNN检测结果16张图像减低到4张，裂片和虚焊的图像张数也由9张和21张图像均减少6张和19张。表3给出了检测准确率、误检率及漏检率的统计结果，可以看出，与原本的Faster R-CNN相比，本具体实施方式的三种缺陷的综合准确率提升了6.5％。本具体实施方式比原本的Faster R-CNN准确率更高，漏检率和误检率都有明显的下降。图8中可以很直观的观察到，不管的裂纹、裂片、虚焊还是综合缺陷检测结果，本具体实施方式都优于原始的Faster R-CNN算法，故而，本具体实施方式采用多锚点和多尺度的检测方式可以有效提升检测效果，尤其是属于小目标检测范畴的太阳能电池板表面缺陷检测。
表2 缺陷检测结果统计(单位：张)
Figure BDA0002500123930000091
/>
表3 检测准确率、误检率及漏检率的统计结果
Figure BDA0002500123930000092
在图9展示了NMS算法前后预测框对比图，其中图9(a)为NMS算法前部分预测框，图9(b)为NMS算法后保留的预测框。在RPN中，先采用NMS算法去除部分冗余框，在去除候选框时，若留下的候选框较少，会导致候选框不能很好的框缺陷位置，进而导致缺陷检测回归精度较低，若留下的候选框较多，又会导致本具体实施方式算法的计算量太大，故而，先经过NMS算法去除一部分候选框。而本具体实施方式采用3个RPN阶段，会使得候选框数量增加，进而增加计算量。
图10为融合筛选前后预测框对比图，其中图10(a)为融合筛选算法前部分预测框(即NMS算法后保留的预测框)，图10(b)为融合筛选算法后保留的预测框。通过融合筛选算法可以去除部分冗余的候选框，进而减低计算量。本具体实施方式虽然在Faster R-CNN的基础上增加了多锚点和多个RPN，但在候选框部分去除了冗余的候选框，使得计算量并没有增加太多。
表4 测试时间统计表
method 测试时间(s)
Faster R-CNN 254.146
Faster R-CNN(with improved anchor) 270.817
Our Method 568.617
为了评估该方法的实时性，使用Faster R-CNN，具有改进锚点的Faster R-CNN方法，以及本具体实施方式方法来测试600个带缺陷的太阳能电池板图像。表4记录了测试所需的总时间。由于本具体实施方式采用多尺度的检测算法，因此所需的检测时间约为其他方法的两倍，这表明本具体实施方式的实时性相对较差，但考虑到平均检测时间，即每个图像的检测时间小于1s，其检测时间仍可以满足实时应用的需求。
表5 不同置信度阈值下检测的准确率
置信度阈值 准确率 误检率 漏检率
0.6 0.967 0.023 0.010
0.7 0.975 0.013 0.012
0.8 0.978 0.005 0.017
0.9 0.972 0.003 0.025
在目标测试过程中，会有置信度阈值的选择，一般情况下阈值不得低于0.5，若阈值低于0.5，会使得一部分不是缺陷的位置，也会因为阈值太低，背景与缺陷太类似而误检，进而减低准确。选择阈值为0.6，0.7，0.8，0.9，表5统计了不同置信度阈值下检测的准确率。误检率和漏检率，可以看到，随着置信度值的增加，误检率在减低，即部分与缺陷相似的背景被舍去。随着置信度值的增加，漏检率在上升，也就是部分缺陷不明显，例如裂纹，使得检测的置信度值较低，而较低的置信度值因为较高的置信度阈值而舍去，致使漏检率偏高。通过实验统计，图11为不同置信度阈值下缺陷检测的准确率图，可以看出当置信度值为0.8时，获得的准确率较高，综合表中漏检率和误检率，我们选择0.8作为置信度阈值。
训练集中每一张图像有的含1处缺陷，有的是多处缺陷，即每张图像含数量不一的真实框(gt)。在原始Faster R-CNN的基础上，对训练集中每张图像的所有anchor进行考察。对于裂纹、裂片、虚焊缺陷而言，采用2562,1:1的anchor会使得每一anchor的面积都远远大于缺陷的面积，导致缺陷在anchor中所占的比例很小，而太阳能电池板独特的细长且小的缺陷特性，使之在训练过程中因为anchor和GT重叠的比例很小，从而将anchor判断为负样本或者非负非正样本并舍弃。所以本具体实施方式依据训练集图像中缺陷的大小以及GT长宽的比例，对anchor的scale和ratios做了改进。重新选定的anchor的个数共有25种(ratios*scale)。ratios有5种，scale有5种，具体参数及map值的统计见表6。
表6 anchor具体参数统计表
Setting Anchor scales Aspect rations Map(％)
1 scale,1 ration 256 1:1 68.8
3 scale,3 ration [128,256,512] [1:1,1:2,2:1] 72.4
5 scale,5 ration [32,64,128,256,512] [1:1,1:2,1:3,3:1,2:1] 76.5
本具体实施方式还计算了YOLO、YOLO V9000、YOLO V3、Faster R-CNN和本具体实施方式对太阳能电池板表面缺陷检测的结果，检测结果如表7所示。YOLO实现了端对端的检测，将整个检测问题转化为一个回归问题，且YOLO检测速度可观，但YOLO在太阳能电池板表面缺陷的检测中，适用度不高，致使YOLO的Map值较低，YOLO V9000，YOLO V3依次是YOLO的改进版，其检测精度已有所提升，但与本具体实施方式方法相比较，检测效果不太好。从表中可以看出，与其他方法相比检测精准度有很大提高，与原本的Faster R-CNN相比，Map值提高了将近5％。本具体实施方式方法在不影响实时监测的情况下，能够实现检测精度的提升及较好的回归结果。
表7不同方法检测Map值统计表
method Map(％)
YOLO 74.2
YOLO V9000 79.7
YOLO V3 82.5
Faster R-CNN 80.1
Our Method 85.0
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (7)

1.基于卷积神经网络多特征融合的太阳能电池缺陷检测方法，其特征在于包括以下步骤：
S1、输入一张任意尺寸的太阳能电池板表面图像；
S2、由卷积层、激活函数和池化层组成用于特征提取的卷积块，按图像处理的顺序依次设置五个卷积块，第一个卷积块输出的特征图连接到第二个卷积块的输入端，第二个卷积块输出的特征图连接到第三个卷积块的输入端，第二个卷积块输出的特征图经过下采样与第三个卷积块输出的特征图直接连接到第四个卷积块的输入端，第三个卷积块输出的特征图经过下采样与第四个卷积块输出的特征图直接连接到第五个卷积块的输入端；
S3、步骤S2中的第三个卷积块、第四个卷积块、第五个卷积块分别对图像进行特征提取，第三个卷积块、第四个卷积块、第五个卷积块输出的特征图分别对应输入候选区域生成网络RPN1、RPN2、RPN3中，判定特征图像中是否含有缺陷部分，并输出候选框的位置信息；
S4、对步骤S3生成的候选区域生成网络RPN1、RPN2、RPN3进行融合：
S5、将步骤S2中第三个卷积块、第四个卷积块和第五个卷积块输出的特征图与步骤S4中候选区域生成网络RPN1、RPN2、RPN3融合后输出的分类和坐标信息输入到ROI池化层中，ROI池化层将不同形状的区域输入转换为固定长度的向量特征输出；
S6、将步骤S5输出的向量特征分别连接到后续的全连接层，利用分类层对向量特征进行具体的类别判断，与此同时边框回归层进行精确的边框回归，通过进行缺陷类别分类和位置回归获得太阳能电池板表面缺陷的种类和位置。
2.根据权利要求1所述的基于卷积神经网络多特征融合的太阳能电池缺陷检测方法，其特征在于：所述卷积层采用3*3的卷积核，填充1，步长1，池化层采用2*2的卷积核，步长为2。
3.根据权利要求1所述的基于卷积神经网络多特征融合的太阳能电池缺陷检测方法，其特征在于：在所述步骤S3中，候选区域提取网络通过大小为n×n滑动窗口对共享卷积层输出的特征图进行遍历，将输出的低维短向量输入到两个并行的全连接网络层：太阳能电池板表面缺陷图像缺陷回归层和缺陷分类层；在滑动窗口的每个中心位置，同时输出k个不同的锚框，回归层输出k个四维坐标信息，包含每个缺陷锚框的左上角坐标(x1,y1)和右下角坐标(x2,y2)信息；分类层输出二维类别信息，分别对应k个缺陷锚框是缺陷还是非缺陷。
4.根据权利要求1所述的基于卷积神经网络多特征融合的太阳能电池缺陷检测方法，其特征在于：在所述步骤S4中，每一个候选区域生成网络RPN1、RPN2、RPN3中均包括2条并行的数据处理线，其中一条用于判断检测目标是不是缺陷，采用softmax分类判定前景还是背景，另一条用于计算目标位置的偏移量，获得精确的候选框位置信息；2条并行数据处理线处理后的数据对应输入候选区域生成网络RPN1、RPN2、RPN3中的Proposal层，用于综合2条候选区域生成网络RPN1、RPN2、RPN3中并行数据处理的信息从而选取候选框，同时剔除太小和超出边界的候选框；最终，将候选区域生成网络RPN1、RPN2、RPN3中的Proposal层输出的候选框进行融合。
5.根据权利要求1或者4所述的基于卷积神经网络多特征融合的太阳能电池缺陷检测方法，其特征在于：在RPN1上的有效候选框主要针对小型缺陷，RPN推荐的候选框尺寸过大，会被判为无效的候选框，保留30％的中型尺寸和70％的小型尺寸的候选框，并参与后续的训练和梯度回传。
6.根据权利要求1或者4所述的基于卷积神经网络多特征融合的太阳能电池缺陷检测方法，其特征在于：在RPN2上，有效的候选框主要针对中型缺陷，RPN推荐的候选框中较大和较小尺寸，也不是最有效的尺寸，但由于太阳能电池板的缺陷相对于整幅图而言，比例太小，保留30％的小尺寸候选框，丢弃大尺寸候选框，70％的中型尺寸和30％的小型尺寸的候选框参与后续的训练和梯度回传。
7.根据权利要求1或者4所述的基于卷积神经网络多特征融合的太阳能电池缺陷检测方法，其特征在于：在RPN3上，有效的候选框主要针对大型缺陷，RPN推荐的候选框中较小尺寸，相对而言不是最有效的尺寸可以丢弃，70％的大尺寸和30％的中型尺寸的候选框进行保留，在RPN1上小尺寸候选框不参与训练和梯度回传。
CN202010429805.3A 2020-05-20 2020-05-20 基于卷积神经网络多特征融合的太阳能电池缺陷检测方法 Active CN111768365B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010429805.3A CN111768365B (zh) 2020-05-20 2020-05-20 基于卷积神经网络多特征融合的太阳能电池缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010429805.3A CN111768365B (zh) 2020-05-20 2020-05-20 基于卷积神经网络多特征融合的太阳能电池缺陷检测方法

Publications (2)

Publication Number Publication Date
CN111768365A CN111768365A (zh) 2020-10-13
CN111768365B true CN111768365B (zh) 2023-05-30

Family

ID=72719392

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010429805.3A Active CN111768365B (zh) 2020-05-20 2020-05-20 基于卷积神经网络多特征融合的太阳能电池缺陷检测方法

Country Status (1)

Country Link
CN (1) CN111768365B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112561866B (zh) * 2020-12-04 2022-03-01 重庆忽米网络科技有限公司 基于ai与云计算技术的半导体基板光刻胶层缺陷检测系统
CN112819988A (zh) * 2020-12-25 2021-05-18 朗坤智慧科技股份有限公司 基于5g的无人机电站智能巡检方法、系统和网络侧服务端
CN113052187B (zh) * 2021-03-23 2022-08-30 电子科技大学 一种基于多尺度特征融合的全局特征对齐目标检测方法
CN113205136A (zh) * 2021-04-30 2021-08-03 浙大城市学院 一种用于电源适配器外观缺陷的实时高精度检测方法
CN113298797B (zh) * 2021-06-10 2022-12-02 太原科技大学 太阳能电池表面缺陷检测方法
CN113947144B (zh) 2021-10-15 2022-05-17 北京百度网讯科技有限公司 用于对象检测的方法、装置、设备、介质和程序产品
WO2023097637A1 (zh) * 2021-12-03 2023-06-08 宁德时代新能源科技股份有限公司 一种用于缺陷检测的方法和系统
CN114882376B (zh) * 2022-05-06 2024-03-22 自然资源部第一海洋研究所 基于最优锚点尺度的卷积神经网络遥感影像目标检测方法
CN115457553A (zh) * 2022-11-11 2022-12-09 南京信息工程大学 一种基于深度学习的布匹缺陷检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108345911A (zh) * 2018-04-16 2018-07-31 东北大学 基于卷积神经网络多级特征的钢板表面缺陷检测方法
CN108631727A (zh) * 2018-03-26 2018-10-09 河北工业大学 一种基于卷积神经网络的太阳能电池板缺陷识别方法
WO2019104767A1 (zh) * 2017-11-28 2019-06-06 河海大学常州校区 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
CN110689011A (zh) * 2019-09-29 2020-01-14 河北工业大学 多尺度联合卷积神经网络的太阳能电池板缺陷检测方法
CN110796168A (zh) * 2019-09-26 2020-02-14 江苏大学 一种基于改进YOLOv3的车辆检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019104767A1 (zh) * 2017-11-28 2019-06-06 河海大学常州校区 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
CN108631727A (zh) * 2018-03-26 2018-10-09 河北工业大学 一种基于卷积神经网络的太阳能电池板缺陷识别方法
CN108345911A (zh) * 2018-04-16 2018-07-31 东北大学 基于卷积神经网络多级特征的钢板表面缺陷检测方法
CN110796168A (zh) * 2019-09-26 2020-02-14 江苏大学 一种基于改进YOLOv3的车辆检测方法
CN110689011A (zh) * 2019-09-29 2020-01-14 河北工业大学 多尺度联合卷积神经网络的太阳能电池板缺陷检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于改进Faster RCNN的马克杯缺陷检测方法;李东洁;李若昊;;激光与光电子学进展(第04期);全文 *

Also Published As

Publication number Publication date
CN111768365A (zh) 2020-10-13

Similar Documents

Publication Publication Date Title
CN111768365B (zh) 基于卷积神经网络多特征融合的太阳能电池缺陷检测方法
CN109509187B (zh) 一种针对大分辨率布匹图像中的小瑕疵的高效检验算法
CN109636772A (zh) 基于深度学习的不规则形状金属加工表面的缺陷检测方法
CN110929795B (zh) 高速焊线机焊点快速识别与定位方法
CN116310785B (zh) 基于YOLO v4的无人机影像路面病害检测方法
CN109816634B (zh) 检测方法、模型训练方法、装置及设备
Zhou et al. Review of vision-based defect detection research and its perspectives for printed circuit board
CN114972312A (zh) 基于YOLOv4-Tiny改进的绝缘子缺陷检测方法
CN110543906A (zh) 基于数据增强和Mask R-CNN模型的肤质自动识别方法
CN111127454A (zh) 基于深度学习生成工业缺陷样本的方法及系统
CN113298797A (zh) 太阳能电池表面缺陷检测方法
CN113657423A (zh) 适用于小体积零件与堆叠零件的目标检测方法及其应用
CN113780423A (zh) 一种基于多尺度融合的单阶段目标检测神经网络及工业品表面缺陷检测模型
CN112819063A (zh) 一种基于改进的Focal损失函数的图像识别方法
CN117103790A (zh) 瓦楞纸板生产线及其控制方法
CN109657682B (zh) 一种基于深度神经网络和多阈值软切分的电能表示数识别方法
Wang et al. Improved YOLOv3 detection method for PCB plug-in solder joint defects based on ordered probability density weighting and attention mechanism
Li et al. A reliable solder joint inspection method based on a light-weight point cloud network and modulated loss
Chen et al. Research on anti-interference detection of 3D-printed ceramics surface defects based on deep learning
CN114429445A (zh) 一种基于MAIRNet的PCB缺陷检测与识别方法
CN117910073A (zh) 基于3d打印技术的工艺品包装设计优化系统及方法
CN115830302B (zh) 一种多尺度特征提取融合配电网设备定位识别方法
Wang et al. Conditional TransGAN‐Based Data Augmentation for PCB Electronic Component Inspection
Zou et al. Improved ResNet-50 model for identifying defects on wood surfaces
CN112132816B (zh) 一种基于多任务与感兴趣区域分割引导的目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant