CN114627062A - 一种改进Faster R-CNN的太阳能电池片表面缺陷检测方法 - Google Patents

一种改进Faster R-CNN的太阳能电池片表面缺陷检测方法 Download PDF

Info

Publication number
CN114627062A
CN114627062A CN202210185506.9A CN202210185506A CN114627062A CN 114627062 A CN114627062 A CN 114627062A CN 202210185506 A CN202210185506 A CN 202210185506A CN 114627062 A CN114627062 A CN 114627062A
Authority
CN
China
Prior art keywords
solar cell
preprocessed
cell image
defect
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210185506.9A
Other languages
English (en)
Inventor
王淑青
鲁东林
陈怡菲
鲁濠
汤璐
金浩博
张子言
朱文鑫
柯洋洋
罗平章
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei University of Technology
Original Assignee
Hubei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Technology filed Critical Hubei University of Technology
Priority to CN202210185506.9A priority Critical patent/CN114627062A/zh
Publication of CN114627062A publication Critical patent/CN114627062A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0006Industrial image inspection using a design-rule based approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种改进Faster R‑CNN的太阳能电池片表面缺陷检测方法。本发明通过工业相机对含有缺陷的太阳能电池片进行图像采集,并通过图像预处理得到每幅预处理后太阳能电池片图像,手动标记上述图像的多个缺陷位置框和缺陷类别;构建改进Faster R‑CNN的太阳能电池片表面缺陷检测模型,将上述图像输入至该模型进行预测,得到每幅图像预测的多个缺陷位置框和缺陷类别,结合该缺陷位置框和缺陷类别构建损失函数模型,通过反向传播算法进行优化训练,得到优化后的网络模型;工业相机实时采集太阳能电池片图像,将该图像通过优化后改进Faster R‑CNN的太阳能电池片表面缺陷检测网络模型进行预测,实现对太阳能电池片的表面缺陷检测。本发明有检测速度快,检测精度高的优点。

Description

一种改进Faster R-CNN的太阳能电池片表面缺陷检测方法
技术领域
本发明属于深度学习的表面缺陷检测的技术领域,具体涉及一种改进 Faster R-CNN的太阳能电池片表面缺陷检测方法。
背景技术
太阳能作为可再生的清洁能源近年来受到了广泛关注,太阳能电池片作为太阳能发电的核心部件其产量也在快速增加,在工业生产中对太阳能电池片进行表面缺陷检测具有很重要的现实意义。在工业生产中,太阳能电池片的生产工艺可以分为硅片检测、表面制绒及酸洗、扩散制结、去磷硅玻璃、等离子刻蚀及酸洗、镀减反射膜、丝网印刷、快速烧结等,常见的表面缺陷有划痕、破损、污渍和断栅等,这些表面缺陷都会影响电池片的使用寿命和转化效率。
常见的太阳能电池片缺陷检测方法主要为人工检测方法、物理检测方法和机器视觉的检测方法,人工检测方法效率低,具有很强的主观因素,利用声波、激光扫描等物理方法能够有效检测出裂纹但对划痕、断栅和污渍等缺陷效果不佳,基于频域和均值漂移技术的检测方法都能有效的检测部分缺陷,但前者对较为集中的划痕等缺陷能力不足,后者对小目标缺陷识别率不高。常见的太阳能电池片表面缺陷种类较多,缺陷目标较少,特征不明显,常见的检测方法对于小目标缺陷的检测率不高。因此,根据太阳能电池片表面缺陷的特点,需要设计一种合理有效的检测方法。
发明内容
基于现有的检测方法中,检测精度不够,泛化能力不足,小目标缺陷检测效果差的问题,本发明提出了一种改进Faster R-CNN的太阳能电池片表面缺陷检测方法,该方法能够很好的检测出太阳能电池片表面的划痕、破损、污渍和断栅的缺陷。
为解决上述太阳能电池片表面缺陷检测的技术问题,本发明以Faster R-CNN 为模型框架,以ResNet50为网络主干,采用GA-RPN结构,减少大量的锚点框,融入ResNet残差块结构,解决深度网络梯度消失的问题,采用深度可分离卷积和倒置残差块对特征层进行改进,使检测模型更加轻便,并融入了特征金字塔的多尺度检测网络,提高对电池片的小目标缺陷检测精度。
本发明所采用的技术方案是:一种改进Faster R-CNN的太阳能电池片表面缺陷检测方法,用于对太阳能电池片表面缺陷的检测,解决太阳能电池片表面缺陷检测精度不高,泛化能力不足,小目标检测效果差的问题,其特征在于,包括以下步骤:
步骤1:通过工业相机对含有缺陷的太阳能电池片进行图像采集得到多幅太阳能电池片图像,将每幅太阳能电池片图像依次通过图像裁剪、图像旋转、色彩增强、图像锐化得到每幅预处理后太阳能电池片图像,人工标记每幅预处理后太阳能电池片图像的多个缺陷位置框,人工标记每幅预处理后太阳能电池片图像的每个缺陷位置框的缺陷类别;
步骤2:构建改进Faster R-CNN的太阳能电池片表面缺陷检测网络模型,将每幅预处理后太阳能电池片图像输入至改进Faster R-CNN的太阳能电池片表面缺陷检测网络模型进行预测,得到每幅预处理后太阳能电池片图像预测的多个缺陷位置框、每幅预处理后太阳能电池片图像预测每个缺陷位置框预测的缺陷类别,结合每幅预处理后太阳能电池片图像的多个缺陷位置框、每幅预处理后太阳能电池片图像的每个缺陷位置框的缺陷类别构建损失函数模型,通过反向传播算法进行优化训练,得到优化后改进Faster R-CNN的太阳能电池片表面缺陷检测网络模型;
步骤3:工业相机实时采集太阳能电池片图像,将实时采集的太阳能电池片图像通过优化后改进Faster R-CNN的太阳能电池片表面缺陷检测网络模型进行预测,得到实时采集的太阳能电池片图像的缺陷类别;
作为优选,步骤2所述改进Faster R-CNN的太阳能电池片表面缺陷检测网络模型包括:特征提取网络、特征金字塔、引导锚点框区域生成网络、感兴趣区域池化层、分类回归层;
所述的特征提取网络、特征金字塔、引导锚点框区域生成网络、感兴趣区域池化层、分类回归层依次级联;
所述特征提取网络,用于将训练集中每幅预处理后太阳能电池片图像经过特征提取得到训练集中每幅预处理后太阳能电池片图像的特征向量,并输出至所述特征金字塔。
所述特征金字塔,将训练集中每幅预处理后太阳能电池片图像的特征向量通过特征融合处理得到训练集中每幅预处理后太阳能电池片图像的特征图,将训练集中每幅预处理后太阳能电池片图像的特征图输出至所述引导锚点框区域生成网络;
所述引导锚点框区域生成网络,将训练集中每幅预处理后太阳能电池片图像的特征图根据不同的尺寸和长宽比通过网络生成每幅预处理后太阳能电池片图像的的多个候选框,并将每幅预处理后太阳能电池片图像的的多个候选框投影到每幅预处理后太阳能电池片图像的的多个候选框的特征图上,得到每幅预处理后太阳能电池片图像的的多个特征矩阵,通过二分类方法判断候选框内为前景或后景,通过坐标回归方法得到边界框中心点的坐标、宽和高,每幅预处理后太阳能电池片图像的的特征图、每幅预处理后太阳能电池片图像的的多个候选框输入到感兴趣区域池化层。
所述感兴趣区域池化层,将前述每幅预处理后太阳能电池片图像的特征图通过统一缩放得到每幅预处理后太阳能电池片图像的尺寸缩放后特征图,并将每幅预处理后太阳能电池片图像的尺寸缩放后特征图输入到分类回归层。
所述分类回归层,将每幅预处理后太阳能电池片图像的尺寸缩放后特征图进行展平处理,得到能够拟合全连接层的一维向量,将该向量通过多个级联的全连接层,最后由两个并联的输出分别得到每幅预处理后太阳能电池片图像的缺陷类别和每幅预处理后太阳能电池片图像的缺陷坐标,前述所得结果分别通过一个由 softmax函数计算目标预测概率,另一个由bbox regressor函数计算边界框回归参数,通过目标预测概率的大小得到目标缺陷类别,通过回归参数得到缺陷边界框的位置;-
步骤2所述损失函数模型由分类损失函数模型、边界框回归损失函数模型构成;
所述分类损失函数模型,定义为:
Figure BDA0003523177750000031
其中,
Figure BDA0003523177750000032
代表正负的标志位,其中为正样本时值为1,为负样本时值为0; pi为第i个锚点预测为真实标签的概率。
所述边界框回归损失函数模型,定义为:
Figure BDA0003523177750000033
Figure BDA0003523177750000041
其中,x、y、w、h分别为窗口中心点坐标、宽和高,ti为第i个候选框边界修正值,
Figure BDA0003523177750000042
为一组与正样本锚点相关的真实目标框坐标。
步骤2所述损失函数模型为:
Figure BDA0003523177750000043
式中,Lcis为分类损失函数模型,Lreg为回归损失函数模型,λ为分类损失函数和边界框回归损失之间的平衡权重,pi为第i个锚点预测为真实标签的概率,
Figure BDA0003523177750000044
代表正负样本,其中为正样本时值为1,为负样本时值为0,ti为第i个候选框的边界修正值,
Figure BDA0003523177750000045
为一组与正样本锚点相关的真实目标框坐标,Ncls为图片中的所有样本数量,Nreg为锚点位置的个数。
本发明一种改进Faster R-CNN的太阳能电池片表面缺陷检测方法的主要优点体现在:
本发明对太阳能电池片的表面缺陷检测速度快,且检测速度精度高。
附图说明
图1:为本发明方法流程图;
图2:为本发明所建立的数据集;
图3:为本发明的网络结构图;
图4:为本发明的测试结果图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案,便于本领域普通技术人员理解,将结合上述附图对本发明作进一步介绍,附图中包含本发明的整体算法框架,以及一些实施例。显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有付出创造性劳动前提下获得的所有其他实施例,都属于本发明保护的范围。
本发明第一实施例如图1所示,为一种改进Faster R-CNN的太阳能电池片表面缺陷检测方法,包括以下步骤:
步骤1:通过工业相机对含有缺陷的太阳能电池片进行图像采集得到多幅太阳能电池片图像,将每幅太阳能电池片图像依次通过图像裁剪、图像旋转、色彩增强、图像锐化得到每幅预处理后太阳能电池片图像,人工标记每幅预处理后太阳能电池片图像的多个缺陷位置框,人工标记每幅预处理后太阳能电池片图像的每个缺陷位置框的缺陷类别;
步骤2:构建改进Faster R-CNN的太阳能电池片表面缺陷检测网络模型,将每幅预处理后太阳能电池片图像输入至改进Faster R-CNN的太阳能电池片表面缺陷检测网络模型进行预测,得到每幅预处理后太阳能电池片图像预测的多个缺陷位置框、每幅预处理后太阳能电池片图像预测每个缺陷位置框预测的缺陷类别,结合每幅预处理后太阳能电池片图像的多个缺陷位置框、每幅预处理后太阳能电池片图像的每个缺陷位置框的缺陷类别构建损失函数模型,通过反向传播算法进行优化训练,得到优化后改进Faster R-CNN的太阳能电池片表面缺陷检测网络模型;
步骤2所述改进Faster R-CNN的太阳能电池片表面缺陷检测网络模型包括:特征提取网络、特征金字塔、引导锚点框区域生成网络、感兴趣区域池化层、分类回归层;
所述的特征提取网络、特征金字塔、引导锚点框区域生成网络、感兴趣区域池化层、分类回归层依次级联;
所述特征提取网络,用于将训练集中每幅预处理后太阳能电池片图像经过特征提取得到训练集中每幅预处理后太阳能电池片图像的特征向量,并输出至所述特征金字塔。
所述特征金字塔,将训练集中每幅预处理后太阳能电池片图像的特征向量通过特征融合处理得到训练集中每幅预处理后太阳能电池片图像的特征图,将训练集中每幅预处理后太阳能电池片图像的特征图输出至所述引导锚点框区域生成网络;
所述引导锚点框区域生成网络,将训练集中每幅预处理后太阳能电池片图像的特征图根据不同的尺寸和长宽比通过网络生成每幅预处理后太阳能电池片图像的的多个候选框,并将每幅预处理后太阳能电池片图像的的多个候选框投影到每幅预处理后太阳能电池片图像的的多个候选框的特征图上,得到每幅预处理后太阳能电池片图像的的多个特征矩阵,通过二分类方法判断候选框内为前景或后景,通过坐标回归方法得到边界框中心点的坐标、宽和高,每幅预处理后太阳能电池片图像的的特征图、每幅预处理后太阳能电池片图像的的多个候选框输入到感兴趣区域池化层。
所述感兴趣区域池化层,将前述每幅预处理后太阳能电池片图像的特征图通过统一缩放得到每幅预处理后太阳能电池片图像的尺寸缩放后特征图,并将每幅预处理后太阳能电池片图像的尺寸缩放后特征图输入到分类回归层。
所述分类回归层,将每幅预处理后太阳能电池片图像的尺寸缩放后特征图进行展平处理,得到能够拟合全连接层的一维向量,将该向量通过多个级联的全连接层,最后由两个并联的输出分别得到每幅预处理后太阳能电池片图像的缺陷类别和每幅预处理后太阳能电池片图像的缺陷坐标,前述所得结果分别通过一个由 softmax函数计算目标预测概率,另一个由bbox regresSor函数计算边界框回归参数,通过目标预测概率的大小得到目标缺陷类别,通过回归参数得到缺陷边界框的位置;-
步骤2所述损失函数模型由分类损失函数模型、边界框回归损失函数模型构成;
所述分类损失函数模型,定义为:
Figure BDA0003523177750000061
其中,
Figure BDA0003523177750000062
代表正负的标志位,其中为正样本时值为1,为负样本时值为0; pi为第i个锚点预测为真实标签的概率。
所述边界框回归损失函数模型,定义为:
Figure BDA0003523177750000063
Figure BDA0003523177750000064
其中,x、y、w、h分别为窗口中心点坐标、宽和高,ti为第i个候选框边界修正值,
Figure BDA0003523177750000065
为一组与正样本锚点相关的真实目标框坐标。
步骤2所述损失函数模型为:
Figure BDA0003523177750000066
式中,Lcis为分类损失函数模型,Lreg为回归损失函数模型,λ为分类损失函数和边界框回归损失之间的平衡权重,pi为第i个锚点预测为真实标签的概率,
Figure BDA0003523177750000071
代表正负样本,其中为正样本时值为1,为负样本时值为0,ti为第i个候选框的边界修正值,
Figure BDA0003523177750000072
为一组与正样本锚点相关的真实目标框坐标,Ncls为图片中的所有样本数量,Nreg为锚点位置的个数。
步骤3:工业相机实时采集太阳能电池片图像,将实时采集的太阳能电池片图像通过优化后改进Faster R-CNN的太阳能电池片表面缺陷检测网络模型进行预测,得到实时采集的太阳能电池片图像的缺陷类别;
本发明第二实施例具体如下:
步骤1,利用工业相机对含有缺陷的太阳能电池片进行数据采集工作,建立丰富的太阳能电池片的数据集;
步骤2,对所建立的数据样本集进行数据预处理,起到扩充数据集的作用并达到抑制噪声、提高局部特征的目的;
步骤3,在PyTorch下构建改进Faster R-CNN的太阳能电池片表面缺陷检测网络模型;
步骤4,通过Labellmg对采集的数据集按照不同的缺陷种类进行数据标注,将各个标签的数据放于不同的文件夹中并统计各个标签的数目;
步骤5,搭建网络环境,通过反向传播算法对网络进行训练,得到训练好的权重和参数;
步骤6,将训练好的深度置信网络运用到太阳能电池片的表面缺陷检测和识别中,得到检测和识别结果。
步骤1中,利用工业相机对含有缺陷的太阳能电池片进行数据采集工作,所建立的数据集包含了划痕、破损、污渍、断栅这些工业生产中比较常见的表面缺陷,其中,每张图片可包含以上一种或多种缺陷;其中包含划痕缺陷类图片1550 张,破损缺陷类图片1280张,污渍缺陷类图片1200张,断栅缺陷类图片960 张,其中包含单晶硅太阳能电池片125×125、单晶硅太阳能点此片156×156、多晶硅156×156和多晶硅156×156四种不同种类的电池片。所拍数据集都是自主拍摄,电池片种类多样,数据集数量丰富,缺陷种类齐全。
如图2所示为利用工业相机所采集的太阳能电池片表面缺陷数据集,表1为本发明所建立的太阳能电池片各种缺陷的数据集。
表1所建立的太阳能电池片各种缺陷的数据集
Figure BDA0003523177750000081
步骤2中,对所建立的数据样本集进行数据预处理所包含的方法包括裁剪和旋转、色彩增强和锐化,图片预处理可以扩充数据集,提高网络训练的精度。
其中,裁剪是将所拍数据集的大面积背景进行去除的工作,减少了网络在工作中的大量不必要计算量;旋转是将图片进行90°、180°和270°不同角度的旋转,可以丰富数据集,增加数据集的数量,同时增强模型的泛化能力;
其中,色彩增强是利用Opencv对HSV空间的V值进行重新量化,使得图像的色彩调整到合适的程度,避免因拍摄过程中色彩的问题影响检测效果;
其中,锐化使用的是Opencv锐化滤波器进行,锐化滤波器使用领域的微分作为算子,增大领域间像素的差值,使图像的突变部分变的更加明显,加强图像的边沿和轮廓,使得缺陷的特征更加明显。
如图3所示为一种改进Faster R-CNN的太阳能电池片表面缺陷检测方法的网络结构图;本发明以Faster R-CNN为模型框架,以ResNet50为网络主干,采用GA-RPN结构,减少大量的锚点框,融入ResNet残差块结构,解决深度网络梯度消失的问题,采用深度可分离卷积和倒置残差块对特征层进行改进,使检测模型更加轻便,并融入了特征金字塔的多尺度检测网络,提高对电池片的小目标缺陷检测精度。
步骤3中,所建立的太阳能电池片表面缺陷检测模型以Faster R-CNN为模型框架,以ResNet50为网络主干,首先将GA(Guided Anchoring)与Faster R-CNN 中的区域生成网络相结合构成GA-RPN结构,从而减少大量的锚点框,提高网络的检测速度;其次,本发明融入基于特征金字塔的多尺度检测网络,得到语义信息更加丰富的特征图,提高对小目标缺陷的检测精度;其次,本发明融入了 ResNet残差块结构解决网络梯度消失的问题,并采用深度可分离卷积和倒置残差块对特征提取层进行改进,使模型结构更加轻便。
该网络的工作过程主要为四个部分,首先是输入的太阳能电池片图片经过层层卷积的下采样,由卷积的最后一层构建特征图;其次是通过合适的内插值法扩大原始图像的尺寸,得到和下采样相同尺寸的特征图;再次是由前两部分的特征图通过特征融合得到新的特征图,然后在区域生成网络中,对新的特征图形成具有预设的锚点框,最后是经过池化层和全连接层,进行分类和边界框回归,得到缺陷的具体位置和形状大小。
其中,太阳能电池片表面缺陷检测训练的损失函数表示为:
Figure BDA0003523177750000091
式中,Lcis为分类损失,Lreg为回归损失,λ为分类损失函数和边界框回归损失之间的平衡权重,pi为第i个锚点预测为真实标签的概率,
Figure BDA0003523177750000092
为正负样本, ti为索引值为i的候选框的边界修正值,
Figure BDA0003523177750000093
为一组与正样本锚点相关的真实目标框坐标,Ncls为图片中的所有样本数量,Nreg为锚点位置的个数。
其中,分类损失为:
Figure BDA0003523177750000094
其中,边界框回归损失为:
Figure BDA0003523177750000095
smoothL1(x)计算公式为:
Figure BDA0003523177750000096
式中,ti=[tx,ty,tw,th]为第i个锚点的边界框回归参数,
Figure BDA0003523177750000097
为第i个锚点对应的真实框的边界框回归参数。
其中,GA-RPN结构的作用是利用语义特征预测缺陷可能出现的位置及形状大小,有指导性的生成候选框,常用(x,y,w,h)来表示,其在图片I中出现的概率公式可表示为:
p(x,y,ww,h|I)=p(x,y|I)*p(w,h|I,x,y) (5)
式中,x、y、w、h为前景物体在图像中出现的空间位置中心点坐标以及它的宽和高,p(x,yI)为给定图像特征之后锚点的中心点概率分布,p(w,h|I,x,y)为给定图像特征和中心点之后的形状概率分布。
表2为改进Faster R-CNN缺陷检测网络与原始网络的性能对比。
表2改进Faster R-CNN缺陷检测网络与原始网络的性能对比
Figure BDA0003523177750000101
步骤4中,通过Labellmg对采集的数据集进行数据标注,每标注一张图片将生成一个xml文件,其与图片一一对应,每个xml文件内包含了缺陷边界框的坐标位置和绝缘子种类,标注完以后将数据集划分为训练集与测试集。
步骤5中,深度学习库为python3.7.4、PyTorch 1.9、cuda 10.2、cudnn 7.6.5 的配置环境下搭建并训练模型。设置初始的训练和测试参数,IOU值设置为0.5,初始学习率设置为0.0001,迭代次数为5000,通过反向传播算法得到训练好的权重和参数。
步骤6中,将测试集放到网络中进行测试,即可进行太阳能电池片表面缺陷的检测,将各种缺陷进行划痕、破损、污渍和断栅的分类。
如图4所示为一种改进Faster R-CNN的太阳能电池片表面缺陷检测方法的检测结果图,分别为划痕、破损、污渍和断栅的检测结果。
以上实施例只是为了说明本发明的技术构思及特点,便于让本领域内的普通技术人员理解,并不能以此限制本发明的保护范围。凡是根据本发明内容的实质所做出的变化或修饰,都应涵盖在本发明的保护范围内。

Claims (1)

1.一种改进Faster R-CNN的太阳能电池片表面缺陷检测方法,其特征在于,包括以下步骤:
步骤1:通过工业相机对含有缺陷的太阳能电池片进行图像采集得到多幅太阳能电池片图像,将每幅太阳能电池片图像依次通过图像裁剪、图像旋转、色彩增强、图像锐化得到每幅预处理后太阳能电池片图像,人工标记每幅预处理后太阳能电池片图像的多个缺陷位置框,人工标记每幅预处理后太阳能电池片图像的每个缺陷位置框的缺陷类别;
步骤2:构建改进Faster R-CNN的太阳能电池片表面缺陷检测网络模型,将每幅预处理后太阳能电池片图像输入至改进Faster R-CNN的太阳能电池片表面缺陷检测网络模型进行预测,得到每幅预处理后太阳能电池片图像预测的多个缺陷位置框、每幅预处理后太阳能电池片图像预测每个缺陷位置框预测的缺陷类别,结合每幅预处理后太阳能电池片图像的多个缺陷位置框、每幅预处理后太阳能电池片图像的每个缺陷位置框的缺陷类别构建损失函数模型,通过反向传播算法进行优化训练,得到优化后改进Faster R-CNN的太阳能电池片表面缺陷检测网络模型;
步骤3:工业相机实时采集太阳能电池片图像,将实时采集的太阳能电池片图像通过优化后改进Faster R-CNN的太阳能电池片表面缺陷检测网络模型进行预测,得到实时采集的太阳能电池片图像的缺陷类别;
步骤2所述改进Faster R-CNN的太阳能电池片表面缺陷检测网络模型包括:特征提取网络、特征金字塔、引导锚点框区域生成网络、感兴趣区域池化层、分类回归层;
所述的特征提取网络、特征金字塔、引导锚点框区域生成网络、感兴趣区域池化层、分类回归层依次级联;
所述特征提取网络,用于将训练集中每幅预处理后太阳能电池片图像经过特征提取得到训练集中每幅预处理后太阳能电池片图像的特征向量,并输出至所述特征金字塔;
所述特征金字塔,将训练集中每幅预处理后太阳能电池片图像的特征向量通过特征融合处理得到训练集中每幅预处理后太阳能电池片图像的特征图,将训练集中每幅预处理后太阳能电池片图像的特征图输出至所述引导锚点框区域生成网络;
所述引导锚点框区域生成网络,将训练集中每幅预处理后太阳能电池片图像的特征图根据不同的尺寸和长宽比通过网络生成每幅预处理后太阳能电池片图像的的多个候选框,并将每幅预处理后太阳能电池片图像的的多个候选框投影到每幅预处理后太阳能电池片图像的的多个候选框的特征图上,得到每幅预处理后太阳能电池片图像的的多个特征矩阵,通过二分类方法判断候选框内为前景或后景,通过坐标回归方法得到边界框中心点的坐标、宽和高,每幅预处理后太阳能电池片图像的的特征图、每幅预处理后太阳能电池片图像的的多个候选框输入到感兴趣区域池化层;
所述感兴趣区域池化层,将前述每幅预处理后太阳能电池片图像的特征图通过统一缩放得到每幅预处理后太阳能电池片图像的尺寸缩放后特征图,并将每幅预处理后太阳能电池片图像的尺寸缩放后特征图输入到分类回归层;
所述分类回归层,将每幅预处理后太阳能电池片图像的尺寸缩放后特征图进行展平处理,得到能够拟合全连接层的一维向量,将该向量通过多个级联的全连接层,最后由两个并联的输出分别得到每幅预处理后太阳能电池片图像的缺陷类别和每幅预处理后太阳能电池片图像的缺陷坐标,前述所得结果分别通过一个由softmax函数计算目标预测概率,另一个由bbox regressor函数计算边界框回归参数,通过目标预测概率的大小得到目标缺陷类别,通过回归参数得到缺陷边界框的位置;
步骤2所述损失函数模型由分类损失函数模型、边界框回归损失函数模型构成;
所述分类损失函数模型,定义为:
Figure FDA0003523177740000021
其中,
Figure FDA0003523177740000022
代表正负的标志位,其中为正样本时值为1,为负样本时值为0;pi为第i个锚点预测为真实标签的概率;
所述边界框回归损失函数模型,定义为:
Figure FDA0003523177740000023
Figure FDA0003523177740000024
其中,x、y、w、h分别为窗口中心点坐标、宽和高,ti为第i个候选框边界修正值,
Figure FDA0003523177740000025
为一组与正样本锚点相关的真实目标框坐标;
步骤2所述损失函数模型为:
Figure FDA0003523177740000031
式中,Lcis为分类损失函数模型,Lreg为回归损失函数模型,λ为分类损失函数和边界框回归损失之间的平衡权重,pi为第i个锚点预测为真实标签的概率,
Figure FDA0003523177740000032
代表正负样本,其中为正样本时值为1,为负样本时值为0,ti为第i个候选框的边界修正值,
Figure FDA0003523177740000033
为一组与正样本锚点相关的真实目标框坐标,Ncls为图片中的所有样本数量,Nreg为锚点位置的个数。
CN202210185506.9A 2022-02-28 2022-02-28 一种改进Faster R-CNN的太阳能电池片表面缺陷检测方法 Withdrawn CN114627062A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210185506.9A CN114627062A (zh) 2022-02-28 2022-02-28 一种改进Faster R-CNN的太阳能电池片表面缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210185506.9A CN114627062A (zh) 2022-02-28 2022-02-28 一种改进Faster R-CNN的太阳能电池片表面缺陷检测方法

Publications (1)

Publication Number Publication Date
CN114627062A true CN114627062A (zh) 2022-06-14

Family

ID=81900785

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210185506.9A Withdrawn CN114627062A (zh) 2022-02-28 2022-02-28 一种改进Faster R-CNN的太阳能电池片表面缺陷检测方法

Country Status (1)

Country Link
CN (1) CN114627062A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272252A (zh) * 2022-08-02 2022-11-01 南京航空航天大学 一种基于改进yolox的碳纤维缺陷的检测方法、装置及系统
CN117474873A (zh) * 2023-11-03 2024-01-30 湖南派驰机械有限公司 一种高铬耐磨铸件钎焊前表面处理系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272252A (zh) * 2022-08-02 2022-11-01 南京航空航天大学 一种基于改进yolox的碳纤维缺陷的检测方法、装置及系统
CN115272252B (zh) * 2022-08-02 2023-09-12 南京航空航天大学 一种基于改进yolox的碳纤维缺陷的检测方法、装置及系统
CN117474873A (zh) * 2023-11-03 2024-01-30 湖南派驰机械有限公司 一种高铬耐磨铸件钎焊前表面处理系统
CN117474873B (zh) * 2023-11-03 2024-04-09 湖南派驰机械有限公司 一种高铬耐磨铸件钎焊前表面处理系统

Similar Documents

Publication Publication Date Title
CN111223088B (zh) 一种基于深层卷积神经网络的铸件表面缺陷识别方法
CN113450307B (zh) 一种产品边缘缺陷检测方法
CN111507990B (zh) 一种基于深度学习的隧道表面缺陷分割方法
CN114627062A (zh) 一种改进Faster R-CNN的太阳能电池片表面缺陷检测方法
CN107274393B (zh) 基于栅线检测的单晶硅太阳能电池片表面缺陷检测方法
CN112802016B (zh) 基于深度学习的实时布匹缺陷检测方法及系统
CN112767357A (zh) 一种基于Yolov4的混凝土结构病害检测方法
CN110555842A (zh) 一种基于锚点集优化的硅片图像缺陷检测方法
CN111223093A (zh) 一种aoi缺陷检测方法
CN112508090A (zh) 一种外包装缺陷检测方法
CN109949209B (zh) 一种基于深度学习的绳索检测与去除方法
CN110473201A (zh) 一种刹车片表面缺陷的自动检测方法及装置
Liu et al. Surface defect detection of solar cells based on feature pyramid network and GA-faster-RCNN
CN116433672B (zh) 基于图像处理的硅片表面质量检测方法
CN116664565A (zh) 一种光伏太阳能电池片的隐裂检测方法及系统
CN115082477B (zh) 一种基于去反光效果的半导体晶圆加工质量检测方法
CN115908354A (zh) 一种基于双尺度策略和改进的yolov5网络的光伏面板缺陷检测方法
CN113657423A (zh) 适用于小体积零件与堆叠零件的目标检测方法及其应用
CN116205876A (zh) 基于多尺度标准化流的无监督笔记本外观缺陷检测方法
CN112381794B (zh) 一种基于深度卷积生成网络的印刷缺陷检测方法
CN114663382A (zh) 基于YOLOv5卷积神经网络的电子元器件表面缺陷检测方法
CN112767345B (zh) 一种dd6单晶高温合金共晶缺陷检测和分割方法
CN110766675B (zh) 太阳能电池板缺陷检测方法
CN115063679B (zh) 一种基于深度学习的路面质量评估方法
CN111707672A (zh) 风电回转支撑件表面缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20220614

WW01 Invention patent application withdrawn after publication