CN116542962A - 一种基于改进Yolov5m模型光伏电池缺陷检测方法 - Google Patents

一种基于改进Yolov5m模型光伏电池缺陷检测方法 Download PDF

Info

Publication number
CN116542962A
CN116542962A CN202310644896.6A CN202310644896A CN116542962A CN 116542962 A CN116542962 A CN 116542962A CN 202310644896 A CN202310644896 A CN 202310644896A CN 116542962 A CN116542962 A CN 116542962A
Authority
CN
China
Prior art keywords
improved
model
yolov5m
defect detection
photovoltaic cell
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310644896.6A
Other languages
English (en)
Inventor
李为相
徐威
方志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Tech University
Original Assignee
Nanjing Tech University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Tech University filed Critical Nanjing Tech University
Priority to CN202310644896.6A priority Critical patent/CN116542962A/zh
Publication of CN116542962A publication Critical patent/CN116542962A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0008Industrial image inspection checking presence/absence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02EREDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00Energy generation through renewable energy sources
    • Y02E10/50Photovoltaic [PV] energy

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于改进Yolov5m模型光伏电池缺陷检测方法;首先,将缺陷图像训练数据集输入改进Yolov5m网络模型进行训练,得到目标检测模型;再由摄像头采集实时视频图像信息,并将其发送到缺陷检测单元;最后,由缺陷检测单元中的目标检测模块得到缺陷类别和位置识别结果;Yolov5m的改进方法为,损失函数CIoU替换为EIoU;优化器SGD替换为AdamW;对于Backbone主干网络中的结构,将C3模块替换为C2F模块;在Neck特征融合网络添加了SimAM注意力机制;将原有的Yolo检测头替换成解决分类和回归冲突问题的解耦头,从而提高模型的精度和收敛速度。本发明采用的缺陷检测方法能够准确、高效地检测光伏电池工业中的各种异常缺陷,具备较强的实用性和应用前景。

Description

一种基于改进Yolov5m模型光伏电池缺陷检测方法
技术领域
本发明涉及目标检测领域,具体为一种基于改进Yolov5m模型光伏电池缺陷检测方法。
背景技术
随着人工智能技术的快速发展,人们希望AI与使用者之间拥有更生动的交互方式,为使用者带来更好的用户体验。相比于耗时耗力且准确度较低的传统人为检测方法,近年来,深度学习在计算机视觉领域取得了巨大的突破,被广泛应用于缺陷检测任务。深度学习模型可以通过大量的标注数据进行训练,学习到丰富的特征表示,并能够准确地检测和分类缺陷。
在光伏电池制造过程中,缺陷的存在可能会导致电池性能下降,甚至完全失效。因此,准确地检测和分类光伏电池中的缺陷对于提高生产效率和质量至关重要。传统的检测方法通常依赖于人工目视检查或使用特定的光学设备进行缺陷检测。然而,这些方法通常耗时且费力,并且可能存在主观性和误差,因此有必要进行改进。
发明内容
本发明的目的在于提供一种基于改进Yolov5m模型光伏电池缺陷检测方法,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:首先,将缺陷图像训练数据集输入改进Yolov5m网络模型进行训练,得到目标检测模型:再由摄像头采集实时视频图像信息,并将其发送到缺陷检测单元;最后,由缺陷检测单元中的目标检测模块得到缺陷类别和位置识别结果。所述识别过程在训练好的改进Yolov5m网络模型上进行。
所述改进Yolov5m网络模型训练方法,具体包括:将训练集图像经过翻转、改变亮度、裁剪、平移、增加噪声等数据增强操作后,输入到改进的Yolov5m网络中,将损失函数更改为EIoU,优化器更改为AdamW并训练,可以获得目标检测模型。
所述改进Yolov5m网络实现方法,具体包括:对于Backbone主干网络中的结构,将C3模块替换为C2F模块,在保证轻量化的同时获得更加丰富的梯度流信息,从而提升模型的检测精度,在Neck特征融合网络添加了SimAM注意力机制,聚焦对目标区域的关注度与精确度,在复杂背景下去提高模型的检测能力,将原有的Yolo检测头替换成解决分类和回归冲突问题的解耦头,从而提高模型的精度和收敛速度。
所述光伏电池异常缺陷检测方案,具体包括:将采集下来的光伏电池缺陷图片作为输入到缺陷检测单元,缺陷检测单元的目标检测模块里的改进Yolov5m模型处理并输出缺陷检测结果;
与现有技术相比,本发明的有益效果是:使用改进Yolov5m模型实现光伏电池缺陷检测,改进的模型使用轻量级的C2F模块,相对于原来的C3模块,它可以提取更多的低级特征获得更多关于物体边缘、纹理等低级特征的信息,从而降低模型的参数量提高模型的准确性;SimAM注意力机制在目标检测中具有捕捉语义关联、强化重要区域、上下文信息整合以及灵活性和可解释性等优势,它可以有效提高检测准确性和鲁棒性;解耦头解决光伏电池缺陷图像输出变量的分类和回归冲突问题,加入解耦头不仅为模型的的识别精度带来提升,其收敛速度也明显变快;使用EIoU作为损失函数,提升了模型精度;使用AdamW作为优化器,优化了训练效果。
附图说明
图1为本发明功能模块示意图。
图2为本发明改进C2F模块网络流程图。
图3为本发明改进后检测头网络流程图。
图4为本发明改进后的Yolov5m网络结构图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
本发明提供一种基于改进Yolov5m模型的光伏电池缺陷检测方法,其方法在于:将光伏电池缺陷图像训练数据集输入到改进后的Yolov5m网络模型进行训练,得到缺陷检测模型;将采集到的光伏电池缺陷图像信息发送到缺陷检测单元,缺陷检测单元中的目标检测模块对输入图像进行缺陷检测,从而得到缺陷分类和检测的结果,所述识别过程在训练好的改进Yolov5m网络模型上进行。
本发现中用于训练的数据集是PVEL-AD数据集,其是用于对异常缺陷检测方法进行基准测试的数据集,重点是光伏电池工业异常检测。PVEL-AD包含36,543张具有各种内部缺陷和异构背景的近红外图像,其中包含1类无异常图像和具有12个不同类别的异常缺陷图像,例如裂纹(线状和星状)、断栅、黑芯、未对准、粗线、划痕、碎片、断角、水平位错、横向位错、印刷错误、短路缺陷。
所述的改进Yolov5m网络模型实现方式为:输入大小为640×640×3的图像,经过改进的主干网络提取特征后,输出的特征图送入Neck特征融合网络。Neck网络含特征金字塔FPN和路径聚合结构PAN,利用FPN在网络中从上层往下层传递语义信息,PAN则从下层往上层传递定位信息,从而融合Backbone中不同网络层的信息,进一步提升检测能力。将图像输入到改进的Yolov5m网络中分类,获得目标检测模块分类结果。
所述Yolov5m网络改进方式为:对于Backbone主干网络中的结构,将C3模块替换为C2F模块。C3模块主要是借助CSPNet提取分流的思想,同时结合残差结构的思想,而C2f模块就是参考了C3模块以及ELAN的思想进行的设计,可以在保证轻量化的同时获得更加丰富的梯度流信息,从可以提取更多的低级特征、强化物体表征能力,以及改善小目标检测的性能。
所述Yolov5m网络改进方式为:在Neck特征融合网络添加了SimAM注意力机制。考虑到已有研究BAM、CBAM分别将空间注意力与通道注意力进行并行或串行组合。然而,人脑的两种注意力往往是协同工作,因此,本研究采用统一权值的注意力模块。整个过程可以表示为:
由于每个通道上所有神经元都遵循相同的分布,因此可以先对输入特征在H和W两个维度上计算均值和方差,避免重复计算:
所述Yolov5m网络改进方式为:对于Head检测网络,将传统的Yolo的检测头替换成解耦头,在YoloX中了解到解耦头结构能够考虑到实例分割和目标检测所关注的内容不同,因此可以采用不同的分支来进行运算,将实例分割和目标检测任务分开单独进行。实例分割更关注目标的纹理内容,目标检测更关注目标的边缘信息。解耦头能够加快网络收敛速度和提高识别精度,可以应用于许多目标检测算法任务中。采用解耦头后,有利于光伏电池缺陷检测效果的提升。
所述改进Yolov5m网络训练实现方式为:损失函数EIoU+优化器AdamW。将训练集输入到模型中,通过损失函数EIoU计算损失更新梯度,通过AdamW优化器更新参数。
所述改进Yolov5m网络训练改进方式为:损失函数由CIoU替换为EIoU,EIoU Loss在将纵横比的损失项拆分成预测的宽高分别与最小外接框宽高的差值,加速了收敛提高了回归精度,同时引入了Focal Loss优化了边界框回归任务中的样本不平衡问题,即减少与目标框重叠较少的大量锚框对BBox回归的优化贡献,使回归过程专注于高质量锚框。其具体实现公式如下公式:
所述改进Yolov5m网络训练改进方式为:采用AdamW优化器更新参数,AdamW优化器是Adam的改进,在Adam优化器上加入了L2正则,来限制参数值。其实现简单,计算高效,对内存需求小,参数的更新不受梯度的伸缩的影响,超参数通常无需调整或仅需很少的调整,更新步长能被限定在大致的范围内,能自动调整学习率,超参数可解释性良好,几乎不需要调参。
下表1为在PVEL-AD数据集上使用Yolov4-tiny、Yolov5m和本实施例提供的改进Yolov5m的对比试验,其中选择mAP@0.5、检测速度、模型大小作为模型的参数性能评价指标。
表1:
神经网络模型 mAP@0.5.0.95 检测速度(FPS) 模型大小
Yolov4-tiny 55.47% 57 35.36M
Yolov5m 65.17% 45 42.41M
改进Yolov5m 71.61% 41 45.72M
通过表1可以了解到,使用改进Yolov5m由于添加了注意力机制和解耦头改进后的模型大小有所增加,检测速度相较原模型有所降低,但mAP@0.5.0.95平均准确率均高于Yolov4-tiny和Yolov5m,相较于Yolov5m模型精度提高了6.44%。
图1为本发明功能模块示意图,具体包括:采集光伏电池缺陷图像数据,采集的数据输入到缺陷检测单元中;缺陷检测单元中的目标检测模块经过改进Yolov5s模型处理后得出缺陷检测结果。
图2本发明改进C2F模块网络流程图,具体为:和C3模块类似,其主要是借助CSPNet提取分流的思想,同时结合残差结构的思想,这里的CSP主分支梯度模块为BottleNeck模块,也就是所谓的残差模块。同时堆叠的个数由参数n来进行控制,也就是说不同规模的模型,n的值是有变化的。
图3为发明本发明改进后检测头网络结构图,具体为:首先利用1×1卷积对输入特征层进行降维操作;其次并列使用两个3×3卷积进行分支操作,将特征层划分为两个分支(一个包含特征信息的类别,另一个包含位置信息);然后利用1×1卷积对两个分支特征提取,将回归分支再次划分为边框位置和类别置信度两部分;最后通过三个分支解耦,使原特征层得到适用于位置、类别和置信度三个不同检测任务的新特征层。以分支解耦的方式检测,能充分提取出特征层内的位置和类别信息,提高特征层对目标不同特征的表达。
图4为发明改进Yolov5m网络结构图,具体为:Backbone主干网络、Head网络、Detect输出端;Backbone主干网络通过深度卷积操作从图像中提取不同层次的特征,主要利用了瓶颈跨阶段局部结构BottleneckCSP和空间金字塔池化SPPF;Head网络层包含特征金字塔FPN、路径聚合结构PAN,FPN在网络中自上而下传递语义信息,PAN则自下而上传递定位信息,对Backbone中不同网络层的信息进行融合,进一步提升检测能力。Detect输出端作为最后的检测部分,主要是在大小不同的特征图上预测不同尺寸的目标。
本发明所提方案可以装载到计算机或其他可编程数据处理设备上,使得在执行一系列操作步骤后在计算机或其他可编程数据处理设备实现本文所提方案的部分功能或全部功能。
上面对本发明进行了示范性描述,本发明具体实现并不受上述方式的限制,任何熟悉本技术领域的技术人员在本申请揭露的计算范围内,可轻易想到变化和替换,改变数据集、货物类别数量、权值参数等方式都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (5)

1.一种基于改进Yolov5m模型光伏电池缺陷检测方法,其特征在于:将光伏电池缺陷图像训练数据集输入到改进后的Yolov5m网络模型进行训练,得到缺陷检测模型;将采集到的光伏电池缺陷图像信息发送到缺陷检测单元,缺陷检测单元中的目标检测模块对输入图像进行缺陷检测,从而得到缺陷分类和检测的结果,所述识别过程在训练好的改进Yolov5m网络模型上进行。
2.根据权利要求1所述的基于改进Yolov5m模型光伏电池缺陷检测方法,其特征在于:所述的改进Yolov5m模型训练方法为将训练集图像经过翻转、改变亮度、裁剪、平移、增加噪声等数据增强操作后,输入到改进的Yolov5m网络中,将损失函数更改为EIoU,优化器更改为AdamW并训练,可以获得目标检测模型。
3.根据权利要求1所述的基于改进Yolov5m模型光伏电池缺陷检测方法,其特征在于:对于Backbone主干网络中的结构,将C3模块替换为C2F模块,在保证轻量化的同时获得更加丰富的梯度流信息,从而提升模型的检测精度。
4.根据权利要求1所述的基于改进Yolov5m模型光伏电池缺陷检测方法,其特征在于:在Neck特征融合网络添加了SimAM注意力机制,聚焦对目标区域的关注度与精确度,在复杂背景下去提高模型的检测能力。
5.根据权利要求1所述的基于改进Yolov5m模型光伏电池缺陷检测方法,其特征在于:将原有的Yolo检测头替换成解决分类和回归冲突问题的解耦头,从而提高模型的精度和收敛速度。
CN202310644896.6A 2023-06-01 2023-06-01 一种基于改进Yolov5m模型光伏电池缺陷检测方法 Pending CN116542962A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310644896.6A CN116542962A (zh) 2023-06-01 2023-06-01 一种基于改进Yolov5m模型光伏电池缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310644896.6A CN116542962A (zh) 2023-06-01 2023-06-01 一种基于改进Yolov5m模型光伏电池缺陷检测方法

Publications (1)

Publication Number Publication Date
CN116542962A true CN116542962A (zh) 2023-08-04

Family

ID=87450758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310644896.6A Pending CN116542962A (zh) 2023-06-01 2023-06-01 一种基于改进Yolov5m模型光伏电池缺陷检测方法

Country Status (1)

Country Link
CN (1) CN116542962A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117392658A (zh) * 2023-12-12 2024-01-12 深圳市城市交通规划设计研究中心股份有限公司 基于注意力机制优化的轻量化车辆车牌颜色识别方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117392658A (zh) * 2023-12-12 2024-01-12 深圳市城市交通规划设计研究中心股份有限公司 基于注意力机制优化的轻量化车辆车牌颜色识别方法

Similar Documents

Publication Publication Date Title
CN110175982B (zh) 一种基于目标检测的缺陷检测方法
CN109859171B (zh) 一种基于计算机视觉和深度学习的楼面缺陷自动检测方法
CN108562589B (zh) 一种对磁路材料表面缺陷进行检测的方法
CN106875381B (zh) 一种基于深度学习的手机外壳缺陷检测方法
CN111784633B (zh) 一种面向电力巡检视频的绝缘子缺损自动检测算法
CN111353413A (zh) 一种输电设备低漏报率缺陷识别方法
CN111815564B (zh) 一种检测丝锭的方法、装置及丝锭分拣系统
CN103927534A (zh) 一种基于卷积神经网络的喷码字符在线视觉检测方法
CN111862119A (zh) 基于Mask-RCNN的语义信息提取方法
CN112508857B (zh) 基于改进型Cascade R-CNN的铝材表面缺陷检测方法
CN110020691B (zh) 基于卷积神经网络对抗式训练的液晶屏幕缺陷检测方法
CN113327255A (zh) 基于YOLOv3检测定位裁剪及fine-tune的输电线路巡检图像处理方法
CN114926407A (zh) 一种基于深度学习的钢材表面缺陷检测系统
CN114359245A (zh) 一种工业场景下产品表面缺陷检测方法
CN115272204A (zh) 一种基于机器视觉的轴承表面划痕检测方法
CN111027538A (zh) 一种基于实例分割模型的集装箱检测方法
CN116542962A (zh) 一种基于改进Yolov5m模型光伏电池缺陷检测方法
CN114005081A (zh) 一种烟丝异物智能检测装置及方法
CN115829995A (zh) 基于像素级的多尺度特征融合的布匹瑕疵检测方法及系统
CN113627435A (zh) 一种瓷砖的瑕疵检测与识别方法及系统
CN114782410A (zh) 一种基于轻量化模型的绝缘子缺陷检测方法及其系统
CN113538342A (zh) 一种基于卷积神经网络的铝质气雾罐涂层质量检测方法
Wang et al. Data augmentation method for fabric defect detection
WO2023159927A1 (zh) 基于条件分支和专家系统的对象快速检测方法
Huang et al. Mango surface defect detection based on HALCON

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination