CN116385402A - 一种基于图像深度学习的蓄电池缺陷检测方法及系统 - Google Patents

一种基于图像深度学习的蓄电池缺陷检测方法及系统 Download PDF

Info

Publication number
CN116385402A
CN116385402A CN202310360895.9A CN202310360895A CN116385402A CN 116385402 A CN116385402 A CN 116385402A CN 202310360895 A CN202310360895 A CN 202310360895A CN 116385402 A CN116385402 A CN 116385402A
Authority
CN
China
Prior art keywords
feature
detection
module
storage battery
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310360895.9A
Other languages
English (en)
Inventor
张建亮
李洋
马军伟
朱春山
薛泓林
赵敏
巫健
张丽霞
韩超
党小燕
王慧芳
温志芳
毕胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Information and Telecommunication Branch of State Grid Shanxi Electric Power Co Ltd
Original Assignee
Information and Telecommunication Branch of State Grid Shanxi Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Information and Telecommunication Branch of State Grid Shanxi Electric Power Co Ltd filed Critical Information and Telecommunication Branch of State Grid Shanxi Electric Power Co Ltd
Priority to CN202310360895.9A priority Critical patent/CN116385402A/zh
Publication of CN116385402A publication Critical patent/CN116385402A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E60/00—Enabling technologies; Technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y02E60/10—Energy storage using batteries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Quality & Reliability (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明一种基于图像深度学习的蓄电池缺陷检测方法及系统，包括：获取蓄电池外观的缺陷图像，按比例分为训练集和测试集；基于YOLOv4的算法上，构建改进的YOLOv4检测模型，即VoLONet检测模型，所述VoLONet检测模型包括主干特征提取网络VoLO‑Backbone、特征聚合网络VoLO‑Neck和输出网络模块YOLO‑Head；将训练集中的缺陷数据图像传入VoLONet检测模型进行训练，保存最佳模型；利用训练好的VoLONet检测模型对蓄电池外观的缺陷进行检测；采用改进的VovNet‑A作为特征提取网络，在特征融合阶段引入改进的注意力模块CSAM，在训练过程中采用了多种数据增强，最终提升了检测精度和检测速度。

Description

一种基于图像深度学习的蓄电池缺陷检测方法及系统
技术领域
本发明属于蓄电池缺陷检测的技术领域，具体涉及一种基于图像深度学习的蓄电池缺陷检测方法及系统。
背景技术
如今，基于图像检测的深度学习算法在电力缺陷检测领域有着广泛且深入的应用，例如电网智能巡检、太阳能电池缺陷检测等，然而，蓄电池缺陷检测往往利用物理或化学特性进行检测，近年来，也有一些研究将深度学习算法与蓄电池缺陷检测方法结合起来，但是，利用深度学习算法通过检测蓄电池图像外观缺陷来检测蓄电池缺陷的研究很少。
发明内容
本发明克服现有技术存在的不足，所要解决的技术问题为：提供一种图像深度学习的蓄电池缺陷检测方法及系统，能够提升蓄电池外观缺陷的检测精度和检测速度。
为了解决上述技术问题，本发明采用的技术方案为：一种基于图像深度学习的蓄电池缺陷检测方法，包括：获取蓄电池外观的缺陷图像，按比例分为训练集和测试集；基于YOLOv4的算法上，构建改进的YOLOv4检测模型，即VoLONet检测模型，所述VoLONet检测模型包括主干特征提取网络VoLO-Backbone、特征聚合网络VoLO-Neck和输出网络模块YOLO-Head；将训练集中的缺陷数据图像传入VoLONet检测模型进行训练，保存最佳模型；利用训练好的VoLONet检测模型对蓄电池外观的缺陷进行检测。
优选地，所述主干特征提取网络VoLO-Backbone包括：Stem_stage模块和四个结构相同的OSA模块，每个所述OSA模块依次经过卷积核大小为3×3、步长为1、输出通道数为64的五次卷积操作后聚合形成64×5通道的第一特征图；所述第一特征图经过卷积核大小为1×1、步长为1的卷积操作后输出长度为256的第二特征图；所述第二特征图经过卷积核大小为3×3、步长为1的卷积操作后输出第三特征图。
优选地，所述特征聚合网络VoLO-Neck包括卷积操作(conv)、特征聚合操作(cat)、上下采样操作(upsample、downsample)和空间金字塔池化操作(SPP)，每个所述特征聚合操作(cat)后嵌入改进的注意力模块CSAM，所述第三特征图依次通过卷积操作(conv)、特征聚合操作(cat)、嵌入改进的注意力模块CSAM、上下采样操作(upsample、downsample)和空间金字塔池化操作(SPP)后，得到融合后的特征图，将融合后的特征图输入至输出网络模块YOLO-Head后得到最终目标检测结果。
优选地，所述注意力模块CSAM包括相互串联的CAM通道注意力模块和SAM空间注意力模块，所述输入特征图经过与CAM输出通道对应的权重向量CA相乘，得到添加了通道注意力的特征图middle features；所述特征图middle features输入SAM模块输出特征图上像素点的权重矩阵SA，将权重矩阵SA与特征图middle features相乘，得到最终输出特征图。
优选地，所述CAM通道注意力模块分别经过最大池化maxpool处理和平均池化avgpool处理，分别得到向量Vmax和向量Vavg，将所述向量Vmax和向量Vavg分别输入一个只有一个隐层的全连接网络MLP，得到输出向量V’max和输出向量V'avg，将输出向量V’max和输出向量V'avg相加后进行softmax函数，得到输入特征图每一个通道的权重。
相应地，一种基于图像深度学习的蓄电池缺陷检测系统，包括：数据获取单元：获取蓄电池外观的缺陷图像，按比例分为训练集和测试集；模型构建单元：基于YOLOv4的算法上，构建改进的YOLOv4检测模型，即VoLONet检测模型，所述VoLONet检测模型包括主干特征提取网络VoLO-Backbone、特征聚合网络VoLO-Neck和输出网络模块YOLO-Head；训练单元：将训练集中的缺陷数据图像传入VoLONet检测模型进行训练，保存最佳模型；检测单元：利用训练好的VoLONet检测模型对蓄电池外观的缺陷进行检测。
优选地，所述主干特征提取网络VoLO-Backbone包括：Stem_stage模块和四个结构相同的OSA模块，每个所述OSA模块依次经过卷积核大小为3×3、步长为1、输出通道数为64的五次卷积操作后聚合形成64×5通道的第一特征图；所述第一特征图经过卷积核大小为1×1、步长为1的卷积操作后输出长度为256的第二特征图；所述第二特征图经过卷积核大小为3×3、步长为1的卷积操作后输出第三特征图。
优选地，所述特征聚合网络VoLO-Neck包括卷积操作(conv)、特征聚合操作(cat)、上下采样操作(upsample、downsample)和空间金字塔池化操作(SPP)，每个所述特征聚合操作(cat)后嵌入改进的注意力模块CSAM，所述第三特征图依次通过卷积操作(conv)、特征聚合操作(cat)、嵌入改进的注意力模块CSAM、上下采样操作(upsample、downsample)和空间金字塔池化操作(SPP)后，得到融合后的特征图，将融合后的特征图输入至输出网络模块YOLO-Head后得到最终目标检测结果。
一种电子设备，包括：至少一个处理器、至少一个存储器和通信接口；其中，所述处理器、存储器和通信接口相互间进行通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以执行如上任一项权利要求所述的基于图像深度学习的蓄电池缺陷检测方法。
一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如上任一项权利要求所述的基于图像深度学习的蓄电池缺陷检测方法。
本发明与现有技术相比具有以下有益效果：
1、本发明在基于YOLO v4框架的基础上，提出一种目标检测算法VoLONet，采用VovNet作为特征提取网络，替换掉原有的DarkNet53，提升了对细粒度目标的提取能力，在训练过程中采用了多种数据增强，最终提升了检测精度和检测速度。
2、本发明在特征聚合网络VoLO-Neck中引入改进的注意力模块CSAM，共添加了5个注意力模块CSAM，使目标检测能够有效利用局部信息和上下文信息，能够使检测模型更加聚焦于有价值的特征，更加专注于检测目标，提升对目标的检测准确度，以适应蓄电池多缺陷检测的需要。
附图说明
下面结合附图对本发明做进一步详细的说明；
图1为本发明实施例一提供的一种基于图像深度学习的蓄电池缺陷检测方法的流程示意图；
图2为本发明中VoLONet检测模型的结构示意图；
图3为本发明中VovNet-A的结构示意图；
图4为本发明中VovNet-A的内部结构示意图；
图5为本发明中特征聚合网络VoLO-Neck的结构示意图；
图6为本发明中注意力模块CSAM的结构示意图；
图7为本发明中CAM通道注意力模块的结构示意图；
图8为本发明实施例一提供的一种基于图像深度学习的蓄电池缺陷检测系统的结构示意图；
图中：1为数据获取单元，2为模型构建单元，3为训练单元，4为检测单元。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应该理解的是，当元件(诸如层、膜、区域、或衬底)描述为在另一元件“上”时，该元件可直接在该另一元件上，或者也可存在中间元件。而且，在说明书以及权利要求书中，当描述有元件“连接”至另一元件时，该元件可“直接连接”至该另一元件，或者通过第三元件“连接”至该另一元件。
下面结合优选的实施步骤对本发明进行说明，图1为本发明实施例一提供的一种基于图像深度学习的蓄电池缺陷检测方法的流程示意图，如图1所示，该方法包括如下步骤：
S1、获取蓄电池外观的缺陷图像，按比例分为训练集和测试集；
S2、基于YOLOv4的算法上，构建改进的YOLOv4检测模型，即VoLONet检测模型，所述VoLONet检测模型包括主干特征提取网络VoLO-Backbone、特征聚合网络VoLO-Neck和输出网络模块YOLO-Head；
S3、将训练集中的缺陷数据图像传入VoLONet检测模型进行训练，保存最佳模型；
S4、利用训练好的VoLONet检测模型对蓄电池外观的缺陷进行检测。
本实施例中，首先获取蓄电池外观的缺陷图像，将训练集中的缺陷数据图像传入VoLONet检测模型进行训练并通过测试集进行检验，保存最佳模型，利用训练好的VoLONet检测模型对蓄电池外观的缺陷进行检测；图2为VoLONet检测模型的结构示意图，如图2所示，VoLONet检测模型包括主干特征提取网络VoLO-Backbone、特征聚合网络VoLO-Neck和输出网络模块YOLO-Head，在VoLONet检测模型检测过程中，获取到的蓄电池外观缺陷图像经过主干特征提取网络VoLO-Backbone提取出浅、中、深三种层级的特征，这些特征输入特征聚合网络VoLO-Neck进行不同层级特征融合；融合后的特征输入输出网络模块YOLO-Head，最终输出目标检测结果；本实施例在基于YOLO v4框架的基础上，提出一种目标检测算法VoLONet，能够识别三种蓄电池的典型缺陷：变形、漏液、结晶；采用VovNet作为特征提取网络，替换掉原有的DarkNet53，提升了对细粒度目标的提取能力，在训练过程中采用了多种数据增强，最终提升了检测精度和检测速度。
本实施例中，输出网络模块YOLO-Head采用了不同的multi anchor策略，使用多尺度检测逻辑和多标签分类思想，优化损失函数，并且采用卷积和anchors boxes来预测检测框，融合了3个尺度，在多个尺度的融合特征图上分别独立做检测。再将Anchor Box由5个增加至9个，每个尺度下分配3个Anchor Box，最终对于小目标的检测效果提升明显。
进一步地，所述主干特征提取网络VoLO-Backbone包括：Stem_stage模块和四个结构相同的OSA模块，每个所述OSA模块依次经过卷积核大小为3×3、步长为1、输出通道数为64的五次卷积操作后聚合形成64×5通道的第一特征图；所述第一特征图经过卷积核大小为1×1、步长为1的卷积操作后输出长度为256的第二特征图；所述第二特征图经过卷积核大小为3×3、步长为1的卷积操作后输出第三特征图。
本实施例中，主干特征提取网络VoLO-Backbone采用的是VovNet-A，图3为VovNet-A的结构示意图，图4为VovNet-A的内部结构示意图，如图3、图4所示，在VovNe-A结构中conv表示卷积操作，cat表示特征聚合操作，sz表示卷积核大小，s表示步长，oc表示输出通道数；Stem_stage采用两个卷积操作提取特征，一个步长为2的卷积操作降采样；四个OSA模块结构类似，分别为OSA1模块、OSA2模块、OSA3模块和OSA4模块，现以OSA1模块为例说明，输入特征图进入OSA1模块首先会经过5次卷积，卷积核大小sz＝3×3、步长s＝1、输出通道数oc＝64，这五次卷积的输出特征图经过聚合形成64×5通道的第一特征图，第一特征图经过卷积核大小为1×1、步长为1的卷积操作后输出长度为256的第二特征图，第二特征图经过卷积核大小为3×3、步长为1的卷积操作后，得到第三特征图；特征图每经过一个模块，特征图长宽缩小为输入特征图的一半。现有技术中VovNet-27-slim在stem_stage模块和OSA模块中都采用最大池化操作进行下采样，易造成低阶特征损失，本实施例将池化操作替换为步长为2的3*3卷积操作进行下采样；OSA2模块、OSA3模块和OSA4模块的输出特征图分别代表了浅、中、深三种层级的特征，其特征图分别输入VoLO-Neck进行特征融合。
图5为特征聚合网络VoLO-Neck的结构示意图，如图5所示，所述特征聚合网络VoLO-Neck包括卷积操作(conv)、特征聚合操作(cat)、上下采样操作(upsample、downsample)和空间金字塔池化操作(SPP)，每个所述特征聚合操作(cat)后嵌入改进的注意力模块CSAM，所述第三特征图依次通过卷积操作(conv)、特征聚合操作(cat)、嵌入改进的注意力模块CSAM、上下采样操作(upsample、downsample)和空间金字塔池化操作(SPP)后，得到融合后的特征图，将融合后的特征图输入至输出网络模块YOLO-Head后得到最终目标检测结果；本实施例中，在特征聚合网络VoLO-Neck中引入改进的注意力模块CSAM，共添加了5个注意力模块CSAM，使目标检测能够有效利用局部信息和上下文信息，能够使检测模型更加聚焦于有价值的特征，更加专注于检测目标，提升对目标的检测准确度，以适应蓄电池多缺陷检测的需要。
图6为注意力模块CSAM的结构示意图，如图6所示，所述注意力模块CSAM包括相互串联的CAM通道注意力模块和SAM空间注意力模块，所述输入特征图经过与CAM输出通道对应的权重向量CA相乘，得到添加了通道注意力的特征图middle features；所述特征图middle features输入SAM模块输出特征图上像素点的权重矩阵SA，将权重矩阵SA与特征图middle features相乘，得到最终输出特征图。
图7为CAM通道注意力模块的结构示意图，如图7所示，所述CAM通道注意力模块分别经过最大池化maxpool处理和平均池化avgpool处理，分别得到向量Vmax和向量Vavg，将所述向量Vmax和向量Vavg分别输入一个只有一个隐层的全连接网络MLP，得到输出向量V’max和输出向量V'avg，将输出向量V’max和输出向量V'avg相加后进行softmax函数，得到输入特征图每一个通道的权重；具体地，本实施例对输入的特征图分别采用最大池化maxpool和平均池化avgpool，得到两个向量Vmax和Vavg，这两个向量的长度就是输入特征图的通道数，将这两个向量分别输入一个只有一个隐层的全连接网络，得到输出向量V’max和V'avg，将二者相加再通过一个softmax函数，得到的就是通道注意力向量表示输入特征图每一个通道的权重。用通道注意力向量对输入特征图加权，用于SAM空间注意力模块的输入；本实施例SAM空间注意力模块仍采用YOLO v4中的改进版本，不加改动。
本实施例中，将VoLONet检测模型与经典的目标检测算法fast-RCNN算法、SSD算法、YOLOv4算法进行对比，表1为算法检测结果比较表。
表1各算法检测结果比较
Figure BDA0004165097960000071
表1中，mAP％表示平均精度均值，FPS％表示每秒处理帧数，如表7所示，VoLONet检测模型的精度均值和处理速度均高于fast-RCNN算法、SSD算法、YOLOv4算法。
在缺陷检测方面，VoLONet检测模型对蓄电池各种缺陷进行了检测效果对比，表2为VoLONet检测模型对各种缺陷检测效果比较表。
表2VoL0Net对各种缺陷检测效果比较
Figure BDA0004165097960000081
表2中，AP％表示各类缺陷的平均检测准确率，R％表示各类缺陷的召回率，如表2所示，VoLONet检测模型能够对蓄电池的结晶缺陷、漏液缺陷、变形缺陷有较高的检测准确率及召回率。
在特征提取方面，将VoLONet检测模型与不同的特征提取网络的检测结果进行对比，表3为特征提取网络对检测结果的影响表。
表3特征提取网络对检测结果的影响
Figure BDA0004165097960000082
表3中，DarkNet53是YOLOv4采用的特征提取网络，VovNet slim-27是轻量级VovNet，DenseNet-27是VovNet slim-27采用逐层特征聚合的衍生版本，VovNet-A是VoLONet检测模型中的特征提取网络；实验数据表明，VovNet-A将平均精度均值mAP％提升了2.2％，每秒处理帧数FPS％提升了7帧。
在注意力模块方面，将VoLONet检测模型中改进的注意力模块CSAM与不同的注意力模块针对检测结果进行对比，表4为注意力模块对检测结果的影响表。
表4注意力模块对检测结果的影响
Figure BDA0004165097960000083
表4中，CAM、SAM、CSAM表示在特征聚合网络中只添加一个注意力模块，这个注意力模块添加在第一次特征聚合之后；CSAM×5表示本实施例中添加五个注意力模块CSAM，实验表明，单个注意力模块对实验结果的影响微乎其微，而本文采用的多个注意力模块将平均精度均值mAP％提升了1.3％，每秒处理帧数FPS％降低了1帧。
表5为数据增强对检测结果的影响表，由表5可知，数据增强只会影响检测精度，不会影响检测速度，各种数据增强手段能显著提升模型检测效果，常规数据增强、Mixup数据增强和Moasic数据增强分别使模型的mAP提升了1.5％，0.6％和0.4％。数据增强对平均精度均值mAP％的累计提升明显大于前两点改进，其主要原因在于原始数据集数据类别严重不平衡制约了模型的泛化性能，而数据增强可以弥补数据集的这一缺陷，从而显著提升检测准确率。
表5数据增强对检测结果的影响
Figure BDA0004165097960000091
图8为本发明实施例一提供的一种基于图像深度学习的蓄电池缺陷检测系统的结构示意图，如图8所示，所述系统包括：
数据获取单元1：获取蓄电池外观的缺陷图像，按比例分为训练集和测试集；
模型构建单元2：基于YOLOv4的算法上，构建改进的YOLOv4检测模型，即VoLONet检测模型，所述VoLONet检测模型包括主干特征提取网络VoLO-Backbone、特征聚合网络VoLO-Neck和输出网络模块YOLO-Head；
训练单元3：将训练集中的缺陷数据图像传入VoLONet检测模型进行训练，保存最佳模型；
检测单元4：利用训练好的VoLONet检测模型对蓄电池外观的缺陷进行检测。
进一步地，所述主干特征提取网络VoLO-Backbone包括：Stem_stage模块和四个结构相同的OSA模块，每个所述OSA模块依次经过卷积核大小为3×3、步长为1、输出通道数为64的五次卷积操作后聚合形成64×5通道的第一特征图；所述第一特征图经过卷积核大小为1×1、步长为1的卷积操作后输出长度为256的第二特征图；所述第二特征图经过卷积核大小为3×3、步长为1的卷积操作后输出第三特征图。
进一步地，所述特征聚合网络VoLO-Neck包括卷积操作(conv)、特征聚合操作(cat)、上下采样操作(upsample、downsample)和空间金字塔池化操作(SPP)，每个所述特征聚合操作(cat)后嵌入改进的注意力模块CSAM，所述第三特征图依次通过卷积操作(conv)、特征聚合操作(cat)、嵌入改进的注意力模块CSAM、上下采样操作(upsample、downsample)和空间金字塔池化操作(SPP)后，得到融合后的特征图，将融合后的特征图输入至输出网络模块YOLO-Head后得到最终目标检测结果。
本申请一种基于图像深度学习的蓄电池缺陷检测方法及系统，基于经典的目标检测框架YOLOv4，提出了一种用于检测蓄电池外观缺陷的网络VoLONet。该网络采用改进的VovNet-A作为特征提取网络，在特征融合阶段引入改进的注意力模块CSAM，在训练过程中采用了多种数据增强，所述数据增强具体采用的数据增强方法有：旋转、缩放、颜色变化(含亮度变化)、裁剪、遮挡(掩膜)、多图混合(mixup、马赛克叠加等)，最终提升了检测精度和检测速度；该算法每秒检测帧数超过30帧，满足实时检测的需要，能够直接用于检测监控影像。
本发明还提供了一种电子设备，包括：至少一个处理器、至少一个存储器和通信接口；其中，所述处理器、存储器和通信接口相互间进行通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以执行如上任一项权利要求所述的基于图像深度学习的蓄电池缺陷检测方法。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如上任一项权利要求所述的基于图像深度学习的蓄电池缺陷检测方法。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、移动终端、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于图像深度学习的蓄电池缺陷检测方法，其特征在于：包括：
获取蓄电池外观的缺陷图像，按比例分为训练集和测试集；
基于YOLOv4的算法上，构建改进的YOLOv4检测模型，即VoLONet检测模型，所述VoLONet检测模型包括主干特征提取网络VoLO-Backbone、特征聚合网络VoLO-Neck和输出网络模块YOLO-Head；
将训练集中的缺陷数据图像传入VoLONet检测模型进行训练，保存最佳模型；
利用训练好的VoLONet检测模型对蓄电池外观的缺陷进行检测。
2.根据权利要求1所述的一种基于图像深度学习的蓄电池缺陷检测方法，其特征在于：所述主干特征提取网络VoLO-Backbone包括：Stem_stage模块和四个结构相同的OSA模块，每个所述OSA模块依次经过卷积核大小为3×3、步长为1、输出通道数为64的五次卷积操作后聚合形成64×5通道的第一特征图；所述第一特征图经过卷积核大小为1×1、步长为1的卷积操作后输出长度为256的第二特征图；所述第二特征图经过卷积核大小为3×3、步长为1的卷积操作后输出第三特征图。
3.根据权利要求1所述的一种基于图像深度学习的蓄电池缺陷检测方法，其特征在于：所述特征聚合网络VoLO-Neck包括卷积操作(conv)、特征聚合操作(cat)、上下采样操作(upsample、downsample)和空间金字塔池化操作(SPP)，每个所述特征聚合操作(cat)后嵌入改进的注意力模块CSAM，所述第三特征图依次通过卷积操作(conv)、特征聚合操作(cat)、嵌入改进的注意力模块CSAM、上下采样操作(upsample、downsample)和空间金字塔池化操作(SPP)后，得到融合后的特征图，将融合后的特征图输入至输出网络模块YOLO-Head后得到最终目标检测结果。
4.根据权利要求3所述的一种基于图像深度学习的蓄电池缺陷检测方法，其特征在于：所述注意力模块CSAM包括相互串联的CAM通道注意力模块和SAM空间注意力模块，所述输入特征图经过与CAM输出通道对应的权重向量CA相乘，得到添加了通道注意力的特征图middle features；所述特征图middle features输入SAM模块输出特征图上像素点的权重矩阵SA，将权重矩阵SA与特征图middle features相乘，得到最终输出特征图。
5.根据权利要求4所述的一种基于图像深度学习的蓄电池缺陷检测方法，其特征在于：所述CAM通道注意力模块分别经过最大池化maxpool处理和平均池化avgpool处理，分别得到向量Vmax和向量Vavg，将所述向量Vmax和向量Vavg分别输入一个只有一个隐层的全连接网络MLP，得到输出向量V’max和输出向量V'avg，将输出向量V’max和输出向量V'avg相加后进行softmax函数，得到输入特征图每一个通道的权重。
6.一种基于图像深度学习的蓄电池缺陷检测系统，其特征在于：包括：
数据获取单元：获取蓄电池外观的缺陷图像，按比例分为训练集和测试集；
模型构建单元：基于YOLOv4的算法上，构建改进的YOLOv4检测模型，即VoLONet检测模型，所述VoLONet检测模型包括主干特征提取网络VoLO-Backbone、特征聚合网络VoLO-Neck和输出网络模块YOLO-Head；
训练单元：将训练集中的缺陷数据图像传入VoLONet检测模型进行训练，保存最佳模型；
检测单元：利用训练好的VoLONet检测模型对蓄电池外观的缺陷进行检测。
7.根据权利要求6所述的一种基于图像深度学习的蓄电池缺陷检测系统，其特征在于：所述主干特征提取网络VoLO-Backbone包括：Stem_stage模块和四个结构相同的OSA模块，每个所述OSA模块依次经过卷积核大小为3×3、步长为1、输出通道数为64的五次卷积操作后聚合形成64×5通道的第一特征图；所述第一特征图经过卷积核大小为1×1、步长为1的卷积操作后输出长度为256的第二特征图；所述第二特征图经过卷积核大小为3×3、步长为1的卷积操作后输出第三特征图。
8.根据权利要求6所述的一种基于图像深度学习的蓄电池缺陷检测系统，其特征在于：所述特征聚合网络VoLO-Neck包括卷积操作(conv)、特征聚合操作(cat)、上下采样操作(upsample、downsample)和空间金字塔池化操作(SPP)，每个所述特征聚合操作(cat)后嵌入改进的注意力模块CSAM，所述第三特征图依次通过卷积操作(conv)、特征聚合操作(cat)、嵌入改进的注意力模块CSAM、上下采样操作(upsample、downsample)和空间金字塔池化操作(SPP)后，得到融合后的特征图，将融合后的特征图输入至输出网络模块YOLO-Head后得到最终目标检测结果。
9.一种电子设备，其特征在于，包括：
至少一个处理器、至少一个存储器和通信接口；其中，
所述处理器、存储器和通信接口相互间进行通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以执行权利要求1至5任一项权利要求所述的基于图像深度学习的蓄电池缺陷检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行权利要求1至5中任一项权利要求所述的基于图像深度学习的蓄电池缺陷检测方法。
CN202310360895.9A 2023-04-06 2023-04-06 一种基于图像深度学习的蓄电池缺陷检测方法及系统 Pending CN116385402A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310360895.9A CN116385402A (zh) 2023-04-06 2023-04-06 一种基于图像深度学习的蓄电池缺陷检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310360895.9A CN116385402A (zh) 2023-04-06 2023-04-06 一种基于图像深度学习的蓄电池缺陷检测方法及系统

Publications (1)

Publication Number Publication Date
CN116385402A true CN116385402A (zh) 2023-07-04

Family

ID=86968966

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310360895.9A Pending CN116385402A (zh) 2023-04-06 2023-04-06 一种基于图像深度学习的蓄电池缺陷检测方法及系统

Country Status (1)

Country Link
CN (1) CN116385402A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117541587A (zh) * 2024-01-10 2024-02-09 山东建筑大学 太阳能电池板缺陷检测方法、系统、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117541587A (zh) * 2024-01-10 2024-02-09 山东建筑大学 太阳能电池板缺陷检测方法、系统、电子设备及存储介质
CN117541587B (zh) * 2024-01-10 2024-04-02 山东建筑大学 太阳能电池板缺陷检测方法、系统、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN109325589B (zh) 卷积计算方法及装置
CN111242127B (zh) 基于非对称卷积的具有粒度级多尺度特性的车辆检测方法
CN112990316B (zh) 基于多显著性特征融合的高光谱遥感图像分类方法及系统
Zhao et al. ADRN: Attention-based deep residual network for hyperspectral image denoising
CN114092793B (zh) 适用于复杂水下环境的端到端生物目标检测方法
CN116385402A (zh) 一种基于图像深度学习的蓄电池缺陷检测方法及系统
CN112215199B (zh) 基于多感受野与密集特征聚合网络的sar图像舰船检测方法
CN113468996A (zh) 一种基于边缘细化的伪装物体检测方法
US20240071111A1 (en) Method, apparatus and system for inspecting cell crush
CN113688830A (zh) 基于中心点回归的深度学习目标检测方法
CN111192240B (zh) 一种基于随机接入记忆的遥感图像目标检测方法
CN117274662A (zh) 一种改进ResNeXt神经网络的轻量级多模态医学图像分类方法
CN116168240A (zh) 基于注意力增强的任意方向密集舰船目标检测方法
CN117934375A (zh) 一种增强图像特征融合的轻量化锂电池表面缺陷检测方法
CN114004998B (zh) 基于多视张量积扩散的非监督极化sar图像地物分类方法
CN113327238A (zh) 一种胃镜图像分类模型构建方法及胃镜图像分类方法
CN117689617A (zh) 基于去雾约束网络和串联多尺度注意力的绝缘子检测方法
CN116452900A (zh) 一种基于轻量级神经网络的目标检测方法
CN117408991A (zh) 基于对抗重构的图像异常检测方法、装置及存储介质
CN117372801A (zh) 变电站缺陷异常检测方法、装置和计算机设备
CN115757386B (zh) 海洋空间观测数据的异常检测方法、系统、设备与介质
CN114155246B (zh) 一种基于可变形卷积的输电塔销钉缺陷检测方法
CN115656747A (zh) 基于异构数据的变压器缺陷诊断方法、装置和计算机设备
CN115272819A (zh) 一种基于改进Faster-RCNN的小目标检测方法
CN115205148A (zh) 基于双路径残差网络的图像去模糊方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination