CN115526863A - 一种圆柱型锂电池表面缺陷检测方法及装置 - Google Patents

一种圆柱型锂电池表面缺陷检测方法及装置 Download PDF

Info

Publication number
CN115526863A
CN115526863A CN202211208525.5A CN202211208525A CN115526863A CN 115526863 A CN115526863 A CN 115526863A CN 202211208525 A CN202211208525 A CN 202211208525A CN 115526863 A CN115526863 A CN 115526863A
Authority
CN
China
Prior art keywords
convolution
branch
model
defect
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211208525.5A
Other languages
English (en)
Inventor
郑力新
杨坤
马健
黄鹤锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Force And Line Intelligent Technology Co ltd
Huaqiao University
Original Assignee
Fujian Force And Line Intelligent Technology Co ltd
Huaqiao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Force And Line Intelligent Technology Co ltd, Huaqiao University filed Critical Fujian Force And Line Intelligent Technology Co ltd
Priority to CN202211208525.5A priority Critical patent/CN115526863A/zh
Publication of CN115526863A publication Critical patent/CN115526863A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E60/00—Enabling technologies; Technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y02E60/10—Energy storage using batteries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种圆柱型锂电池表面缺陷检测方法及装置，涉及目标检测技术领域。所述方法包括：采集圆柱型锂电池表面图像，制作缺陷数据集；将缺陷图像输入至模型进行迭代训练，保存获取最佳模型；训练完成的YOLO模型作为特征提取器，对待检测图像进行特征提取，定位锂电池表面缺陷位置并判断出所属的缺陷类型。本发明提供的一种圆柱型锂电池表面缺陷检测方法及装置，通过设计MBneck模块用于模型的主干进行特征的提取，提高检测速度，并利用通道注意力机制定位特征图中感兴趣的信息，抑制无用信息，通过多分支卷积MBC在部署时提高模型检测精度的同时而不增加模型的推理速度。

Description

一种圆柱型锂电池表面缺陷检测方法及装置
技术领域
本发明涉及目标检测技术领域，特别涉及一种圆柱型锂电池表面缺陷检测方法及装置。
背景技术
在国内近年来随着新能源电动汽车的发展与推广，对锂电池的需求也随之增加。锂电池行业快速崛起，锂电池生产制造中的质量问题是目前的关键部分。并且新一代的信息技术与制造业的深入融合引发制造业产生巨大变革，逐步从数量扩增向质量提升转变。通过提升产品质量来生产高附加值、高利润的产品，可以实现产品竞争力的跃升，从而锂电池表面缺陷检测已成为必不可少的一步。目前锂离子电池从封装路线上分类为软包、方形和圆柱三种。圆柱形锂离子电池包生产工艺成熟，PACK成本较低，由于锂离子电池组散热面积大，其散热性能优于方型电池；圆柱形电池便于多种形态组合，适用于电动汽车空间设计的充分布局。圆柱形电池一般采用钢壳或铝壳封装，在外层会加上一层塑料进行包装。在制造过程中会出现表面凹凸、划痕、破损等缺陷。
目前的锂电池表面缺陷检测方法主要为人工检测的方法以及机器视觉检测方法，由于表面缺陷种类的多样性以及检测环节的重要性，还是以人工检测为主。人工检测方式存在的主要问题是在大量的检测需求量下，人工检测效率低下耗时量大，人工成本极高。由于人工目检的局限性，很多表面缺陷特征不明显的情况下容易被忽视，造成漏检误检等问题。传统的机器视觉检测方法有图像结构方法、频域分析法等，但都有其局限性，例如图像结构方法的泛化能力较差仅适用于特定的缺陷检测情况，而频域分析法计算复杂耗时量大不适应于实时性要求高的情况。
深度学习检测算法在工业缺陷检测领域的应用主要有两大问题。第一是小样本问题，在真实工业环境中，能够提供的工业缺陷样本太少，而深度学习需要通过大量的缺陷样本进行训练以提高模型的检测能力。第二是实时性问题，当前深度学习算法研究领域更注重模型的检测精度，模型规模越来越大，而忽视了实际工业应用中对检测速度的需求。
发明内容
本发明要解决的技术问题，在于提供一种圆柱型锂电池表面缺陷检测方法及装置，通过设计MBneck模块用于模型的主干进行特征的提取，提高检测速度，并利用通道注意力机制定位特征图中感兴趣的信息，抑制无用信息，通过MBC多分支卷积在部署时提高模型检测精度的同时而不增加模型的推理速度。
第一方面，本发明提供了一种圆柱型锂电池表面缺陷检测方法，包括：
步骤1、获取锂电池表面缺陷图像，制作缺陷数据集，然后进行数据预处理，增加缺陷数据集数量；
步骤2、将缺陷数据图像传入改进的YOLO模型进行训练，保存最佳模型；
所述改进的YOLO模型包括主干特征提取网络、特征融合网络以及分类回归预测网络；所述主干特征提取网络包括多个堆叠的MBneck模块，所述特征融合网络包括FPN网络，所述分类回归预测网络包括多个Decoupled Head检测头；
所述MBneck模块使用残差连接的结构，由直接映射和残差边两部分组成；直接映射部分经过多分支卷积MBC操作后分出两个分支，一分支先经过全局最大池化操作后再经过全连接层以及激活函数后得到每个特征图通道维度上的权重，权重与另一分支输出的特征图进行相乘，对特征图通道维度上的重加权，加权得到的结果经过卷积操作后与残差边的输出进行通道尺度上的堆叠得到最终输出；所述多分支卷积MBC操作包括多个分支，在模型训练阶段通过组合不同尺度和复杂度的不同分支的结构来丰富特征空间，增强模型的特征提取能力；
步骤3、将待检测圆柱锂电池图像输入部署的模型，检测定位出图像中缺陷所在位置及判断所属的缺陷类型；所述部署的模型中，MBneck模块的多分支卷积MBC为利用重参数化将多个分支等效地转换成的单个卷积。
进一步地，所述多分支卷积MBC包括三个分支，第一分支经过一个1×1卷积操作；第二分支经过一个1×1卷积和K×K卷积操作，K是可调节的卷积核大小；第三分支则经过一个K×K卷积操作；每个卷积操作后都会经过一个归一化操作。
进一步地，所述MBneck模块中的卷积为深度可分离卷积，由DW卷积与PW卷积组成。
进一步地，所述Decoupled Head检测头由FPN网络输入特征图后，分为两个分支分别进行卷积操作，其中一分支Cls用于预测每一个特征点对应某类缺陷类型的概率；另一分支Reg用于判断每一个特征点对应的预测框坐标的回归参数，回归参数调整后可以获得预测框，Iou用于判断每一个特征点内是否包含缺陷目标。
进一步地，所述多个堆叠的MBneck模块具体包括依次连接的五层结构，第一层由一个MBneck模块组成，第二层由两个MBneck模块组成，第三层由三个MBneck模块组成，第四层由四个MBneck模块组成，第五层由五个MBneck模块组成。
第二方面，本发明提供了一种圆柱型锂电池表面缺陷检测装置，包括：数据处理模块、训练模块以及检测模块；
所述数据处理模块，用于获取锂电池表面缺陷图像，制作缺陷数据集，然后进行数据预处理，增加缺陷数据集数量；
所述训练模块，用于将缺陷数据图像传入改进的YOLO模型进行训练，保存最佳模型；
所述改进的YOLO模型包括主干特征提取网络、特征融合网络以及分类回归预测网络；所述主干特征提取网络包括多个堆叠的MBneck模块，所述特征融合网络包括FPN网络，所述分类回归预测网络包括多个Decoupled Head检测头；
所述MBneck模块使用残差连接的结构，由直接映射和残差边两部分组成；直接映射部分经过多分支卷积MBC操作后分出两个分支，一分支先经过全局最大池化操作后再经过全连接层以及激活函数后得到每个特征图通道维度上的权重，权重与另一分支输出的特征图进行相乘，对特征图通道维度上的重加权，加权得到的结果经过卷积操作后与残差边的输出进行通道尺度上的堆叠得到最终输出；所述多分支卷积MBC操作包括多个分支，在模型训练阶段通过组合不同尺度和复杂度的不同分支的结构来丰富特征空间，增强模型的特征提取能力；
所述检测模块，用于将待检测圆柱锂电池图像输入部署的模型，检测定位出图像中缺陷所在位置及判断所属的缺陷类型；所述部署的模型中，MBneck模块的多分支卷积MBC为利用重参数化将多个分支等效地转换成的单个卷积。
进一步地，所述训练模块中，多分支卷积MBC包括三个分支，第一分支经过一个1×1卷积操作；第二分支经过一个1×1卷积和K×K卷积操作，K是可调节的卷积核大小；第三分支则经过一个K×K卷积操作；每个卷积操作后都会经过一个归一化操作。
进一步地，所述MBneck模块中的卷积为深度可分离卷积，由DW卷积与PW卷积组成。
进一步地，所述Decoupled Head检测头由FPN网络输入特征图后，分为两个分支分别进行卷积操作，其中一分支Cls用于预测每一个特征点对应某类缺陷类型的概率；另一分支Reg用于判断每一个特征点对应的预测框坐标的回归参数，回归参数调整后可以获得预测框，Iou用于判断每一个特征点内是否包含缺陷目标。
进一步地，所述多个堆叠的MBneck模块具体包括依次连接的五层结构，第一层由一个MBneck模块组成，第二层由两个MBneck模块组成，第三层由三个MBneck模块组成，第四层由四个MBneck模块组成，第五层由五个MBneck模块组成。
本发明实施例中提供的技术方案，至少具有如下技术效果或优点：
1、通过设计多个堆叠的MBneck模块用于模型的主干进行特征的提取，模块内采用了通道注意力机制、残差连接，使得模型更关注特征图中更重要的信息，并通过残差连接减少反向传播时梯度消失问题；
2、MBneck模块中采用了多分支卷积MBC，通过组合不同尺度和复杂度的不同分支来丰富特征空间，并使用了重参数化结构及可分离卷积操作，只增加模型训练时的计算量，在模型推理时可以等效地转换为单个卷积进行部署，达到轻量化参数和计算量的需求，从而在提高模型检测精度的同时而不增加模型的推理速度；
3、MBneck模块利用深度可分离卷积替代普通卷积减少模型参数量提高检测速度，并利用通道注意力机制定位特征图中感兴趣的信息，抑制无用信息。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1为本发明实施例改进的YOLO模型整体架构图；
图2为本发明实施例MBneck模块与多分支卷积MBC结构示意图；
图3为本发明实施例Decoupled Head检测头结构示意图；
图4为本发明实施例一中方法的流程示意图；
图5为本发明实施例二中装置的结构示意图。
具体实施方式
本申请实施例通过提供一种圆柱型锂电池表面缺陷检测方法及装置，通过设计MBneck模块用于模型的主干进行特征的提取，提高检测速度，并利用通道注意力机制定位特征图中感兴趣的信息，抑制无用信息，通过多分支卷积MBC在部署时提高模型检测精度的同时而不增加模型的推理速度。
本发明实施例中的技术方案，总体思路如下：
YOLO模型是深度学习目标检测领域的模型之一，是一种一阶段的目标检测模型，相比其它目标检测模型其具有检测速度快的特点。本发明实施例主要设计了一种MBneck模块用于模型的主干进行特征的提取，模块内采用了通道注意力机制、残差连接、可分离卷积以及重参数化。MBneck模块利用深度可分离卷积替代普通卷积减少模型参数量提高检测速度，并利用通道注意力机制定位特征图中感兴趣的信息，抑制无用信息。在MBneck模块中还设计了多分支卷积(MBC)结构，通过组合不同尺度和复杂度的不同分支来丰富特征空间，多分支卷积MBC只增加模型训练时的计算量，在模型推理时可以等效地转换为单个卷积进行部署，在提高模型检测精度的同时而不增加模型的推理速度。
为实现上述目的，本发明提出一种基于YOLO模型的圆柱型锂电池表面缺陷检测方法，如图4所示，可以包括如下步骤：
a)获取锂电池表面缺陷图像；
在圆柱型锂电池生产制作过程中表面会出现凹坑、破损、划痕等缺陷，缺陷较小人眼难以判断。锂电池外壳多为铝钢等金属，缺陷与表面对比度低特征不明显，并且金属表面光滑容易反光。使用工业线扫相机在暗场下对锂电池表面缺陷进行图像采集，降低光线反射对成像的影响，增强缺陷与背景的区分度。
b)缺陷数据集制作；
缺陷数据集制作的好坏影响着缺陷检测的效果。通过labelimg等标注工具人工对圆柱锂电池表面缺陷类型进行区分定义，确认缺陷种类数量。按照PASCAL VOC数据集格式进行标签制作，数据集包括JPEGImages、Annotations、ImageSets三个部分。JPEGImages为缺陷图像的jpg格式文件，Annotations为保存着缺陷图像中缺陷所属类别及位置坐标信息的xml格式文件，ImageSets将所有数据分为训练集、验证集、测试集三个部分用于后续模型训练测试使用。
c)数据预处理；
深度学习较少被直接应用在表面缺陷检测中的原因是在真实的工业环境中，能够提供的工业缺陷样本太少，相比例如ImageNet数据集中1400多万张数据，表面缺陷面临的一关键问题就是小样本问题。
常使用以下方式进行数据预处理来增加数据集数量：数据扩增、合成与生成，最常用的扩增方法是对原图进行镜像、旋转、平移、扭曲、滤波、对比度调整等处理操作来获取更多的样本，将单独的缺陷融合叠加到正常样本上等。
d)将缺陷数据图像传入改进的YOLO模型进行训练，保存最佳模型；
将制作完成的锂电池缺陷数据集作为输入，缺陷图像会先被压缩为特定尺寸后传入模型进行训练。在模型的反向传播中利用梯度下降使得损失函数不断减小，经过迭代训练最终使模型收敛得到最佳模型权重用于后续的推理。如图1所示，整个YOLO模型可以分为三个部分，第一部分是Backbone(主干)特征提取网络，主干网络中由设计的MBneck模块的堆叠组成，输入的图像会在主干网络中先进行特征提取，在卷积下采样中图像大小不断压缩维度不断上升，最后获取三个大小不同的特征层进入模型的下一个部分。FPN(特征融合金字塔)加强特征提取部分，从模型主干部分的上中下三层中取出三个有效特征层在FPN进行特征融合，结合不同尺度的特征信息。最终在模型的最后Decoupled Head(检测头)部分进行分类回归预测。将制作好的缺陷数据集输入至模型中进行不断迭代训练后，以获取效果最佳的模型。
e)将训练好的模型作为特征提取器对输入的缺陷图像进行特征提取，模型最终会预测出缺陷的类型以及缺陷位置的偏移量等信息，再通过处理将模型输出转换为用矩形框将缺陷框出的方式在检测图像上显示出来，实现缺陷目标检测任务。
缺陷图像传入模型后会先进行压缩至640×640大小传入Backbone主干网，在经过Focus操作扩大通道数并得到尺寸减半的特征图；接着通过一连串的MBneck模块进行下采样不断提取高维度特征。在主干网络中分别提取高层(80×80)、中层(40×40)、低层(20×20)的特征图传入FPN特征融合金字塔进一步地特征融合，(20×20)特征图经过Conv(卷积)和UpSampling2D(上采样)操作后与(40×40)特征图进行Concat(堆叠)，再经过一个卷积和上采样后与(80×80)特征图进行堆叠，并再一次卷积操作后输入到Decoupled Head中进行预测。同时上层的融合特征图继续经过一系列的DownSampling(下采样)和堆叠操作形成了一个金字塔结构的结构。FPN输出的三层有效特征层会分别输入至三个Decoupled Head(预测头)分别预测图像中不同尺寸大小的缺陷。
在一具体实施例中，对于YOLO模型的改进方式为：首先在YOLO模型的主干网络中使用设计的MBneck特征提取模块。如图2左侧所示，其中MBneck模块中的卷积(conv)使用了深度可分离卷积，常规卷积操作由于运算量大，经常难以满足实际运行速度的要求。深度可分离卷积是由Depthwise(DW)卷积与Pointwise(PW)卷积组成，该结构和常规卷积类似，可用来提取特征，但相比常规卷积，其参数量和运算成本较低。
当使用普通卷积，给定输入大小如果为DF×DF×M的tensor，使用大小为Dk×Dk×M的N个卷积核进行卷积运算，输出为DG×DG×N的tensor时，计算量及参数量公式如下：
计算量：Dk*Dk*M*Dg*Dg*N
参数量：Dk*Dk*M*N
而深度可分离卷积会先由深度卷积操作将DF×DF×M的tensor，使用M个Dk×Dk×1的卷积核转换为DG×DG×M的tensor；再将DG×DG×M的tensor由逐点卷积操作使用N个1×1×M的卷积核最终输出为DG×DG×N的tensor。计算量及参数量公式如下：
计算量：Dk*Dk*1Dk*Dk*M*N+M*1*1*Dg*Dg*N
参数量：Dk*Dk*M*1+N*M*1*1
由此可见深度可分离卷积在完成相同计算目的的情况下计算开销更小。
其次MBneck模块使用了残差连接的结构，残差结构由直接映射和残差边两部分组成。特征图输入至MBneck后会分出两个分支，其中一分支由直接映射部分经过多个卷积操后输出，另一分支由残差边直接输出，将两分支输出进行通道尺度上的堆叠得到最终输出。由链式法则可知，当一个单元出现梯度为0的情况整个梯度就为0造成参数无法更新的情况，链式法则公式如下：
Figure BDA0003873706960000091
并且当使用Sigmoid激活函数时，其梯度不会超过0.25，这也导致链式求导后容易造成梯度消失，激活函数公式如下：
Figure BDA0003873706960000092
残差边的连接将输入的特征向量直接与输出进行相加，则有助于解决训练时梯度消失和梯度爆炸的问题。
通道注意力机制，MBneck模块中输入的特征图在经过多分支卷积(MBC)操作后也分出两个分支，其中一分支会从左侧先经过GMpooling(全局最大池化)操作后再经过两个FCN(全连接层)以及RULE、Sigmoid激活函数后得到每个特征图通道维度上的权重，权重会与第二个分支输出的特征图进行相乘，对特征图通道维度上的重加权，使得模型更关注特征图中的感兴趣区域。
如图2右侧的多分支卷积MBC所示，MBC卷积分别有三个分支：第一个分支经过一个1×1卷积操作；第二个分支经过一个1×1卷积和K×K卷积操作,K是可调节的卷积核大小；第三个分支则经过一个K×K卷积操作，每个卷积操作后都会经过一个归一化(batch norm)操作，最后通过一个nonlinearity(非线性激活函数)得到输出。在Training-time模型训练阶段时会通过这种组合不同尺度和复杂度的不同分支的结构来丰富特征空间，增强模型的特征提取能力。在Inference-time模型的推理阶段时，利用重参数化可以将三个分支等效地转换成单个卷积进行部署。
卷积与归一化(batch norm)的融合：对于输入I经过卷积F和BN后的输出O的第j个通道可根据下式得到：
Figure BDA0003873706960000093
将卷积和BN融合后得到新的卷积核F′和偏置b′的第j个通道可根据下式得到：
Figure BDA0003873706960000101
其中，μj，σj，γj，βj分别为batch norm的均值、方差、尺度因子和偏移因子。
多个并行的相同规格的卷积分支的结果相加公式如下：
F'←F(1)+F(2),b'←b(1)+b(2)
其中，F，b分别为卷积核的权重与偏置。
如图2所示在模型推理阶段多分支卷积被转换成一个K×K的卷积，在提高模型检测精度的同时而不增加模型的推断时间。
紧接着由模型主干网络上层、中下层、底层分别提取三个有效特征层传入图3所示FPN特征金字塔结构中将不同shape的特征层进行特征融合，结合高维与低维信息。
最后在模型输出预测部分使用Decoupled Head检测头结构如图3所示，得到最终的预测信息，在目标检测的定位和分类任务中，存在spatial misalignment的问题，意思是目标检测中两个任务所聚焦和感兴趣的地方不同，分类更加关注所提取的特征与已有类别哪一类最为相近，而定位更加关注与GTBox的位置坐标从而进行边界框参数修正，因此如果采取用同一个特征图进行分类和定位效果会不好。使用Decoupled Head代替原先的Yolohead，由FPN特征融合金字塔提取的特征图输入后，分为两个分支后分别进行卷积操作，其中一分支Cls(H×W×C)负责预测每一个特征点对应某类缺陷类型的概率，C为缺陷类别个数；另一分支Reg(H×W×4)负责判断每一个特征点对应的预测框坐标的回归参数，回归参数调整后可以获得预测框；Iou(H×W×1)用于判断每一个特征点内是否包含缺陷目标。
实施例一
本实施例提供一种圆柱型锂电池表面缺陷检测方法，如图4所示，包括：
步骤1、获取锂电池表面缺陷图像，制作缺陷数据集，然后进行数据预处理，增加缺陷数据集数量；
步骤2、将缺陷数据图像传入改进的YOLO模型进行训练，保存最佳模型；
所述改进的YOLO模型包括主干特征提取网络、特征融合网络以及分类回归预测网络；所述主干特征提取网络包括多个堆叠的MBneck模块，所述特征融合网络包括FPN网络，所述分类回归预测网络包括多个Decoupled Head检测头；
所述MBneck模块使用残差连接的结构，由直接映射和残差边两部分组成；直接映射部分经过多分支卷积MBC操作后分出两个分支，一分支先经过全局最大池化操作后再经过全连接层以及激活函数后得到每个特征图通道维度上的权重，权重与另一分支输出的特征图进行相乘，对特征图通道维度上的重加权，加权得到的结果经过卷积操作后与残差边的输出进行通道尺度上的堆叠得到最终输出；所述多分支卷积MBC操作包括多个分支，在模型训练阶段通过组合不同尺度和复杂度的不同分支的结构来丰富特征空间，增强模型的特征提取能力；
步骤3、将待检测圆柱锂电池图像输入部署的模型，检测定位出图像中缺陷所在位置及判断所属的缺陷类型；所述部署的模型中，MBneck模块的多分支卷积MBC为利用重参数化将多个分支等效地转换成的单个卷积。
在一种可能的实现方式中，所述多分支卷积MBC包括三个分支，第一分支经过一个1×1卷积操作；第二分支经过一个1×1卷积和K×K卷积操作，K是可调节的卷积核大小；第三分支则经过一个K×K卷积操作；每个卷积操作后都会经过一个归一化操作。
所述MBneck模块中的卷积为深度可分离卷积，由DW卷积与PW卷积组成。
所述Decoupled Head检测头由FPN网络输入特征图后，分为两个分支分别进行卷积操作，其中一分支Cls用于预测每一个特征点对应某类缺陷类型的概率；另一分支Reg用于判断每一个特征点对应的预测框坐标的回归参数，回归参数调整后可以获得预测框，Iou用于判断每一个特征点内是否包含缺陷目标。
所述多个堆叠的MBneck模块具体包括依次连接的五层结构，第一层由一个MBneck模块组成，第二层由两个MBneck模块组成，第三层由三个MBneck模块组成，第四层由四个MBneck模块组成，第五层由五个MBneck模块组成。
基于同一发明构思，本申请还提供了与实施例一中的方法对应的装置，详见实施例二。
实施例二
在本实施例中提供了一种圆柱型锂电池表面缺陷检测装置，如图5所示，包括：数据处理模块、训练模块以及检测模块；
所述数据处理模块，用于获取锂电池表面缺陷图像，制作缺陷数据集，然后进行数据预处理，增加缺陷数据集数量；
所述训练模块，用于将缺陷数据图像传入改进的YOLO模型进行训练，保存最佳模型；
所述改进的YOLO模型包括主干特征提取网络、特征融合网络以及分类回归预测网络；所述主干特征提取网络包括多个堆叠的MBneck模块，所述特征融合网络包括FPN网络，所述分类回归预测网络包括多个Decoupled Head检测头；
所述MBneck模块使用残差连接的结构，由直接映射和残差边两部分组成；直接映射部分经过多分支卷积MBC操作后分出两个分支，一分支先经过全局最大池化操作后再经过全连接层以及激活函数后得到每个特征图通道维度上的权重，权重与另一分支输出的特征图进行相乘，对特征图通道维度上的重加权，加权得到的结果经过卷积操作后与残差边的输出进行通道尺度上的堆叠得到最终输出；所述多分支卷积MBC操作包括多个分支，在模型训练阶段通过组合不同尺度和复杂度的不同分支的结构来丰富特征空间，增强模型的特征提取能力；
所述检测模块，用于将待检测圆柱锂电池图像输入部署的模型，检测定位出图像中缺陷所在位置及判断所属的缺陷类型；所述部署的模型中，MBneck模块的多分支卷积MBC为利用重参数化将多个分支等效地转换成的单个卷积。
在一种可能的实现方式中，所述训练模块中，多分支卷积MBC包括三个分支，第一分支经过一个1×1卷积操作；第二分支经过一个1×1卷积和K×K卷积操作，K是可调节的卷积核大小；第三分支则经过一个K×K卷积操作；每个卷积操作后都会经过一个归一化操作。
所述MBneck模块中的卷积为深度可分离卷积，由DW卷积与PW卷积组成。
所述Decoupled Head检测头由FPN网络输入特征图后，分为两个分支分别进行卷积操作，其中一分支Cls用于预测每一个特征点对应某类缺陷类型的概率；另一分支Reg用于判断每一个特征点对应的预测框坐标的回归参数，回归参数调整后可以获得预测框，Iou用于判断每一个特征点内是否包含缺陷目标。
进一步地，所述多个堆叠的MBneck模块具体包括依次连接的五层结构，第一层由一个MBneck模块组成，第二层由两个MBneck模块组成，第三层由三个MBneck模块组成，第四层由四个MBneck模块组成，第五层由五个MBneck模块组成。
由于本发明实施例二所介绍的装置，为实施本发明实施例一的方法所采用的装置，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该装置的具体结构及变形，故而在此不再赘述。凡是本发明实施例一的方法所采用的装置都属于本发明所欲保护的范围。
本发明通过设计多个堆叠的MBneck模块用于模型的主干进行特征的提取，模块内采用了通道注意力机制、残差连接，使得模型更关注特征图中更重要的信息，并通过残差连接减少反向传播时梯度消失问题；MBneck模块中采用了多分支卷积MBC，通过组合不同尺度和复杂度的不同分支来丰富特征空间，并使用了重参数化结构及可分离卷积操作，只增加模型训练时的计算量，在模型推理时可以等效地转换为单个卷积进行部署，达到轻量化参数和计算量的需求，从而在提高模型检测精度的同时而不增加模型的推理速度；MBneck模块利用深度可分离卷积替代普通卷积减少模型参数量提高检测速度，并利用通道注意力机制定位特征图中感兴趣的信息，抑制无用信息。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (10)

1.一种圆柱型锂电池表面缺陷检测方法，其特征在于，包括：
步骤1、获取锂电池表面缺陷图像，制作缺陷数据集，然后进行数据预处理，增加缺陷数据集数量；
步骤2、将缺陷数据图像传入改进的YOLO模型进行训练，保存最佳模型；
所述改进的YOLO模型包括主干特征提取网络、特征融合网络以及分类回归预测网络；所述主干特征提取网络包括多个堆叠的MBneck模块，所述特征融合网络包括FPN网络，所述分类回归预测网络包括多个Decoupled Head检测头；
所述MBneck模块使用残差连接的结构，由直接映射和残差边两部分组成；直接映射部分经过多分支卷积MBC操作后分出两个分支，一分支先经过全局最大池化操作后再经过全连接层以及激活函数后得到每个特征图通道维度上的权重，权重与另一分支输出的特征图进行相乘，对特征图通道维度上的重加权，加权得到的结果经过卷积操作后与残差边的输出进行通道尺度上的堆叠得到最终输出；所述多分支卷积MBC操作包括多个分支，在模型训练阶段通过组合不同尺度和复杂度的不同分支的结构来丰富特征空间，增强模型的特征提取能力；
步骤3、将待检测圆柱锂电池图像输入部署的模型，检测定位出图像中缺陷所在位置及判断所属的缺陷类型；所述部署的模型中，MBneck模块的多分支卷积MBC为利用重参数化将多个分支等效地转换成的单个卷积。
2.根据权利要求1所述的方法，其特征在于：所述多分支卷积MBC包括三个分支，第一分支经过一个1×1卷积操作；第二分支经过一个1×1卷积和K×K卷积操作，K是可调节的卷积核大小；第三分支则经过一个K×K卷积操作；每个卷积操作后都会经过一个归一化操作。
3.根据权利要求1所述的方法，其特征在于：所述MBneck模块中的卷积为深度可分离卷积，由DW卷积与PW卷积组成。
4.根据权利要求1所述的方法，其特征在于：所述DecoupledHead检测头由FPN网络输入特征图后，分为两个分支分别进行卷积操作，其中一分支Cls用于预测每一个特征点对应某类缺陷类型的概率；另一分支Reg用于判断每一个特征点对应的预测框坐标的回归参数，回归参数调整后可以获得预测框，Iou用于判断每一个特征点内是否包含缺陷目标。
5.根据权利要求1所述的方法，其特征在于：所述多个堆叠的MBneck模块具体包括依次连接的五层结构，第一层由一个MBneck模块组成，第二层由两个MBneck模块组成，第三层由三个MBneck模块组成，第四层由四个MBneck模块组成，第五层由五个MBneck模块组成。
6.一种圆柱型锂电池表面缺陷检测装置，其特征在于，包括：数据处理模块、训练模块以及检测模块；
所述数据处理模块，用于获取锂电池表面缺陷图像，制作缺陷数据集，然后进行数据预处理，增加缺陷数据集数量；
所述训练模块，用于将缺陷数据图像传入改进的YOLO模型进行训练，保存最佳模型；
所述改进的YOLO模型包括主干特征提取网络、特征融合网络以及分类回归预测网络；所述主干特征提取网络包括多个堆叠的MBneck模块，所述特征融合网络包括FPN网络，所述分类回归预测网络包括多个Decoupled Head检测头；
所述MBneck模块使用残差连接的结构，由直接映射和残差边两部分组成；直接映射部分经过多分支卷积MBC操作后分出两个分支，一分支先经过全局最大池化操作后再经过全连接层以及激活函数后得到每个特征图通道维度上的权重，权重与另一分支输出的特征图进行相乘，对特征图通道维度上的重加权，加权得到的结果经过卷积操作后与残差边的输出进行通道尺度上的堆叠得到最终输出；所述多分支卷积MBC操作包括多个分支，在模型训练阶段通过组合不同尺度和复杂度的不同分支的结构来丰富特征空间，增强模型的特征提取能力；
所述检测模块，用于将待检测圆柱锂电池图像输入部署的模型，检测定位出图像中缺陷所在位置及判断所属的缺陷类型；所述部署的模型中，MBneck模块的多分支卷积MBC为利用重参数化将多个分支等效地转换成的单个卷积。
7.根据权利要求6所述的装置，其特征在于：所述训练模块中，多分支卷积MBC包括三个分支，第一分支经过一个1×1卷积操作；第二分支经过一个1×1卷积和K×K卷积操作，K是可调节的卷积核大小；第三分支则经过一个K×K卷积操作；每个卷积操作后都会经过一个归一化操作。
8.根据权利要求6所述的装置，其特征在于：所述MBneck模块中的卷积为深度可分离卷积，由DW卷积与PW卷积组成。
9.根据权利要求6所述的装置，其特征在于：所述Decoupled Head检测头由FPN网络输入特征图后，分为两个分支分别进行卷积操作，其中一分支Cls用于预测每一个特征点对应某类缺陷类型的概率；另一分支Reg用于判断每一个特征点对应的预测框坐标的回归参数，回归参数调整后可以获得预测框，Iou用于判断每一个特征点内是否包含缺陷目标。
10.根据权利要求6所述的装置，其特征在于：所述多个堆叠的MBneck模块具体包括依次连接的五层结构，第一层由一个MBneck模块组成，第二层由两个MBneck模块组成，第三层由三个MBneck模块组成，第四层由四个MBneck模块组成，第五层由五个MBneck模块组成。
CN202211208525.5A 2022-09-30 2022-09-30 一种圆柱型锂电池表面缺陷检测方法及装置 Pending CN115526863A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211208525.5A CN115526863A (zh) 2022-09-30 2022-09-30 一种圆柱型锂电池表面缺陷检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211208525.5A CN115526863A (zh) 2022-09-30 2022-09-30 一种圆柱型锂电池表面缺陷检测方法及装置

Publications (1)

Publication Number Publication Date
CN115526863A true CN115526863A (zh) 2022-12-27

Family

ID=84699567

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211208525.5A Pending CN115526863A (zh) 2022-09-30 2022-09-30 一种圆柱型锂电池表面缺陷检测方法及装置

Country Status (1)

Country Link
CN (1) CN115526863A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116186593A (zh) * 2023-03-10 2023-05-30 山东省人工智能研究院 一种基于可分离卷积和注意力机制的心电信号检测方法
CN116773534A (zh) * 2023-08-15 2023-09-19 宁德思客琦智能装备有限公司 一种检测方法及装置、电子设备、计算机可读介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116186593A (zh) * 2023-03-10 2023-05-30 山东省人工智能研究院 一种基于可分离卷积和注意力机制的心电信号检测方法
CN116186593B (zh) * 2023-03-10 2023-10-03 山东省人工智能研究院 一种基于可分离卷积和注意力机制的心电信号检测方法
CN116773534A (zh) * 2023-08-15 2023-09-19 宁德思客琦智能装备有限公司 一种检测方法及装置、电子设备、计算机可读介质
CN116773534B (zh) * 2023-08-15 2024-03-05 宁德思客琦智能装备有限公司 一种检测方法及装置、电子设备、计算机可读介质

Similar Documents

Publication Publication Date Title
CN111598861B (zh) 基于改进的Faster R-CNN模型的非均匀纹理小缺陷的检测方法
CN115526863A (zh) 一种圆柱型锂电池表面缺陷检测方法及装置
CN112801169B (zh) 一种基于改进yolo算法的伪装目标检测方法、系统、装置及存储介质
CN115439694A (zh) 一种基于深度学习的高精度点云补全方法及装置
CN115829999A (zh) 一种绝缘子缺陷检测模型生成方法、装置、设备和存储介质
CN114240821A (zh) 一种基于改进型yolox的焊缝缺陷检测方法
CN112070727B (zh) 一种基于机器学习的金属表面缺陷检测方法
CN113408423A (zh) 适用于tx2嵌入式平台的水产品目标实时检测方法
CN115439458A (zh) 基于深度图注意力的工业图像缺陷目标检测算法
CN114463759A (zh) 一种基于无锚框算法的轻量化文字检测方法及装置
CN116883393B (zh) 一种基于无锚框目标检测算法的金属表面缺陷检测方法
CN116385958A (zh) 一种用于电网巡检和监控的边缘智能检测方法
CN113506239B (zh) 一种基于跨阶段局部网络的带钢表面缺陷检测方法
CN111476307A (zh) 一种基于深度领域适应的锂电池表面缺陷检测方法
CN112819748A (zh) 一种带钢表面缺陷识别模型的训练方法及装置
CN115423796A (zh) 一种基于TensorRT加速推理的芯片缺陷检测方法及系统
CN117523394A (zh) 一种基于聚合特征增强网络的sar船舰检测方法
CN115953408A (zh) 一种基于YOLOv7的避雷器表面缺陷检测方法
CN117934375A (zh) 一种增强图像特征融合的轻量化锂电池表面缺陷检测方法
CN116168235A (zh) 一种基于双分支注意力网络的高光谱图像分类方法
CN110986949A (zh) 一种基于人工智能平台下的路径识别方法
CN112837281B (zh) 基于级联卷积神经网络的销钉缺陷识别方法、装置和设备
CN114092415A (zh) 一种大尺寸导光板缺陷视觉检测方法
CN113327253A (zh) 一种基于星载红外遥感影像的弱小目标检测方法
CN117197146A (zh) 一种铸件内部缺陷自动识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination