CN111553433B - 一种基于多尺度卷积特征融合网络的锂电池缺陷分类方法 - Google Patents

一种基于多尺度卷积特征融合网络的锂电池缺陷分类方法 Download PDF

Info

Publication number
CN111553433B
CN111553433B CN202010364878.9A CN202010364878A CN111553433B CN 111553433 B CN111553433 B CN 111553433B CN 202010364878 A CN202010364878 A CN 202010364878A CN 111553433 B CN111553433 B CN 111553433B
Authority
CN
China
Prior art keywords
convolution
scale
network
lithium battery
fusion network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010364878.9A
Other languages
English (en)
Other versions
CN111553433A (zh
Inventor
陈海永
黄迪
刘佳丽
丁皓东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Original Assignee
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology filed Critical Hebei University of Technology
Priority to CN202010364878.9A priority Critical patent/CN111553433B/zh
Publication of CN111553433A publication Critical patent/CN111553433A/zh
Application granted granted Critical
Publication of CN111553433B publication Critical patent/CN111553433B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E60/00—Enabling technologies; Technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y02E60/10—Energy storage using batteries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Molecular Biology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于多尺度卷积特征融合网络的锂电池缺陷分类方法，该方法基于多尺度卷积特征融合网络模型，该模型引入了跨通道深度卷积，分别在原始图像的三通道上进行卷积，加强了模型的光谱不变性。还引入了具有不同感受野大小的多尺度卷积，加强了模型多尺度特征表达能力。对于每张图片都提取三通道及其标签作为模型输入值进行训练，同时还引入maxout刺激了不同神经元之间的竞争，提高了网络的学习能力，增强模型的非线性拟合能力，大幅提升了网络在多类别锂电池片表面缺陷数据集上的分类精确度及速度。

Description

一种基于多尺度卷积特征融合网络的锂电池缺陷分类方法
技术领域
本发明涉及缺陷检测分类领域，涉及一种锂电池缺陷分类的视觉检测方法，具体是一种基于多尺度卷积特征融合网络的锂电池缺陷分类方法。
背景技术
随着科技的发展，数码产品如手机、笔记本电脑等移动产品的广泛使用，锂离子电池以优异的性能在这类产品中得到广泛应用，并在逐步向其他产品应用领域发展。所以锂电池需要大批量生产，同时还应具备质量要求高、速度快、精确度高以及次品率低等特点。
但是锂电池种类有很多，大小不一，形状也各有不同。锂电池片缺陷主要包括极耳缺陷、边缘缺陷和极网缺陷,其中极网缺陷主要包括划痕异物缺陷和气泡缺陷。卷积神经网络作为一种自主提取特征的网络模型，能够相当好的适应于锂电池多类别缺陷图像分类这样的复杂任务。把深度学习技术应用在锂电池极片的缺陷检测中,取代传统的依靠人工进行检测的方法,可以高效率、低成本地完成锂电池极片的缺陷检测,从而提高成品合格率,达到提高锂电池质量和安全性的效果的同时，还能降低生产成本，从而提升企业效益。
发明内容
为解决锂电池缺陷数据集的缺陷与背景强相似问题和复杂背景下多尺度缺陷特征提取与分类问题，本发明提出了一种基于多尺度卷积特征融合网络的锂电池缺陷分类方法。该方法基于多尺度卷积特征融合网络模型，该模型引入了跨通道深度卷积，分别在原始图像的三通道上进行卷积，加强了模型的光谱不变性。还引入了具有不同感受野大小的多尺度卷积，加强了模型多尺度特征表达能力。对于每张图片都提取三通道及其标签作为模型输入值进行训练，同时还引入maxout刺激了不同神经元之间的竞争，提高了网络的学习能力，增强模型的非线性拟合能力，大幅提升了网络在多类别锂电池片表面缺陷数据集上的分类精确度及速度。
本发明解决所述问题所采用的技术方案是，设计了一种基于多尺度卷积特征融合网络测试验证样本集的锂电池缺陷分类方法，其特征在于，该方法的具体步骤是：
第一步、分类图像获取及其初步处理
1-1原始图像获取：通过高像素专业彩色工业相机拍摄原始锂电池缺陷图片；
1-2图像预处理：人工剔除由于光线、人工干扰形成的拥有巨大瑕疵的图片，随后利用最小二乘法对余下的图片中的锂电池边缘进行拟合，将其拟合为直线边线，然后得到具有有效直线边缘的有效图像集；
1-3所需数据集制作：人工手动对步骤1-2得到的有效图像集进行分类，然后对所有目标图像添加对应的缺陷种类标签，并从中随机抽取10％作为验证样本集根集，40％为训练样本集根集，50％为测试样本集；
1-4数据集扩充增强：在步骤1-3的基础上，对验证样本集根集与训练样本集根集使用方差为1、均值为0的高斯噪声、灰度变化值为5的变化，图像分别翻转90°、180°，将数据集增强四倍，分别得到验证样本集和训练样本集；
第二步、多尺度卷积特征融合网络设计
2-1跨通道卷积设计：将图片分为RGB三个通道，分别在三个通道上对每个输入通道上进行1*1的卷积操作，并对其输出特征图进行批量归一正则化和Relu激活函数操作，得到输出结果；
2-2多尺度融合卷积设计：设计卷积核为1*1、3*3、5*5、7*7四种卷积核，分别对步骤2-1得到的RGB三个通道的输出结果进行多尺度卷积，随后将5*5、7*7的卷积合卷积后作为大尺度特征进行融合，1*1、3*3卷积核作为小特征进行特征融合，得到多个尺度融合后的输出结果；
2-3激活函数设计：将普通的Relu激活函数替换为其优化版本Maxout激活函数；
2-4特征提取网络设计：这是网络的最后一层，使用密集块连接网络，与全局平均池化层组成特征提取网络；
2-5多尺度卷积特征融合网络：将步骤2-1设计得到的跨通道卷积部分、步骤2-2得到的多尺度融合卷积部分、步骤2-3的Maxout激活函数级连起来，再与密集块连接网络，组成多尺度卷积融合网络；
第三步、图像特征提取及其分类
3-1参数初始化：加载预训练权重文件，将动量、批处理大小、权重值、偏置值、批量归一化尺度因子值进行初始化，输入到多尺度卷积特征融合网络；
3-2开始训练：将第一步中的训练样本集输入到训练图像的多尺度卷积特征融合网络中，得到锂电池缺陷图像的多维特征图与特征权值矩阵；
3-3验证分类效果：将步骤1-4中的验证样本集，输入训练图像的多尺度卷积特征融合网络，根据步骤3-2提取到的锂电池缺陷图像的多维特征图与特征权值矩阵，将训练样本集的图像特征载入SoftMax分类器中进行分类，将分类结果经全局平均池化层处理后与步骤1-3中对锂电池缺陷的标签进行对比，返回误差值error和损失函数loss值到多尺度卷积特征融合网络；
3-4更新参数：在步骤3-3的基础上，采用随机梯度下降的方式，更新网络权重值和偏移值；
3-5重复训练：在步骤3-3和步骤3-4的基础上，对网络进行周期性重复训练，当网络中损失函数loss值降至0.01及以下时，立即停止训练，而后得到多尺度卷积特征融合网络模型，保存至指定的计算机存储位置；
3-6执行分类任务：将1-3得到的测试样本集和步骤3-5得到的多尺度卷积特征融合网络模型一起输入到多尺度卷积特征融合网络，得到预测的图片缺陷类别。
与现有技术相比，本发明有益效果在于：在锂电池片的制造过程中，可能出现划痕、露箔、颗粒、裂纹等表面缺陷，这些表面缺陷尺度、颜色、对比度等各方面特征都有较大的差异。所以普通方法并不能很好的检测出缺陷。本文提出了基于多尺度卷积特征融合网络模型，该模型引入了跨通道深度卷积，分别在原始图像的三通道上进行卷积，加强了模型的光谱不变性。还引入了具有不同感受野大小的多尺度卷积，加强了模型多尺度特征表达能力。对于每张图片都提取三通道及其标签作为模型输入值进行训练，同时还引入maxout刺激了不同神经元之间的竞争，提高了网络的学习能力，增强模型的非线性拟合能力，大幅提升了网络在多类别锂电池片表面缺陷数据集上的分类精确度及速度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的方法流程图。
具体实施方式
下面结合实施例及附图对本发明作进一步说明。
本发明提供了一种基于多尺度卷积特征融合网络的锂电池缺陷分类方法，该方法包括如下步骤：
第一步、分类图像获取及其初步处理
1-1原始图像获取：通过高像素专业彩色工业相机拍摄原始锂电池缺陷图片；
1-2图像预处理：人工剔除由于光线、人工干扰形成的拥有巨大瑕疵的图片，随后利用最小二乘法对余下的图片中的锂电池边缘进行拟合，将其拟合为直线边线，然后得到具有有效直线边缘的有效图像集；
1-3所需数据集制作：人工手动对步骤1-2得到的有效图像集进行分类，然后对所有目标图像添加对应的缺陷种类标签，并从中随机抽取10％作为验证样本集根集，40％为训练样本集根集，50％为测试样本集；
1-4数据集扩充增强：在步骤1-3的基础上，对验证样本集根集与训练样本集根集使用方差为1、均值为0的高斯噪声、灰度变化值为5的变化，图像分别翻转90°、180°，将数据集增强四倍，分别得到验证样本集和训练样本集；
第二步、多尺度卷积特征融合网络设计
2-1跨通道卷积设计：将图片分为RGB三个通道，分别在三个通道上对每个输入通道上进行1*1的卷积操作，并对其输出特征图进行批量归一正则化和Relu激活函数操作，得到输出结果；
2-2多尺度融合卷积设计：设计卷积核为1*1、3*3、5*5、7*7四种卷积核，分别对步骤2-1得到的RGB三个通道的输出结果进行多尺度卷积，随后将5*5、7*7的卷积合卷积后作为大尺度特征进行融合，1*1、3*3卷积核作为小特征进行特征融合，得到多个尺度融合后的输出结果；
2-3激活函数设计：将普通的Relu激活函数替换为其优化版本Maxout激活函数；
2-4特征提取网络设计：这是网络的最后一层，使用密集块连接网络，与全局平均池化层组成特征提取网络；
2-5多尺度卷积特征融合网络：将步骤2-1设计得到的跨通道卷积部分、步骤2-2得到的多尺度融合卷积部分、步骤2-3的Maxout激活函数级连起来，再与密集块连接网络，组成多尺度卷积融合网络；
第三步、图像特征提取及其分类
3-1参数初始化：加载预训练权重文件，将动量、批处理大小、权重值、偏置值、批量归一化尺度因子值进行初始化，输入到多尺度卷积特征融合网络；
3-2开始训练：将第一步中的训练样本集输入到训练图像的多尺度卷积特征融合网络中，得到锂电池缺陷图像的多维特征图与特征权值矩阵；
3-3验证分类效果：将步骤1-4中的验证样本集，输入训练图像的多尺度卷积特征融合网络，根据步骤3-2提取到的锂电池缺陷图像的多维特征图与特征权值矩阵，将训练样本集的图像特征载入SoftMax分类器中进行分类，将分类结果经全局平均池化层处理后与步骤1-3中对锂电池缺陷的标签进行对比，返回误差值error和损失函数loss值到多尺度卷积特征融合网络；
3-4更新参数：在步骤3-3的基础上，采用随机梯度下降的方式，更新网络权重值和偏移值；
3-5重复训练：在步骤3-3和步骤3-4的基础上，对网络进行周期性重复训练，当网络中损失函数loss值降至0.01及以下时，立即停止训练，而后得到多尺度卷积特征融合网络模型，保存至指定的计算机存储位置；
3-6执行分类任务：将1-3得到的测试样本集和步骤3-5得到的多尺度卷积特征融合网络模型一起输入到多尺度卷积特征融合网络，得到预测的图片缺陷类别。
所述有效图像集为6250张尺寸为496*496锂电池缺陷图片，将锂电池缺陷图片分为划痕、露箔、颗粒、裂纹四类。
所述步骤3-1参数初始化时，当将动量设置为0.09、批处理大小为32，将初始学习率设置为0.001时，验证分类效果得到多尺度卷积特征融合网络模型分类的精确度为85.31％；设置初始学习率为0.01时，验证分类效果得到多尺度卷积特征融合网络模型分类精确度为92.64％。
所述跨通道卷积设计具体为：将图片分为RGB三个通道，分别在三个通道上对每个输入通道(输入深度)上进行卷积操作，并对其输出特征图进行批量归一正则化和Relu激活操作，得到输出结果。分别提取图像的red,green,blue三个通道进行跨通道卷积。跨通道分离卷积指的是在每个输入通道(输入深度)上进行1*1卷积操作，并对其输出特征图进行批量归一正则化和Relu激活操作。每个通道进行一次卷积操作的跨通道分离卷积可被记为公式(1)：
Figure BDA0002476396970000081
其中
Figure BDA0002476396970000085
指的是跨通道可分离卷积中卷积核，尺寸为K×K×3，并且
Figure BDA0002476396970000086
中的第m个卷积核被应用于输入图像o的第m个通道，产生第m个具有DF通道深度的输出特征图
Figure BDA0002476396970000087
跨通道可分离卷积的计算成本为：
K×K×3×M×M (2)
对于一张给定的彩色输入图像x，对其进行跨通道分离卷积得到：
(xR，xG，xB)＝Convs(x) (3)
其中Convs表示跨通道分离卷积操作，xR，xG，xB为跨通道分离卷积结果，多尺度卷积，提取更加丰富的特征。
运用pytorch框架搭建多尺度卷积特征融合网络且训练验证及测试了锂电池缺陷图片，实现了其简单高效分类。
利用精确度和召回率衡量网络分类效果F：
把精确度P、召回率R和F函数定义为：
Figure BDA0002476396970000082
Figure BDA0002476396970000083
Figure BDA0002476396970000084
整个结构的最终输出是由三个光谱通道下的多尺度卷积特征融合结果组合而来，如公式(7)所示。
Figure BDA0002476396970000088
其中Mi(xi，W)表示不同光谱通道下的多尺度卷积特征融合，i分别表示R，G，B光谱，W表示不同光谱下的卷积结果所对应的权重系数，并且
Figure BDA0002476396970000089
表示拼接操作。
具体的，首先给定一个输入特征图xi，分别对其应用1×1，3×3，5×5，7×7卷积核进行卷积操作，则多尺度卷积结果如公式(8)所示：
Figure BDA0002476396970000093
Nn(n＝1，3，5，7)表示1×1，3×3，5×5和7×7尺度的卷积核的卷积结果。i分别表示R，G，B光谱。Win表示在i光谱中n尺度的卷积结果所对应的参数，
Figure BDA0002476396970000094
表示拼接操作。
Figure BDA0002476396970000095
将三个光谱下的多尺度卷积结果拼接起来，如公式(9)所示，得到M1(x，W)，再将其直接输入DenseNet来提升模型带宽，提升模型表现。当在太阳能电池片表面缺陷数据集上评估时，原本具有三个密集块的DenseNet的分类结果为94.04％，而输入M1(x，W)，DenseNet的测试分类结果达到了95.82％。
所述Relu激活函数为线性整流函数(Rectified Linear Unit,ReLU)，又称修正线性单元，是一种人工神经网络中常用的激活函数，通常指代以斜坡函数及其变种为代表的非线性函数
f(x)＝max(0，x) (10)
在SoftMax分类器之后加入使用了全局平均池化层，将分类结果经全局平均池化层处理即为：在最后一个密集块输出特征图后求取每个特征图的平局值。
全局平均池化层的激活函数f(·)应用的是maxpooling函数：
Figure BDA0002476396970000091
SoftMax分类器的激活函数f(·)应用的是sigmod函数：
Figure BDA0002476396970000092
本发明未述及之处适用于现有技术。

Claims (5)

1.一种基于多尺度卷积特征融合网络的锂电池缺陷分类方法，其特征在于，该方法包括如下步骤：
第一步、分类图像获取及其初步处理
1-1原始图像获取：通过高像素专业彩色工业相机拍摄原始锂电池缺陷图片；
1-2图像预处理：人工剔除由于光线、人工干扰形成的拥有巨大瑕疵的图片，随后利用最小二乘法对余下的图片中的锂电池边缘进行拟合，将其拟合为直线边线，然后得到具有有效直线边缘的有效图像集；
1-3所需数据集制作：人工手动对步骤1-2得到的有效图像集进行分类，然后对所有目标图像添加对应的缺陷种类标签，并从中随机抽取10％作为测试样本集根集，40％为训练样本集根集，50％为验证样本集；
1-4数据集扩充增强：在步骤1-3的基础上，对测试样本集根集与训练样本集根集使用方差为1、均值为0的高斯噪声、灰度变化值为5的变化，图像分别翻转90°、180°，将数据集增强四倍，分别得到测试样本集和训练样本集；
第二步、多尺度卷积特征融合网络设计
2-1跨通道卷积设计：将图片分为RGB三个通道，分别在三个通道上对每个输入通道上进行1*1的卷积操作，并对其输出特征图进行批量归一正则化和Relu激活函数操作，得到输出结果；
2-2多尺度融合卷积设计：设计卷积核为1*1、3*3、5*5、7*7四种卷积核，分别对步骤2-1得到的RGB三个通道的输出结果进行多尺度卷积，随后将5*5、7*7的卷积合卷积后作为大尺度特征进行融合，1*1、3*3卷积核作为小特征进行特征融合，得到多个尺度融合后的输出结果；
2-3激活函数设计：将普通的Relu激活函数替换为其优化版本Maxout激活函数；
2-4特征提取网络设计：这是网络的最后一层，使用密集块连接网络，与全局平均池化层组成特征提取网络；
2-5多尺度卷积特征融合网络：将步骤2-1设计得到的跨通道卷积部分、步骤2-2得到的多尺度融合卷积部分、步骤2-3的Maxout激活函数级连起来，再与密集块连接网络，组成多尺度卷积融合网络；
第三步、图像特征提取及其分类
3-1参数初始化：加载预训练权重文件，将动量、批处理大小、权重值、偏置值、批量归一化尺度因子值进行初始化，输入到多尺度卷积特征融合网络；
3-2开始训练：将第一步中的训练样本集输入到训练图像的多尺度卷积特征融合网络中，得到锂电池缺陷图像的多维特征图与特征权值矩阵；
3-3验证分类效果：将步骤1-3中的验证样本集，输入训练图像的多尺度卷积特征融合网络，根据步骤3-2提取到的锂电池缺陷图像的多维特征图与特征权值矩阵，将训练样本集的图像特征载入SoftMax分类器中进行分类，将分类结果经全局平均池化层处理后与步骤1-3中对锂电池缺陷的标签进行对比，返回误差值error和损失函数loss值到多尺度卷积特征融合网络；
3-4更新参数：在步骤3-3的基础上，采用随机梯度下降的方式，更新网络权重值和偏移值；
3-5重复训练：在步骤3-3和步骤3-4的基础上，对网络进行周期性重复训练，当网络中损失函数loss值降至0.01及以下时，立即停止训练，而后得到多尺度卷积特征融合网络模型，保存至指定的计算机存储位置；
3-6执行分类任务：将第一步得到的测试样本集和步骤3-5得到的多尺度卷积特征融合网络模型一起输入到多尺度卷积特征融合网络，得到预测的图片缺陷类别。
2.根据权利要求1所述的一种基于多尺度卷积特征融合网络的锂电池缺陷分类方法，其特征在于，步骤3-3中的将分类结果经全局平均池化层处理即为：在最后一个密集块输出特征图后求取每个特征图的平局值。
3.根据权利要求1所述的一种基于多尺度卷积特征融合网络的锂电池缺陷分类方法，其特征在于，所述有效图像集为6250张尺寸为496*496锂电池缺陷图片。
4.根据权利要求1所述的一种基于多尺度卷积特征融合网络的锂电池缺陷分类方法，全局平均池化层的激活函数f(·)应用的是maxpooling函数：
Figure FDA0002476396960000031
5.根据权利要求1所述的一种基于多尺度卷积特征融合网络的锂电池缺陷分类方法，SoftMax分类器的激活函数f(·)应用的是sigmod函数：
Figure FDA0002476396960000032
CN202010364878.9A 2020-04-30 2020-04-30 一种基于多尺度卷积特征融合网络的锂电池缺陷分类方法 Active CN111553433B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010364878.9A CN111553433B (zh) 2020-04-30 2020-04-30 一种基于多尺度卷积特征融合网络的锂电池缺陷分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010364878.9A CN111553433B (zh) 2020-04-30 2020-04-30 一种基于多尺度卷积特征融合网络的锂电池缺陷分类方法

Publications (2)

Publication Number Publication Date
CN111553433A CN111553433A (zh) 2020-08-18
CN111553433B true CN111553433B (zh) 2023-04-18

Family

ID=72004313

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010364878.9A Active CN111553433B (zh) 2020-04-30 2020-04-30 一种基于多尺度卷积特征融合网络的锂电池缺陷分类方法

Country Status (1)

Country Link
CN (1) CN111553433B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184686B (zh) * 2020-10-10 2022-08-23 深圳大学 一种用于检测动力电池安全阀激光焊接缺陷的分割算法
CN113077444A (zh) * 2021-04-01 2021-07-06 复旦大学 一种基于cnn的超声无损检测图像缺陷分类方法
CN113344041B (zh) * 2021-05-20 2022-12-23 上海大学 一种基于多模型融合卷积神经网络的pcb缺陷图像识别方法
CN116051446A (zh) * 2021-10-26 2023-05-02 江苏时代新能源科技有限公司 一种极片打皱检测方法、系统、终端及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108108768A (zh) * 2017-12-29 2018-06-01 清华大学 基于卷积神经网络的光伏玻璃缺陷分类方法及装置
CN109376792A (zh) * 2018-11-07 2019-02-22 河北工业大学 基于多通道残差神经网络的光伏电池外观缺陷分类方法
WO2020047738A1 (zh) * 2018-09-04 2020-03-12 安徽中科智能感知大数据产业技术研究院有限责任公司 多尺度特征融合网络结合定位模型的害虫自动计数方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108108768A (zh) * 2017-12-29 2018-06-01 清华大学 基于卷积神经网络的光伏玻璃缺陷分类方法及装置
WO2020047738A1 (zh) * 2018-09-04 2020-03-12 安徽中科智能感知大数据产业技术研究院有限责任公司 多尺度特征融合网络结合定位模型的害虫自动计数方法
CN109376792A (zh) * 2018-11-07 2019-02-22 河北工业大学 基于多通道残差神经网络的光伏电池外观缺陷分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Haiyong Chen,et al.Robust Dislocation Defects Region Segmentation for Polysilicon Wafer Image With Random Texture Background.IEEE Access.2019,第7卷134318-134329. *
刘嘉政 ; 王雪峰 ; 王甜 ; .基于深度学习的5种树皮纹理图像识别研究.北京林业大学学报.2019,(04),全文. *

Also Published As

Publication number Publication date
CN111553433A (zh) 2020-08-18

Similar Documents

Publication Publication Date Title
CN111553433B (zh) 一种基于多尺度卷积特征融合网络的锂电池缺陷分类方法
CN109376792B (zh) 基于多通道残差神经网络的光伏电池外观缺陷分类方法
CN109190752B (zh) 基于深度学习的全局特征和局部特征的图像语义分割方法
He et al. A fully convolutional neural network for wood defect location and identification
CN115049936B (zh) 一种面向高分遥感影像的边界增强型语义分割方法
CN113643268B (zh) 基于深度学习的工业制品缺陷质检方法、装置及存储介质
CN110610475A (zh) 一种深度卷积神经网络的视觉缺陷检测方法
CN114627383B (zh) 一种基于度量学习的小样本缺陷检测方法
CN110751644B (zh) 道路表面裂纹检测方法
CN110991349B (zh) 一种基于度量学习的轻量级车辆属性识别方法
CN111161244B (zh) 基于FCN+FC-WXGBoost的工业产品表面缺陷检测方法
CN113780132A (zh) 一种基于卷积神经网络的车道线检测方法
CN114943832A (zh) 一种基于多路卷积特征融合网络与差温知识蒸馏的路面裂缝图像轻量化分割方法
CN114842264A (zh) 一种基于多尺度空谱特征联合学习的高光谱图像分类方法
CN116883393B (zh) 一种基于无锚框目标检测算法的金属表面缺陷检测方法
CN111932639B (zh) 一种基于卷积神经网络的不均衡缺陷样本的检测方法
CN113096085A (zh) 基于两阶段卷积神经网络的集装箱表面损伤检测方法
CN112085017A (zh) 基于显著性检测和Grabcut算法的茶叶嫩芽图像分割方法
CN116152498A (zh) 基于数据驱动的金属表面缺陷语义分割网络与训练方法
CN114897857A (zh) 基于轻量型神经网络的太阳能电池缺陷检测方法
CN111461006A (zh) 一种基于深度迁移学习的光学遥感图像杆塔位置检测方法
CN116503677B (zh) 一种湿地分类信息提取方法、系统、电子设备及存储介质
CN112614113A (zh) 一种基于深度学习的带钢缺陷检测方法
CN110796716A (zh) 一种基于多重残差网络和正则化迁移学习的图像着色方法
CN114092441A (zh) 一种基于双重神经网络的产品表面缺陷检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant