CN113516652A - 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备 - Google Patents

电池表面缺陷和粘合剂检测方法、装置、介质和电子设备 Download PDF

Info

Publication number
CN113516652A
CN113516652A CN202110873792.3A CN202110873792A CN113516652A CN 113516652 A CN113516652 A CN 113516652A CN 202110873792 A CN202110873792 A CN 202110873792A CN 113516652 A CN113516652 A CN 113516652A
Authority
CN
China
Prior art keywords
network
battery surface
image
surface defect
adhesive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110873792.3A
Other languages
English (en)
Inventor
吕杰
张晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Kangwei Vision Technology Co ltd
Original Assignee
Shenzhen Kangwei Vision Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Kangwei Vision Technology Co ltd filed Critical Shenzhen Kangwei Vision Technology Co ltd
Priority to CN202110873792.3A priority Critical patent/CN113516652A/zh
Publication of CN113516652A publication Critical patent/CN113516652A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种电池表面缺陷和粘合剂检测方法、装置、存储介质以及电子设备，该方法包括：获取待检测的电池表面图像，建立并训练深度学习网络，获得电池表面缺陷和粘合剂检测模型，所述电池表面缺陷和粘合剂检测模型包括分割网络和分类网络，所述分割网络包括卷积网络以及残差挤压和激励网络，将所述电池表面图像输入至所述卷积网络以及所述残差挤压和激励网络进行分割，得到电池表面缺陷图像和粘合剂图像，将所述电池表面缺陷图像和粘合剂图像输入至所述分类网络进行分类，得到电池表面缺陷和粘合剂检测得分，从而实现了提高电池表面缺陷检测精度、对电池表面缺陷和粘合剂位置进行定位。

Description

电池表面缺陷和粘合剂检测方法、装置、介质和电子设备
技术领域
本发明涉及工业缺陷检测技术领域，特别是涉及一种电池表面缺陷和粘合剂检测方法、装置、存储介质以及电子设备。
背景技术
自动工业检测是计算机视觉技术最重要的应用之一，这些检测系统中的大多数都集中在检测工业生产环境中的表面缺陷，例如划痕、空洞和变色。缺陷检测的传统方法是对图像进行预处理，然后人工提取特征，最后训练分类器对缺陷进行分类。其需要技术人员花费大量的时间利用图像算法提取特征，项目周期长，并且特征提取的好坏直接影响精度的高低，鲁棒性差，远远不能满足工业自动化生产对于缺陷检测的精度、速度和泛化能力的需求。
与传统方法相比，深度学习可以省略数据的预处理，直接从原始数据中学习抽象的、本质的特征，从而代替人工提取特征，近年来被广泛地应用于缺陷检测领域。电池表面的缺陷会导致电池内部的化学液体泄漏并导致可怕的事故，以及涂在电池表面用于后续密封的胶水粘合剂如果脱落，也会导致安全事故，因此对电池表面缺陷和粘合剂进行检测成为一项至关重要而且必要的任务。但是，电池表面的缺陷和粘合剂都是小规模的，并且随着高性能图像采集设备的普及，高质量图像获取的门槛得以降低，从而带来了高分辨率图像中检测小目标的问题，即缺陷只占整张高分辨率图片的一小部分，现有的深度学习模型很难自发地集中在这些零星分布的微小结构上，导致训练效果不佳，进而导致电池表面缺陷和粘合剂检测精度低，无法对电池表面缺陷和粘合剂的位置进行有效定位。
发明内容
基于此，本发明的目的在于，提供一种电池表面缺陷和粘合剂检测方法、装置、存储介质以及电子设备，其具有提高电池表面缺陷和粘合剂检测精度、对表面缺陷位置和粘合剂位置进行定位的优点。
根据本申请实施例的第一方面，提供一种电池表面缺陷和粘合剂检测方法，包括如下步骤：
获取待检测的电池表面图像；
建立并训练深度学习网络，获得电池表面缺陷和粘合剂检测模型；所述电池表面缺陷和粘合剂检测模型包括分割网络和分类网络；所述分割网络包括卷积网络以及残差挤压和激励网络；
将所述电池表面图像输入至所述卷积网络以及所述残差挤压和激励网络进行分割，得到电池表面缺陷图像和粘合剂图像；
将所述电池表面缺陷图像和粘合剂图像输入至所述分类网络进行分类，得到电池表面缺陷和粘合剂检测得分。
根据本申请实施例的第二方面，提供一种电池表面缺陷和粘合剂检测装置，包括：
获取模块，用于获取待检测的电池表面图像；
建立与训练模块，用于建立并训练深度学习网络，获得电池表面缺陷和粘合剂检测模型；所述电池表面缺陷和粘合剂检测模型包括分割网络和分类网络；所述分割网络包括卷积网络以及残差挤压和激励网络；
分割模块，用于将所述电池表面图像输入至所述卷积网络以及所述残差挤压和激励网络进行分割，得到电池表面缺陷图像和粘合剂图像；
分类模块，用于将所述电池表面缺陷图像和粘合剂图像输入至所述分类网络进行分类，得到电池表面缺陷和粘合剂检测得分。
根据本申请实施例的第三方面，提供一种电子设备，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如上述任意一项所述的电池表面缺陷和粘合剂检测方法。
根据本申请实施例的第四方面，提供一种计算机可读存储介质，其上储存有计算机程序，该计算机程序被处理器执行时实现如上述任意一项所述的电池表面缺陷和粘合剂检测方法。
本申请实施例通过获取待检测的电池表面图像，建立并训练深度学习网络，获得电池表面缺陷和粘合剂检测模型，所述电池表面缺陷和粘合剂检测模型包括分割网络和分类网络，所述分割网络包括卷积网络以及残差挤压和激励网络，将所述电池表面图像输入至所述卷积网络以及所述残差挤压和激励网络进行分割，得到电池表面缺陷图像和粘合剂图像，将所述电池表面缺陷图像和粘合剂图像输入至所述分类网络进行分类，得到电池表面缺陷和粘合剂检测得分。利用所述分割网络中的卷积网络提取图像不同层次的特征，利用所述残差挤压和激励网络自适应的注意力特性，减少了分割网络的参数量，同时增大了感受野，提高了网络捕获小目标的能力，从而实现了提高电池表面缺陷和粘合剂检测精度、对电池表面缺陷位置和粘合剂位置进行定位。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
图1为本发明电池表面缺陷和粘合剂检测方法的流程示意图；
图2为本发明电池表面缺陷和粘合剂检测方法中S30的流程示意图；
图3为本发明电池表面缺陷和粘合剂检测方法中S32的流程示意图；
图4为本发明电池表面缺陷和粘合剂检测方法中S40的流程示意图；
图5为本发明电池表面缺陷和粘合剂检测装置的结构框图；
图6为本发明电池表面缺陷和粘合剂检测装置分割模块56的结构框图；
图7为本发明电池表面缺陷和粘合剂检测装置第二输入单元562的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作进一步地详细描述。
应当明确，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在本申请实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请实施例。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。在本申请的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
请参阅图1，本发明实施例提供一种电池表面缺陷和粘合剂检测方法，包括如下步骤：
S10.获取待检测的电池表面图像。
在本申请实施例中，通过高分辨率相机采集待检测的电池表面图像。
S20.建立并训练深度学习网络，获得电池表面缺陷和粘合剂检测模型；所述电池表面缺陷和粘合剂检测模型包括分割网络和分类网络；所述分割网络包括卷积神经网络以及残差挤压和激励网络。
本申请实施例的卷积神经网络(Convolutional Neural Networks，简称CNN)是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。卷积神经网络建立在卷积运算的基础上，通过融合局部感受野内的空间信息和通道信息来提取信息特征。
本申请实施例的残差挤压和激励网络(Residual Squeeze-and-Excitation，简称ResSE)是残差网络、挤压和激励网络两种网络结构的组合，其中，残差网络是一种卷积神经网络，其具有容易优化，并且能够通过增加相当的深度来提高准确率，其内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题。挤压和激励网络通过显式地建模通道之间的相互依赖关系，自适应地重新校准通道式的特征响应，可以学习使用全局信息来选择性地强调信息性特征，并抑制不太有用的特征。
表面异常在图像中占据很小的局部区域，因此需要深度学习网络保留详细信息，将异常与周围背景区分开来。同时，在真实的工业生产环境中收集异常图像的成本非常高，深度学习网络需要很好地适应最少量的训练样本。为此，本申请构建了电池表面缺陷和粘合剂检测模型。
具体的，在本申请实施例中，建立并训练深度学习网络，获得电池表面缺陷和粘合剂检测模型的过程如下：首先，构建数据集，由高分辨率相机采集工业电池表面的图像样本，所述图像样本的一个像素近似对应于边长为7μm的正方形。所述图像样本包括电池表面缺陷和粘合剂，所述电池表面缺陷以各种形式出现，如划痕、空洞和腐蚀留下的痕迹，所述粘合剂呈现出较为单一的图案，在图像样本中看起来像细条。对于每个图像样本，这些电池表面缺陷和粘合剂的定位粗略地用点或虚线标注，然后根据这些标注生成两个地面实况掩码，值对y∈{0，1}2表示每个图像样本中存在电池表面缺陷和粘合剂。最终获得的整个数据集由591个训练图像样本和323个测试图像样本组成，每个图像样本具有512×1224大小和RGB通道。然后构建分割网络，将训练集数据输入到分割网络，利用像素分割标签对分割网络进行训练，输出电池表面缺陷图像和粘合剂图像。最后构建分类网络，将电池表面缺陷图像和粘合剂图像输入到分类网络，先将训练好的分割网络的权重参数冻结，然后再根据已标注的标签训练分类网络，有缺陷的样本标签为1，无缺陷的样本标签为0。将测试集数据输入到训练好的分割网络和分类网络中，输出0～1之间的概率值，概率越大代表存在缺陷的可能性越高。选用0.9作为判定正负样本的阈值，大于等于0.9的为有缺陷的样本，小于0.9的为无缺陷的样本。
所述电池表面缺陷和粘合剂检测模型包括分割网络和分类网络，所述分割网络用于从训练样本图像背景中分割定位出缺陷和粘合剂，所述分类网络用于对电池表面缺陷和粘合剂进行分类，输出预测概率值。
S30.将所述电池表面图像输入至所述卷积网络以及所述残差挤压和激励网络进行分割，得到电池表面缺陷图像和粘合剂图像。
在本申请实施例中，通过将所述电池表面图像输入至所述卷积网络以及所述残差挤压和激励网络进行分割，提取不同层次的图像的特征，并利用嵌入在残差网络中的挤压和激励网络的自适应空间注意力特性，从而定位出所述电池表面图像的缺陷和粘合剂，得到电池表面缺陷图像和粘合剂图像。
S40.将所述电池表面缺陷图像和粘合剂图像输入至所述分类网络进行分类，得到电池表面缺陷和粘合剂检测。
在本申请实施例中，通过分类网络对所述电池表面缺陷图像和粘合剂图像进行概率预测，输出两个表面缺陷和粘合剂的分类分数。
应用本发明实施例，通过获取待检测的电池表面图像，建立并训练深度学习网络，获得电池表面缺陷和粘合剂检测模型，所述电池表面缺陷和粘合剂检测模型包括分割网络和分类网络，所述分割网络包括卷积网络以及残差挤压和激励网络，将所述电池表面图像输入至所述卷积网络以及所述残差挤压和激励网络进行分割，得到电池表面缺陷图像和粘合剂图像，将所述电池表面缺陷图像和粘合剂图像输入至所述分类网络进行分类，得到缺陷检测得分。利用所述分割网络中的卷积网络提取图像不同层次的特征，利用所述残差挤压和激励网络自适应的注意力特性，减少了分割网络的参数量，同时增大了感受野，提高了网络捕获小目标的能力，从而实现了提高电池表面缺陷和粘合剂检测精度、对电池表面缺陷位置和粘合剂位置进行定位。
在一个可选的实施例中，所述卷积网络包括第一卷积网络、第二卷积网络以及第三卷积网络，所述残差挤压和激励网络包括第一残差挤压和激励网络和第二残差挤压和激励网络。请参阅图2，所述步骤S30，包括S31～S35，具体如下：
S31.将所述电池表面图像输入至所述第一卷积网络进行特征提取，得到第一特征图；
S32.将所述第一特征图输入至所述第一残差挤压和激励网络进行全局平均池化、通道建模和融合处理，得到第二特征图；
S33.将所述第二特征图输入至所述第二卷积网络进行特征提取，得到第三特征图；
S34.将所述第三特征图输入至所述第二残差挤压和激励网络进行全局平均池化、通道建模和融合处理，得到第四特征图；
S35.将所述第四特征图输入至所述第三卷积网络，得到电池表面缺陷图像和粘合剂图像。
在本申请实施例中，通过第一卷积网络、第二卷积网络以及第三卷积网络对所述电池表面图像进行特征提取，得到特征图。通过所述第一残差挤压和激励网络和所述第二残差挤压和激励网络对所述特征图进行全局平均池化、通道建模和融合处理，实现空间信息的提取，从而达到高精度的定位缺陷和粘合剂位置。
在一个可选的实施例中，请参阅图3，所述步骤S32，包括S321～S323，具体如下：
S321.将所述第一特征图输入至所述第一残差挤压和激励网络进行全局平均池化，得到所述第一特征图的挤压信息；其中，所述全局平均池化公式为：
Figure BDA0003189660670000061
其中，
Figure BDA0003189660670000062
为输入的所述第一特征图，H、W和C分别代表所述第一特征图的高度、宽度和通道维度，Sc表示每个通道中所述第一特征图的挤压信息；
S322.将所述挤压信息进行通道建模，得到所述第一特征图的激励值；其中，所述通道建模公式为：
Ec＝Sigmoid(k2×ReLU(k1×S))
其中k1和k2是所述第一残差挤压和激励网络中两个全连接层的参数矩阵，ReLU和Sigmoid是激活函数，Ec是所述第一特征图的激励值；
S323.将所述激励值与所述第一特征图相乘，并与所述第一特征图相加融合，得到所述第二特征图；其中，所述融合公式为：
Figure BDA0003189660670000063
其中，
Figure BDA0003189660670000064
为输出的所述第二特征图。
在本申请实施例中，分割网络中采用了残差挤压和激励网络，可以有效地提高小目标的分割精度，也更容易捕获全局信息，并且有效地缓解小样本带来的过拟合问题。
在一个可选的实施例中，所述第三卷积网络包括依次连接的第一卷积层、第二卷积层和第三卷积层；所述分类网络包括卷积层、全局最大池化层和全局平均池化层、以及全连接层；
请参阅图4，所述步骤S40，包括S41～S45，具体如下：
S41.将所述第四特征图输入至所述第一卷积层和所述第二卷积层进行特征提取，得到第五特征图；
S42.将所述第五特征图输入至所述分类网络的卷积层进行特征提取，得到第六特征图；
S43.将所述第六特征图和所述电池表面缺陷图像和粘合剂图像输入至所述分类网路的全局最大池化层和全局平均池化层进行特征提取，得到最大池化结果和平均池化结果；
S44.将所述最大池化结果和所述平均池化结果拼接，并输入到所述分类网络的全连接层，得到输出结果；
S45.将所述输出结果经过sigmoid激活函数，得到电池表面缺陷和粘合剂检测得分。
在本申请实施例中，所述分类网络通过结合特征图和电池表面缺陷图像和粘合剂图像来预测最终的分类分数。具体地，所述分类网络的卷积层用于调整分割网络提取的特征图，同时减小所述电池表面缺陷模型大小，以避免在有限的训练样本下过度拟合。联合采用全局最大池化和平均全局池化从电池表面缺陷图像和粘合剂图像和特征图中提取分类所需的信息，使用这种组合预测分类分数。
在一个可选的实施例中，所述步骤S40之后，包括S402，具体如下：
S402.将所述电池表面缺陷图像和粘合剂图像输入至sigmoid激活函数，得到电池表面缺陷分割掩码和粘合剂分割掩码；所述电池表面缺陷分割掩码用于定位电池表面缺陷位置，所述粘合剂分割掩码用于定位粘合剂位置。
在本申请实施例中，通过sigmoid激活函数输出两个大小均为64×153的电池表面缺陷分割掩码和粘合剂分割掩码，从而定位电池表面缺陷位置和粘合剂位置。
在一个可选的实施例中，所述步骤S20包括S22，具体如下：
S22.采集所述电池表面图像样本，并通过数据增强扩充，得到扩充后的图像样本；其中，所述数据增强扩充包括：
对于每个所述电池表面图像样本，随机确定不小于预定义阈值Δ的作物比率δ；
将所述电池表面图像样本进行随机裁剪，得到图像块，所述图像块的大小为所述电池表面图像样本大小与所述作物比率δ的乘积；
调整所述图像块为统一的大小，输入至所述深度学习网络进行训练，获得电池表面缺陷和粘合剂检测模型。
在实际的工业生产场景中，相机到电池表面的距离可以是多种多样的，从而产生电池表面的多尺度视图。在本申请实施例中，给定相机从固定距离收集电池表面图像样本，对数据集的数据增强扩充，来模拟真实场景并在训练期间生成各种尺度的图像样本。
在一个可选的实施例中，所述电池表面缺陷和粘合剂检测模型包括二元交叉熵损失函数，所述二元交叉熵损失函数包括用于所述分割网络的第一二元交叉熵损失函数和用于所述分类网路的第二二元交叉熵损失函数。
所述第一二元交叉熵损失函数的公式为：
Figure BDA0003189660670000081
其中，B、H和W分别表示训练样本的批次大小、高度维度和宽度维度，b表示所述训练样本的批次索引，p表示所述训练样本的高度维度和宽度维度的乘积索引，c表示通道索引，K是分类的类别数，
Figure BDA0003189660670000082
表示所述分割网络给出的样本属于类别k的预测值，yb，p，c(k)表示所述分割网络的类别k的标签值；
所述第二二元交叉熵损失函数的公式为：
Figure BDA0003189660670000083
其中，b表示所述训练样本的批次索引，c表示通道索引，K是分类的类别数，
Figure BDA0003189660670000084
表示所述分类网络给出的样本属于类别k的预测值，yb，c(k)表示所述分类网络的类别k的标签值。
在本申请实施例中，在建立并训练深度学习网络，获得电池表面缺陷和粘合剂检测模型的过程中，使用二元交叉熵损失函数，将所述训练集输入至所述深度学习网络进行特征提取，获得特征图，并根据所述特征图以及所述二元交叉熵损失函数，计算所述交叉熵损失值，且所述交叉熵值大于预设阈值时，通过反向传播算法和梯度下降算法优化所述深度学习网络的网络参数，以根据设定的迭代次数重复计算所述交叉熵损失值，直至所述交叉熵损失值下降至预设阈值。
相应于上述方法实施例，请参阅图5，本发明实施例提供一种电池表面缺陷和粘合剂检测装置5，包括：
获取模块52，用于获取待检测的电池表面图像；
建立与训练模块54，用于建立并训练深度学习网络，获得电池表面缺陷和粘合剂检测模型；所述电池表面缺陷和粘合剂检测模型包括分割网络和分类网络；所述分割网络包括卷积网络以及残差挤压和激励网络；
分割模块56，用于将所述电池表面图像输入至所述卷积网络以及所述残差挤压和激励网络进行分割，得到电池表面缺陷图像和粘合剂图像；
分类模块58，用于将所述电池表面缺陷图像和粘合剂图像输入至所述分类网络进行分类，得到缺陷检测得分。
可选的，请参阅图6，所述分割模块56，包括：
第一输入单元561，用于将所述电池表面图像输入至所述第一卷积网络进行特征提取，得到第一特征图；
第二输入单元562，用于将所述第一特征图输入至所述第一残差挤压和激励网络进行全局平均池化、通道建模和融合处理，得到第二特征图；
第三输入单元563，用于将所述第二特征图输入至所述第二卷积网络进行特征提取，得到第三特征图；
第四输入单元564，用于将所述第三特征图输入至所述第二残差挤压和激励网络进行全局平均池化、通道建模和融合处理，得到第四特征图；
第五输入单元565，用于将所述第四特征图输入至所述第三卷积网络，得到电池表面缺陷图像和粘合剂图像。
可选的，请参阅图7，第二输入单元562，包括：
池化单元5622，用于将所述第一特征图输入至所述第一残差挤压和激励网络进行全局平均池化，得到所述第一特征图的挤压信息；
通道建模单元5624，用于将所述挤压信息进行通道建模，得到所述第一特征图的激励值；
融合单元5626，用于将所述激励值与所述第一特征图相乘，并与所述第一特征图相加融合，得到所述第二特征图。
应用本发明实施例，通过获取待检测的电池表面图像，建立并训练深度学习网络，获得电池表面缺陷和粘合剂检测模型，所述电池表面缺陷和粘合剂检测模型包括分割网络和分类网络，所述分割网络包括卷积网络以及残差挤压和激励网络，将所述电池表面图像输入至所述卷积网络以及所述残差挤压和激励网络进行分割，得到电池表面缺陷图像和粘合剂图像，将所述电池表面缺陷图像和粘合剂图像输入至所述分类网络进行分类，得到缺陷检测得分。利用所述分割网络中的卷积网络提取图像不同层次的特征，利用所述残差挤压和激励网络自适应的注意力特性，减少了分割网络的参数量，同时增大了感受野，提高了网络捕获小目标的能力，从而实现了提高电池表面缺陷和粘合剂检测精度、对电池表面缺陷位置和粘合剂位置进行定位。
本申请还提供一种电子设备，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述实施例的方法步骤。
本申请还提供一种计算机可读存储介质，其上储存有计算机程序，该计算机程序被处理器执行时实现上述实施例的方法步骤。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，则本发明也意图包含这些改动和变形。

Claims (10)

1.一种电池表面缺陷和粘合剂检测方法，其特征在于，包括：
获取待检测的电池表面图像；
建立并训练深度学习网络，获得电池表面缺陷和粘合剂检测模型；所述电池表面缺陷和粘合剂检测模型包括分割网络和分类网络；所述分割网络包括卷积网络以及残差挤压和激励网络；
将所述电池表面图像输入至所述卷积网络以及所述残差挤压和激励网络进行分割，得到电池表面缺陷图像和粘合剂图像；
将所述电池表面缺陷图像和粘合剂图像输入至所述分类网络进行分类，得到电池表面缺陷和粘合剂检测得分。
2.根据权利要求1所述的电池表面缺陷和粘合剂检测方法，其特征在于，
所述卷积网络包括第一卷积网络、第二卷积网络以及第三卷积网络；
所述残差挤压和激励网络包括第一残差挤压和激励网络和第二残差挤压和激励网络；
所述将所述电池表面图像输入至所述卷积网络以及残差挤压和激励网络进行分割，得到电池表面缺陷图像和粘合剂图像的步骤，包括：
将所述电池表面图像输入至所述第一卷积网络进行特征提取，得到第一特征图；
将所述第一特征图输入至所述第一残差挤压和激励网络进行全局平均池化、通道建模和融合处理，得到第二特征图；
将所述第二特征图输入至所述第二卷积网络进行特征提取，得到第三特征图；
将所述第三特征图输入至所述第二残差挤压和激励网络进行全局平均池化、通道建模和融合处理，得到第四特征图；
将所述第四特征图输入至所述第三卷积网络，得到电池表面缺陷图像和粘合剂图像。
3.根据权利要求2所述的电池表面缺陷和粘合剂检测方法，其特征在于，所述将所述第一特征图输入至所述第一残差挤压和激励网络进行全局平均池化、通道建模和融合处理，得到第二特征图的步骤包括：
将所述第一特征图输入至所述第一残差挤压和激励网络进行全局平均池化，得到所述第一特征图的挤压信息；其中，所述全局平均池化公式为：
Figure FDA0003189660660000011
其中，
Figure FDA0003189660660000021
为输入的所述第一特征图，H、W和C分别代表所述第一特征图的高度、宽度和通道维度，sc表示每个通道中所述第一特征图的挤压信息；
将所述挤压信息进行通道建模，得到所述第一特征图的激励值；其中，所述通道建模公式为：
Ec＝Sigmoid(k2×ReLU(k1×S))
其中k1和k2是所述第一残差挤压和激励网络中两个全连接层的参数矩阵，ReLU和Sigmoid是激活函数，Ec是所述第一特征图的激励值；
将所述激励值与所述第一特征图相乘，并与所述第一特征图相加融合，得到所述第二特征图；其中，所述融合公式为：
Figure FDA0003189660660000022
其中，
Figure FDA0003189660660000023
为输出的所述第二特征图。
4.根据权利要求2所述的电池表面缺陷和粘合剂检测方法，其特征在于，
所述第三卷积网络包括依次连接的第一卷积层、第二卷积层和第三卷积层；
所述分类网络包括卷积层、全局最大池化层和全局平均池化层、以及全连接层；
所述将所述电池表面缺陷图像和粘合剂图像输入至所述分类网络，得到电池表面缺陷和粘合剂检测得分的步骤，包括：
将所述第四特征图输入至所述第一卷积层和所述第二卷积层进行特征提取，得到第五特征图；
将所述第五特征图输入至所述分类网络的卷积层进行特征提取，得到第六特征图；
将所述第六特征图和所述电池表面缺陷图像和粘合剂图像输入至所述分类网路的全局最大池化层和全局平均池化层进行特征提取，得到最大池化结果和平均池化结果；
将所述最大池化结果和所述平均池化结果拼接，并输入到所述分类网络的全连接层，得到输出结果；
将所述输出结果经过sigmoid激活函数，得到电池表面缺陷和粘合剂检测得分。
5.根据权利要求1所述的电池表面缺陷和粘合剂检测方法，其特征在于，所述将所述电池表面图像输入至所述卷积网络以及所述残差挤压和激励网络进行分割，得到电池表面缺陷图像和粘合剂图像的步骤之后，还包括：
将所述电池表面缺陷图像和粘合剂图像输入至sigmoid激活函数，得到电池表面缺陷分割掩码和粘合剂分割掩码；所述电池表面缺陷分割掩码用于定位电池表面缺陷位置，所述粘合剂分割掩码用于定位粘合剂位置。
6.根据权利要求1所述的电池表面缺陷和粘合剂检测方法，其特征在于，所述建立并训练深度学习网络，获得电池表面缺陷和粘合剂检测模型步骤，包括：
采集所述电池表面图像样本，并通过数据增强扩充，得到扩充后的图像样本；其中，所述数据增强扩充包括：
对于每个所述电池表面图像样本，随机确定不小于预定义阈值Δ的作物比率δ；
将所述电池表面图像样本进行随机裁剪，得到图像块，所述图像块的大小为所述电池表面图像样本大小与所述作物比率δ的乘积；
调整所述图像块为统一的大小，输入至所述深度学习网络进行训练，获得电池表面缺陷和粘合剂检测模型。
7.根据权利要求1所述的电池表面缺陷和粘合剂检测方法，其特征在于，所述电池表面缺陷和粘合剂检测模型包括二元交叉熵损失函数，所述二元交叉熵损失函数包括用于所述分割网络的第一二元交叉熵损失函数和用于所述分类网路的第二二元交叉熵损失函数；
所述第一二元交叉熵损失函数的公式为：
Figure FDA0003189660660000031
其中，B、H和W分别表示训练样本的批次大小、高度维度和宽度维度，b表示所述训练样本的批次索引，p表示所述训练样本的高度维度和宽度维度的乘积索引，c表示通道索引，K是分类的类别数，
Figure FDA0003189660660000032
表示所述分割网络给出的样本属于类别k的预测值，yb，p，c(k)表示所述分割网络的类别k的标签值；
所述第二二元交叉熵损失函数的公式为：
Figure FDA0003189660660000033
其中，b表示所述训练样本的批次索引，c表示通道索引，K是分类的类别数，
Figure FDA0003189660660000034
表示所述分类网络给出的样本属于类别k的预测值，yb，c(k)表示所述分类网络的类别k的标签值。
8.一种电池表面缺陷和粘合剂检测装置，其特征在于，包括：
获取模块，用于获取待检测的电池表面图像；
建立与训练模块，用于建立并训练深度学习网络，获得电池表面缺陷和粘合剂检测模型；所述电池表面缺陷和粘合剂检测模型包括分割网络和分类网络；所述分割网络包括卷积网络以及残差挤压和激励网络；
分割模块，用于将所述电池表面图像输入至所述卷积网络以及所述残差挤压和激励网络进行分割，得到电池表面缺陷图像和粘合剂图像；
分类模块，用于将所述电池表面缺陷图像和粘合剂图像输入至所述分类网络进行分类，得到电池表面缺陷和粘合剂检测得分。
9.一种电子设备，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1至7中任意一项所述的电池表面缺陷和粘合剂检测方法。
10.一种计算机可读存储介质，其上储存有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的电池表面缺陷和粘合剂检测方法。
CN202110873792.3A 2021-07-30 2021-07-30 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备 Pending CN113516652A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110873792.3A CN113516652A (zh) 2021-07-30 2021-07-30 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110873792.3A CN113516652A (zh) 2021-07-30 2021-07-30 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备

Publications (1)

Publication Number Publication Date
CN113516652A true CN113516652A (zh) 2021-10-19

Family

ID=78068838

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110873792.3A Pending CN113516652A (zh) 2021-07-30 2021-07-30 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备

Country Status (1)

Country Link
CN (1) CN113516652A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116542980A (zh) * 2023-07-06 2023-08-04 宁德时代新能源科技股份有限公司 缺陷检测方法、装置、计算机设备、存储介质和程序产品
CN117433586A (zh) * 2023-11-30 2024-01-23 思睿观通科技(江苏)有限公司 一种动力电池绝缘组件的质量监测系统和方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101662037A (zh) * 2008-08-06 2010-03-03 株式会社Lg化学 电池组制造方法以及用于其的制造过程监测系统
CN112184686A (zh) * 2020-10-10 2021-01-05 深圳大学 一种用于检测动力电池安全阀激光焊接缺陷的分割算法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101662037A (zh) * 2008-08-06 2010-03-03 株式会社Lg化学 电池组制造方法以及用于其的制造过程监测系统
CN112184686A (zh) * 2020-10-10 2021-01-05 深圳大学 一种用于检测动力电池安全阀激光焊接缺陷的分割算法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Z. SONG 等: "Residual Squeeze-and-Excitation Network for Battery Cell Surface Inspection", 《2019 16TH INTERNATIONAL CONFERENCE ON MACHINE VISION APPLICATIONS (MVA)》 *
李佳昇: "基于深度学习的肝脏及肝脏肿瘤分割和检测的研究", 《中国优秀硕士学位论文全文数据库(医药卫生科技辑)》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116542980A (zh) * 2023-07-06 2023-08-04 宁德时代新能源科技股份有限公司 缺陷检测方法、装置、计算机设备、存储介质和程序产品
CN116542980B (zh) * 2023-07-06 2023-11-03 宁德时代新能源科技股份有限公司 缺陷检测方法、装置、计算机设备、存储介质和程序产品
CN117433586A (zh) * 2023-11-30 2024-01-23 思睿观通科技(江苏)有限公司 一种动力电池绝缘组件的质量监测系统和方法

Similar Documents

Publication Publication Date Title
KR102166458B1 (ko) 인공신경망 기반의 영상 분할을 이용한 불량 검출 방법 및 불량 검출 장치
CN111257341B (zh) 基于多尺度特征与堆叠式全卷积网络的水下建筑物裂缝检测方法
CN109671071B (zh) 一种基于深度学习的地下管道缺陷定位及等级判定方法
CN114663346A (zh) 一种基于改进YOLOv5网络的带钢表面缺陷检测方法
CN111507998B (zh) 基于深度级联的多尺度激励机制隧道表面缺陷分割方法
CN114627383B (zh) 一种基于度量学习的小样本缺陷检测方法
CN110826588A (zh) 一种基于注意力机制的排水管道缺陷检测方法
CN113592828B (zh) 基于工业内窥镜的无损检测方法及系统
CN113516652A (zh) 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备
US20230222643A1 (en) Semantic deep learning and rule optimization for surface corrosion detection and evaluation
CN110909657A (zh) 一种隧道表观病害图像识别的方法
CN111815576B (zh) 金属部件腐蚀状况检测方法、装置、设备和存储介质
CN114494780A (zh) 基于特征对比的半监督工业缺陷检测方法及系统
CN115170529A (zh) 基于注意力机制的多尺度微小瑕疵检测方法
CN114972316A (zh) 基于改进YOLOv5的电池壳端面缺陷实时检测方法
CN115995056A (zh) 一种基于深度学习的桥梁病害自动识别方法
CN114972759A (zh) 基于分级轮廓代价函数的遥感图像语义分割方法
CN116071294A (zh) 一种光纤表面缺陷检测方法和装置
Gwon et al. CNN-based image quality classification considering quality degradation in bridge inspection using an unmanned aerial vehicle
CN116342536A (zh) 基于轻量化模型的铝带材表面缺陷检测方法、系统及设备
CN110751170A (zh) 面板质量检测方法、系统、终端设备及计算机可读介质
CN110852318A (zh) 一种排水管道缺陷精准定位方法及系统
CN111160100A (zh) 一种基于样本生成的轻量级深度模型航拍车辆检测方法
Shit et al. An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection
CN113888477A (zh) 网络模型的训练方法、金属表面缺陷检测方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination