CN112184686B - 一种用于检测动力电池安全阀激光焊接缺陷的分割算法 - Google Patents

一种用于检测动力电池安全阀激光焊接缺陷的分割算法 Download PDF

Info

Publication number
CN112184686B
CN112184686B CN202011077305.4A CN202011077305A CN112184686B CN 112184686 B CN112184686 B CN 112184686B CN 202011077305 A CN202011077305 A CN 202011077305A CN 112184686 B CN112184686 B CN 112184686B
Authority
CN
China
Prior art keywords
convolution
features
safety valve
scale
laser welding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011077305.4A
Other languages
English (en)
Other versions
CN112184686A (zh
Inventor
杨亚涛
朱义双
杨顺情
陶凯
马君显
张力
杨润泽
陈勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dade Laser Technology Co ltd
Shenzhen University
Original Assignee
Shenzhen Dade Laser Technology Co ltd
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dade Laser Technology Co ltd, Shenzhen University filed Critical Shenzhen Dade Laser Technology Co ltd
Priority to CN202011077305.4A priority Critical patent/CN112184686B/zh
Publication of CN112184686A publication Critical patent/CN112184686A/zh
Application granted granted Critical
Publication of CN112184686B publication Critical patent/CN112184686B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E60/00—Enabling technologies; Technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y02E60/10—Energy storage using batteries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Laser Beam Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明涉及数字图像处理和识别技术领域，具体为一种用于检测动力电池安全阀激光焊接缺陷的分割算法，包括如下步骤：通过AOI系统获取动力电池安全阀焊接缺陷数据集；通过注意力机制和多尺度对网络结构进行优化，获得多尺度注意力网络；以改进的Res2Net作为下采样过程中特征提取子模块，利用不同扩充率的空洞卷积来获得不同的感受野；通过定位模块与边缘抗锯齿模块，获取模型的分割结果；将训练好的模型进行保存参数，实时的对输入的焊接样本进行检测，预测样本是否含有缺陷。本发明以改进的Res2Net作为特征提取子模块，无需人工提取特征，训练和检测速度更快，准确率更高，并且模型参数以及计算复杂度更小。

Description

一种用于检测动力电池安全阀激光焊接缺陷的分割算法
技术领域
本发明涉及一种分割算法，特别是涉及一种用于检测动力电池安全阀激光焊接缺陷的分割算法，属于数字图像处理和识别技术领域。
背景技术
近年来，随着国家对环保问题越来越重视以及国家政策的大力支持，新能源汽车动力电池技术不断革新，新能源汽车相关行业得到了快速的发展，动力电池作为新能源汽车最重要的核心部件之一，它的产品质量直接关乎到用户的生命安全以及汽车的使用寿命，动力电池的安全问题尤其需要关注，为了避免动力电池在使用过程中存在爆炸的隐患，通常在电池盖板上固定一个安全通风孔，当动力电池内部压力超过阈值时，安全阀将破裂释放压力，使电池避免发生意外，因此安全阀的焊接就显得格外重要，它直接影响到产品的质量和使用安全，由于激光焊接具备快速、精确、焊缝细腻等特点，故当前安全阀的焊接主要采用激光焊接，实际生产中，动力电池的安全阀与其电池盖板的激光焊接主要在自动生产线上完成。
动力电池作为新能源汽车最重要的核心部件之一，它的产品质量直接关乎到用户的生命安全以及汽车的使用寿命，为了避免动力电池在使用过程中存在爆炸的隐患，通常在电池盖板上固定一个安全阀，当动力电池内部压力超过阈值时，安全阀将破裂释放压力，使电池避免发生意外，因此安全阀的焊接就显得格外重要，由于激光焊接具备快速、精确、焊缝细腻等特点，故当前安全阀的焊接主要采用激光焊接，但由于设备或人为的因素，焊接后的安全阀表面不可避免地产生一些裂缝、塌陷、孔洞、焊接不完整等外观缺陷，这些缺陷不仅影响美观，还可能在电池使用过程中发生隐患，因此，有一个好的缺陷检测算法至关重要，传统的人工检测受主观判断和经验的影响，检测的准确性和可靠性得不到保障，而基于深度学习的检测方法具有高效率和稳定的特点，可以得到更加广泛的市场应用。
在传统图像处理中，产品缺陷的多样性、复杂的背景等因素使得缺陷目标难以识别，识别率低，需要大量的试验和有经验的工程师进行特征选择，而当前基于深度学习的缺陷检测算法，通过设计复杂的网络结构以实现表面缺陷检测，这可能导致模型大小和计算复杂性的显着增加，和实际应用要求的轻量型，效率高有较大差距，而且好的深度学习算法，除了跟模型结构有关，如果没有足够多的缺陷样本来学习训练，也很难得到优秀的深度学习检测模型。
发明内容
本发明的目的是提供一种用于检测动力电池安全阀激光焊接缺陷的分割算法，本发明以改进的Res2Net作为特征提取子模块，并在特征交互过程中使用了注意力模块，提出定位模块与抗锯齿模块，得到基于多尺度的注意力语义分割算法用于动力电池安全阀的缺陷检测，无需人工提取特征，训练和检测速度更快，准确率更高，并且模型参数以及计算复杂度更小。
为了达到上述目的，本发明采用的主要技术方案包括：一种用于检测动力电池安全阀激光焊接缺陷的分割算法，包括如下步骤：
S1：通过AOI系统获取动力电池安全阀焊接缺陷数据集；
S2：通过注意力机制和多尺度对网络结构进行优化，获得多尺度注意力网络；
S3：以改进的Res2Net作为下采样过程中特征提取子模块，利用不同扩充率的空洞卷积来获得不同的感受野；
S4：通过定位模块与边缘抗锯齿模块，获取模型的分割结果；
S5：将训练好的模型进行保存参数，实时的对输入的焊接样本进行检测，预测样本是否含有缺陷。
优选的，在S1中，在激光焊接AOI系统中，通过数码相机和LED光源获取焊接区域图像，然后经过AOI系统处理获取动力电池安全阀焊接缺陷数据集，并将将数据集随机按8：1：1比例或者7：2：1比例分为训练样本、验证样本和测试样本。
优选的，在S2中，通过注意力机制和多尺度对网络结构进行优化，获得多尺度注意力网络，多尺度注意力网络使得下采样阶段能够提取不同尺度的特征，多尺度注意力网络输入特征x在经过1*1卷积后，将输出4组特征子集xi，xi具有相同的空间大小并且通道数为原始特征的1/4，除了x1不经过卷积操作以保持输入特征感受野尺度，其他各组特征都需要经过相应的3*3卷积，使用3个不同膨胀率的3*3空洞卷积对上一步输出的特征并行进行卷积，扩充率参数为1，2，4，其后都接上1*1卷积保持通道一致，最后各组特征在通道维度进行拼接融合并通过Gelu函数和1*1卷积得到具有不同尺度感受野的模型输出特征。
优选的，多尺度注意力网络在特征信息进行组间交互的过程中引入了注意力机制，注意力机制借助全局平均池化捕获全局语境，计算注意力向量，优化上一阶段的输出特征，并且使用了高性能的神经网络激活函数Gelu。
优选的，神经网络激活函数Gelu的公式为Gelu(x)＝xP(X≤x)＝xφ(x)；
x为输入，P(X<＝x)根据当前input大于其余inputs的概率进行随机正则化，决定x中有多少信息保留。
优选的，在S3中，多尺度注意力网络用改进的Res2Net替代普通的卷积结构，在采样过程中，使用转置卷积来代替普通卷积层，反卷积模块在对称的层级中使用跳跃连接，使得最终的输出特征图融合更多的低级别特征，对不同尺度的特征进行融合。
优选的，在S4中，W*H*C为图像的宽度长度以及深度，Conv为下采样过程中的卷积操作，K为卷积核的大小，Cls为分类种数，采样得到的特征通过定位模块，安全阀焊接缺陷是边缘丰富的图像，通过全卷积保持定位，使用对称的独立卷积核组成大卷积核获取更大的感知区域，提取全局特征。
优选的，在S4中，BN为批量初始化，Relu为一个卷积过程中常用的激活函数，基于残差结构采用边缘抗锯齿模块，获取更加精细的模型分割结果。
优选的，数码相机为CMOS数码相机，LED光源为亮度为0-255级的白色环形LED光源。
本发明至少具备以下有益效果：
1、本发明以改进的Res2Net作为特征提取子模块，并在特征交互过程中使用了注意力模块，提出定位模块与抗锯齿模块，得到基于多尺度的注意力语义分割算法用于动力电池安全阀的缺陷检测，无须人工提取特征，训练和检测速度更快，准确率更高，并且模型参数以及计算复杂度更小。
2、本发明不仅可以检测出输入图像中的内容，还能够提供缺陷位置，并且模型在准确性和速度之间达到了平衡，能够做到实时精确检测。
3、本发明提出了一种基于多尺度的注意力机制网络，不仅可以提升特征对尺度变化的鲁棒性，还能通过掩模抑制特征图中存在的噪声与冗余，并提出定位模块与抗锯齿模块，使得模型得到更加精细的分割结果。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明的流程原理图；
图2为本发明的网络结构原理图；
图3为本发明的定位模块原理图；
图4为本发明的边缘抗锯齿模块原理图；
图5为本发明的多尺度注意力网络结构原理图；
图6为本发明的注意力机制原理图。
具体实施方式
以下将配合附图及实施例来详细说明本申请的实施方式，借此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。
如图1-图6所示，本实施例提供的用于检测动力电池安全阀激光焊接缺陷的分割算法，包括如下步骤：
S1：通过AOI系统获取动力电池安全阀焊接缺陷数据集；
S2：通过注意力机制和多尺度对网络结构进行优化，获得多尺度注意力网络；
S3：以改进的Res2Net作为下采样过程中特征提取子模块，利用不同扩充率的空洞卷积来获得不同的感受野；
S4：通过定位模块与边缘抗锯齿模块，获取模型的分割结果；
S5：将训练好的模型进行保存参数，实时的对输入的焊接样本进行检测，预测样本是否含有缺陷。
本发明以改进的Res2Net作为特征提取子模块，并在特征交互过程中使用了注意力模块，提出定位模块与抗锯齿模块，得到基于多尺度的注意力语义分割算法用于动力电池安全阀的缺陷检测，无须人工提取特征，训练和检测速度更快，准确率更高，并且模型参数以及计算复杂度更小。
在本实施例中，如图2所示，在S1中，在激光焊接AOI系统中，通过数码相机和LED光源获取焊接区域图像，然后经过AOI系统处理获取动力电池安全阀焊接缺陷数据集，并将将数据集随机按8：1：1比例或者7：2：1比例分为训练样本、验证样本和测试样本；
AOI系统大多采用CCD相机，而CCD相机的价格比CMOS相机贵，但目前CMOS相机在工业检测中应用广泛，具有相当好的图像质量，本发明中使用的CMOS数码相机具有500万像素，它对焊接区域的分辨率很好，因此，焊接区域的三维形状信息可以通过二维灰色图像清晰描述，将白色环形光源设置为以约90度的角度照射在物体上，使图像中的焊接部位更加清晰，工作时，白色LED光束应用在电池表面，然后反射到摄像头中，利用白色环形光源代替3个不同颜色的LED灯，提出的算法降低了对照明条件的要求，因此，在工业环境中使用方便，可以减少对LED灯的依赖；
我们获取的缺陷原图分辨率为1800*1200，需对原图进行了预处理，对原始数据进行归一化操作，使用letterbox变换将输入图像的大小规格化为416×416，输入太小会掩盖图像中细微的缺陷，在整张图像中占比很小，输入太大会增加模型的参数量并延长训练和测试时间，然后对每张图像，利用LabelMe标注工具提供一个像素级的标注掩码，在后续的训练阶段，我们还使用了数据增强策略，它可以增加许多复杂的背景干扰信息，提高检测模型的抗干扰能力，并使应用场景更加实用；
构建安全阀焊接缺陷数据集，将收集到的阀焊接缺陷图像进行相关的预处理和标定，还采用了一种结合高斯噪声、Gamma变换和空间几何变换等的数据增强策略，避免了因数据集太小而发生过拟合的现象；
将数据集分成三个部分，训练集中有80％的图像，验证集中有15％的图像，测试集有5％的图像，下表为数据集的比例分布；
Dataset SD BD MW MD Total
Train 1373 1394 1364 1680 5811
Valid 257 261 256 315 1089
test 86 87 85 105 363
在本实施例中，如图5所示，在S2中，通过注意力机制和多尺度对网络结构进行优化，获得多尺度注意力网络，多尺度注意力网络使得下采样阶段能够提取不同尺度的特征，DW3*3为深度可分离卷积，3*3为卷积核大小，这是一个深度学习的卷积操作，多尺度注意力网络输入特征x在经过1*1卷积后，将输出4组特征子集xi，xi具有相同的空间大小并且通道数为原始特征的1/4，除了x1不经过卷积操作以保持输入特征感受野尺度，其他各组特征都需要经过相应的3*3卷积，使用3个不同膨胀率的3*3空洞卷积对上一步输出的特征并行进行卷积，扩充率参数为1，2，4，其后都接上1*1卷积保持通道一致，最后各组特征在通道维度进行拼接融合并通过Gelu函数和1*1卷积得到具有不同尺度感受野的模型输出特征。
在本实施例中，如图5所示，多尺度注意力网络在特征信息进行组间交互的过程中引入了注意力机制，注意力机制借助全局平均池化捕获全局语境，计算注意力向量，优化上一阶段的输出特征，并且使用了高性能的神经网络激活函数Gelu，神经网络激活函数Gelu的公式为Gelu(x)＝xP(X≤x)＝xφ(x)；
x为输入，P(X<＝x)根据当前input大于其余inputs的概率进行随机正则化，决定x中有多少信息保留，P是服从高斯分布的，不仅满足了非线性的特征，并且更加符合数据的分布预期，通过Sigmoid将特征图转换为值域为(0，1)的掩模，这就是我们需要的注意力系数，上一组特征经过卷积操作输出的特征，通过注意力模型转换成掩模用于抑制下一组特征子集的噪声与冗余，使得处理后的特征x3有更强特征表达能力，减轻后续卷积层的特征学习难度。
在本实施例中，如图2所示，在S3中，当前卷积层获得不同尺度特征主要有两种方法，一种是使用不同尺度的卷积核，另一种是将特征沿通道维度分组，并进行组间交互输出特征，获取不同尺度感受野，由于第一种方法需要使用尺度更大的卷积核，模型参数量会额外增加很多，所以与U-net用普通的卷积结构来提取特征不同，多尺度注意力网络用改进的Res2Net替代普通的卷积结构，在采样过程中，使用转置卷积来代替普通卷积层，反卷积模块在对称的层级中使用跳跃连接，使得最终的输出特征图融合更多的低级别特征，对不同尺度的特征进行融合，基于多尺度网络对安全阀焊接缺陷进行分割，在下采样部分使用空洞卷积，提出融合多感受野的分割模型，为了有效缓解梯度消失现象，网络以改进的Res2Net作为特征提取子模块，同时使得模型参数大小以及计算复杂度大大减少，实验验证了本文所提出方法的有效性，该方法能够实现对不同大小的目标进行精确分割；
利用注意力机制或多尺度对CNN网络结构进行优化是提升网络特征表达能力的两种重要手段，当前基于注意力机制的网络大多是单尺度的，比如SE模型只对特征通道维度进行处理，生成的掩模对特征中的多尺度信息无法有效关注，而普通的多尺度网络虽然可以获取多尺度特征，但特征中存在的冗余与噪声会影响网络的性能，针对以上问题，本发明将U-net作为基础网络框架来对模型进行改进，提出了基于多尺度的注意力网络缺陷检测模型，首先该网络通过结合特征通道分组与组间信息交互获取多尺度能力，通过在组间信息交互过程中加入注意力机制获取多尺度注意能力，来自上一组的特征通过注意力机制转换为掩模与下一组特征融合并减少其存在的噪声与冗余，多尺度注意力网络基于不同感受野特征生成掩模，对多尺度信息的处理能力更强，能提升模型输出特征的表达能力，当前卷积层获得不同尺度特征主要有两种方法，一种是使用不同尺度的卷积核，另一种是将特征沿通道维度分组，并进行组间交互输出特征，获取不同尺度感受野，由于第一种方法需要使用尺度更大的卷积核，模型参数量会额外增加很多，与U-net用普通的卷积结构来提取特征不同，在采样过程中，使用转置卷积来代替普通卷积层，反卷积在对称的层级中使用跳跃连接，多次采样方式，让最终的输出特征图融合了更多的低级别特征，也让不同尺度的特征得到了融合，使恢复出来的边缘部分更加精细，从而可以进行多尺度预测与深度监督。
在本实施例中，如图3所示，在S4中，W*H*C为图像的宽度长度以及深度，Conv为下采样过程中的卷积操作，K为卷积核的大小，Cls为分类种数，下采样得到的特征通过定位模块，由于安全阀焊接缺陷是边缘丰富的图像，为了保留更多空间位置信息，没有使用全连接层和池化结构，而是使用全卷积保持定位，如图2两个并列的Conv过程，由于网络浅层感受野较小，用对称的独立卷积核组成大卷积核，因为大的卷积核能够获得更大的感知区域，最后将两组结果相加，更有利于全局特征的提取，并且减少了大量的参数。
在本实施例中，如图4所示，在S4中，BN为批量初始化，Relu为一个卷积过程中常用的激活函数，这是图像预处理的一个步骤，基于经典的残差结构设计的边缘抗锯齿模块，一方面保持原图特征，另一方面通过两组3*3的卷积操作以及通过批量初始化和激活函数，得到更加细致的结果，最后将两个结果相加，使得模型的分割结果更加精细。
在本实施例中，如图2所示，数码相机为CMOS数码相机，LED光源为亮度为0-255级的白色环形LED光源，在激光焊接AOI系统中，采用CMOS数码相机和白色环形LED光源获得焊接区域图像，CMOS数码相机具有500万像素，它对焊接区域的分辨率很好，使图像中的焊接部位更加清晰，图像质量更好。
如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语，故应解释成“包含但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决技术问题，基本达到技术效果。
需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的商品或者系统中还存在另外的相同要素。
上述说明示出并描述了本发明的若干优选实施例，但如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (6)

1.一种用于检测动力电池安全阀激光焊接缺陷的分割算法，其特征在于，包括如下步骤：
S1：通过AOI系统获取动力电池安全阀焊接缺陷数据集；
S2：通过注意力机制和多尺度对网络结构中的CNN网络结构进行优化，获得多尺度注意力网络；
S3：以改进的Res2Net作为下采样过程中特征提取子模块，利用不同扩充率的空洞卷积来获得不同的感受野；
S4：通过定位模块与边缘抗锯齿模块，获取模型的分割结果；
S5：将训练好的模型进行保存参数，实时的对输入的焊接样本进行检测，预测样本是否含有缺陷；
在S3中，多尺度注意力网络用改进的Res2Net替代普通的卷积结构，在采样过程中，使用转置卷积来代替普通卷积层，反卷积模块在对称的层级中使用跳跃连接，使得最终的输出特征图融合更多的低级别特征，对不同尺度的特征进行融合；
在S4中，采样得到的特征通过定位模块，安全阀焊接缺陷是边缘丰富的图像，通过全卷积保持定位，使用对称的独立卷积核组成大卷积核获取更大的感知区域，将两组结果相加，提取全局特征；
在S4中，基于残差结构采用边缘抗锯齿模块，一方面保持原图特征，另一方面通过两组3*3的卷积操作以及通过批量初始化和激活函数，得到更加细致的结果，最后将两个结果相加，获取更加精细的模型分割结果。
2.根据权利要求1所述的一种用于检测动力电池安全阀激光焊接缺陷的分割算法，其特征在于：在S1中，在激光焊接AOI系统中，通过数码相机和LED光源获取焊接区域图像，然后经过AOI系统处理获取动力电池安全阀焊接缺陷数据集，并将数据集随机按8：1：1比例或者7：2：1比例分为训练样本、验证样本和测试样本。
3.根据权利要求1所述的一种用于检测动力电池安全阀激光焊接缺陷的分割算法，其特征在于：在S2中，通过注意力机制和多尺度对网络结构进行优化，获得多尺度注意力网络，多尺度注意力网络使得下采样阶段能够提取不同尺度的特征，多尺度注意力网络输入特征x在经过1*1卷积后，将输出4组特征子集xi，xi具有相同的空间大小并且通道数为原始特征的1/4，除了x1不经过卷积操作以保持输入特征感受野尺度，其他各组特征都需要经过相应的3*3卷积，使用3个不同膨胀率的3*3空洞卷积对上一步输出的特征并行进行卷积，扩充率参数为1，2，4，其后都接上1*1卷积保持通道一致，最后各组特征在通道维度进行拼接融合并通过Gelu函数和1*1卷积得到具有不同尺度感受野的模型输出特征。
4.根据权利要求3所述的一种用于检测动力电池安全阀激光焊接缺陷的分割算法，其特征在于：多尺度注意力网络在特征信息进行组间交互的过程中引入了注意力机制，注意力机制借助全局平均池化捕获全局语境，计算注意力向量，优化上一阶段的输出特征，并且使用了高性能的神经网络激活函数Gelu。
5.根据权利要求4所述的一种用于检测动力电池安全阀激光焊接缺陷的分割算法，其特征在于：神经网络激活函数Gelu的公式为
Figure 975750DEST_PATH_IMAGE001
；
x为输入，P(X<=x)根据当前input大于其余inputs的概率进行随机正则化，决定x中有多少信息保留。
6.根据权利要求2所述的一种用于检测动力电池安全阀激光焊接缺陷的分割算法，其特征在于：数码相机为CMOS数码相机，LED光源为亮度为0-255级的白色环形LED光源。
CN202011077305.4A 2020-10-10 2020-10-10 一种用于检测动力电池安全阀激光焊接缺陷的分割算法 Active CN112184686B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011077305.4A CN112184686B (zh) 2020-10-10 2020-10-10 一种用于检测动力电池安全阀激光焊接缺陷的分割算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011077305.4A CN112184686B (zh) 2020-10-10 2020-10-10 一种用于检测动力电池安全阀激光焊接缺陷的分割算法

Publications (2)

Publication Number Publication Date
CN112184686A CN112184686A (zh) 2021-01-05
CN112184686B true CN112184686B (zh) 2022-08-23

Family

ID=73948063

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011077305.4A Active CN112184686B (zh) 2020-10-10 2020-10-10 一种用于检测动力电池安全阀激光焊接缺陷的分割算法

Country Status (1)

Country Link
CN (1) CN112184686B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113537375B (zh) * 2021-07-26 2022-04-05 深圳大学 一种基于多尺度级联的糖尿病视网膜病变分级方法
CN113516652A (zh) * 2021-07-30 2021-10-19 深圳康微视觉技术有限公司 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备
CN113496228B (zh) * 2021-07-30 2024-03-26 大连海事大学 一种基于Res2Net、TransUNet和协同注意力的人体语义分割方法
CN113592814B (zh) * 2021-07-30 2023-04-07 深圳大学 新能源动力电池安全防爆阀激光焊接表面缺陷检测方法
CN115310486B (zh) * 2022-08-09 2023-09-26 重庆大学 焊接质量智能检测方法
WO2024040588A1 (zh) 2022-08-26 2024-02-29 宁德时代新能源科技股份有限公司 检测图像中的目标点的方法、装置和计算机存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934241A (zh) * 2019-03-28 2019-06-25 南开大学 可集成到神经网络架构中的图像多尺度信息提取方法及应用
US10346693B1 (en) * 2019-01-22 2019-07-09 StradVision, Inc. Method and device for attention-based lane detection without post-processing by using lane mask and testing method and testing device using the same
CN110232394A (zh) * 2018-03-06 2019-09-13 华南理工大学 一种多尺度图像语义分割方法
CN111127493A (zh) * 2019-11-12 2020-05-08 中国矿业大学 基于注意力多尺度特征融合的遥感图像语义分割方法
CN111523546A (zh) * 2020-04-16 2020-08-11 湖南大学 图像语义分割方法、系统及计算机存储介质
CN111612751A (zh) * 2020-05-13 2020-09-01 河北工业大学 基于嵌入分组注意力模块的Tiny-yolov3网络的锂电池缺陷检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111402203B (zh) * 2020-02-24 2024-03-01 杭州电子科技大学 一种基于卷积神经网络的织物表面缺陷检测方法
CN111667455B (zh) * 2020-04-28 2023-10-24 广东三三智能科技有限公司 一种刷具多种缺陷的ai检测方法
CN111553433B (zh) * 2020-04-30 2023-04-18 河北工业大学 一种基于多尺度卷积特征融合网络的锂电池缺陷分类方法
CN111598861B (zh) * 2020-05-13 2022-05-03 河北工业大学 基于改进的Faster R-CNN模型的非均匀纹理小缺陷的检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110232394A (zh) * 2018-03-06 2019-09-13 华南理工大学 一种多尺度图像语义分割方法
US10346693B1 (en) * 2019-01-22 2019-07-09 StradVision, Inc. Method and device for attention-based lane detection without post-processing by using lane mask and testing method and testing device using the same
EP3686779A1 (en) * 2019-01-22 2020-07-29 StradVision, Inc. Method and device for attention-based lane detection without post-processing by using lane mask and testing method and testing device using the same
CN109934241A (zh) * 2019-03-28 2019-06-25 南开大学 可集成到神经网络架构中的图像多尺度信息提取方法及应用
CN111127493A (zh) * 2019-11-12 2020-05-08 中国矿业大学 基于注意力多尺度特征融合的遥感图像语义分割方法
CN111523546A (zh) * 2020-04-16 2020-08-11 湖南大学 图像语义分割方法、系统及计算机存储介质
CN111612751A (zh) * 2020-05-13 2020-09-01 河北工业大学 基于嵌入分组注意力模块的Tiny-yolov3网络的锂电池缺陷检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Integrating saliency and ResNet for airport detection in large-size remote sensing images";Tinghe Zhu 等;《2017 2nd International Conference on Image, Vision and Computing (ICIVC)》;20170720;20-25 *
"基于深度学习与半监督学习的图像语义精细化分割关键技术研究";周理琛;《中国优秀博硕士学位论文全文数据库(硕士)-信息科技辑》;20190915;第2019年卷(第9期);I138-1126 *

Also Published As

Publication number Publication date
CN112184686A (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
CN112184686B (zh) 一种用于检测动力电池安全阀激光焊接缺陷的分割算法
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN111179251B (zh) 基于孪生神经网络利用模板比对的缺陷检测系统及方法
CN109583425B (zh) 一种基于深度学习的遥感图像船只集成识别方法
CN109509187B (zh) 一种针对大分辨率布匹图像中的小瑕疵的高效检验算法
CN110390251B (zh) 一种基于多神经网络模型融合处理的图像文字语义分割方法
CN109684922B (zh) 一种基于卷积神经网络的多模型对成品菜的识别方法
CN104809443A (zh) 基于卷积神经网络的车牌检测方法及系统
CN111914797B (zh) 基于多尺度轻量级卷积神经网络的交通标志识别方法
CN111666842B (zh) 一种基于双流空洞卷积神经元网络的阴影检测方法
CN112241679B (zh) 一种垃圾自动分类的方法
CN114663346A (zh) 一种基于改进YOLOv5网络的带钢表面缺陷检测方法
CN112465759A (zh) 一种基于卷积神经网络的航空发动机叶片缺陷检测方法
CN114627383B (zh) 一种基于度量学习的小样本缺陷检测方法
CN112132196B (zh) 一种结合深度学习和图像处理的烟盒缺陷识别方法
CN109872326B (zh) 基于深度强化网络跳跃连接的轮廓检测方法
CN114241340A (zh) 一种基于双路深度残差网络的图像目标检测方法及系统
CN114841972A (zh) 基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法
CN113256624A (zh) 连铸圆坯缺陷检测方法、装置、电子设备及可读存储介质
CN111539343A (zh) 一种基于卷积注意力网络的黑烟车检测方法
CN116012291A (zh) 工业零件图像缺陷检测方法及系统、电子设备和存储介质
CN115218798B (zh) 测量板材孔和/或槽尺寸的光学测量系统、方法及介质
CN112926652A (zh) 一种基于深度学习的鱼类细粒度图像识别方法
CN113610180A (zh) 基于深度学习的可见光图像和红外图像融合的船舶分类方法与装置
CN111915634A (zh) 一种基于融合策略的目标物体边缘检测方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant