CN116630343A - 一种基于深度学习的无铆钉铆接接头剖面图像分割方法 - Google Patents

一种基于深度学习的无铆钉铆接接头剖面图像分割方法 Download PDF

Info

Publication number
CN116630343A
CN116630343A CN202310581331.8A CN202310581331A CN116630343A CN 116630343 A CN116630343 A CN 116630343A CN 202310581331 A CN202310581331 A CN 202310581331A CN 116630343 A CN116630343 A CN 116630343A
Authority
CN
China
Prior art keywords
image
model
deep learning
rivetless
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310581331.8A
Other languages
English (en)
Inventor
刘洋
吴庆军
代祎琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao University of Technology
Original Assignee
Qingdao University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao University of Technology filed Critical Qingdao University of Technology
Priority to CN202310581331.8A priority Critical patent/CN116630343A/zh
Publication of CN116630343A publication Critical patent/CN116630343A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • G06N3/0455Auto-encoder networks; Encoder-decoder networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/32Normalisation of the pattern dimensions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于深度学习的无铆钉铆接接头剖面图像分割方法,针对轻量化连接工艺获取无铆钉铆接剖面图像作为样本图像,构建初始数据集;分割模型采用基于卷积神经网络(CNN)的编码器‑‑解码器结构化深度学习模型(DeepLabv3+),对初始数据集中的样本图像进行数据增强,进而获得图像增强后的训练集;基于深度学习框架,搭建基于图像实例分割的深度学习模型,利用增强后的训练集训练DeepLabv3+分割模型;应用训练好的分割模型对无铆钉铆接剖面进行分割。本方法可以对无铆钉铆接剖面图片进行图像分割,克服现在工程师手动测量与标注剖面图像存在的缺点。

Description

一种基于深度学习的无铆钉铆接接头剖面图像分割方法
技术领域
本发明主要涉及图像分割与计算机视觉相关技术领域,具体是一种基于深度学习的无铆钉铆接接头剖面图像分割方法。
背景技术
节能与环保是当今汽车工业普遍关注的问题,其中轻量化和安全性是汽车车身设计和制造的永恒目标。在汽车制造中,铝合金、钛合金、复合材料等新的轻型材料被广泛应用。其中,铝合金具有密度小、强度高、导电性好、可加工性好等优点,已经成为汽车生产中常用的材料之一。同时,钛合金具有强度高、耐腐蚀、比强度高等特点,也逐渐被用于汽车制造。此外,复合材料如碳纤维增强塑料,不仅具有轻量化和高强度的特点,还有良好的吸能、抗冲击性能,在汽车制造中也被广泛应用。因此开发一种可靠、快速的异种材料连接技术,避免特殊的表面处理,降低连接时间和成本是至关重要的。无铆钉铆接是近年来发展起来的新型连接技术,适用于异种材料、非金属材料等难焊接材料的连接,它可以极大地降低车身重量。无铆钉铆接结构具有无裂纹、疲劳寿命长、吸能性优异、密封性好等优点,可以减少车辆的气动阻力和油耗,并且无需使用紧固件,从而降低了制造成本和维修成本,满足了日益增长的连接不同材料的需求。
铆接工艺参数影响接头的成形质量,导致接头的强度、密封性和疲劳性能发生改变。无铆钉铆接接头的成形截面参数包括自锁值、颈部厚度和底部厚度三个重要指标。无铆钉铆接接头属于机械内锁结构,从接头外观难以评判接头的成形质量,工程中常采用剖面直观检测法对成形截面参数进行测量,从而优化连接工艺参数。
因此准确测量无铆钉铆接接头截面的特征指标对评估接头成形质量非常重要。传统方法是通过不同连接工艺参数下的铆接实验获得接头截面样本,使用特定相机对截面进行拍摄,随后技术人员采用图像处理软件对每张图像进行旋转缩放并测量分析剖面图像中不同材料的边界区域及接头成形截面参数。该方法受图像质量、图像分辨率和清晰度以及操作人员等多种因素的影响,可能会导致测量结果存在一定的误差并且效率低,耗费时间,受主观因素影响较大。
因此,在实际应用中,对接头剖面图像进行高效的分割非常困难。
发明内容
为解决目前技术的不足,本发明结合现有技术,从实际应用出发,提供一种基于深度学习的无铆钉铆接接头剖面图像分割方法,该方法利用深度学习算法和图像增强技术对材料连接过程中产生的剖面图像进行自动分割,无需人工干预,克服了现有技术中人工统计剖面图像的缺点,与传统方法相比,本发明的方法省去了手动分割的繁琐流程,减少了人为误差,提高了分割的准确性和效率;同时,通过实验验证,本发明的方法能够有效地分割不同材料连接过程中的剖面图像,为无铆钉铆接质量评估提供了一种新的自动化分析方法,该方法具有高度的准确性和效率。
为实现上述目的,本发明的技术方案如下:
一种基于深度学习的无铆钉铆接接头剖面图像分割方法,包括如下步骤,
步骤一:采集图像数据,包括采集无铆钉铆接件的剖面图像数据,对每一张样本图像进行标注,生成样本图像对应的标签图像,并构建初始数据集;
步骤二:数据预处理,包括对初始数据集进行数据增强,使其适合于深度学习模型的输入;
步骤三:构建深度学习模型,包括基于深度学习框架,使用DeepLabv3+模型设计连接件剖面图像DeepLabv3+分割模型,模型包括编码器和解码器部分,编码器用于提取图像的特征,解码器用于对特征进行重建以获得图像分割结果;
步骤四:模型训练,包括设置DeepLabv3+分割模型的训练参数,使用数据增强后的初始数据集对模型进行训练,优化模型的参数和权重;
步骤五:图像分割,包括利用训练好的DeepLabv3+分割模型,对采集到的无铆钉铆接剖面图像进行分割,得到剖面图像的特征指标。
进一步,步骤一中,无铆钉铆接件的剖面图像数据包括各种材料和不同连接方式的图像,通过标注工具对每一张样本图像进行标注。
进一步,步骤一中,标注工具可以使用Labelme、CVAT、VIA、PixlAnnotationTool、EISeg中的一种或者多种组合,根据材料对截面进行分类,以表征关节形状,标注出上板和下板其他区域作为背景,生成样本图像对应的标签图像,来获得无铆钉铆接剖面的图像数据集。
进一步,对初始数据集进行数据增强具体包括对初始数据集中的样本图像进行尺度随机的平移、翻转、旋转、裁剪、缩放的操作;
数据增强工具选择OpenCV、Imgaug、Skimage、PIL、Augmentor、Albumentations中的一种或者多种组合。
进一步,所述的深度学习框架选择Tensorflow、Keras、Pytorch、Caffe、Theano、PaddlePaddle、MXNet、CNTK、Chainer、Deeplearning4j中的一种。
进一步,初始的DeepLabv3+模型结构采用基于CNN的编码器-解码器结构,解码器中采用Xception模型,将Xception模型应用于分割任务,并将深度可分离卷积应用于Atrous空间金字塔池化(ASPP)和解码器模块,ASPP的结构采用1×1Conv-3×3Conv-3×3Conv卷积-3×3Conv-Image Pooling结构。
进一步,DeepLabv3+分割模型具体网络形式为:
1)、先通过编码器将输入图像的尺寸减小16倍;
2)、使用1×1卷积将通道数减小为256,后再接一个BN,ReLU激活函数和Dropout;
3)、使用双线性插值对对齐进行上采样4倍;
4)、将缩放4倍处的浅层的特征依次经过1×1卷积将通道数减小为48-BN-ReLU;
5)、拼接3和4的Feature Map;
6)、经过两组3×3Conv,BN,ReLU,Dropout;
7)、上采样4倍得到最终的结果;
在解码器模块中,使用1×1卷积用于减少来自编码器模块的低级特征映射,3×3卷积用于获得更清晰的分割结果的。
进一步,步骤四中,所述训练参数包括:训练优化器、学习率、动量系数、批次大小、迭代次数和损失函数;
优化器选择Adam、Adamax、Nadam、BGD、SGD、MBGD、Momentum、Adagrad、Adadelta或RMSprop中的一种或多种组合;
激活函数选择Softmax、Sigmoid、Tanh、Relu、Leaky Relu、PRelu、RRelu、Elu、Selu、Swish或Maxout。
进一步,特征指标至少包括接头自锁值、颈部厚度和底部厚度。
本发明的有益效果:
1、高精度,本发明采用深度学习算法和图像增强技术对剖面图像进行分割,训练基于实验数据,没有任何假设(数据,驱动),相比传统方法减少了人工干预,因此预测结果接近真实结果,能够对无铆钉铆接剖面图像进行高精度的分割,有效提高了分割的准确性。
2、高效性,本发明的方法具有高效性,传统的人工分割方法需要技术人员花费大量时间和精力进行处理,本发明提供的方法通过使用深度学习算法,可以大幅度缩短分割时间和人力成本,即能够在短时间内完成对无铆钉铆接剖面图像的分割,从而提高了生产效率。
3、自动化,本发明的方法能够与其他自动化设备集成,如机器人和传送带系统,自动地对无铆钉铆接剖面图像进行分割,减少了人工干预的程度,提高了工作效率;
4、降低了误判率,本发明的方法可以对剖面图像进行高精度分割,从而降低了误判率,避免了由于误判导致的质量问题。
5、提高了材料连接质量,本发明的方法可以对连接件剖面图像进行准确分割,从而能够更好地评估连接质量,确保连接件的性能和可靠性。
此外,该方法还可以扩展到其他类似的材料连接和剖面图像分割领域,如焊接、钎焊和激光焊等,通过调整训练数据集和神经网络的参数,该方法可以适用于不同材料和几何形状的连接,以及不同分辨率和质量的图像。
综上所述,该发明提供了一种基于深度神经网络的无铆钉铆接剖面图像分割方法,可以自动化、高效地评估铆接质量,为汽车制造和其他相关行业的轻量化和耐撞性目标提供了重要的技术支持。
附图说明
图1为本发明的流程示意图;
图2中为本网络原理的总体模型架构;
图3为DeepLabv3+模型深度神经网络具体模型细节;
图4中(a)为本次训练的原始样本数据,(b)为数据增强后的样本数据;
图5中(c)为本次实验获得的剖面图,(d)为使用DeepLabv3+模型进行分割的剖面图。
具体实施方式
结合附图和具体实施例,对本发明作进一步说明。应理解,这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解,在阅读了本发明讲授的内容之后,本领域技术人员可以对本发明作各种改动或修改,这些等价形式同样落于本申请所限定的范围。
本实施例提供一种基于深度学习的无铆钉铆接接头剖面图像分割方法。采用DeepLabv3+模型进行剖面图像分割,该模型基于全卷积神经网络(FCN)和残差网络(ResNet)实现,并采用空洞卷积来捕捉图像中不同尺度的特征,提高了分割的精度和稳定性。在模型训练过程中,本发明使用多种数据增强技术,如随机翻转、旋转和缩放等,以增加数据样本的多样性和数量,提高模型的泛化能力。
如图1所示,本实施例提供的一种基于深度学习的无铆钉铆接接头剖面图像分割方法具体包括如下步骤:
步骤一:采集图像数据,通过相机或扫描仪等设备,采集无铆钉铆接件的剖面图像数据,包括各种材料和不同连接方式的图像,以覆盖实际应用场景的多样性,通过标注工具对每一张样本图像进行标注,生成样本图像对应的标签图像,由此构建初始数据集;
步骤二:数据预处理,对采集到的图像数据进行数据增强,包括图像去噪、图像增强、图像旋转等操作,以提高数据的质量和准确性,使其适合于深度学习模型的输入。
步骤三:构建深度学习模型,使用DeepLabv3+模型,基于深度学习算法,设计连接件剖面图像自动分割模型。该模型包括编码器和解码器部分,编码器可以提取图像的特征,解码器可以对特征进行重建以获得图像分割结果。
步骤四:模型训练,使用已处理的数据集对模型进行训练,以逐步优化模型的参数和权重,提高分割精度。在训练过程中,可以使用图像增强技术进一步增加数据集的多样性和数量,通过大量的数据训练神经网络,从而使其能够对无铆钉铆接剖面图像进行准确的分割。
步骤五:图像分割,利用训练好的DeepLabv3+分割模型,对采集到的无铆钉铆接剖面图像进行分割,从而得到接头自锁值、颈部厚度和底部厚度等重要特征指标。
上述步骤一中的把原始数据进行标注,标注工具可以使用Labelme、CVAT、VIA、PixlAnnotationTool、EISeg中的一种或者多种组合根据材料对截面进行分类,以表征关节形状,标注出上板和下板其他区域作为背景,生成样本图像对应的标签图像,来获得无铆钉铆接剖面的图像数据集。
上述步骤二中的对图像增强可以对初始训练集中的样本图像随机进行尺度随机的平移、翻转、旋转、裁剪、缩放的操作。数据增强工具可选择OpenCV、Imgaug、Skimage、PIL、Augmentor、Albumentations中的一种或者多种组合来获取足够多的数据。
上述步骤三中的深度学习框架选择Tensorflow、Keras、Pytorch、Caffe、Theano、PaddlePaddle、MXNet、CNTK、Chainer、Deeplearning4j中的一种。初始的DeepLabv3+模型结构如图2所示,采用了基于CNN的编码器-解码器结构,解码器中采用已有的Xception模型,将Xception模型应用于分割任务,并将深度可分离卷积应用于Atrous空间金字塔池化(ASPP)和解码器模块,ASPP的结构采用1×1Conv-3×3Conv-3×3Conv卷积-3×3Conv-Image Pooling结构,从而得到了一个更快、更强的编码器-解码器网络。具体网络形式为:
1.先通过编码器将输入图像的尺寸减小16倍;
2.使用1×1卷积将通道数减小为256,后再接一个BN,ReLU激活函数和Dropout;
3.使用双线性插值对对齐进行上采样4倍;
4.将缩放4倍处的浅层的特征依次经过1×1卷积将通道数减小为48-BN-ReLU;
5.拼接3和4的Feature Map;
6.经过两组3×3Conv,BN,ReLU,Dropout;
7.上采样4倍得到最终的结果。
在解码器模块中,使用1×1卷积用于减少来自编码器模块的低级特征映射,3×3卷积用于获得更清晰的分割结果的,解码器-编码器的具体结构如图3所示。
上述步骤四中所述训练参数包括:训练优化器、学习率、动量系数、批次大小、迭代次数和损失函数。
优化器选择Adam、Adamax、Nadam、BGD、SGD、MBGD、Momentum、Adagrad、Adadelta或RMSprop中的一种或多种组合。
激活函数选择Softmax、Sigmoid、Tanh、Relu、Leaky Relu、PRelu、RRelu、Elu、Selu、Swish或Maxout。
本实施例中,针对轻量化连接工艺获取无铆钉铆接剖面图像作为样本图像,并且通过标注工具对每一张样本图像进行标注,根据材料对截面进行分类,以表征关节形状,标注出上板和下板其他区域作为背景,由此构建初始数据集;分割模型采用谷歌的一个基于卷积神经网络(CNN)的编码器--解码器结构化深度学习模型(DeepLabv3+)。对初始数据集中的样本图像进行数据增强,进而获得图像增强后的训练集;基于深度学习框架,搭建基于图像实例分割的深度学习模型;设置DeepLabv3+深度神经网络的训练参数;利用增强后的训练集训练DeepLabv3+分割模型;应用训练好的DeepLabv3+分割模型对无铆钉铆接剖面进行分割。将训练样本加入深度学习网络模型进行训练,训练完成后得到的深度学习模型用于连接件的剖面图像自动分割。本方法可以对无铆钉铆接剖面图片进行图像分割,克服现在工程师手动测量与标注剖面图像存在的缺点,为后续做一些有关获取分割剖面图像作为数据带来了极大的方便,减少了实验的繁琐。
实施例:
为了证明本方法的有效性,提供如下实例证明。
1、训练集制作:将本发明的方法应用于生产实践中,验证其在在实际应用中,该方法可以通过在生产线上实时拍摄并传输接头剖面图像,收集到一定数量的无铆钉铆接件的剖面图像作为样本图像,本次实施例收集了60张无铆钉铆接的图像,对每一张样本图像通过标注工具即可选用Labelme、CVAT、VIA、PixlAnnotationTool、EISeg等进行标注,标注出样本图像中不同板材,生成标注后样本图像对应剖面图像,重复上述对样本图像的处理,获得所有样本图像对应的训练样本,进而获得训练集;初始训练集中的训练样本图像如图4中的(a)所示。
2、数据增强:对初始训练集中的样本图像以一定概率随机进行色彩调节、明暗调节、平移、模糊、旋转、裁剪、锐化、缩放等操作。工具可选用OpenCV、Imgaug、Skimage、PIL、Augmentor、Albumentations中的一种或者多种组合。本实施例中,对所有样本进行了明暗调节以及色彩调节,对四分之三的样本进行了最大角度为8°的随机角度旋转,四分之三图像进行左右翻转,对二分之一的图像进行随机概率进行尺度为0.8的裁剪等,由此生成足够多的初始训练集的样本图像,进而获得图像增强后的训练集,增强后训练集样本图像如图4中(b)所示。
3、模型训练:把以上的数据图像一起作为数据集输入网络进行训练,训练125个Epoch,达到平衡状态,训练完成后得到适用于无铆钉铆接剖面图像分割的DeepLabv3+分割模型。深度学习网络模型的参数设置包括学习率、优化器、批次大小、激活函数、迭代次数中的一种或多种组合。
优化器选择Adam、Adamax、Nadam、BGD、SGD、MBGD、Momentum、Adagrad、Adadelta或RMSprop中的一种或多种组合。本次遵循常规模型结构,使用Adam与Momentum组合。
激活函数选择Softmax、Sigmoid、Tanh、Relu、Leaky Relu、PRelu、RRelu、Elu、Selu、Swish或Maxout。本次遵循常规模型结构使用了Relu激活函数。
4、收集一张如图5(c)未经训练的无铆钉铆接的剖面图像输入到DeepLabv3+分割模型中,得到如图所示的分割剖面图像,如图5(d)所示,从分割效果来看,可准确识别出SPR剖面图像中铆钉,上层板,下层板区域。使用测量工具进行测量三个关键指标,模型预测的分割图可达到实验剖面图像的97%以上,满足后续无铆钉铆接几何参数测量需求。

Claims (9)

1.一种基于深度学习的无铆钉铆接接头剖面图像分割方法,其特征在于,包括如下步骤,
步骤一:采集图像数据,包括采集无铆钉铆接件的剖面图像数据,对每一张样本图像进行标注,生成样本图像对应的标签图像,并构建初始数据集;
步骤二:数据预处理,包括对初始数据集进行数据增强,使其适合于深度学习模型的输入;
步骤三:构建深度学习模型,包括基于深度学习框架,使用DeepLabv3+模型设计连接件剖面图像DeepLabv3+分割模型,模型包括编码器和解码器部分,编码器用于提取图像的特征,解码器用于对特征进行重建以获得图像分割结果;
步骤四:模型训练,包括设置DeepLabv3+分割模型的训练参数,使用数据增强后的初始数据集对模型进行训练,优化模型的参数和权重;
步骤五:图像分割,包括利用训练好的DeepLabv3+分割模型,对采集到的无铆钉铆接剖面图像进行分割,得到剖面图像的特征指标。
2.根据权利要求1所述的基于深度学习的无铆钉铆接接头剖面图像分割方法,其特征在于,步骤一中,无铆钉铆接件的剖面图像数据包括各种材料和不同连接方式的图像,通过标注工具对每一张样本图像进行标注。
3.根据权利要求2所述的基于深度学习的无铆钉铆接接头剖面图像分割方法,其特征在于,步骤一中,标注工具可以使用Labelme、CVAT、VIA、PixlAnnotationTool、EISeg中的一种或者多种组合,根据材料对截面进行分类,以表征关节形状,标注出上板和下板其他区域作为背景,生成样本图像对应的标签图像,来获得无铆钉铆接剖面的图像数据集。
4.根据权利要求1所述的基于深度学习的无铆钉铆接接头剖面图像分割方法,步骤二中,对初始数据集进行数据增强具体包括对初始数据集中的样本图像进行尺度随机的平移、翻转、旋转、裁剪、缩放的操作;
数据增强工具选择OpenCV、Imgaug、Skimage、PIL、Augmentor、Albumentations中的一种或者多种组合。
5.根据权利要求1所述的基于深度学习的无铆钉铆接接头剖面图像分割方法,步骤三中,所述的深度学习框架选择Tensorflow、Keras、Pytorch、Caffe、Theano、PaddlePaddle、MXNet、CNTK、Chainer、Deeplearning4j中的一种。
6.根据权利要求1所述的基于深度学习的无铆钉铆接接头剖面图像分割方法,步骤三中,初始的DeepLabv3+模型结构采用基于CNN的编码器-解码器结构,解码器中采用Xception模型,将Xception模型应用于分割任务,并将深度可分离卷积应用于Atrous空间金字塔池化(ASPP)和解码器模块,ASPP的结构采用1×1Conv-3×3Conv-3×3Conv卷积-3×3Conv-Image Pooling结构。
7.根据权利要求6所述的基于深度学习的无铆钉铆接接头剖面图像分割方法,步骤三中,DeepLabv3+分割模型具体网络形式为:
1)、先通过编码器将输入图像的尺寸减小16倍;
2)、使用1×1卷积将通道数减小为256,后再接一个BN,ReLU激活函数和Dropout;
3)、使用双线性插值对对齐进行上采样4倍;
4)、将缩放4倍处的浅层的特征依次经过1×1卷积将通道数减小为48-BN-ReLU;
5)、拼接3和4的Feature Map;
6)、经过两组3×3Conv,BN,ReLU,Dropout;
7)、上采样4倍得到最终的结果;
在解码器模块中,使用1×1卷积用于减少来自编码器模块的低级特征映射,3×3卷积用于获得更清晰的分割结果的。
8.根据权利要求1所述的基于深度学习的无铆钉铆接接头剖面图像分割方法,其特征在于,
步骤四中,所述训练参数包括:训练优化器、学习率、动量系数、批次大小、迭代次数和损失函数;
优化器选择Adam、Adamax、Nadam、BGD、SGD、MBGD、Momentum、Adagrad、Adadelta或RMSprop中的一种或多种组合;
激活函数选择Softmax、Sigmoid、Tanh、Relu、Leaky Relu、PRelu、RRelu、Elu、Selu、Swish或Maxout。
9.根据权利要求1所述的基于深度学习的无铆钉铆接接头剖面图像分割方法,步骤五中,特征指标至少包括接头自锁值、颈部厚度和底部厚度。
CN202310581331.8A 2023-05-23 2023-05-23 一种基于深度学习的无铆钉铆接接头剖面图像分割方法 Pending CN116630343A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310581331.8A CN116630343A (zh) 2023-05-23 2023-05-23 一种基于深度学习的无铆钉铆接接头剖面图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310581331.8A CN116630343A (zh) 2023-05-23 2023-05-23 一种基于深度学习的无铆钉铆接接头剖面图像分割方法

Publications (1)

Publication Number Publication Date
CN116630343A true CN116630343A (zh) 2023-08-22

Family

ID=87635955

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310581331.8A Pending CN116630343A (zh) 2023-05-23 2023-05-23 一种基于深度学习的无铆钉铆接接头剖面图像分割方法

Country Status (1)

Country Link
CN (1) CN116630343A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117970618A (zh) * 2024-03-28 2024-05-03 西北工业大学 一种动态高分辨率表面等离子体共振全息显微成像方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117970618A (zh) * 2024-03-28 2024-05-03 西北工业大学 一种动态高分辨率表面等离子体共振全息显微成像方法
CN117970618B (zh) * 2024-03-28 2024-06-11 西北工业大学 一种动态高分辨率表面等离子体共振全息显微成像方法

Similar Documents

Publication Publication Date Title
CN111507990B (zh) 一种基于深度学习的隧道表面缺陷分割方法
CN111161218A (zh) 一种基于孪生卷积神经网络的高分遥感影像变化检测方法
CN114627383B (zh) 一种基于度量学习的小样本缺陷检测方法
CN113160139B (zh) 基于注意力的Faster R-CNN网络的钢板表面缺陷检测方法
CN113822889B (zh) 一种热轧钢板表面缺陷检测方法
CN113628178B (zh) 一种速度与精度平衡的钢铁产品表面缺陷检测方法
CN116630343A (zh) 一种基于深度学习的无铆钉铆接接头剖面图像分割方法
CN114372955A (zh) 一种基于改进神经网络的铸件缺陷x射线图自动识别法
CN111178392B (zh) 基于深度神经网络的航空发动机孔探图像损伤分割方法
CN112070727A (zh) 一种基于机器学习的金属表面缺陷检测方法
CN115096893A (zh) 一种基于机器视觉的飞机结构件缺陷无损检测方法
CN115170529A (zh) 基于注意力机制的多尺度微小瑕疵检测方法
Li et al. Automatic identification framework of the geometric parameters on self-piercing riveting cross-section using deep learning
Fan et al. Application of YOLOv5 neural network based on improved attention mechanism in recognition of Thangka image defects
CN116883393B (zh) 一种基于无锚框目标检测算法的金属表面缺陷检测方法
CN115294541A (zh) 一种局部特征增强Transformer道路裂缝检测方法
CN115147347A (zh) 一种面向边缘计算的玛钢管件表面缺陷检测的方法
CN116205832A (zh) 一种基于stm r-cnn的金属表面缺陷检测方法
CN117745697A (zh) 一种基于改进YOLOv8模型的钢材表面缺陷检测算法
CN113516652A (zh) 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备
CN113762247A (zh) 一种基于显著实例分割算法的道路裂缝自动检测方法
Imani et al. Image-guided multi-response modeling and characterization of design defects in metal additive manufacturing
CN116958645A (zh) 一种全自动一体化汽车补漆的刮痕识别方法
CN116342542A (zh) 一种基于轻量级神经网络的钢铁产品表面缺陷检测方法
CN116642897A (zh) 一种航空零部件涂层外观缺陷检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination