CN116630343A - 一种基于深度学习的无铆钉铆接接头剖面图像分割方法 - Google Patents
一种基于深度学习的无铆钉铆接接头剖面图像分割方法 Download PDFInfo
- Publication number
- CN116630343A CN116630343A CN202310581331.8A CN202310581331A CN116630343A CN 116630343 A CN116630343 A CN 116630343A CN 202310581331 A CN202310581331 A CN 202310581331A CN 116630343 A CN116630343 A CN 116630343A
- Authority
- CN
- China
- Prior art keywords
- image
- model
- deep learning
- rivetless
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000013135 deep learning Methods 0.000 title claims abstract description 31
- 238000003709 image segmentation Methods 0.000 title claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 41
- 230000011218 segmentation Effects 0.000 claims abstract description 37
- 238000013136 deep learning model Methods 0.000 claims abstract description 13
- 239000000463 material Substances 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 5
- 235000004257 Cordia myxa Nutrition 0.000 claims description 4
- 244000157795 Cordia myxa Species 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 9
- 238000013527 convolutional neural network Methods 0.000 abstract description 7
- 230000007547 defect Effects 0.000 abstract description 4
- 238000005259 measurement Methods 0.000 abstract description 4
- 238000004519 manufacturing process Methods 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 3
- 229910000838 Al alloy Inorganic materials 0.000 description 2
- 229910001069 Ti alloy Inorganic materials 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000003466 welding Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000005219 brazing Methods 0.000 description 1
- 239000004918 carbon fiber reinforced polymer Substances 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004134 energy conservation Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000003562 lightweight material Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 238000004381 surface treatment Methods 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000013585 weight reducing agent Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/32—Normalisation of the pattern dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于深度学习的无铆钉铆接接头剖面图像分割方法，针对轻量化连接工艺获取无铆钉铆接剖面图像作为样本图像，构建初始数据集；分割模型采用基于卷积神经网络(CNN)的编码器‑‑解码器结构化深度学习模型(DeepLabv3+)，对初始数据集中的样本图像进行数据增强，进而获得图像增强后的训练集；基于深度学习框架，搭建基于图像实例分割的深度学习模型，利用增强后的训练集训练DeepLabv3+分割模型；应用训练好的分割模型对无铆钉铆接剖面进行分割。本方法可以对无铆钉铆接剖面图片进行图像分割，克服现在工程师手动测量与标注剖面图像存在的缺点。
Description
技术领域
本发明主要涉及图像分割与计算机视觉相关技术领域，具体是一种基于深度学习的无铆钉铆接接头剖面图像分割方法。
背景技术
节能与环保是当今汽车工业普遍关注的问题，其中轻量化和安全性是汽车车身设计和制造的永恒目标。在汽车制造中，铝合金、钛合金、复合材料等新的轻型材料被广泛应用。其中，铝合金具有密度小、强度高、导电性好、可加工性好等优点，已经成为汽车生产中常用的材料之一。同时，钛合金具有强度高、耐腐蚀、比强度高等特点，也逐渐被用于汽车制造。此外，复合材料如碳纤维增强塑料，不仅具有轻量化和高强度的特点，还有良好的吸能、抗冲击性能，在汽车制造中也被广泛应用。因此开发一种可靠、快速的异种材料连接技术，避免特殊的表面处理，降低连接时间和成本是至关重要的。无铆钉铆接是近年来发展起来的新型连接技术，适用于异种材料、非金属材料等难焊接材料的连接，它可以极大地降低车身重量。无铆钉铆接结构具有无裂纹、疲劳寿命长、吸能性优异、密封性好等优点，可以减少车辆的气动阻力和油耗，并且无需使用紧固件，从而降低了制造成本和维修成本，满足了日益增长的连接不同材料的需求。
铆接工艺参数影响接头的成形质量，导致接头的强度、密封性和疲劳性能发生改变。无铆钉铆接接头的成形截面参数包括自锁值、颈部厚度和底部厚度三个重要指标。无铆钉铆接接头属于机械内锁结构，从接头外观难以评判接头的成形质量，工程中常采用剖面直观检测法对成形截面参数进行测量，从而优化连接工艺参数。
因此准确测量无铆钉铆接接头截面的特征指标对评估接头成形质量非常重要。传统方法是通过不同连接工艺参数下的铆接实验获得接头截面样本，使用特定相机对截面进行拍摄，随后技术人员采用图像处理软件对每张图像进行旋转缩放并测量分析剖面图像中不同材料的边界区域及接头成形截面参数。该方法受图像质量、图像分辨率和清晰度以及操作人员等多种因素的影响，可能会导致测量结果存在一定的误差并且效率低，耗费时间，受主观因素影响较大。
因此，在实际应用中，对接头剖面图像进行高效的分割非常困难。
发明内容
为解决目前技术的不足，本发明结合现有技术，从实际应用出发，提供一种基于深度学习的无铆钉铆接接头剖面图像分割方法，该方法利用深度学习算法和图像增强技术对材料连接过程中产生的剖面图像进行自动分割，无需人工干预，克服了现有技术中人工统计剖面图像的缺点，与传统方法相比，本发明的方法省去了手动分割的繁琐流程，减少了人为误差，提高了分割的准确性和效率；同时，通过实验验证，本发明的方法能够有效地分割不同材料连接过程中的剖面图像，为无铆钉铆接质量评估提供了一种新的自动化分析方法，该方法具有高度的准确性和效率。
为实现上述目的，本发明的技术方案如下：
一种基于深度学习的无铆钉铆接接头剖面图像分割方法，包括如下步骤，
步骤一：采集图像数据，包括采集无铆钉铆接件的剖面图像数据，对每一张样本图像进行标注，生成样本图像对应的标签图像，并构建初始数据集；
步骤二：数据预处理，包括对初始数据集进行数据增强，使其适合于深度学习模型的输入；
步骤三：构建深度学习模型，包括基于深度学习框架，使用DeepLabv3+模型设计连接件剖面图像DeepLabv3+分割模型，模型包括编码器和解码器部分，编码器用于提取图像的特征，解码器用于对特征进行重建以获得图像分割结果；
步骤四：模型训练，包括设置DeepLabv3+分割模型的训练参数，使用数据增强后的初始数据集对模型进行训练，优化模型的参数和权重；
步骤五：图像分割，包括利用训练好的DeepLabv3+分割模型，对采集到的无铆钉铆接剖面图像进行分割，得到剖面图像的特征指标。
进一步，步骤一中，无铆钉铆接件的剖面图像数据包括各种材料和不同连接方式的图像，通过标注工具对每一张样本图像进行标注。
进一步，步骤一中，标注工具可以使用Labelme、CVAT、VIA、PixlAnnotationTool、EISeg中的一种或者多种组合，根据材料对截面进行分类，以表征关节形状，标注出上板和下板其他区域作为背景，生成样本图像对应的标签图像，来获得无铆钉铆接剖面的图像数据集。
进一步，对初始数据集进行数据增强具体包括对初始数据集中的样本图像进行尺度随机的平移、翻转、旋转、裁剪、缩放的操作；
数据增强工具选择OpenCV、Imgaug、Skimage、PIL、Augmentor、Albumentations中的一种或者多种组合。
进一步，所述的深度学习框架选择Tensorflow、Keras、Pytorch、Caffe、Theano、PaddlePaddle、MXNet、CNTK、Chainer、Deeplearning4j中的一种。
进一步，初始的DeepLabv3+模型结构采用基于CNN的编码器-解码器结构，解码器中采用Xception模型，将Xception模型应用于分割任务，并将深度可分离卷积应用于Atrous空间金字塔池化(ASPP)和解码器模块，ASPP的结构采用1×1Conv-3×3Conv-3×3Conv卷积-3×3Conv-Image Pooling结构。
进一步，DeepLabv3+分割模型具体网络形式为：
1)、先通过编码器将输入图像的尺寸减小16倍；
2)、使用1×1卷积将通道数减小为256，后再接一个BN，ReLU激活函数和Dropout；
3)、使用双线性插值对对齐进行上采样4倍；
4)、将缩放4倍处的浅层的特征依次经过1×1卷积将通道数减小为48-BN-ReLU；
5)、拼接3和4的Feature Map；
6)、经过两组3×3Conv，BN，ReLU，Dropout；
7)、上采样4倍得到最终的结果；
在解码器模块中，使用1×1卷积用于减少来自编码器模块的低级特征映射，3×3卷积用于获得更清晰的分割结果的。
进一步，步骤四中，所述训练参数包括：训练优化器、学习率、动量系数、批次大小、迭代次数和损失函数；
优化器选择Adam、Adamax、Nadam、BGD、SGD、MBGD、Momentum、Adagrad、Adadelta或RMSprop中的一种或多种组合；
激活函数选择Softmax、Sigmoid、Tanh、Relu、Leaky Relu、PRelu、RRelu、Elu、Selu、Swish或Maxout。
进一步，特征指标至少包括接头自锁值、颈部厚度和底部厚度。
本发明的有益效果：
1、高精度，本发明采用深度学习算法和图像增强技术对剖面图像进行分割，训练基于实验数据，没有任何假设(数据，驱动)，相比传统方法减少了人工干预，因此预测结果接近真实结果，能够对无铆钉铆接剖面图像进行高精度的分割，有效提高了分割的准确性。
2、高效性，本发明的方法具有高效性，传统的人工分割方法需要技术人员花费大量时间和精力进行处理，本发明提供的方法通过使用深度学习算法，可以大幅度缩短分割时间和人力成本，即能够在短时间内完成对无铆钉铆接剖面图像的分割，从而提高了生产效率。
3、自动化，本发明的方法能够与其他自动化设备集成，如机器人和传送带系统，自动地对无铆钉铆接剖面图像进行分割，减少了人工干预的程度，提高了工作效率；
4、降低了误判率，本发明的方法可以对剖面图像进行高精度分割，从而降低了误判率，避免了由于误判导致的质量问题。
5、提高了材料连接质量，本发明的方法可以对连接件剖面图像进行准确分割，从而能够更好地评估连接质量，确保连接件的性能和可靠性。
此外，该方法还可以扩展到其他类似的材料连接和剖面图像分割领域，如焊接、钎焊和激光焊等，通过调整训练数据集和神经网络的参数，该方法可以适用于不同材料和几何形状的连接，以及不同分辨率和质量的图像。
综上所述，该发明提供了一种基于深度神经网络的无铆钉铆接剖面图像分割方法，可以自动化、高效地评估铆接质量，为汽车制造和其他相关行业的轻量化和耐撞性目标提供了重要的技术支持。
附图说明
图1为本发明的流程示意图；
图2中为本网络原理的总体模型架构；
图3为DeepLabv3+模型深度神经网络具体模型细节；
图4中(a)为本次训练的原始样本数据,(b)为数据增强后的样本数据；
图5中(c)为本次实验获得的剖面图，(d)为使用DeepLabv3+模型进行分割的剖面图。
具体实施方式
结合附图和具体实施例，对本发明作进一步说明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所限定的范围。
本实施例提供一种基于深度学习的无铆钉铆接接头剖面图像分割方法。采用DeepLabv3+模型进行剖面图像分割，该模型基于全卷积神经网络(FCN)和残差网络(ResNet)实现，并采用空洞卷积来捕捉图像中不同尺度的特征，提高了分割的精度和稳定性。在模型训练过程中，本发明使用多种数据增强技术，如随机翻转、旋转和缩放等，以增加数据样本的多样性和数量，提高模型的泛化能力。
如图1所示，本实施例提供的一种基于深度学习的无铆钉铆接接头剖面图像分割方法具体包括如下步骤：
步骤一：采集图像数据，通过相机或扫描仪等设备，采集无铆钉铆接件的剖面图像数据，包括各种材料和不同连接方式的图像，以覆盖实际应用场景的多样性，通过标注工具对每一张样本图像进行标注，生成样本图像对应的标签图像，由此构建初始数据集；
步骤二：数据预处理，对采集到的图像数据进行数据增强，包括图像去噪、图像增强、图像旋转等操作，以提高数据的质量和准确性，使其适合于深度学习模型的输入。
步骤三：构建深度学习模型，使用DeepLabv3+模型，基于深度学习算法，设计连接件剖面图像自动分割模型。该模型包括编码器和解码器部分，编码器可以提取图像的特征，解码器可以对特征进行重建以获得图像分割结果。
步骤四：模型训练，使用已处理的数据集对模型进行训练，以逐步优化模型的参数和权重，提高分割精度。在训练过程中，可以使用图像增强技术进一步增加数据集的多样性和数量，通过大量的数据训练神经网络，从而使其能够对无铆钉铆接剖面图像进行准确的分割。
步骤五：图像分割，利用训练好的DeepLabv3+分割模型，对采集到的无铆钉铆接剖面图像进行分割，从而得到接头自锁值、颈部厚度和底部厚度等重要特征指标。
上述步骤一中的把原始数据进行标注，标注工具可以使用Labelme、CVAT、VIA、PixlAnnotationTool、EISeg中的一种或者多种组合根据材料对截面进行分类，以表征关节形状，标注出上板和下板其他区域作为背景，生成样本图像对应的标签图像，来获得无铆钉铆接剖面的图像数据集。
上述步骤二中的对图像增强可以对初始训练集中的样本图像随机进行尺度随机的平移、翻转、旋转、裁剪、缩放的操作。数据增强工具可选择OpenCV、Imgaug、Skimage、PIL、Augmentor、Albumentations中的一种或者多种组合来获取足够多的数据。
上述步骤三中的深度学习框架选择Tensorflow、Keras、Pytorch、Caffe、Theano、PaddlePaddle、MXNet、CNTK、Chainer、Deeplearning4j中的一种。初始的DeepLabv3+模型结构如图2所示，采用了基于CNN的编码器-解码器结构，解码器中采用已有的Xception模型，将Xception模型应用于分割任务，并将深度可分离卷积应用于Atrous空间金字塔池化(ASPP)和解码器模块，ASPP的结构采用1×1Conv-3×3Conv-3×3Conv卷积-3×3Conv-Image Pooling结构，从而得到了一个更快、更强的编码器-解码器网络。具体网络形式为：
1.先通过编码器将输入图像的尺寸减小16倍；
2.使用1×1卷积将通道数减小为256，后再接一个BN，ReLU激活函数和Dropout；
3.使用双线性插值对对齐进行上采样4倍；
4.将缩放4倍处的浅层的特征依次经过1×1卷积将通道数减小为48-BN-ReLU；
5.拼接3和4的Feature Map；
6.经过两组3×3Conv，BN，ReLU，Dropout；
7.上采样4倍得到最终的结果。
在解码器模块中，使用1×1卷积用于减少来自编码器模块的低级特征映射，3×3卷积用于获得更清晰的分割结果的，解码器-编码器的具体结构如图3所示。
上述步骤四中所述训练参数包括：训练优化器、学习率、动量系数、批次大小、迭代次数和损失函数。
优化器选择Adam、Adamax、Nadam、BGD、SGD、MBGD、Momentum、Adagrad、Adadelta或RMSprop中的一种或多种组合。
激活函数选择Softmax、Sigmoid、Tanh、Relu、Leaky Relu、PRelu、RRelu、Elu、Selu、Swish或Maxout。
本实施例中，针对轻量化连接工艺获取无铆钉铆接剖面图像作为样本图像，并且通过标注工具对每一张样本图像进行标注，根据材料对截面进行分类，以表征关节形状，标注出上板和下板其他区域作为背景，由此构建初始数据集；分割模型采用谷歌的一个基于卷积神经网络(CNN)的编码器--解码器结构化深度学习模型(DeepLabv3+)。对初始数据集中的样本图像进行数据增强，进而获得图像增强后的训练集；基于深度学习框架，搭建基于图像实例分割的深度学习模型；设置DeepLabv3+深度神经网络的训练参数；利用增强后的训练集训练DeepLabv3+分割模型；应用训练好的DeepLabv3+分割模型对无铆钉铆接剖面进行分割。将训练样本加入深度学习网络模型进行训练，训练完成后得到的深度学习模型用于连接件的剖面图像自动分割。本方法可以对无铆钉铆接剖面图片进行图像分割，克服现在工程师手动测量与标注剖面图像存在的缺点，为后续做一些有关获取分割剖面图像作为数据带来了极大的方便，减少了实验的繁琐。
实施例：
为了证明本方法的有效性，提供如下实例证明。
1、训练集制作：将本发明的方法应用于生产实践中，验证其在在实际应用中，该方法可以通过在生产线上实时拍摄并传输接头剖面图像，收集到一定数量的无铆钉铆接件的剖面图像作为样本图像，本次实施例收集了60张无铆钉铆接的图像，对每一张样本图像通过标注工具即可选用Labelme、CVAT、VIA、PixlAnnotationTool、EISeg等进行标注，标注出样本图像中不同板材，生成标注后样本图像对应剖面图像，重复上述对样本图像的处理，获得所有样本图像对应的训练样本，进而获得训练集；初始训练集中的训练样本图像如图4中的(a)所示。
2、数据增强：对初始训练集中的样本图像以一定概率随机进行色彩调节、明暗调节、平移、模糊、旋转、裁剪、锐化、缩放等操作。工具可选用OpenCV、Imgaug、Skimage、PIL、Augmentor、Albumentations中的一种或者多种组合。本实施例中，对所有样本进行了明暗调节以及色彩调节，对四分之三的样本进行了最大角度为8°的随机角度旋转，四分之三图像进行左右翻转，对二分之一的图像进行随机概率进行尺度为0.8的裁剪等，由此生成足够多的初始训练集的样本图像，进而获得图像增强后的训练集，增强后训练集样本图像如图4中(b)所示。
3、模型训练：把以上的数据图像一起作为数据集输入网络进行训练，训练125个Epoch，达到平衡状态，训练完成后得到适用于无铆钉铆接剖面图像分割的DeepLabv3+分割模型。深度学习网络模型的参数设置包括学习率、优化器、批次大小、激活函数、迭代次数中的一种或多种组合。
优化器选择Adam、Adamax、Nadam、BGD、SGD、MBGD、Momentum、Adagrad、Adadelta或RMSprop中的一种或多种组合。本次遵循常规模型结构，使用Adam与Momentum组合。
激活函数选择Softmax、Sigmoid、Tanh、Relu、Leaky Relu、PRelu、RRelu、Elu、Selu、Swish或Maxout。本次遵循常规模型结构使用了Relu激活函数。
4、收集一张如图5(c)未经训练的无铆钉铆接的剖面图像输入到DeepLabv3+分割模型中，得到如图所示的分割剖面图像，如图5(d)所示，从分割效果来看，可准确识别出SPR剖面图像中铆钉，上层板，下层板区域。使用测量工具进行测量三个关键指标，模型预测的分割图可达到实验剖面图像的97％以上，满足后续无铆钉铆接几何参数测量需求。
Claims (9)
1.一种基于深度学习的无铆钉铆接接头剖面图像分割方法，其特征在于，包括如下步骤，
步骤一：采集图像数据，包括采集无铆钉铆接件的剖面图像数据，对每一张样本图像进行标注，生成样本图像对应的标签图像，并构建初始数据集；
步骤二：数据预处理，包括对初始数据集进行数据增强，使其适合于深度学习模型的输入；
步骤三：构建深度学习模型，包括基于深度学习框架，使用DeepLabv3+模型设计连接件剖面图像DeepLabv3+分割模型，模型包括编码器和解码器部分，编码器用于提取图像的特征，解码器用于对特征进行重建以获得图像分割结果；
步骤四：模型训练，包括设置DeepLabv3+分割模型的训练参数，使用数据增强后的初始数据集对模型进行训练，优化模型的参数和权重；
步骤五：图像分割，包括利用训练好的DeepLabv3+分割模型，对采集到的无铆钉铆接剖面图像进行分割，得到剖面图像的特征指标。
2.根据权利要求1所述的基于深度学习的无铆钉铆接接头剖面图像分割方法，其特征在于，步骤一中，无铆钉铆接件的剖面图像数据包括各种材料和不同连接方式的图像，通过标注工具对每一张样本图像进行标注。
3.根据权利要求2所述的基于深度学习的无铆钉铆接接头剖面图像分割方法，其特征在于，步骤一中，标注工具可以使用Labelme、CVAT、VIA、PixlAnnotationTool、EISeg中的一种或者多种组合，根据材料对截面进行分类，以表征关节形状，标注出上板和下板其他区域作为背景，生成样本图像对应的标签图像，来获得无铆钉铆接剖面的图像数据集。
4.根据权利要求1所述的基于深度学习的无铆钉铆接接头剖面图像分割方法，步骤二中，对初始数据集进行数据增强具体包括对初始数据集中的样本图像进行尺度随机的平移、翻转、旋转、裁剪、缩放的操作；
数据增强工具选择OpenCV、Imgaug、Skimage、PIL、Augmentor、Albumentations中的一种或者多种组合。
5.根据权利要求1所述的基于深度学习的无铆钉铆接接头剖面图像分割方法，步骤三中，所述的深度学习框架选择Tensorflow、Keras、Pytorch、Caffe、Theano、PaddlePaddle、MXNet、CNTK、Chainer、Deeplearning4j中的一种。
6.根据权利要求1所述的基于深度学习的无铆钉铆接接头剖面图像分割方法，步骤三中，初始的DeepLabv3+模型结构采用基于CNN的编码器-解码器结构，解码器中采用Xception模型，将Xception模型应用于分割任务，并将深度可分离卷积应用于Atrous空间金字塔池化(ASPP)和解码器模块，ASPP的结构采用1×1Conv-3×3Conv-3×3Conv卷积-3×3Conv-Image Pooling结构。
7.根据权利要求6所述的基于深度学习的无铆钉铆接接头剖面图像分割方法，步骤三中，DeepLabv3+分割模型具体网络形式为：
1)、先通过编码器将输入图像的尺寸减小16倍；
2)、使用1×1卷积将通道数减小为256，后再接一个BN，ReLU激活函数和Dropout；
3)、使用双线性插值对对齐进行上采样4倍；
4)、将缩放4倍处的浅层的特征依次经过1×1卷积将通道数减小为48-BN-ReLU；
5)、拼接3和4的Feature Map；
6)、经过两组3×3Conv，BN，ReLU，Dropout；
7)、上采样4倍得到最终的结果；
在解码器模块中，使用1×1卷积用于减少来自编码器模块的低级特征映射，3×3卷积用于获得更清晰的分割结果的。
8.根据权利要求1所述的基于深度学习的无铆钉铆接接头剖面图像分割方法，其特征在于，
步骤四中，所述训练参数包括：训练优化器、学习率、动量系数、批次大小、迭代次数和损失函数；
优化器选择Adam、Adamax、Nadam、BGD、SGD、MBGD、Momentum、Adagrad、Adadelta或RMSprop中的一种或多种组合；
激活函数选择Softmax、Sigmoid、Tanh、Relu、Leaky Relu、PRelu、RRelu、Elu、Selu、Swish或Maxout。
9.根据权利要求1所述的基于深度学习的无铆钉铆接接头剖面图像分割方法，步骤五中，特征指标至少包括接头自锁值、颈部厚度和底部厚度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310581331.8A CN116630343A (zh) | 2023-05-23 | 2023-05-23 | 一种基于深度学习的无铆钉铆接接头剖面图像分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310581331.8A CN116630343A (zh) | 2023-05-23 | 2023-05-23 | 一种基于深度学习的无铆钉铆接接头剖面图像分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116630343A true CN116630343A (zh) | 2023-08-22 |
Family
ID=87635955
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310581331.8A Pending CN116630343A (zh) | 2023-05-23 | 2023-05-23 | 一种基于深度学习的无铆钉铆接接头剖面图像分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116630343A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117970618A (zh) * | 2024-03-28 | 2024-05-03 | 西北工业大学 | 一种动态高分辨率表面等离子体共振全息显微成像方法 |
-
2023
- 2023-05-23 CN CN202310581331.8A patent/CN116630343A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117970618A (zh) * | 2024-03-28 | 2024-05-03 | 西北工业大学 | 一种动态高分辨率表面等离子体共振全息显微成像方法 |
| CN117970618B (zh) * | 2024-03-28 | 2024-06-11 | 西北工业大学 | 一种动态高分辨率表面等离子体共振全息显微成像方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111507990B (zh) | 一种基于深度学习的隧道表面缺陷分割方法 | |
| CN111161218A (zh) | 一种基于孪生卷积神经网络的高分遥感影像变化检测方法 | |
| CN114627383B (zh) | 一种基于度量学习的小样本缺陷检测方法 | |
| CN113160139B (zh) | 基于注意力的Faster R-CNN网络的钢板表面缺陷检测方法 | |
| CN113822889B (zh) | 一种热轧钢板表面缺陷检测方法 | |
| CN113628178B (zh) | 一种速度与精度平衡的钢铁产品表面缺陷检测方法 | |
| CN116630343A (zh) | 一种基于深度学习的无铆钉铆接接头剖面图像分割方法 | |
| CN114372955A (zh) | 一种基于改进神经网络的铸件缺陷x射线图自动识别法 | |
| CN111178392B (zh) | 基于深度神经网络的航空发动机孔探图像损伤分割方法 | |
| CN112070727A (zh) | 一种基于机器学习的金属表面缺陷检测方法 | |
| CN115096893A (zh) | 一种基于机器视觉的飞机结构件缺陷无损检测方法 | |
| CN115170529A (zh) | 基于注意力机制的多尺度微小瑕疵检测方法 | |
| Li et al. | Automatic identification framework of the geometric parameters on self-piercing riveting cross-section using deep learning | |
| Fan et al. | Application of YOLOv5 neural network based on improved attention mechanism in recognition of Thangka image defects | |
| CN116883393B (zh) | 一种基于无锚框目标检测算法的金属表面缺陷检测方法 | |
| CN115294541A (zh) | 一种局部特征增强Transformer道路裂缝检测方法 | |
| CN115147347A (zh) | 一种面向边缘计算的玛钢管件表面缺陷检测的方法 | |
| CN116205832A (zh) | 一种基于stm r-cnn的金属表面缺陷检测方法 | |
| CN117745697A (zh) | 一种基于改进YOLOv8模型的钢材表面缺陷检测算法 | |
| CN113516652A (zh) | 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备 | |
| CN113762247A (zh) | 一种基于显著实例分割算法的道路裂缝自动检测方法 | |
| Imani et al. | Image-guided multi-response modeling and characterization of design defects in metal additive manufacturing | |
| CN116958645A (zh) | 一种全自动一体化汽车补漆的刮痕识别方法 | |
| CN116342542A (zh) | 一种基于轻量级神经网络的钢铁产品表面缺陷检测方法 | |
| CN116642897A (zh) | 一种航空零部件涂层外观缺陷检测系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |