CN115526852A - 基于目标检测的选区激光熔融过程中熔池与飞溅监测方法及应用 - Google Patents

基于目标检测的选区激光熔融过程中熔池与飞溅监测方法及应用 Download PDF

Info

Publication number
CN115526852A
CN115526852A CN202211152057.4A CN202211152057A CN115526852A CN 115526852 A CN115526852 A CN 115526852A CN 202211152057 A CN202211152057 A CN 202211152057A CN 115526852 A CN115526852 A CN 115526852A
Authority
CN
China
Prior art keywords
module
layer
output
input
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211152057.4A
Other languages
English (en)
Inventor
朱锟鹏
毛杨坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Institutes of Physical Science of CAS
Original Assignee
Hefei Institutes of Physical Science of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Institutes of Physical Science of CAS filed Critical Hefei Institutes of Physical Science of CAS
Priority to CN202211152057.4A priority Critical patent/CN115526852A/zh
Publication of CN115526852A publication Critical patent/CN115526852A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P10/00—Technologies related to metal processing
    • Y02P10/25—Process efficiency

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于目标检测的选区激光熔融过程中熔池与飞溅监测方法及应用，是使用基于深度学习的目标检测网络进行飞溅与熔池的识别与位置捕获，其步骤包括：1、熔融加工图像数据集构建，2、搭建目标检测模型，包括：特征提取模块、特征融合模块、输出模块，3、目标检测模型的训练，4、通过目标检测模型得到待监测的选区激光熔融的近红外加工图像检测结果。本发明能在选区激光熔融加工过程的近红外图像中，精确的提取出图像中的飞溅与熔池位置信息，从而实现实时的加工过程的熔池与飞溅的过程监测，且提出的目标检测模型有着参数量少、运算量少、速度快、检测精度高的特点，进而能为加工过程的实时检测提供重要的帮助。

Description

基于目标检测的选区激光熔融过程中熔池与飞溅监测方法及 应用
技术领域
本发明涉及选区激光熔融的加工过程监测领域，具体是涉及基于目标检测的选区激光熔融过程熔池与飞溅监测方法，从而完成选区激光熔融的过程的近红外图像中的熔池与飞溅监测。
背景技术
选区激光熔融成形是增材制造领域中的重要技术之一，随着时代的发展，它在各个领域中都有了广泛的应用尝试。如何更好的控制选区激光熔融的加工过程，使其产品质量提高，是近年来的重点关注问题之一。如何实现更好的过程监测，是研究选区激光熔融加工过程的非常重要的技术难点之一。加工过程中，可以通过高速摄像机采集到近红外图像，这些图像中包含了加工过程中熔池与飞溅的信息，通过这些图像信号，提取出熔池与飞溅，并进行相应的特征分析，对于选区激光熔融的加工过程监测有着重要的帮助。
在现阶段的基于近红外图像的选区激光熔融过程监测中，提取飞溅与熔池的方法大多是采用了较为简单的、基于阈值划分的二值化方法。这种方法，一般无法检测出亮度较低的飞溅，检测的效果也非常依赖于阈值的选取是否准确，同时，无法自适应的对不同的图像进行阈值的调整，十分依赖于人工的经验判断。且由于在近红外图像中，飞溅、羽流、熔池的灰度值分布常常存在互相重叠的情况，依据阈值划分得到的飞溅、熔池的检测结果漏检率和误检率都很高，对熔池与飞溅的位置定位也不准确。同时，在完成了阈值分割后，还需要对熔池和飞溅的位置进行定位，并对熔池和飞溅进行分类，无法一步完成从原始近红外图像中对熔池和飞溅进行捕获。
发明内容
本发明是为了解决上述现有技术存在的不足之处，提出一种基于目标检测的选区激光熔融过程中熔池与飞溅监测方法及应用，以期能解决在选区激光熔融的加工过程图像的熔池与飞溅检测中，熔池与飞溅的漏检率与误检率较高,同时定位不准确的问题，从而能达到高精度、少参数量、低漏检率、低误检率的监测效果。
本发明为达到上述发明目的，采用如下技术方案：
本发明一种基于目标检测的选区激光熔融过程中熔池与飞溅监测方法的特点在于，包括如下步骤：
步骤一：构建输入网络的图像数据集：
采集选区激光熔融加工过程中的近红外图像并进行剪裁处理，得到熔融加工图像，并对熔融加工图像中飞溅与熔池的位置和类别进行标注，得到包含标注信息的图像数据集，记为
Figure BDA0003856807720000021
其中，Imagei∈RC×H×W表示第i张熔融加工图像，C、H和W分别为图像的通道数、高度和长度；
Figure BDA0003856807720000022
表示第i张熔融加工图像中第n个物体的标注信息，Ni表示第i张熔融加工图像Imagei中的标注物体数量；且
Figure BDA0003856807720000023
其中，
Figure BDA0003856807720000024
代表了第i张熔融加工图像Imagei中第n个物体的类别，
Figure BDA0003856807720000025
分别代表第i张熔融加工图像Imagei中第n个物体的位置信息，
Figure BDA0003856807720000026
为第n个物体所在真实框的宽、高，
Figure BDA0003856807720000027
为第n个物体所在真实框的中心点坐标；所述物体包括熔池、飞溅；
步骤二：以Yolov5s网络为基础网络模型，搭建目标检测模型，包括：特征提取模块、特征融合模块、输出模块；
步骤2.1：所述特征提取模块由一个SCBA模块、三个CBA模块、m1+m2+m3个CSP_x模块、两个SCunit模块、一个SPPF模块组成；
步骤2.1.1：所述SCBA模块依次由一个卷积层、一个归一化层、一个激活函数层组成；且SCBA模块中卷积层的卷积核大小为k×k；
任意一个CBA模块依次由一个卷积层，一个归一化层，一个激活函数层组成；且每个CBA模块中卷积层的卷积核大小均为k′×k′；
任意一个CSP_x模块包括两个支路和一个CBA模块，其中一个支路包括一个CBA模块与x个残差结构，另一个支路包括另一个CBA模块；两个支路的输出通过堆叠操作后相连，再连接第三个CBA模块的输入；
任意一个SCunit模块由一个自校正卷积单元和一个加法器构成，自校正卷积单元的输出与SCunit模块的输入通过加法器相连；其中，所述自校正卷积单元由四个卷积层、一个Sigmoid激活函数、一个平均池化层、一个上采样层、一个加法器、一个乘法器组成；所述自校正卷积单元的输入按照通道数均分为两个部分，第一个部分输入依次经过一个平均池化层、第一个卷积层、一个上采样层后输出，上采样层的输出和第一个部分输入分别与加法器相连后再与Sigmoid激活函数的输入相连；第二个部分输入通过第二个卷积层后输出，第二个卷积层的输出与Sigmoid激活函数的输出分别与过乘法器相连后，再与第三个卷积层Conv的输入相连；第二个部分输入再通过第四个卷积层后输出，第四个卷积层的输出与第三个卷积层的输出通过堆叠操作后，得到自校正卷积单元最终的输出；
所述SPPF模块由两个卷积层、三个最大池化层组成；SSPF模块的输入依次通过第一个卷积层，第一个最大池化层，第二个最大池化层，第三个最大池化层；其中，第一个卷积层的输出与第一个最大池化层的输出、第二个最大池化层的输出、第三个最大池化层的输出通过一个堆叠操作后相连，堆叠操作后的输出通过第二个卷积层后，得到SPPF模块最终的输出；
步骤2.1.2：所述第i张熔融加工图像Imagei输入所述特征提取模块中，并依次经过一个SCBA模块、第一个CBA模块和m1个CSP_x模块的处理后，得到包含浅层语义信息的特征图
Figure BDA0003856807720000031
再依次经过第二个CBA模块与m2个CSP_x模块的处理后，得到包含中层语义信息的特征图
Figure BDA0003856807720000032
再依次经过第一个SCunit模块、m3个CSP_x、一个SPPF模块、第三个CBA模块、第二个SCunit模块的处理后，得到包含高层语义信息的特征图
Figure BDA0003856807720000033
所述特征提取模块将代表不同深度语义信息
Figure BDA0003856807720000034
输出给所述特征融合模块；
步骤2.2：所述特征融合模块由两个CBA模块与三个注意力机制CBAM模块组成；
步骤2.2.1：任意一个卷积注意力CBAM模块包括通道注意力模块和空间注意力模块；其中，所述通道注意力模块包括：一个最大池化层、一个平均池化层、两个多层感知机层、一个加法器、一个乘法器、一个Sigmoid激活函数；所述空间注意力模块包括：一个最大池化层、一个平均池化层、一个乘法器、一个卷积层；
卷积注意力CBAM模块的输入依次经过通道注意力模块和空间注意力模块后输出；
通道注意力模块的输入分为两个支路，第一个支路依次包括第一个最大池化层与第一个多层感知机层，第二个支路依次包括第一个平均池化层和第二个多层感知机层；
第一个多层感知机层的输出与第二个多层感知机层的输出分别与加法器相连后再与Sigmoid激活函数的输入相连，Sigmoid激活函数的输出与通道注意力模块的输入通过第一个乘法器相连后输出，第一个乘法器的输出作为通道注意力模块的输出并输入所述空间注意力模块中，所述空间注意力模的输入分别经过第二个最大池化层与第二个平均池化层处理后再通过堆叠操作Concat连接，再与所述卷积层的输入相连，所述卷积层的输出与空间注意力模块的输入分别与第二个乘法器的输入相连，所述第二个乘法器的输出为注意力机制CBAM模块的最终输出；
步骤2.2.2：
Figure BDA0003856807720000035
输入所述特征融合模块中，
Figure BDA0003856807720000036
经过第一个CBAM模块的处理后得到输出低维特征图
Figure BDA0003856807720000037
对
Figure BDA0003856807720000038
进行上采样操作后再依次输入第四个CBA模块、第二个CBAM模块中进行处理后，输出中维特征图
Figure BDA0003856807720000039
对
Figure BDA00038568077200000310
进行上采样操作后再依次输入第五个CBA模块、第三个CBAM模块中进行处理后，输出高维特征图
Figure BDA00038568077200000311
将
Figure BDA00038568077200000312
通过堆叠操作Concat相连后，得到特征堆叠图p′i；
步骤2.3：所述输出模块由两个CBA模块、一个SCunit模块与Yolo Head层组成；
所述Yolo Head层为yolov5s网络的解码层，p′i依次经过第六个CBA模块、第七个CBA模块、第三个SCunit模块的处理后，得到特征融合图
Figure BDA00038568077200000313
所述Yolo Head层将特征融合图
Figure BDA0003856807720000041
解码转换为目标检测模型输出特征输出图
Figure BDA0003856807720000042
步骤3、采用CIOU_loss损失函数来计算位置损失，采用二值交叉熵损失函数来计算目标置信度损失、分类损失；由所述位置损失、目标置信度损失、分类损失组成的总损失函数Loss；
基于所述包含标注信息的图像数据集，利用梯度下降法对所述目标检测模型进行训练，并计算所述总损失函数Loss以更新模型参数，当所述总损失函数Loss收敛时，得到训练后的目标检测模型；
步骤4、将待监测的选区激光熔融的近红外加工图像输入到训练后的目标检测模型中，得到若干个检测结果，并使用非极大抑制法对若干个检测结果进行筛选后得到目标检测的最终结果；所述最终结果包括：待监测的近红外加工图像中识别到的物体的类别、物体所在检测框的位置信息；
步骤5、根据目标检测的最终结果，将每个检测框绘制到加工图像上，同时采用不同的标注来区分不同类别的检测框。
本发明一种电子设备，包括存储器以及处理器，其特点在于，所述存储器用于存储支持处理器执行所述选区激光熔融过程中熔池与飞溅监测方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
本发明一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特点在于，所述计算机程序被处理器运行时执行所述选区激光熔融过程中熔池与飞溅监测方法的步骤。
与现有技术相比，本发明的有益效果在于：
1、本发明以Yolov5s为基础，设计了新的特征提取模块和特征融合模块，搭建了全新的目标检测模型，该模型具有参数量少，计算量少，检测精度高的特点。引入了自校正和CBAM注意力机制，通过自校正卷积单元的多尺度编码能力，增强了特征提取模块的特征提取能力，同时通过注意力机制CBAM和自校正卷积单元的结合应用，提出了新的特征融合策略。相较于目前的其他熔池与飞溅的位置检测方法，本发明的目标检测模型在选区激光熔融原始过程图像的信息提取中具有独特的优势。
2、本发明能够从选区激光熔融加工过程的近红外图像中自动检测熔池与飞溅的位置并进行分类，可以有效的将原始图像中的熔池与飞溅信息提取出来，实现了基于图像的特征捕获，从而为后续的特征提取和基于选区激光熔融的加工过程监测做出了贡献，在选区激光熔融的图像监测中有着实用意义，本发明提出的目标检测模型对于飞溅和熔池的误检率较低，位置定位准确，有效的提高了选区激光熔融过程监测的精确性。
附图说明
图1是本发明整体实施流程示意图；
图2是本发明具体实施方法采用的高速摄像机过程监测示意图设备图；
图3是本发明具体实施方法采用的数据集部分展示图；
图4是SCBA模块结构图；
图5是CBA模块结构图；
图6是CSP_x模块结构图；
图7是SCunit模块结构图；
图8是自校正卷积单元结构图；
图9是SPPF模块结构图；
图10是注意力机制CBAM模块结构图；
图11是本发明具体实施方法采用的目标检测模型结构图；
图12是本发明具体实施方法熔池与飞溅的目标检测效果展示图。
具体实施方式
本实施例中，其整体实施流程如图1所示，包括：模型准备部分和方法应用两个部分。首先，采集选区激光加工过程的近红外图像，并完成图像预处理与标签制作，将处理好的数据集划分为训练集、测试集、验证集。使用训练集本申请提出的目标检测模型网进行训练，并将最终的模型训练结果进行保存。之后，采集待监测的选区激光熔融加工过程的近红外图像，将图片输入到训练好的目标检测模型中进行目标检测，完成检测任务后，提取出对应的熔池与飞溅的位置信息。具体的说，该基于目标检测的选区激光熔融过程中熔池与飞溅监测方法，包括如下步骤：
步骤一：构建输入网络的图像数据集：
本实施例中，所使用的图像数据集由带有可光波段截止滤波器的高速摄像机通过离轴监测的方式进行采集。在本实例的选区激光熔融加工过程中，通过在选择性激光熔化系统中使用近红外相机的进行离轴信号采集监测，该装置采用了高速FASTCAMMiniAX200type200K-M-16GB近红外相机，相机与基板间的夹角设置为45°。为了防止等离子体辐射过高而导致无法探测到图像中熔池的状态，使用外部带通滤波器对等离子体辐射进行滤波，从而减弱羽流的亮度。
具体实例中，设置350nm至800nm的外部带通滤波器以捕获图像，加工过程中，使用的加工材料为316L不锈钢粉末，粉末的颗粒直径为10μm～45μm。该实例采用的高速摄像机过程监测示意图如图2所示。该具体实例中采集到的数据集图像部分展示见图3，本实例中使用的图片为3×250×515大小。
对采集的选区激光熔融加工过程中的近红外图像进行剪裁处理，得到熔融加工图像，并对熔融加工图像中飞溅与熔池的位置和类别进行标注，得到包含标注信息的图像数据集，记为
Figure BDA0003856807720000061
其中，Imagei∈RC×H×W表示第i张熔融加工图像，C、H和W分别为图像的通道数、高度和长度，本实施例中，C、H和W分别为3、250、515；
Figure BDA0003856807720000067
表示第i张熔融加工图像中第n个物体的标注信息，Ni表示第i张熔融加工图像Imagei中的标注物体数量；且
Figure BDA0003856807720000062
其中，
Figure BDA0003856807720000063
代表了第i张熔融加工图像Imagei中第n个物体的类别，
Figure BDA0003856807720000064
分别代表第i张熔融加工图像Imagei中第n个物体的位置信息，
Figure BDA0003856807720000065
为第n个物体所在真实框的宽、高，
Figure BDA0003856807720000066
为第n个物体所在真实框的中心点坐标；物体包括熔池、飞溅；
步骤二：以Yolov5s网络为基础网络模型，搭建目标检测模型，包括：特征提取模块、特征融合模块、输出模块；
步骤2.1：本实施例中，特征提取模块由一个SCBA模块、三个CBA模块、2个CSP_1、1个CSP_2模块、两个SCunit模块、一个SPPF模块组成；
步骤2.1.1：SCBA模块依次由一个卷积层、一个归一化层、一个激活函数层组成；且SCBA模块中卷积层的卷积核大小为k×k＝6×6；如图4中SCBA模块所示。
任意一个CBA模块依次由一个卷积层，一个归一化层，一个激活函数层组成；且每个CBA模块中卷积层的卷积核大小均为k′×k′＝3×3；如图5中CBA模块所示。
任意一个CSP_x模块包括两个支路和一个CBA模块，其中一个支路包括一个CBA模块与x个残差结构，另一个支路包括另一个CBA模块；两个支路的输出通过堆叠操作后相连，再连接第三个CBA模块的输入；如图6中CSP_x模块所示。
任意一个SCunit模块由一个自校正卷积单元和一个加法器构成，自校正卷积单元的输出与SCunit模块的输入通过加法器相连；其中，自校正卷积单元由四个卷积层、一个Sigmoid激活函数、一个平均池化层、一个上采样层、一个加法器、一个乘法器组成；自校正卷积单元的输入按照通道数均分为两个部分，第一个部分输入依次经过一个平均池化层、第一个卷积层、一个上采样层后输出，上采样层的输出和第一个部分输入分别与加法器相连后再与Sigmoid激活函数的输入相连；第二个部分输入通过第二个卷积层后输出，第二个卷积层的输出与Sigmoid激活函数的输出分别与过乘法器相连后，再与第三个卷积层Conv的输入相连；第二个部分输入再通过第四个卷积层后输出，第四个卷积层的输出与第三个卷积层的输出通过堆叠操作后，得到自校正卷积单元最终的输出；如图7中SCunit模块与图8中自校正卷积单元所示。
SPPF模块由两个卷积层、三个最大池化层组成；SSPF模块的输入依次通过第一个卷积层，第一个最大池化层，第二个最大池化层，第三个最大池化层；其中，第一个卷积层的输出与第一个最大池化层的输出、第二个最大池化层的输出、第三个最大池化层的输出通过一个堆叠操作后相连，堆叠操作后的输出通过第二个卷积层后，得到SPPF模块最终的输出；如图9中SPPF模块所示。
步骤2.1.2：第i张熔融加工图像Imagei输入特征提取模块中，并依次经过一个SCBA模块、第一个CBA模块和第1个CSP_1模块的处理后，得到包含浅层语义信息的特征图
Figure BDA0003856807720000071
Figure BDA0003856807720000072
再依次经过第二个CBA模块与第1个CSP_2模块的处理后，得到包含中层语义信息的特征图
Figure BDA0003856807720000073
Figure BDA0003856807720000074
再依次经过第一个SCunit模块、第2个CSP_1、一个SPPF模块、第三个CBA模块、第二个SCunit模块的处理后，得到包含高层语义信息的特征图
Figure BDA0003856807720000076
原始的Yolov5s网络在特征提取的过程中，小目标的信息会被逐渐压缩，使得深层次的网络中缺少了飞溅、熔池的浅层信息，不利于飞溅和熔池的检测。本发明设计了新的特征提取模块调整了网络深度和下采样倍率，可以有效的提高网络模型的检测精度。同时引入了自校正卷积模块，自校正卷积的优点在于，它能完成对通道的依赖性进行建模，对多尺度信息进行了编码，丰富了网络输出特征的针对性。
特征提取模块将代表不同深度语义信息
Figure BDA0003856807720000075
输出给特征融合模块；
步骤2.2：特征融合模块由两个CBA模块与三个注意力机制CBAM模块组成；
步骤2.2.1：任意一个卷积注意力CBAM模块包括通道注意力模块和空间注意力模块；其中，通道注意力模块包括：一个最大池化层、一个平均池化层、两个多层感知机层、一个加法器、一个乘法器、一个Sigmoid激活函数；空间注意力模块包括：一个最大池化层、一个平均池化层、一个乘法器、一个卷积层；
卷积注意力CBAM模块的输入依次经过通道注意力模块和空间注意力模块后输出；
通道注意力模块的输入分为两个支路，第一个支路依次包括第一个最大池化层与第一个多层感知机层，第二个支路依次包括第一个平均池化层和第二个多层感知机层；
第一个多层感知机层的输出与第二个多层感知机层的输出分别与加法器相连后再与Sigmoid激活函数的输入相连，Sigmoid激活函数的输出与通道注意力模块的输入通过第一个乘法器相连后输出，第一个乘法器的输出作为通道注意力模块的输出并输入空间注意力模块中，空间注意力模的输入分别经过第二个最大池化层与第二个平均池化层处理后再通过堆叠操作Concat连接，再与卷积层的输入相连，卷积层的输出与空间注意力模块的输入分别与第二个乘法器的输入相连，第二个乘法器的输出为注意力机制CBAM模块的最终输出；如图10注意力机制CBAM模块所示。
步骤2.2.2：
Figure BDA0003856807720000081
输入特征融合模块中，
Figure BDA0003856807720000082
经过第一个CBAM模块的处理后得到输出低维特征图
Figure BDA0003856807720000083
对
Figure BDA0003856807720000084
进行上采样操作后再依次输入第四个CBA模块、第二个CBAM模块中进行处理后，输出中维特征图
Figure BDA0003856807720000085
对
Figure BDA0003856807720000086
进行上采样操作后再依次输入第五个CBA模块、第三个CBAM模块中进行处理后，输出高维特征图
Figure BDA0003856807720000087
将
Figure BDA0003856807720000088
通过堆叠操作Concat相连后，得到特征堆叠图p′i；在特征融合模块中，引入了注意力机制模块CBAM，增强不同特征图重要信息的表现能力，以这种方式使得不同的特征图获得不同的增强效果，使得每个特征图都能从不同的视野，以不同的方式去更加仔细地“看待”被检测目标，使得每个特征图都负责独特的功能。
步骤2.3：输出模块由两个CBA模块、一个SCunit模块与Yolo Head层组成；
Yolo Head层为yolov5s网络的解码层，p′i依次经过第六个CBA模块、第七个CBA模块、第三个SCunit模块的处理后，得到特征融合图
Figure BDA00038568077200000811
Yolo Head层将特征融合图
Figure BDA0003856807720000089
解码转换为目标检测模型输出特征输出图
Figure BDA00038568077200000810
最后在完成了特征输出层的通道堆叠整合后，在输出模块引入自校正卷积，利用自校正卷积，再一次从多尺度的角度对特征进行编码，从三个被整合的特征堆叠图中自适应的学习和挖掘哪个特征层包含的潜在信息更加充足，有针对性的丰富特征融合图的信息。
步骤3、通过步骤2，得到本实例中使用的目标检测模型，其具体结构如图11所示。采用CIOU_loss损失函数来计算位置损失，采用二值交叉熵损失函数来计算目标置信度损失、分类损失；由位置损失、目标置信度损失、分类损失组成的总损失函数Loss；
基于包含标注信息的图像数据集，利用梯度下降法对目标检测模型进行训练，并计算总损失函数Loss以更新模型参数，当总损失函数Loss收敛时，得到训练后的目标检测模型；
步骤4、将待监测的选区激光熔融的近红外加工图像输入到训练后的目标检测模型中，得到若干个检测结果，并使用非极大抑制法对若干个检测结果进行筛选后得到目标检测的最终结果；最终结果包括：待监测的近红外加工图像中识别到的物体的类别、物体所在检测框的位置信息；
步骤5、根据目标检测的最终结果，将每个检测框绘制到加工图像上，同时采用不同的标注来区分不同类别的检测框。
通过上述步骤，完成了本实例的熔池与飞溅的目标检测任务，本实例最后得到的目标检测结果的部分图片展示见图12，图12中标注class0代表了飞溅的目标检测结果，标注class1代表了熔池的目标检测结果。
本实施例中，一种电子设备，包括存储器以及处理器，该存储器用于存储支持处理器执行该选区激光熔融过程中熔池与飞溅监测方法的程序，该处理器被配置为用于执行所述存储器中存储的程序。
本实施例中，一种计算机可读存储介质，是在计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行该选区激光熔融过程中熔池与飞溅监测方法的步骤。
综上所述，本申请解决了基于近红外图像的选区激光熔融过程监测中，熔池与飞溅识别准确率不高的问题；本申请提出的方法可以通过目标检测模型从原始的近红外图像中识别并提取出飞溅与熔池的类别、位置、大小信息。此方法具有检测精度高、实用性好、漏检率低等优点。
同时采用了其他目标检测网络，使用相同的数据集进行训练，通过对比分析来体现本发明的目标检测网络相较于其他目标检测网络的优点。
由于模型是基于Yolov5s改进的轻量级网络，因此除了和Yolov5s本身对比外，本申请也使用了目前比较流行的其他几种轻量级目标检测网络作为对比，选择了以下三个模型：1)基于mobilenetV2骨干网络的SSD目标检测网络。2)基于Yolov3提出的轻量级模型Yolov3-Tiny。3)ZhengGe等人提出的Yolox-s和Yolo-nano。对比的评价指标选择了目标检测中常使用检测精度mAP@0.5、mAP@0.7，以及平均检测精度mAP@0.5:0.95。具体的实验结果如表1所示。
表1不同网络检测性能对比
Figure BDA0003856807720000091
从上述的实验结果对比表中可以看出本申请提出的目标检测模型在经过了以选区激光熔融过程近红外图像为检测任务的针对性改进后，检测精度明显优于其他传统的目标检测网络。

Claims (3)

1.一种基于目标检测的选区激光熔融过程中熔池与飞溅监测方法，其特征在于，包括如下步骤：
步骤一：构建输入网络的图像数据集：
采集选区激光熔融加工过程中的近红外图像并进行剪裁处理，得到熔融加工图像，并对熔融加工图像中飞溅与熔池的位置和类别进行标注，得到包含标注信息的图像数据集，记为
Figure FDA0003856807710000011
其中，Imagei∈RC×H×W表示第i张熔融加工图像，C、H和W分别为图像的通道数、高度和长度；
Figure FDA0003856807710000012
表示第i张熔融加工图像中第n个物体的标注信息，Ni表示第i张熔融加工图像Imagei中的标注物体数量；且
Figure FDA0003856807710000013
其中，
Figure FDA0003856807710000014
代表了第i张熔融加工图像Imagei中第n个物体的类别，
Figure FDA0003856807710000015
分别代表第i张熔融加工图像Imagei中第n个物体的位置信息，
Figure FDA0003856807710000016
为第n个物体所在真实框的宽、高，
Figure FDA0003856807710000017
为第n个物体所在真实框的中心点坐标；所述物体包括熔池、飞溅；
步骤二：以Yolov5s网络为基础网络模型，搭建目标检测模型，包括：特征提取模块、特征融合模块、输出模块；
步骤2.1：所述特征提取模块由一个SCBA模块、三个CBA模块、m1+m2+m3个CSP_x模块、两个SCunit模块、一个SPPF模块组成；
步骤2.1.1：所述SCBA模块依次由一个卷积层、一个归一化层、一个激活函数层组成；且SCBA模块中卷积层的卷积核大小为k×k；
任意一个CBA模块依次由一个卷积层，一个归一化层，一个激活函数层组成；且每个CBA模块中卷积层的卷积核大小均为k'×k'；
任意一个CSP_x模块包括两个支路和一个CBA模块，其中一个支路包括一个CBA模块与x个残差结构，另一个支路包括另一个CBA模块；两个支路的输出通过堆叠操作后相连，再连接第三个CBA模块的输入；
任意一个SCunit模块由一个自校正卷积单元和一个加法器构成，自校正卷积单元的输出与SCunit模块的输入通过加法器相连；其中，所述自校正卷积单元由四个卷积层、一个Sigmoid激活函数、一个平均池化层、一个上采样层、一个加法器、一个乘法器组成；所述自校正卷积单元的输入按照通道数均分为两个部分，第一个部分输入依次经过一个平均池化层、第一个卷积层、一个上采样层后输出，上采样层的输出和第一个部分输入分别与加法器相连后再与Sigmoid激活函数的输入相连；第二个部分输入通过第二个卷积层后输出，第二个卷积层的输出与Sigmoid激活函数的输出分别与过乘法器相连后，再与第三个卷积层Conv的输入相连；第二个部分输入再通过第四个卷积层后输出，第四个卷积层的输出与第三个卷积层的输出通过堆叠操作后，得到自校正卷积单元最终的输出；
所述SPPF模块由两个卷积层、三个最大池化层组成；SSPF模块的输入依次通过第一个卷积层，第一个最大池化层，第二个最大池化层，第三个最大池化层；其中，第一个卷积层的输出与第一个最大池化层的输出、第二个最大池化层的输出、第三个最大池化层的输出通过一个堆叠操作后相连，堆叠操作后的输出通过第二个卷积层后，得到SPPF模块最终的输出；
步骤2.1.2：所述第i张熔融加工图像Imagei输入所述特征提取模块中，并依次经过一个SCBA模块、第一个CBA模块和m1个CSP_x模块的处理后，得到包含浅层语义信息的特征图
Figure FDA0003856807710000021
Figure FDA0003856807710000022
再依次经过第二个CBA模块与m2个CSP_x模块的处理后，得到包含中层语义信息的特征图
Figure FDA0003856807710000023
Figure FDA0003856807710000024
再依次经过第一个SCunit模块、m3个CSP_x、一个SPPF模块、第三个CBA模块、第二个SCunit模块的处理后，得到包含高层语义信息的特征图
Figure FDA0003856807710000025
所述特征提取模块将代表不同深度语义信息
Figure FDA0003856807710000026
输出给所述特征融合模块；
步骤2.2：所述特征融合模块由两个CBA模块与三个注意力机制CBAM模块组成；
步骤2.2.1：任意一个卷积注意力CBAM模块包括通道注意力模块和空间注意力模块；其中，所述通道注意力模块包括：一个最大池化层、一个平均池化层、两个多层感知机层、一个加法器、一个乘法器、一个Sigmoid激活函数；所述空间注意力模块包括：一个最大池化层、一个平均池化层、一个乘法器、一个卷积层；
卷积注意力CBAM模块的输入依次经过通道注意力模块和空间注意力模块后输出；
通道注意力模块的输入分为两个支路，第一个支路依次包括第一个最大池化层与第一个多层感知机层，第二个支路依次包括第一个平均池化层和第二个多层感知机层；
第一个多层感知机层的输出与第二个多层感知机层的输出分别与加法器相连后再与Sigmoid激活函数的输入相连，Sigmoid激活函数的输出与通道注意力模块的输入通过第一个乘法器相连后输出，第一个乘法器的输出作为通道注意力模块的输出并输入所述空间注意力模块中，所述空间注意力模的输入分别经过第二个最大池化层与第二个平均池化层处理后再通过堆叠操作Concat连接，再与所述卷积层的输入相连，所述卷积层的输出与空间注意力模块的输入分别与第二个乘法器的输入相连，所述第二个乘法器的输出为注意力机制CBAM模块的最终输出；
步骤2.2.2：
Figure FDA0003856807710000027
输入所述特征融合模块中，
Figure FDA0003856807710000028
经过第一个CBAM模块的处理后得到输出低维特征图
Figure FDA0003856807710000029
对
Figure FDA00038568077100000210
进行上采样操作后再依次输入第四个CBA模块、第二个CBAM模块中进行处理后，输出中维特征图
Figure FDA00038568077100000211
对
Figure FDA00038568077100000212
进行上采样操作后再依次输入第五个CBA模块、第三个CBAM模块中进行处理后，输出高维特征图
Figure FDA00038568077100000213
将
Figure FDA00038568077100000214
通过堆叠操作Concat相连后，得到特征堆叠图p'i；
步骤2.3：所述输出模块由两个CBA模块、一个SCunit模块与Yolo Head层组成；
所述Yolo Head层为yolov5s网络的解码层，p'i依次经过第六个CBA模块、第七个CBA模块、第三个SCunit模块的处理后，得到特征融合图
Figure FDA0003856807710000031
所述Yolo Head层将特征融合图
Figure FDA0003856807710000032
解码转换为目标检测模型输出特征输出图
Figure FDA0003856807710000033
步骤3、采用CIOU_loss损失函数来计算位置损失，采用二值交叉熵损失函数来计算目标置信度损失、分类损失；由所述位置损失、目标置信度损失、分类损失组成的总损失函数Loss；
基于所述包含标注信息的图像数据集，利用梯度下降法对所述目标检测模型进行训练，并计算所述总损失函数Loss以更新模型参数，当所述总损失函数Loss收敛时，得到训练后的目标检测模型；
步骤4、将待监测的选区激光熔融的近红外加工图像输入到训练后的目标检测模型中，得到若干个检测结果，并使用非极大抑制法对若干个检测结果进行筛选后得到目标检测的最终结果；所述最终结果包括：待监测的近红外加工图像中识别到的物体的类别、物体所在检测框的位置信息；
步骤5、根据目标检测的最终结果，将每个检测框绘制到加工图像上，同时采用不同的标注来区分不同类别的检测框。
2.一种电子设备，包括存储器以及处理器，其特征在于，所述存储器用于存储支持处理器执行权利要求1所述选区激光熔融过程中熔池与飞溅监测方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
3.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1所述选区激光熔融过程中熔池与飞溅监测方法的步骤。
CN202211152057.4A 2022-09-21 2022-09-21 基于目标检测的选区激光熔融过程中熔池与飞溅监测方法及应用 Pending CN115526852A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211152057.4A CN115526852A (zh) 2022-09-21 2022-09-21 基于目标检测的选区激光熔融过程中熔池与飞溅监测方法及应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211152057.4A CN115526852A (zh) 2022-09-21 2022-09-21 基于目标检测的选区激光熔融过程中熔池与飞溅监测方法及应用

Publications (1)

Publication Number Publication Date
CN115526852A true CN115526852A (zh) 2022-12-27

Family

ID=84699920

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211152057.4A Pending CN115526852A (zh) 2022-09-21 2022-09-21 基于目标检测的选区激光熔融过程中熔池与飞溅监测方法及应用

Country Status (1)

Country Link
CN (1) CN115526852A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116452667A (zh) * 2023-06-16 2023-07-18 成都实时技术股份有限公司 一种基于图像处理的目标识别与定位方法
CN116493735A (zh) * 2023-06-29 2023-07-28 武汉纺织大学 一种万瓦级超高功率激光焊接过程运动飞溅实时跟踪方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116452667A (zh) * 2023-06-16 2023-07-18 成都实时技术股份有限公司 一种基于图像处理的目标识别与定位方法
CN116452667B (zh) * 2023-06-16 2023-08-22 成都实时技术股份有限公司 一种基于图像处理的目标识别与定位方法
CN116493735A (zh) * 2023-06-29 2023-07-28 武汉纺织大学 一种万瓦级超高功率激光焊接过程运动飞溅实时跟踪方法
CN116493735B (zh) * 2023-06-29 2023-09-12 武汉纺织大学 一种万瓦级超高功率激光焊接过程运动飞溅实时跟踪方法

Similar Documents

Publication Publication Date Title
CN113065558B (zh) 一种结合注意力机制的轻量级小目标检测方法
CN109543606B (zh) 一种加入注意力机制的人脸识别方法
CN106960195B (zh) 一种基于深度学习的人群计数方法及装置
CN113705478B (zh) 一种基于改进YOLOv5的红树林单木目标检测方法
CN106909886B (zh) 一种基于深度学习的高精度交通标志检测方法及系统
CN110533084A (zh) 一种基于自注意力机制的多尺度目标检测方法
CN115526852A (zh) 基于目标检测的选区激光熔融过程中熔池与飞溅监测方法及应用
CN109559302A (zh) 基于卷积神经网络的管道视频缺陷检测方法
CN111046880A (zh) 一种红外目标图像分割方法、系统、电子设备及存储介质
CN105574550A (zh) 一种车辆识别方法及装置
CN112598713A (zh) 一种基于深度学习的近岸海底鱼类检测、跟踪统计方法
CN108154102A (zh) 一种道路交通标志识别方法
CN110751209B (zh) 一种融合深度图像分类和检索的智能台风定强方法
CN109117838B (zh) 应用于无人船感知系统的目标检测方法及装置
CN109376589A (zh) 基于卷积核筛选ssd网络的rov形变目标与小目标识别方法
CN114399719B (zh) 一种变电站火灾视频监测方法
CN111145145B (zh) 一种基于MobileNets的图像表面缺陷检测方法
CN110853025A (zh) 基于多列残差空洞卷积神经网络的人群密度预测方法
CN108932712A (zh) 一种转子绕组质量检测系统及方法
CN114140665A (zh) 一种基于改进YOLOv5的密集小目标检测方法
CN109543617A (zh) 基于yolo目标检测技术的智能车辆运动路况信息的检测方法
CN113139489A (zh) 基于背景提取和多尺度融合网络的人群计数方法及系统
Hou et al. Detection and localization of citrus fruit based on improved You Only Look Once v5s and binocular vision in the orchard
CN115719445A (zh) 一种基于深度学习和树莓派4b模块的海产品识别方法
CN109615610B (zh) 一种基于YOLO v2-tiny的医用创可贴瑕疵检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination