CN113240050A - 一种特征融合权重可调的金属打印熔池检测方法 - Google Patents
一种特征融合权重可调的金属打印熔池检测方法 Download PDFInfo
- Publication number
- CN113240050A CN113240050A CN202110635259.3A CN202110635259A CN113240050A CN 113240050 A CN113240050 A CN 113240050A CN 202110635259 A CN202110635259 A CN 202110635259A CN 113240050 A CN113240050 A CN 113240050A
- Authority
- CN
- China
- Prior art keywords
- feature
- feature map
- fusion
- molten pool
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 107
- 239000002184 metal Substances 0.000 title claims abstract description 16
- 238000007639 printing Methods 0.000 title claims abstract description 15
- 238000001514 detection method Methods 0.000 title claims description 56
- 238000012549 training Methods 0.000 claims abstract description 43
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 29
- 238000010146 3D printing Methods 0.000 claims abstract description 26
- 238000004372 laser cladding Methods 0.000 claims abstract description 24
- 238000010586 diagram Methods 0.000 claims abstract description 23
- 238000003062 neural network model Methods 0.000 claims abstract description 13
- 238000013528 artificial neural network Methods 0.000 claims description 25
- 238000012360 testing method Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 19
- 238000012795 verification Methods 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 12
- 101150060512 SPATA6 gene Proteins 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 6
- 238000007499 fusion processing Methods 0.000 claims description 3
- 230000002238 attenuated effect Effects 0.000 claims description 2
- 238000009432 framing Methods 0.000 claims description 2
- 238000003672 processing method Methods 0.000 abstract description 3
- 238000013527 convolutional neural network Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 abstract description 2
- 238000003860 storage Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P10/00—Technologies related to metal processing
- Y02P10/25—Process efficiency
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种特征融合权重可调的金属打印熔池检测方法，包括：采集激光熔覆式3D打印熔池的彩色图像，搭建卷积神经网络对彩色图像提取特征图，根据应用场景的不同结合训练时的经验设置每层特征图的加权值，每一种尺寸的特征图都输出一个结果，获取特征融合后的特征图用于后续的处理与预测，最后按照预设的识别条件识别出彩色图像中的熔池。采用前述方法，能够准确地对熔池彩色图像的特征图获取语义信息，并且此特征图的处理方法可应用于不同的应用场景，只需根据训练神经网络模型的效果，设置合适的特征图加权即可，具有识别准确度高和适应性强的优点。
Description
技术领域
本发明涉及深度学习、图像识别以及金属3D打印的技术领域，尤其涉及一种特征融合权重可调的金属打印熔池检测方法。
背景技术
特征图的处理是图像识别、分类及目标检测等领域不可或缺的一部分工作。在卷积神经网络的主干部分获取到了一定的特征之后，就需要对获得的特征图进行处理，例如在Faster RCNN、Mask RCNN、YOLO-v3等网络中使用的特征处理方式就是最基础的FPN(特征图金字塔)，而后PANet提出了简单的自下而上的二次融合的特征图处理方式，随后，对特征图的处理方式就越加复杂，例如添加了注意力机制的ASFF特征图处理，以及谷歌的NAS-FPN和BiFPN都以更为复杂的结构来获取特征图更为全面的语义信息。不过想要修改网络结构非常复杂，无法适用于多种场景。熔池检测在3D打印方面处于初步发展阶段，且国内外大多是通过肉眼对熔池进行监测，但是熔池多变肉眼观察难度大，无法保证观察的准确性。如今计算机视觉技术有了一定的发展，使用计算机视觉对熔池进行自动检测分析将逐渐地成为一种趋势。
目前，算法工程师们精心设计特征图的处理方式以获的更好的识别结果，而这些处理方式往往有着非常复杂的结构，在特定的应用领域无法直接使用现有的网络。
发明内容
本发明提供了一种基于特征融合权重可调的金属打印熔池检测方法，以解决熔池检测人工成本高，准确性低，以及现有的特征处理网络结构固定，难以设计和修改，且无法适应特定的应用场景的问题。本发明提供一种基于特征融合权重可调的金属打印熔池检测方法，包括如下步骤：
步骤1：采集激光熔覆式3D打印熔池的彩色图像，将彩色图像划分为训练集、验证集与测试集，对训练集与验证集彩色图像进行标注，生成标签文件；
步骤2：搭建神经网络主干模块用于彩色图像的特征提取，获得三种不同尺寸的特征图；
步骤3：设置特征融合权重，搭建特征处理模块，并与步骤2搭建的神经网络主干模块结合，完成整个神经网络；
步骤4：将训练集与验证集的彩色图像与标签文件送入神经网络进行训练，使用测试集观察所得模型的质量，设置新的特征融合参数，反复训练直到得到训练好的神经网络模型；
步骤5：使用步骤4训练好的神经网络模型对激光熔覆式3D打印彩色图像进行检测，保存检测结果图像。
进一步地，步骤1包括：
步骤1.1：录制激光熔覆式3D打印熔池的视频，对视频进行分帧处理，舍弃不清晰(可由人眼观察是否清晰)和不包含熔池的图像，保存N1(一般取值为1000)张可用的激光熔覆式3D打印熔池彩色图像；
步骤1.2：将获取的彩色图像按一定比例(一般为3:1:1)划分为训练集、验证集与测试集，对训练集与验证集彩色图像进行标注，生成标签文件，测试集用于对训练得到模型的质量评估；
进一步地，步骤2包括：
步骤2.1：将输入的彩色图像尺寸统一成416*416；
步骤2.2：将尺寸统一后的彩色图像依次送到一个Darknet结构(一种神经网络主干结构的名称)与三个残差结构进行卷积操作，并获取此时的特征图P3(P3特征图，尺寸为52*52通道数为256)；
步骤2.3：将步骤2.2获得的特征图再送入一个残差结构获取此时的特征图P4(P4特征图，尺寸为26*26通道数为512)，再送入一个残差结构与SPP结构(一种神经网络特征图处理结构的名称)，获取最后一个特征图P5(P5特征图，尺寸为13*13通道数为1024)。
进一步地，步骤3包括：
步骤3.1：将P5特征图设定为初始特征图，深层的特征图更能反应大目标的特征，而浅层的特征图对小目标更为敏感，所以将P5、P4、P3特征图的加权值分别设置为3、2、1，此特征图加权值的设置是所需语义信息的直观体现；
步骤3.2：特征图融合前需要处理特征图尺寸，使用上采样的方法，将P5特征图的尺寸调整为P4特征图的尺寸，将P4特征图调整为P3特征图的尺寸，特征图的尺寸根据公式(1)计算：
其中，L为计算后的特征图边长，Lin为输入的特征图边长，P为卷积操作零填充的数量，D为卷积核元素之间的步幅，K为卷积核的大小，S为卷积的步长；
步骤3.3：每次特征融合的方法不全相同，每次特征融合前需要选择特征图的融合方式，每个特征层的第一次特征融合，使用concat方式(一种特征融合方式，在通道数上进行堆叠)，在第一维度上进行特征融合，concat特征融合后的通道数Zconcat通过公式(2)计算：
其中，c为参与计算的特征图总数，i为参与计算特征图的序号，Xi为进行融合的一个特征图通道，X′i为进行特征融合的另一个特征图通道，h()表示卷积计算，Ki和Ki+c为与两个特征图进行卷积计算的卷积核；
每个特征层的非第一次特征融合，使用直接相加add的方式进行特征融合，特征图的通道数保持不变，add特征融合的输出通道数Zadd通过公式(3)计算：
步骤3.4：concat特征融合之后，将获得的特征图进行5次卷积，对特征进行进一步的提取且不改变特征图的尺寸，add特征融合之后，经过一次mish激活函数，mish激活函数的表达式如公式(4)：
mish＝x*tanh(ln(1+ex)) (4)
其中的x表示输入的特征图张量；
步骤3.5：整个特征处理模块每个特征图参与计算的情况由公式(5)表示：
其中，x(n)表示第n层的特征图张量，n取3、4、5；M(n)表示第n层的加权值，concat表示concat特征融合方式；
步骤3.6：为了防止卷积层过多，导致网络过深而带来梯度不稳定和网络退化等问题，在完成特征图的处理之后，将获得的特征图与输入的原始特征图进行融合，融合之前先经过一次卷积核尺寸为1*1的卷积，再进行add融合；
所有特征图的融合顺序为：P5特征图选定为初始特征图之后，首先与自身进行两次add特征融合并且使用mish激活函数来提提升特征图的表达能力，作为第一张输出的特征图F5，之后经过一次下采样与P4特征图进行concat特征融合，再经过5次卷积后与P4特征图进行一次add特征融合并且使用mish激活函数来提提升特征图的表达能力，得到第二张输出的特征图F4，其次再进行一次下采样与P3特征图进行concat特征融合，再经过5次卷积得到第三张输出的特征图F3。将得到的三张特征图F3、F4、F5与原始的三张特征图P3、P4、P5各自经过一次卷积核尺寸为1*1的卷积后，再将卷积后的F5、F4、F3与卷积后的P5、P4、P3对应地进行add特征融合，完成整个特征融合过程。
当本方法需要用在其他场景上时，仅需修改特征图的加权值即可。例如，用于小目标的检测时，需要注重更浅层的语义信息才能检测到小目标，此时设置P3特征图的加权值大于P4与P5的加权值，P5特征图的加权值设置为最小即可完成网络的修改。
进一步地，步骤4包括：
步骤4.1：将训练集与验证集的彩色图像送入神经网络进行训练，训练时，每N2(一般取值为100)张图像作为一个训练单元；
步骤4.2：损失函数使用CIOU损失函数，训练时学习率按余弦函数进行衰减，一共训练N3(一般取值为50)次，得到训练好的神经网络模型。
步骤4.3：将测试集彩色图像输入到训练好的神经网络模型进行检测，观察检测结果的预测框与真实框的交并比，如果测试集检测结果的预测框与真实框的交并比平均值小于X(一般取值为90％)，则重新设置特征融合的权重，重复步骤4.1与步骤4.2，直到得到的模型达到要求，保存预测框与真实框交并比平均值最高的模型为基于特征融合权重可调的熔池检测模型。
进一步地，步骤5包括：
步骤5.1：将激光熔覆式3D打印熔池彩色图像输入到训练好的基于特征融合权重可调的熔池检测模型中进行目标检测；
步骤5.2：基于特征融合权重可调的熔池检测模型的神经网络主干模块对输入的图像进行特征提取，输出3种特征图；
步骤5.3：基于可调权重的特征融合的熔池检测模型的特征处理模块对特征图进行特征融合，输出熔池检测的结果，完成熔池检测。
有益效果：本发明在熔池检测方面提供的一种基于特征融合权重可调的金属打印熔池检测方法，对于熔池这样光线复杂、难以观察的应用场景，非特定的神经网络结构难以对其进行有效的识别和监控。本方法能够直接设置每层特征图的权重，以此快速修改网络的结构，使得网络对权重更大的特征图的语义信息获取更为全面。针对激光熔覆式3D打印熔池设计了独特的特征图处理结构，能够更精准地对熔池进行识别。本方法实现了神经网络由面到点的优化，对于准确地检测熔池，提高熔池检测的效率，提高神经网络的修改效率，降低人工劳动量方面具有重要意义。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。
图1是本发明实施例提供的一种基于特征融合权重可调的金属打印熔池检测方法的工作流程示意图；
图2是本发明实施例提供的一种基于特征融合权重可调的金属打印熔池检测方法的系统总图框图；
图3是本发明实施例提供的6张激光熔覆式3D打印熔池的彩色图像；
图4是本发明实施例应用于激光熔覆式3D打印熔池彩色图像检测结果的效果图像；
图5是本发明实施例应用于激光熔覆式3D打印熔池彩色图像测试集的预测框与真实框求交求并后比值的记录图像。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
本发明实施例公开了一种基于特征融合参数可调的金属打印熔池检测方法，在本发明实施例中，采集激光熔覆式3D打印熔池的彩色图像，按比例划分为训练集、验证集和测试集并对训练集和验证集进行标注，生成标签文件。构建基于特征融合参数可调的熔池检测模型，使用训练集和验证集训练网络，使用得到的网络模型对激光熔覆式3D打印熔池的图像进行检测。
参照图1，为本发明实施例提供的一种基于特征融合权重可调的金属打印熔池检测方法的工作流程示意图，包括以下步骤：
步骤1：采集激光熔覆式3D打印熔池的彩色图像，将彩色图像划分为训练集、验证集与测试集，对训练集与验证集彩色图像进行标注，生成标签文件；
步骤2：搭建神经网络主干模块【可参考孙玉林,余本国PyTorch深度学习入门与实战[M],北京:中国水利水电出版社P69-P82】，用于彩色图像的特征提取【可参考孙玉林,余本国PyTorch深度学习入门与实战[M],北京:中国水利水电出版社P99-P105】，获得三种不同尺寸的特征图；
步骤3：设置特征融合权重，搭建特征处理模块，并与步骤2搭建的神经网络主干模块结合，完成整个神经网络；
步骤4：将训练集与验证集的彩色图像与标签文件送入神经网络进行训练，使用测试集测试所得模型的质量，设置新的特征融合参数，反复训练直到得到达到要求的神经网络模型；
步骤5：使用步骤4训练好的神经网络模型对激光熔覆式3D打印彩色图像进行检测，保存检测结果图像。
在本发明实施例中，步骤1包括：
步骤1.1：录制激光熔覆式3D打印熔池的视频，对视频进行分帧处理，舍弃不清晰和不包含熔池的图像，保存1000张可用的激光熔覆式3D打印熔池彩色图像；
步骤1.2：将获取的彩色图像按3:1:1的比例划分为训练集、验证集与测试集，对训练集与验证集彩色图像进行标注，生成标签文件，测试集用于对训练得到模型的质量评估；
在本发明实施例中，步骤2包括：
步骤2.1：将输入的图像尺寸统一成416*416；
步骤2.2：将尺寸统一后的图像依次送到一个Darknet结构【可参考李烨,顾晨峰.基于注意力机制的多尺度小目标交通标志检测[J/OL].小型微型计算机系统，2021(03):1-8】与三个残差结构【可参考张健,何京璇,王容.基于CNN和Resblock的图像超分辨率重建算法[J].信息技术与网络安全,2019,38(07):54-59.】进行卷积操作，并获取此时的特征图(P3特征图，尺寸52*52通道数为256)；
步骤2.3：将步骤2.2获得的特征图再送入一个残差结构获取此时的特征图(P4特征图，尺寸26*26通道数为512)，再送入一个残差结构与SPP【可参考蒋镕圻,彭月平,谢文宣,谢郭蓉.嵌入scSE模块的改进YOLOv4小目标检测算法[J/OL].图学学报,2021(01),1-10.】结构，获取最后一个特征图(P5特征图，尺寸13*13通道数为1024)。
步骤2.2与步骤2.3搭建了神经网络主干模块，完成对输入图像的处理，获取特征图用于后续的特征融合模块。
在本发明实施例中，步骤3包括：
步骤3.1：将P5特征图设定为初始特征图，不同特征图的包含不同的语义信息【可参考[1]李青援,邓赵红,罗晓清,顾鑫,王士同.注意力与跨尺度融合的SSD目标检测算法[J/OL].计算机科学与探索,2021(03),1-14.】，深层次的特征图更能反应大目标的特征，而浅层次的特征图对小目标更为敏感，所以将P5、P4、P3特征图的加权值分别设置为3、2、1，则P5特征图参与三次特征融合，P4特征图参与两次特征融合，P3特征图参与一次特征融合，此加权值的设置是根据激光熔覆式3D打印熔池需要对熔池整体进行检测，而P5特征图更能反应整体的特征，所以P5特征图的权重设置的比P4与P3特征图更大，P3特征图偏向于体现图像中小目标的特征，在熔池的检测中对小目标的特征并不敏感，因此P3特征图的加权值只设置为1；
步骤3.2：处理特征图尺寸，使用上采样的方法，将P5特征图的尺寸调整为P4特征图的尺寸，将P4特征图调整为P3特征图的尺寸，特征图的尺寸可根据公式(1)计算：
其中，L为计算后的特征图边长，Lin为输入的特征图边长，P为卷积操作零填充的数量，D为卷积核元素之间的步幅，K为卷积核的大小，S为卷积的步长；
步骤3.3：选择特征图融合的方式，每个特征层的第一次特征融合，使用concat【可参考赵柳,陆军,刘杨.MAEA-DeepLab：具有多特征注意力有效聚合模块的语义分割网络[J/OL].中国科学技术大学学报,2021(01),1-14】方式，在第一维度上进行特征融合，concat特征融合后的通道数Zconcat可通过公式(2)计算：
其中，c为参与计算的特征图总数，i为参与计算特征图的序号，Xi为进行融合的一个特征图通道，X′i为进行特征融合的另一个特征图通道，h()表示卷积计算，Ki和Ki+c为与两个特征图进行卷积计算的卷积核。
每个特征层的非第一次特征融合，使用add(直接相加)的方式进行特征融合，特征图的通道数保持不变。add特征融合的输出通道数Zadd通过公式(3)计算：
其中的字母代表的含义与公式(2)相同；
步骤3.4：concat特征融合之后，将获得的特征图进行5次卷积，对特征进行进一步的提取且不改变特征图的尺寸，add特征融合之后，经过一次mish激活函数。mish激活函数的表达式如公式(4)：
mish＝x*tanh(ln(1+ex)) (4)
其中的x表示输入的特征图张量。
步骤3.5：整个特征处理模块每个特征图参与计算的情况可由公式(5)表示：
其中，x(n)表示第n层的特征图张量，n取3、4、5，M(n)表示第n层的加权值，concat表示concat特征融合方式。
步骤3.6：为了防止卷积层过多，导致网络过深而带来梯度不稳定和网络退化等问题，在完成特征图的处理之后，将获得的特征图与输入的原始特征图进行融合，融合之前先经过一次卷积核尺寸为1*1的卷积，再进行add融合。
P5、P4、P3特征图的加权值分别设置为3、2、1，特征融合的过程如图2所示，具体步骤为：P5特征图选定为初始特征图之后，首先与自身进行两次add特征融合并且使用mish激活函数来提提升特征图的表达能力，作为第一张输出的特征图F5，之后经过一次下采样与P4特征图进行concat特征融合，再经过5次卷积后与P4特征图进行一次add特征融合并且使用mish激活函数来提提升特征图的表达能力，得到第二张输出的特征图F4，其次再进行一次下采样与P3特征图进行concat特征融合，再经过5次卷积得到第三张输出的特征图F3。将得到的三张特征图F5、F4、F3与原始的三张特征图P5、P4、P3各自经过一次卷积核尺寸为1*1的卷积后，再将卷积后的F5、F4、F3与卷积后的P5、P4、P3对应地进行add特征融合，完成整个特征融合过程。
当本方法需要用在其他场景上时，仅需修改特征图的加权值即可。例如，用于小目标的检测时，需要注重更浅层的语义信息才能检测到小目标，此时设置P3特征图的加权值大于P4与P5的加权值，P5特征图的加权值设置为最小即可完成网络的修改。
在本发明实施例中，步骤4包括：
步骤4.1：将训练集与验证集的彩色图像送入神经网络进行训练，训练时，每100张图像作为一个训练单元；
步骤4.2：损失函数使用CIOU【可参考马巧梅,王明俊,梁昊然.复杂场景下基于改进YOLOv3的车牌定位检测算法[J].计算机工程与应用,2021,57(07):198-208.】损失函数，训练时学习率按余弦函数进行衰减，一共训练50次，得到训练好的神经网络模型。
步骤4.3：将测试集彩色图像输入到的神经网络模型进行检测，观察检测结果的预测框与真实框的交并比，如果测试集检测结果的预测框与真实框的交并比平均值小于90％，则重新设置特征融合的权重，重复步骤4.1与步骤4.2，直到得到的模型达到要求，保存预测框与真实框交并比平均值最高的模型为基于特征融合权重可调的熔池检测模型。
在本发明实施例中，步骤5包括：
步骤5.1：将激光熔覆式3D打印熔池彩色图像输入到训练好的基于特征融合权重可调的熔池检测模型中进行目标检测；
步骤5.2：基于特征融合权重可调的熔池检测模型的神经网络主干模块对输入的图像进行特征提取，输出3种特征图；
步骤5.3：基于可调权重的特征融合的熔池检测模型的特征处理模块对特征图进行特征融合，输出熔池检测的结果，完成熔池检测。熔池的彩色图像检测前如图3所示，检测后的结果如图4所示。
通过上述技术方案的实施，本发明的优点是：(1)提供了激光熔覆式3D打印熔池图像的采集方法及熔池图片数据集制作过程。(2)提供了神经网络特征层的搭建方法，以及训练神经网络模型设置特征层权重的方法。(3)提供了一种特征融合参数根据应用场景调节的算法。(4)对激光熔覆式3D打印熔池的识别精度高，在测试集上预测框准确度可达到95.8％每张测试图片预测框准确度如图5所示。(5)迁移性好，易于和其他网络结合。
具体实现中，本发明还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的一种基于特征融合权重可调的金属打印熔池检测方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称：ROM)或随机存储记忆体(英文：random access memory，简称：RAM)等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本发明提供了一种特征融合权重可调的金属打印熔池检测方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。
Claims (6)
1.一种特征融合权重可调的金属打印熔池检测方法，其特征在于，包括以下步骤：
步骤1：采集激光熔覆式3D打印熔池的彩色图像，将彩色图像划分为训练集、验证集与测试集，对训练集与验证集彩色图像进行标注，生成标签文件；
步骤2：搭建神经网络主干模块用于彩色图像的特征提取，获得三种不同尺寸的特征图；
步骤3：设置特征融合权重，搭建特征处理模块，并与步骤2搭建的神经网络主干模块结合，完成整个神经网络；
步骤4：将训练集与验证集的彩色图像与标签文件送入神经网络进行训练，使用测试集观察所得模型的质量，设置新的特征融合参数，反复训练直到得到训练好的神经网络模型；
步骤5：使用步骤4训练好的神经网络模型对激光熔覆式3D打印彩色图像进行检测，保存检测结果图像。
2.根据权利要求1所述的方法，其特征在于，步骤1包括：
步骤1.1：录制激光熔覆式3D打印熔池的视频，对视频进行分帧处理，舍弃不清晰和不包含熔池的图像，保存N1张可用的激光熔覆式3D打印熔池彩色图像；
步骤1.2：将获取的彩色图像按一定比例划分为训练集、验证集与测试集，对训练集与验证集彩色图像进行标注，生成标签文件，测试集用于对训练得到模型的质量评估。
3.根据权利要求2所述的方法，其特征在于，步骤2包括：
步骤2.1：将输入的彩色图像尺寸统一成416*416；
步骤2.2：将尺寸统一后的彩色图像依次送到一个Darknet结构与三个残差结构进行卷积操作，并获取此时的特征图P3；
步骤2.3：将步骤2.2获得的特征图再送入一个残差结构获取此时的特征图P4，再送入一个残差结构与SPP结构，获取最后一个特征图P5。
4.根据权利要求3所述的方法，其特征在于，步骤3包括：
步骤3.1：将P5特征图设定为初始特征图，将P5、P4、P3特征图的加权值分别设置为3、2、1；
步骤3.2：特征图融合前需要处理特征图尺寸，使用上采样的方法，将P5特征图的尺寸调整为P4特征图的尺寸，将P4特征图调整为P3特征图的尺寸，特征图的尺寸根据公式(1)计算：
其中，L为计算后的特征图边长，Lin为输入的特征图边长，P为卷积操作零填充的数量，D为卷积核元素之间的步幅，K为卷积核的大小，S为卷积的步长；
步骤3.3：每次特征融合前需要选择特征图的融合方式，每个特征层的第一次特征融合，使用concat方式，在第一维度上进行特征融合，concat特征融合后的通道数Zconcat通过公式(2)计算：
其中，c为参与计算的特征图总数，i为参与计算特征图的序号，Xi为进行融合的一个特征图通道，X′i为进行特征融合的另一个特征图通道，h()表示卷积计算，Ki和Ki+c为与两个特征图进行卷积计算的卷积核；
每个特征层的非第一次特征融合，使用直接相加add的方式进行特征融合，特征图的通道数保持不变，add特征融合的输出通道数Zadd通过公式(3)计算：
步骤3.4：concat特征融合之后，将获得的特征图进行5次卷积，对特征进行进一步的提取且不改变特征图的尺寸，add特征融合之后，经过一次mish激活函数，mish激活函数的表达式如公式(4)：
mish＝x*tanh(ln(1+ex)) (4)
其中的x表示输入的特征图张量；
步骤3.5：整个特征处理模块每个特征图参与计算的情况由公式(5)表示：
其中，x(n)表示第n层的特征图张量，n取3、4、5；M(n)表示第n层的加权值，concat表示concat特征融合方式；
步骤3.6：在完成特征图的处理之后，将获得的特征图与输入的原始特征图进行融合，融合之前先经过一次卷积核尺寸为1*1的卷积，再进行add融合；
所有特征图的融合顺序为：P5特征图选定为初始特征图之后，首先与自身进行两次add特征融合并且使用mish激活函数来提提升特征图的表达能力，作为第一张输出的特征图F5，之后经过一次下采样与P4特征图进行concat特征融合，再经过5次卷积后与P4特征图进行一次add特征融合并且使用mish激活函数来提提升特征图的表达能力，得到第二张输出的特征图F4，其次再进行一次下采样与P3特征图进行concat特征融合，再经过5次卷积得到第三张输出的特征图F3，将得到的三张特征图F3、F4、F5与原始的三张特征图P3、P4、P5各自经过一次卷积核尺寸为1*1的卷积后，再将卷积后的F5、F4、F3与卷积后的P5、P4、P3对应地进行add特征融合，完成整个特征融合过程。
5.根据权利要求4所述的方法，其特征在于，步骤4包括：
步骤4.1：将训练集与验证集的彩色图像送入神经网络进行训练，训练时，每N2张图像作为一个训练单元；
步骤4.2：损失函数使用CIOU损失函数，训练时学习率按余弦函数进行衰减，一共训练N3次，得到训练好的神经网络模型；
步骤4.3：将测试集彩色图像输入到训练好的神经网络模型进行检测，观察检测结果的预测框与真实框的交并比，如果测试集检测结果的预测框与真实框的交并比平均值小于X，则重新设置特征融合的权重，重复步骤4.1与步骤4.2，直到得到的模型达到要求，保存预测框与真实框交并比平均值最高的模型为基于特征融合权重可调的熔池检测模型。
6.根据权利要求5所述的方法，其特征在于，步骤5包括：
步骤5.1：将激光熔覆式3D打印熔池彩色图像输入到基于特征融合权重可调的熔池检测模型中进行目标检测；
步骤5.2：基于特征融合权重可调的熔池检测模型的神经网络主干模块对输入的图像进行特征提取，输出3种特征图；
步骤5.3：基于可调权重的特征融合的熔池检测模型的特征处理模块对特征图进行特征融合，输出熔池检测的结果，完成熔池检测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110635259.3A CN113240050B (zh) | 2021-06-08 | 2021-06-08 | 一种特征融合权重可调的金属打印熔池检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110635259.3A CN113240050B (zh) | 2021-06-08 | 2021-06-08 | 一种特征融合权重可调的金属打印熔池检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113240050A true CN113240050A (zh) | 2021-08-10 |
| CN113240050B CN113240050B (zh) | 2024-05-03 |
Family
ID=77137175
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110635259.3A Active CN113240050B (zh) | 2021-06-08 | 2021-06-08 | 一种特征融合权重可调的金属打印熔池检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113240050B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113920400A (zh) * | 2021-10-14 | 2022-01-11 | 辽宁工程技术大学 | 一种基于改进YOLOv3的金属表面缺陷检测方法 |
| CN114170421A (zh) * | 2022-02-10 | 2022-03-11 | 青岛海尔工业智能研究院有限公司 | 图像检测方法、装置、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105427323A (zh) * | 2015-12-07 | 2016-03-23 | 湖南大学 | 一种基于相位一致性的激光熔覆熔池边缘提取方法 |
| CN111639692A (zh) * | 2020-05-25 | 2020-09-08 | 南京邮电大学 | 一种基于注意力机制的阴影检测方法 |
| WO2020181685A1 (zh) * | 2019-03-12 | 2020-09-17 | 南京邮电大学 | 一种基于深度学习的车载视频目标检测方法 |
| CN112543317A (zh) * | 2020-12-03 | 2021-03-23 | 东南大学 | 高分辨率单目2d视频到双目3d视频的转制方法 |
-
2021
- 2021-06-08 CN CN202110635259.3A patent/CN113240050B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105427323A (zh) * | 2015-12-07 | 2016-03-23 | 湖南大学 | 一种基于相位一致性的激光熔覆熔池边缘提取方法 |
| WO2020181685A1 (zh) * | 2019-03-12 | 2020-09-17 | 南京邮电大学 | 一种基于深度学习的车载视频目标检测方法 |
| CN111639692A (zh) * | 2020-05-25 | 2020-09-08 | 南京邮电大学 | 一种基于注意力机制的阴影检测方法 |
| CN112543317A (zh) * | 2020-12-03 | 2021-03-23 | 东南大学 | 高分辨率单目2d视频到双目3d视频的转制方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113920400A (zh) * | 2021-10-14 | 2022-01-11 | 辽宁工程技术大学 | 一种基于改进YOLOv3的金属表面缺陷检测方法 |
| CN114170421A (zh) * | 2022-02-10 | 2022-03-11 | 青岛海尔工业智能研究院有限公司 | 图像检测方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113240050B (zh) | 2024-05-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2019237846A1 (zh) | 图像处理方法、人脸识别方法、装置和计算机设备 | |
| CN109614921B (zh) | 一种基于对抗生成网络的半监督学习的细胞分割方法 | |
| CN109993040A (zh) | 文本识别方法及装置 | |
| CN111951154B (zh) | 包含背景和介质的图片的生成方法及装置 | |
| CN113240050A (zh) | 一种特征融合权重可调的金属打印熔池检测方法 | |
| CN108710893A (zh) | 一种基于特征融合的数字图像相机源模型分类方法 | |
| Jia et al. | Effective meta-attention dehazing networks for vision-based outdoor industrial systems | |
| CN111931867B (zh) | 基于轻量级模型的新冠肺炎x射线图像分类方法及系统 | |
| CN110879984A (zh) | 一种人脸比对的方法及设备 | |
| CN112766028B (zh) | 人脸模糊处理方法、装置、电子设备及存储介质 | |
| CN110287981B (zh) | 基于生物启发性表征学习的显著性检测方法及系统 | |
| CN116311004B (zh) | 基于稀疏光流提取的视频运动目标检测方法 | |
| CN116189063B (zh) | 一种用于智能视频监控的关键帧优化方法及装置 | |
| CN116977260A (zh) | 目标物的缺陷检测方法、装置、电子设备及存储介质 | |
| CN113642353B (zh) | 一种人脸检测模型的训练方法、存储介质及终端设备 | |
| CN116977692A (zh) | 一种数据处理方法、设备以及计算机可读存储介质 | |
| CN115115947A (zh) | 遥感图像检测方法、装置、电子设备以及存储介质 | |
| CN115393901A (zh) | 一种跨模态行人重识别方法及计算机可读存储介质 | |
| CN113191401A (zh) | 基于视觉显著性共享的用于三维模型识别的方法及装置 | |
| CN112102205A (zh) | 图像去模糊方法、装置、电子设备及存储介质 | |
| CN112825145A (zh) | 人体朝向检测方法、装置、电子设备和计算机存储介质 | |
| CN113723470B (zh) | 融合多层信息的花粉图像合成方法、装置及电子设备 | |
| CN117612231B (zh) | 人脸检测方法、装置、电子设备和存储介质 | |
| Du et al. | Multi branch deepfake detection based on double attention mechanism | |
| Shravan et al. | Enhanced Image Restoration Techniques using Generative Facial Prior Generative Adversarial Networks in Human Faces in Comparison of PSNR with GPEN |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |