CN112233130A - 一种基于实例分割的熔覆池形貌识别及闭环控制方法 - Google Patents

一种基于实例分割的熔覆池形貌识别及闭环控制方法 Download PDF

Info

Publication number
CN112233130A
CN112233130A CN202011131085.9A CN202011131085A CN112233130A CN 112233130 A CN112233130 A CN 112233130A CN 202011131085 A CN202011131085 A CN 202011131085A CN 112233130 A CN112233130 A CN 112233130A
Authority
CN
China
Prior art keywords
cladding pool
cladding
pixel
pool
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011131085.9A
Other languages
English (en)
Inventor
谢非
朱腾飞
刘宗熙
杨继全
刘益剑
李宗安
章悦
汪璠
陆飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Normal University
Original Assignee
Nanjing Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Normal University filed Critical Nanjing Normal University
Priority to CN202011131085.9A priority Critical patent/CN112233130A/zh
Publication of CN112233130A publication Critical patent/CN112233130A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/32—Accessories
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Plasma & Fusion (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于实例分割的熔覆池形貌识别及闭环控制方法，包括如下步骤：初始化弧焊增材制造输出功率及输出功率变化量；采集弧焊增材制造熔覆池彩色图像；更新弧焊增材制造输出功率；分割出熔覆池彩色图像中的熔覆池，同时生成熔覆池的实例掩码和候选框的像素坐标，完成熔覆池的实例分割；用候选框的像素坐标表示长轴和熔宽像素数大小，计算熔宽像素数变化量，并将生成的输出功率变化量进行反馈；判断当前熔覆池彩色图像是否为最后一帧。本发明方法实时性好、识别精度高，在有熔滴覆盖熔覆池边缘时，也能实现精准检测与识别，验证了算法的有效性和鲁棒性，实现低成本高效率的检测熔覆池形貌，为弧焊增材制造实时评价提供了可靠依据。

Description

一种基于实例分割的熔覆池形貌识别及闭环控制方法
技术领域
本发明属于弧焊增材制造与机器视觉的技术领域，具体涉及一种基于实例分割的熔覆池形貌识别及闭环控制方法。
背景技术
弧焊增材制造是以电弧为热源、以金属焊丝为材料，通过对目标的三维CAD模型转化为STL模型为基础，按照一定的厚度和方向对模型进行分层切片，并对生成的轮廓进行路径规划，按照逐层累积的方式完成材料的填充，最终快速生成实体工件。而在逐层累积的过程中，熔覆池是目标件的最小成形单元，外界环境或者工艺参数的改变都会对其形状和尺寸造成影响，而其波动程度又直接影响着目标件成形质量的好坏，因此需要对熔覆池的形貌进行在线监测，用以评价成形质量，并对后续工艺参数的调整提供理论依据。
在弧焊增材制造过程中，影响熔覆池形貌和尺寸的因素有很多，如激光的功率、送丝速度、打印速度和外界环境的变化等，而这些变化因素可以统一反映在熔覆池的形貌和尺寸的变化上，因此对熔覆池的形貌和尺寸进行监控对弧焊增材制造打印出质量优良的工程件至关重要。
目前对弧焊增材制造过程中熔覆池形貌和尺寸的分析识别，有的通过经验丰富的工人对单道熔覆层打印质量的好坏进行判别，但这种方法需要工人有丰富的经验且效率较低；有的通过多经验参数的方式进行边缘检测，但是经验参数的有效性难以验证，适用性较低；还有的通过相位一致性模型进行边缘检测，但是算法计算量大、效率低，难以在工程实际中应用。
发明内容
发明目的：为了克服现有技术中存在的不足，提供一种基于实例分割的熔覆池形貌识别及闭环控制方法，该方法实时性好、识别精度高，在有熔滴覆盖熔覆池边缘时，也能实现精准检测与识别，验证了算法的有效性和鲁棒性，实现了低成本、高效率的检测熔覆池形貌，为弧焊增材制造实时评价提供依据。
技术方案：为实现上述目的，本发明提供一种基于实例分割的熔覆池形貌识别及闭环控制方法，包括如下步骤：
S1：初始化弧焊增材制造输出功率及输出功率变化量；
S2：采集弧焊增材制造熔覆池彩色图像；
S3：更新弧焊增材制造输出功率；
S4：分割出熔覆池彩色图像中的熔覆池，同时生成熔覆池的实例掩码和候选框的像素坐标，完成熔覆池的实例分割；
S5：用候选框的像素坐标表示长轴和熔宽像素数大小，计算熔宽像素数变化量，并将生成的输出功率变化量反馈至步骤S3；
S6：判断当前熔覆池彩色图像是否为最后一帧，如果是，则结束打印，如果不是，则回到步骤S2。
进一步的，所述步骤S2中弧焊增材制造熔覆池彩色图像的采集方法为：搭建熔覆池图像采集系统，利用高清摄像机和滤光片，采集彩色的弧焊增材制造过程中熔覆池图像。
进一步的，所述步骤S3中弧焊增材制造输出功率的更新方法为：根据步骤S5得到的输出功率变化量ΔP，更新弧焊增材制造输出功率P，进行更新的公式为P＝P+ΔP。
进一步的，所述步骤S4的具体过程为：
S4.1：将步骤S2获取的熔覆池彩色图像输入到主干神经网络中进行特征提取并生成不同大小的特征图，对特征图进行自上而下的融合进而生成特征金字塔网络；
S4.2：将步骤S4.1得到的特征金字塔网络输入到区域建议网络中，采用滑动窗口的方式，对特征图里的所有像素点进行遍历，对存在熔覆池的区域生成候选框；
S4.3：将步骤S4.2得到的候选框通过R0IAlign层对特征图的大小进行统一；
S4.4：将步骤S4.3每个候选框进行全连接操作，对候选框的位置进行回归、判别候选框内物体是否为熔覆池，得到候选框的像素坐标；
S4.5：将步骤S4.2得到的候选框通过一个轻量级的预测头为每个候选框生成粗预测掩码；
S4.6：从步骤S4.1得到的特征金字塔网络中选择一部分点进行独立预测并和步骤S4.5生成的粗预测掩码一起输入到多层感知机中，对熔覆池生成边缘更加精细平滑的掩码，完成熔覆池图像的实例分割。
进一步的，所述步骤S4.1中主干神经网络包括残差网络ResNet50和特征金字塔网络；
残差网络ResNet50有16个残差块，每个残差单元有三层，将整个残差网络ResNet50分为5个阶段，其中不改变特征图大小的层为一个阶段，每次抽取的特征是各个阶段最后一层的输出，每个残差单元可表示为：yi＝f(h(yi-1)+F(yi-1))；
其中，yi是第i个残差单元的输出，yi-1是第i-1个残差单元的输出，f()是激活函数ReLU，h(yi-1)是第i-1个残差单元的恒等映射，F(yi-1)是yi-1的残差映射；
特征金字塔网络是将整个残差网络ResNet50输出的5个阶段的特征图进行自上而下的融合，残差网络ResNet50输出的每个阶段的特征图分别经过卷积和上采样操作，进而与其他阶段的特征图进行融合。
进一步的，所述步骤S4.2具体包括如下步骤：
S4.2.1：对融合后的特征图，采用滑动窗口的方式，在不同大小的特征图上按不同的比例对所有像素点进行遍历，生成候选框ROI，候选框的大小分别为64*64、128*128、256*256，候选框长和宽的比例分别为2：1、1：1和1：2，每个像素点都会生成9个大小不同的候选框，整个图像上会有将近20万个相互重叠的特征框；再分别对候选框进行二分类和回归，得到候选框内物体是前景或者背景的分数、概率值以及每个候选框的坐标值；
S4.2.2：对候选框按照前景得分进行过滤和保留，取前6000个得分最高的保留，再通过非极大值抑制(NMS算法)，将前景得分最高的候选框和其他有重合的候选框进行对比，若重合度大于设定值则舍弃，否则就保留，筛选出最佳的边界框，去除冗余。
进一步的，所述步骤S4.3具体包括如下步骤：
S4.3.1：遍历所有的候选框，将候选框映射到特征图上对应位置；
S4.3.2：将每个候选框分割为若干个单元，每个单元再均分为若干个小区域，对每个小区域用双线性插值的方法求出中心点像素值；
其中，双线性插值是对原图像像素信息进行重新分布，在图像放大或者缩小时能够尽可能少丢失像素信息，每个小区域内四个顶点的坐标值分别为A(x1,y1)、B(x1,y2)、C(x2,y2)和D(x2,y1)，像素值分别为f(A)、f(B)、f(C)和f(D)，且x2＞x1、y2＞y1，这个小区域的中心点坐标为G(x,y)，双线性插值算法如下：
A1：对横坐标方向上进行插值，得到E、F点像素值f(E)、f(F)；
Figure BDA0002735190710000031
A2：对点E和F在纵坐标轴上进行插值，得到小区域像素点G的像素值f(G)；
Figure BDA0002735190710000032
S4.3.3：对每个单元的小区域进行最大池化操作，保留最大的像素值，也即每个小区域的中心点像素值。
进一步的，所述步骤S4.4的具体过程为：
在进行ROIAlign操作后，不同的候选框转换到特征图上的大小已经统一，尺寸为7*7，并在全连接操作后输入Softmax函数，将特征图映射为一个固定长度的特征向量，对候选框的位置进行回归、对候选框内的物体进行分类，得到属于熔覆池的置信度概率值，用来判断候选框内是否为熔覆池，并得到候选框像素坐标(M,N,W,H)，其中，M代表候选框左上角顶点距离输入图像左上角的水平距离、N代表候选框左上角顶点距离输入图像左上角的垂直距离、W代表候选框的像素长度值，H代表候选框的像素宽度值；
Softmax函数是将上一层的输出映射为0-1之间的实数，且映射的总和为1，其数学形式如下：
Figure BDA0002735190710000041
其中，Zj是该元素的指数值和所有元素指数值之和的比值，Lj是上一层全连接网络的输出，S是总的类别数，通过Softmax函数将经过全连接网络输出的数值转化为概率值，用以判断候选框内物体是否属于熔覆池类别；
使用交叉熵函数作为Softmax的损失函数，数学形式为：
Figure BDA0002735190710000042
其中，i是元素的序号，可取1，2，3…等正整数，是ti为真实值，Zj是该元素的指数值和所有元素指数值之和的比值，也即Softmax函数的输出值。对于一个输入，类别预测对产生的损失越小，反之，类别预测错损失越大。
进一步的，所述步骤S4.5的具体过程为：对所有的候选框，使用双线性插值从特征金字塔网络第二层提取出14*14的特征图，通过ROI-Pooling进行量化，使用2*2*256的卷积操作后连接到ReLU，将空间大小减小为指定大小7*7，最后通过多层感知机为候选框内每个类别生成7*7的粗预测掩码；
所述步骤S4.6的具体过程为：在特征金字塔网络中，从分辨率最小的层开始，先对所有像素点进行预测；再对分割结果使用双线性插值进行上采样，选择概率值在设定范围内0.45-0.55的点；将这些点和步骤S4.5生成的粗预测掩码输入到多层感知机中，对熔覆池生成边缘更加精细平滑的掩码，进行熔覆池图像的实例分割，完成熔覆池的形貌和尺寸识别。
进一步的，所述步骤S5包括如下步骤：
S5.1：由步骤S4.4得到的候选框像素坐标(M,N,W,H)可知熔覆池的长轴像素数为W，熔覆池短轴也即熔宽的像素数为H；
S5.2：将熔宽像素数H与熔宽像素数标定值80进行对比，得到熔宽变化量ΔMW＝H-80，并将其输入至模糊控制器，将生成的输出功率变化量ΔP反馈至步骤S3。
有益效果：本发明与现有技术相比，首先，通过特征金字塔网络，融合多种特征，在多个尺度上表征目标；其次，基于熔覆池存在内外两个边缘、中间较平滑的特点，优化采样方式，对边缘部分多采样，其余部分少采样，进而减少熔覆池目标检测识别所需时间，该方法不但克服了全程用人工的方法监控熔覆池的形貌和尺寸，进而调控工艺参数的方式存在的效率低、误差大等问题，而且克服了使用多经验参数的方式进行熔覆池边缘检测适用性低的特点，该方法实时性好、识别精度高，在有熔滴覆盖熔覆池边缘时，也能实现精准检测与识别，验证了算法的有效性和鲁棒性，实现低成本高效率的检测熔覆池形貌，为弧焊增材制造实时评价提供了可靠依据。
附图说明
图1是本发明方法整体流程图；
图2为熔覆池图像标注图；
图3为弧焊增材制造熔覆池在无熔滴遮挡时检测效果图；
图4为弧焊增材制造熔覆池在有熔滴遮挡时检测效果图；
图5为本发明方法检测效果的PR曲线图。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
如图1所示，本发明提供一种基于实例分割的熔覆池形貌识别及闭环控制方法，包括如下步骤：
S1：初始化弧焊增材制造输出功率及输出功率变化量；
S2：采集弧焊增材制造熔覆池彩色图像；
S3：更新弧焊增材制造输出功率；
S4：分割出熔覆池彩色图像中的熔覆池，同时生成熔覆池的实例掩码和候选框的像素坐标，完成熔覆池的实例分割；
S5：用候选框的像素坐标表示长轴和熔宽像素数大小，计算熔宽像素数变化量，并将生成的输出功率变化量反馈至步骤S3；
S6：判断当前熔覆池彩色图像是否为最后一帧，如果是最后一帧，则控制弧焊机器人停止打印；如果不是最后一帧，则回到步骤S2，控制弧焊机器人继续打印。
本实施例的步骤S1中初始化弧焊增材制造输出功率P＝400W，输出功率变化量ΔP＝0。
本实施例的步骤S2中弧焊增材制造熔覆池彩色图像的采集方法为：搭建熔覆池图像采集系统，利用NIKON D7100高清摄像机和滤光片，采集彩色的弧焊增材制造过程中熔覆池图像。
本实施例的步骤S3中弧焊增材制造输出功率的更新方法为：根据步骤S5得到的输出功率变化量ΔP，更新弧焊增材制造输出功率P，进行更新的公式为P＝P+ΔP。
本实施例的步骤S4的具体过程为：
S4.1：将步骤S2获取的熔覆池彩色图像输入到主干神经网络中进行特征提取并生成不同大小的特征图，对特征图进行自上而下的融合进而生成特征金字塔网络；
S4.2：将步骤S4.1得到的特征金字塔网络输入到区域建议网络中，采用滑动窗口的方式，对特征图里的所有像素点进行遍历，对存在熔覆池的区域生成候选框；
S4.3：将步骤S4.2得到的候选框通过R0IAlign层对特征图的大小进行统一；
S4.4：将步骤S4.3每个候选框进行全连接操作，对候选框的位置进行回归、判别候选框内物体是否为熔覆池，得到候选框的像素坐标；
S4.5：将步骤S4.2得到的候选框通过一个轻量级的预测头为每个候选框生成粗预测掩码；
S4.6：从步骤S4.1得到的特征金字塔网络中选择一部分点进行独立预测并和步骤S4.5生成的粗预测掩码一起输入到多层感知机中，对熔覆池生成边缘更加精细平滑的掩码，完成熔覆池图像的实例分割。
步骤S4.1中主干神经网络包括残差网络ResNet50和特征金字塔网络；
残差网络ResNet50有16个残差块，每个残差单元有三层，将整个残差网络ResNet50分为5个阶段，其中不改变特征图大小的层为一个阶段，每次抽取的特征是各个阶段最后一层的输出，每个残差单元可表示为：yi＝f(h(yi-1)+F(yi-1))；
其中，yi是第i个残差单元的输出，yi-1是第i-1个残差单元的输出，f()是激活函数ReLU，h(yi-1)是第i-1个残差单元的恒等映射，F(yi-1)是yi-1的残差映射；
特征金字塔网络是将整个残差网络ResNet50输出的5个阶段的特征图进行自上而下的融合，残差网络ResNet50输出的每个阶段的特征图分别经过卷积和上采样操作，进而与其他阶段的特征图进行融合。
步骤S4.2具体包括如下步骤：
S4.2.1：对融合后的特征图，采用滑动窗口的方式，在不同大小的特征图上按不同的比例对所有像素点进行遍历，生成候选框ROI，候选框的大小分别为64*64、128*128、256*256，候选框长和宽的比例分别为2：1、1：1和1：2，每个像素点都会生成9个大小不同的候选框，整个图像上会有将近20万个相互重叠的特征框；再分别对候选框进行二分类和回归，得到候选框内物体是前景或者背景的分数、概率值以及每个候选框的坐标值；
S4.2.2：对候选框按照前景得分进行过滤和保留，取前6000个得分最高的保留，再通过非极大值抑制(NMS算法)，将前景得分最高的候选框和其他有重合的候选框进行对比，若重合度大于0.5则舍弃，否则就保留，筛选出最佳的边界框，去除冗余。
步骤S4.3具体包括如下步骤：
S4.3.1：遍历所有的候选框，将候选框映射到特征图上对应位置；
S4.3.2：将每个候选框分割为2*2个单元，每个单元再均分为4个小区域，对每个小区域用双线性插值的方法求出中心点像素值；
其中，双线性插值是对原图像像素信息进行重新分布，在图像放大或者缩小时能够尽可能少丢失像素信息，每个小区域内四个顶点的坐标值分别为A(x1,y1)、B(x1,y2)、C(x2,y2)和D(x2,y1)，像素值分别为f(A)、f(B)、f(C)和f(D)，且x2＞x1、y2＞y1，这个小区域的中心点坐标为G(x,y)，双线性插值算法如下：
A1：对横坐标方向上进行插值，得到E、F点像素值f(E)、f(F)；
Figure BDA0002735190710000071
A2：对点E和F在纵坐标轴上进行插值，得到小区域像素点G的像素值f(G)；
Figure BDA0002735190710000072
S4.3.3：对每个单元的小区域进行最大池化操作，保留最大的像素值，也即每个小区域的中心点像素值。
步骤S4.4的具体过程为：
在进行ROIAlign操作后，不同的候选框转换到特征图上的大小已经统一，尺寸为7*7，并在全连接操作后输入Softmax函数，将特征图映射为一个固定长度的特征向量，对候选框的位置进行回归、对候选框内的物体进行分类，得到属于熔覆池的置信度概率值，用来判断候选框内是否为熔覆池，并得到候选框像素坐标(M,N,W,H)，其中，M代表候选框左上角顶点距离输入图像左上角的水平距离、N代表候选框左上角顶点距离输入图像左上角的垂直距离、W代表候选框的像素长度值，H代表候选框的像素宽度值；
Softmax函数是将上一层的输出映射为0-1之间的实数，且映射的总和为1，其数学形式如下：
Figure BDA0002735190710000081
其中，Zj是该元素的指数值和所有元素指数值之和的比值，Lj是上一层全连接网络的输出，S是总的类别数，通过Softmax函数将经过全连接网络输出的数值转化为概率值，用以判断候选框内物体是否属于熔覆池类别；
使用交叉熵函数作为Softmax的损失函数，数学形式为：
Figure BDA0002735190710000082
其中，i是元素的序号，可取1，2，3…等正整数，是ti为真实值，Zj是该元素的指数值和所有元素指数值之和的比值，也即Softmax函数的输出值。对于一个输入，类别预测对产生的损失越小，反之，类别预测错损失越大。
步骤S4.5的具体过程为：对所有的候选框，使用双线性插值从特征金字塔网络第二层提取出14*14的特征图，通过ROI-Pooling进行量化，使用2*2*256的卷积操作后连接到ReLU，将空间大小减小为指定大小7*7，最后通过多层感知机为候选框内每个类别生成7*7的粗预测掩码；
多层感知机也称人工神经网络，具有输入层、隐藏层和输出层，层与层之间全连接，其输出为f(x)＝K(b2+W2(s(b1+W1x)))，式中，K是Softmax函数，W1和b1是输入层到隐藏层之间的权重和偏置参数，W2和b2是隐藏层到输出层之间的权重和偏置参数，s是sigmoid函数，其函数形式为sigmoid(α)＝1/(1+e-α)，其中α＝b1+W1x，使用梯度下降法随机初始化所有权重和偏置参数，并迭代1000次。
步骤S4.6的具体过程为：在特征金字塔网络中，从分辨率最小的层开始，先对所有像素点进行预测；再对分割结果使用双线性插值进行上采样，选择概率值在设定范围内0.45-0.55的点；将这些点和步骤S4.5生成的粗预测掩码输入到多层感知机中，对熔覆池生成边缘更加精细平滑的掩码，进行熔覆池图像的实例分割，完成熔覆池的形貌和尺寸识别。
步骤S5包括如下步骤：
S5.1：由步骤S4.4得到的候选框像素坐标(M,N,W,H)可知熔覆池的长轴像素数为W，熔覆池短轴也即熔宽的像素数为H；
S5.2：将熔宽像素数H与熔宽像素数标定值80进行对比，得到熔宽变化量ΔMW＝H-80，并将其输入至模糊控制器，将生成的输出功率变化量ΔP反馈至步骤S3。
为了验证本发明方法的效果，对上述方法进行了实际应用，如图2所示为本次试验中对熔覆池原始图像使用LabelME工具进行手动标注，并保存为json格式文件的效果图。经过本发明方法后分别获取到图3和图4的效果图，图3是在无熔滴遮挡时的熔覆池检测效果图，图4是在有熔滴遮挡时的熔覆池检测效果图，从图中可以看出在有熔滴遮挡和无熔滴遮挡时都能对熔覆池进行良好的检测，从而解决了有熔滴遮挡情况下难以完成高质量检测的问题，且能检测出当前熔覆池长轴和短轴的像素数大小。
为了更加直观的显示本发明方法的效果，本实施例中将本发明方法、Faster R-CNN、Mask R-CNN方法三种方法的性能进行对比，根据图5可见，本发明方法的性能要好于Faster R-CNN和Mask R-CNN。

Claims (10)

1.一种基于实例分割的熔覆池形貌识别及闭环控制方法，其特征在于：包括如下步骤：
S1：初始化弧焊增材制造输出功率及输出功率变化量；
S2：采集弧焊增材制造熔覆池彩色图像；
S3：更新弧焊增材制造输出功率；
S4：分割出熔覆池彩色图像中的熔覆池，同时生成熔覆池的实例掩码和候选框的像素坐标，完成熔覆池的实例分割；
S5：用候选框的像素坐标表示长轴和熔宽像素数大小，计算熔宽像素数变化量，并将生成的输出功率变化量反馈至步骤S3；
S6：判断当前熔覆池彩色图像是否为最后一帧，如果是，则结束打印，如果不是，则回到步骤S2。
2.根据权利要求1所述的一种基于实例分割的熔覆池形貌识别及闭环控制方法，其特征在于：所述步骤S2中弧焊增材制造熔覆池彩色图像的采集方法为：搭建熔覆池图像采集系统，利用高清摄像机和滤光片，采集彩色的弧焊增材制造过程中熔覆池图像。
3.根据权利要求1所述的一种基于实例分割的熔覆池形貌识别及闭环控制方法，其特征在于：所述步骤S3中弧焊增材制造输出功率的更新方法为：根据步骤S5得到的输出功率变化量ΔP，更新弧焊增材制造输出功率P，进行更新的公式为P＝P+ΔP。
4.根据权利要求1所述的一种基于实例分割的熔覆池形貌识别及闭环控制方法，其特征在于：所述步骤S4的具体过程为：
S4.1：将步骤S2获取的熔覆池彩色图像输入到主干神经网络中进行特征提取并生成不同大小的特征图，对特征图进行自上而下的融合进而生成特征金字塔网络；
S4.2：将步骤S4.1得到的特征金字塔网络输入到区域建议网络中，采用滑动窗口的方式，对特征图里的所有像素点进行遍历，对存在熔覆池的区域生成候选框；
S4.3：将步骤S4.2得到的候选框通过R0IAlign层对特征图的大小进行统一；
S4.4：将步骤S4.3每个候选框进行全连接操作，对候选框的位置进行回归、判别候选框内物体是否为熔覆池，得到候选框的像素坐标；
S4.5：将步骤S4.2得到的候选框通过一个轻量级的预测头为每个候选框生成粗预测掩码；
S4.6：从步骤S4.1得到的特征金字塔网络中选择一部分点进行独立预测并和步骤S4.5生成的粗预测掩码一起输入到多层感知机中，对熔覆池生成边缘更加精细平滑的掩码，完成熔覆池图像的实例分割。
5.根据权利要求4所述的一种基于实例分割的熔覆池形貌识别及闭环控制方法，其特征在于：所述步骤S4.1中主干神经网络包括残差网络ResNet50和特征金字塔网络；
残差网络ResNet50有16个残差块，每个残差单元有三层，将整个残差网络ResNet50分为5个阶段，其中不改变特征图大小的层为一个阶段，每次抽取的特征是各个阶段最后一层的输出，每个残差单元可表示为：yi＝f(h(yi-1)+F(yi-1))；
其中，yi是第i个残差单元的输出，yi-1是第i-1个残差单元的输出，f()是激活函数ReLU，h(yi-1)是第i-1个残差单元的恒等映射，F(yi-1)是yi-1的残差映射；
特征金字塔网络是将整个残差网络ResNet50输出的5个阶段的特征图进行自上而下的融合，残差网络ResNet50输出的每个阶段的特征图分别经过卷积和上采样操作，进而与其他阶段的特征图进行融合。
6.根据权利要求4所述的一种基于实例分割的熔覆池形貌识别及闭环控制方法，其特征在于：所述步骤S4.2具体包括如下步骤：
S4.2.1：对融合后的特征图，采用滑动窗口的方式，在不同大小的特征图上按不同的比例对所有像素点进行遍历，生成候选框ROI；再分别对候选框进行二分类和回归，得到候选框内物体是前景或者背景的分数、概率值以及每个候选框的坐标值；
S4.2.2：对候选框按照前景得分进行过滤和保留，再通过非极大值抑制，将前景得分最高的候选框和其他有重合的候选框进行对比，若重合度大于设定值则舍弃，否则就保留，筛选出最佳的边界框，去除冗余。
7.根据权利要求4所述的一种基于实例分割的熔覆池形貌识别及闭环控制方法，其特征在于：所述步骤S4.3具体包括如下步骤：
S4.3.1：遍历所有的候选框，将候选框映射到特征图上对应位置；
S4.3.2：将每个候选框分割为若干个单元，每个单元再均分为若干个小区域，对每个小区域用双线性插值的方法求出中心点像素值；
其中，双线性插值是对原图像像素信息进行重新分布，每个小区域内四个顶点的坐标值分别为A(x1,y1)、B(x1,y2)、C(x2,y2)和D(x2,y1)，像素值分别为f(A)、f(B)、f(C)和f(D)，且x2＞x1、y2＞y1，这个小区域的中心点坐标为G(x,y)，双线性插值算法如下：
A1：对横坐标方向上进行插值，得到E、F点像素值f(E)、f(F)；
Figure FDA0002735190700000021
A2：对点E和F在纵坐标轴上进行插值，得到小区域像素点G的像素值f(G)；
Figure FDA0002735190700000031
S4.3.3：对每个单元的小区域进行最大池化操作，保留最大的像素值，也即每个小区域的中心点像素值。
8.根据权利要求4所述的一种基于实例分割的熔覆池形貌识别及闭环控制方法，其特征在于：所述步骤S4.4的具体过程为：
在进行ROIAlign操作后，不同的候选框转换到特征图上的大小已经统一，并在全连接操作后输入Softmax函数，将特征图映射为一个固定长度的特征向量，对候选框的位置进行回归、对候选框内的物体进行分类，得到属于熔覆池的置信度概率值，用来判断候选框内是否为熔覆池，并得到候选框像素坐标(M,N,W,H)，其中，M代表候选框左上角顶点距离输入图像左上角的水平距离、N代表候选框左上角顶点距离输入图像左上角的垂直距离、W代表候选框的像素长度值，H代表候选框的像素宽度值；
Softmax函数是将上一层的输出映射为0-1之间的实数，且映射的总和为1，其数学形式如下：
Figure FDA0002735190700000032
其中，Zj是该元素的指数值和所有元素指数值之和的比值，Lj是上一层全连接网络的输出，S是总的类别数，通过Softmax函数将经过全连接网络输出的数值转化为概率值，用以判断候选框内物体是否属于熔覆池类别；
使用交叉熵函数作为Softmax的损失函数，数学形式为：
Figure FDA0002735190700000033
其中，i是元素的序号，是ti为真实值，Zj是该元素的指数值和所有元素指数值之和的比值，也即Softmax函数的输出值。
9.根据权利要求4所述的一种基于实例分割的熔覆池形貌识别及闭环控制方法，其特征在于：所述步骤S4.5的具体过程为：对所有的候选框，使用双线性插值从特征金字塔网络第二层提取出特征图，通过ROI-Pooling进行量化，使用卷积操作后连接到ReLU，将空间大小减小为指定大小，最后通过多层感知机为候选框内每个类别生成粗预测掩码；
所述步骤S4.6的具体过程为：在特征金字塔网络中，从分辨率最小的层开始，先对所有像素点进行预测；再对分割结果使用双线性插值进行上采样，选择概率值在设定范围内的点；将这些点和步骤S4.5生成的粗预测掩码输入到多层感知机中，对熔覆池生成边缘更加精细平滑的掩码，进行熔覆池图像的实例分割，完成熔覆池的形貌和尺寸识别。
10.根据权利要求1所述的一种基于实例分割的熔覆池形貌识别及闭环控制方法，其特征在于：所述步骤S5包括如下步骤：
S5.1：由步骤S4.4得到的候选框像素坐标(M,N,W,H)可知熔覆池的长轴像素数为W，熔覆池短轴也即熔宽的像素数为H；
S5.2：将熔宽像素数H与熔宽像素数标定值进行对比，得到熔宽变化量，并将其输入至模糊控制器，将生成的输出功率变化量ΔP反馈至步骤S3。
CN202011131085.9A 2020-10-21 2020-10-21 一种基于实例分割的熔覆池形貌识别及闭环控制方法 Pending CN112233130A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011131085.9A CN112233130A (zh) 2020-10-21 2020-10-21 一种基于实例分割的熔覆池形貌识别及闭环控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011131085.9A CN112233130A (zh) 2020-10-21 2020-10-21 一种基于实例分割的熔覆池形貌识别及闭环控制方法

Publications (1)

Publication Number Publication Date
CN112233130A true CN112233130A (zh) 2021-01-15

Family

ID=74118743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011131085.9A Pending CN112233130A (zh) 2020-10-21 2020-10-21 一种基于实例分割的熔覆池形貌识别及闭环控制方法

Country Status (1)

Country Link
CN (1) CN112233130A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113136578A (zh) * 2021-04-20 2021-07-20 大连理工大学 一种基于离焦量预测的激光熔覆薄壁件高度控制方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105427323A (zh) * 2015-12-07 2016-03-23 湖南大学 一种基于相位一致性的激光熔覆熔池边缘提取方法
WO2016090903A1 (zh) * 2014-12-09 2016-06-16 江苏科技大学 窄间隙焊接电弧摇动的适应控制方法及装置
CN107107222A (zh) * 2014-10-01 2017-08-29 贝卡尔特公司 采用激光熔覆金属合金的锯元件
CN111275634A (zh) * 2020-01-13 2020-06-12 南京师范大学 一种熔池形貌检测及弧焊机器人控制方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107107222A (zh) * 2014-10-01 2017-08-29 贝卡尔特公司 采用激光熔覆金属合金的锯元件
WO2016090903A1 (zh) * 2014-12-09 2016-06-16 江苏科技大学 窄间隙焊接电弧摇动的适应控制方法及装置
CN105427323A (zh) * 2015-12-07 2016-03-23 湖南大学 一种基于相位一致性的激光熔覆熔池边缘提取方法
CN111275634A (zh) * 2020-01-13 2020-06-12 南京师范大学 一种熔池形貌检测及弧焊机器人控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨启: "激光熔覆熔池尺寸检测与控制的研究", 《中国优秀硕士学位论文全文数据库》, 15 December 2019 (2019-12-15) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113136578A (zh) * 2021-04-20 2021-07-20 大连理工大学 一种基于离焦量预测的激光熔覆薄壁件高度控制方法

Similar Documents

Publication Publication Date Title
CN110942000B (zh) 一种基于深度学习的无人驾驶车辆目标检测方法
CN111008567B (zh) 一种驾驶员行为识别方法
CN110223345B (zh) 基于点云的配电线路作业对象位姿估计方法
JP7288870B2 (ja) 画像を生成するシステム
CN110084817B (zh) 基于深度学习的数字高程模型生产方法
CN110909671B (zh) 一种融合概率和高度信息的栅格地图障碍物检测方法
CN109977997B (zh) 基于卷积神经网络快速鲁棒的图像目标检测与分割方法
CN112907528A (zh) 一种基于点云转图像的复材铺丝表面缺陷检测与识别方法
CN113160062B (zh) 一种红外图像目标检测方法、装置、设备及存储介质
CN109583483A (zh) 一种基于卷积神经网络的目标检测方法和系统
JP2007207251A (ja) 現実の対象物の画像と重ね合わされるように設計されたデータモデルを決定するための方法及びシステム
CN111161244B (zh) 基于FCN+FC-WXGBoost的工业产品表面缺陷检测方法
CN113705631A (zh) 一种基于图卷积的3d点云目标检测方法
CN117392097A (zh) 基于改进YOLOv8算法的增材制造工艺缺陷检测方法和系统
CN114842201A (zh) 基于改进Mask_Rcnn的砂石骨料图像分割方法
CN118279876B (zh) 一种基于图像处理的清洁车自动避障方法及系统
CN110472640B (zh) 一种目标检测模型预测框处理方法及装置
CN112233130A (zh) 一种基于实例分割的熔覆池形貌识别及闭环控制方法
CN106709515A (zh) 一种适用于下视景象匹配选区准则干预方法
CN113076950A (zh) 一种基于深度强化学习的图像数据自动化标注方法及系统
CN112231848B (zh) 一种构建车辆喷涂模型的方法及系统
CN113569896A (zh) 基于图像和深度数据进行对象3d定位的计算机实现方法
CN116579409A (zh) 基于重参数化的智能相机模型剪枝加速方法及加速系统
CN112906814B (zh) 基于nas网络的目标检测方法及系统
CN114842043B (zh) 一种基于图像处理的面料风格识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination