CN117564533A - 基于机器视觉的金属网承载物焊接方法、装置及存储介质 - Google Patents

Abstract

本发明公开了一种基于机器视觉的金属网承载物焊接方法，该焊接方法分别采集承载物被金属网遮蔽和不遮蔽两种图像，通过构建图像二分类模型训练特征向量计算单元，通过构建图像生成模型生成目标图像，并通过计算目标图像的全局图像损失和局部图像损失来计算整个模型的损失，并对模型进行反复训练，使训练好的模型能够更精细的修复图像中的局部特征，能将承载物被金属网遮蔽的特征修复的更加完整，进而可使金属网交叉点与承载物焊接位置定位更加的精确，从而实现金属网与承载物的精确焊接，提高设备的焊接质量。

Description

基于机器视觉的金属网承载物焊接方法、装置及存储介质

技术领域

本发明涉及自动化焊接技术领域，特别涉及一种基于机器视觉技术对金属网与承载物进行自动化焊接的方法。

背景技术

在自动化生产过程中，有时需要通过自动化焊接设备将金属网与设置在其下方的承载物进行焊接，在焊接过程中需要通过机器视觉检测系统识别承载物及其具体位置，识别金属网上的交叉点，进而引导自动焊接设备将金属网上的交叉点与承载物进行自动化焊接。但在实际焊接过程中，由于承载物位于金属网的下方，金属网会对承载物进行遮蔽，视觉检测系统就不能获取承载物的全部特征，这样在定位承载物及金属网交叉点的具体位置时就可能存在偏差，进而影响自动化焊接设备对金属网与承载物的焊接，因此有必要专门针对这种在金属网上焊接承载物的方法做进一步的改进。

发明内容

为克服上述现有技术中的不足，本发明的目的在于提供一种采用机器视觉技术，能在金属网焊接过程中修复被遮挡目标的全部特征，实现金属网与被遮挡承载物精确定位的焊接方法。

一种基于机器视觉的金属网承载物焊接方法，其包括如下步骤：

S1、样本采集及分类：在承载物上方设置相机，将金属网设置在承载物的上方，拍摄金属网及承载物的照片作为第一初始图像，再将金属网固定在承载物的下方，拍摄金属网及承载物的照片作为第二初始图像；调整承载物及金属网的参数特征，采集多个第一初始图像及第二初始图像，标注第二初始图像中承载物的位置，将第一初始图像、第二初始图像及承载物位置作为第一训练样本，将第一初始图像、第二初始图像作为第二训练样本；

S2、构建及训练图像二分类模型：所述图像二分类模型用于判断图像为第一初始图像还是第二初始图像，所述图像二分类模型包括特征向量计算单元和结果输出单元，所述特征向量计算单元用于将输入图像转换为图像特征向量，所述结果输出单元可根据图像特征向量输出判断结果，所述图像二分类模型通过第二训练样本进行训练；

S3、构建及训练图像生成模型：所述图像生成模型用于根据第一初始图像生成目标图像，训练时根据承载物位置分别截取目标图像承载物位置截图及第二初始图像承载物位置截图，将目标图像、目标图像承载物位置截图、第二初始图像、第二初始图像承载物位置截图分别输入到图像二分类模型的特征向量计算单元中转换为相应的图像特征向量，计算目标图像与第二初始图像的图像特征向量差值作为全局图像损失，计算目标图像承载物位置截图与第二初始图像承载物位置截图的图像特征向量差值作为局部图像损失，将全局图像损失与局部图像损失相加作为图像生成模型损失，调整图像生成模型参数，通过第一训练样本进行反复训练，直至图像生成模型损失收敛至规定阈值；

S4、在目标图像上确定金属网交叉点坐标：拍摄需要焊接的金属网与承载物的第一初始图像，将第一初始图像输入到训练好的图像生成模型中生成目标图像，对第一初始图像进行处理，定位金属网的交叉点位置，结合目标图像中承载物的位置，在目标图像上获得与承载物位置对应的金属网交叉点坐标；

S5、根据步骤S4中获得的金属网交叉点坐标，引导焊接设备焊接金属网与承载物。

优选的，步骤S1中承载物的参数特征包括数量、形状、大小、颜色、位置，金属网的参数特征包括网格密度、金属丝直径、颜色。

优选的，步骤S4中，定位金属网的交叉点位置包括具体如下步骤：

S41、通过设置灰度阈值将金属网与其他物体进行区分，筛选出图像中的金属网部分；

S42、通过图像开运算算法，确定金属网上的交叉点；

S43、设置面积阈值，保留图像上金属网交叉点部分；

S44、在图像上定位金属网交叉点的中心点，计算每个金属网交叉点的中心点坐标。

优选的，步骤S2中承载物位置为承载物在图像中最小平行外接矩形的坐标。

优选的，步骤S1中相机为面阵黑白相机。

优选的，步骤S1中金属网与承载物之间通过磁铁进行固定。

本发明专利还公开了一种基于机器视觉的金属网承载物焊接装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器通过执行所述计算机程序实现上述焊接方法步骤。

本发明还公开了一种计算机存储介质，用于存储计算机程序，所述计算机程序被执行时实现上述焊接方法步骤。

本发明具有如下有益效果：该金属网承载物焊接方法采用机器视觉的方式分别采集承载物被金属网遮蔽和不遮蔽两种图像，通过构建图像二分类模型训练特征向量计算单元，通过构建图像生成模型生成目标图像，并通过计算目标图像的全局图像损失和局部图像损失来计算整个模型的损失，并根据损失大小对模型进行反复训练，这样训练好的模型能够更精细的修复图像中的局部特征，能将承载物被金属网遮蔽的特征修复的更加完整，进而可使金属网交叉点与承载物焊接位置定位更加的精确，从而实现金属网与承载物的精确焊接，提高设备的焊接质量。

附图说明

图1为本发明实施例焊接方法的流程图。

图2为本发明实施例图像生成模型的训练流程图。

图3为本发明实施例在目标图像上确定金属网交叉点坐标的流程图。

图4为本发明采集的第一初始图像的示意图。

图5为本发明采集的第二初始图像的示意图。

图6为本发明实施例根据第一初始图像生成的目标图像示意图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭示的内容轻易地了解本发明的其他优点及功效。

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本发明的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。

如图1所示，本发明公开了一种基于机器视觉的金属网承载物焊接方法，其包括如下步骤：

S1、样本采集及分类：在承载物上方设置相机，将金属网设置在承载物的上方，拍摄金属网及承载物的照片作为第一初始图像，再将金属网固定在承载物的下方，拍摄金属网及承载物的照片作为第二初始图像。在拍摄同一组第一初始图像和第二初始图像时，应保证相机的拍摄角度、金属网及承载物的参数特征不变。可通过调整承载物及金属网的参数特征，采集多个第一初始图像及第二初始图像。在进行样本采集时，相机可采用面阵黑白相机，金属网与承载物固定时可采用磁铁进行固定。承载物的参数特征主要包括承载物的数量、形状、大小、颜色、位置等参数，金属网的参数特征主要包括网格密度、金属丝直径、颜色等参数。

样本采集完成后，先标注第二初始图像中承载物的位置，承载物位置为承载物在图像中最小平行外接矩形的坐标。然后将样本进行分类，本发明中设置两个训练样本，将第一初始图像、第二初始图像及承载物位置作为第一训练样本，将第一初始图像、第二初始图像作为第二训练样本。

S2、构建及训练图像二分类模型：该图像二分类模型用于判断图像为第一初始图像还是第二初始图像，将第二训练样本中第一初始图像标记为“0”，第二初始图像标记为“1”，通过图像二分类模型每张输入图像最终会被分为“0”或“1”。该图像二分类模型包括特征向量计算单元和结果输出单元两部分，特征向量计算单元用于将输入图像转换为图像特征向量，结果输出单元可根据图像特征向量输出判断结果。

作为一种具体实施方式，图像二分类模型可设置为9个结构层， 其中，第一个结构层由3×3卷积、批归一化和SiLU激活函数组成，卷积步长为2。第二个到第七个结构层分别重复2、3、3、4、4、6次计算，这些层结构的第一次计算先采用1×1卷积将输入特征图的通道数扩充到原来的6倍，再采用步长为2的3×3卷积提取特征，之后采用通道注意力机制得到每个通道的权重，接下来用1×1卷积将通道数压缩到原来的1/6，最后采用0.5倍率的Dropout输出计算后的特征图。第二个到第七个结构层的剩余计算过程与第一次计算过程的不同之处为：步长为2的3×3卷积替换为步长为1的3×3卷积，并且进行全零填充，保持特征图的高和宽不变；特征图进行Dropout后需要与输入特征图进行拼接。其余计算过程保持一致。第八个层结构对特征图进行展平操作，之后采用长度为1024的全连接层进行计算。第九层结构将长度为1024的全连接层压缩到2，通过Softmax计算出“0”和“1”的概率，输出最终的结果。

该实施例中图像二分类模型中的第一个到第八个结构层可视为特征向量计算单元，通过该特征向量计算单元可将输入的图像转换为一个长度为1024的图像特征向量，该图像特征向量可从多维度表达输入图像的抽象特征。第九个结构层可视为结果输出单元，其用于将图像特征向量进行压缩，并输出最终的判别结果。

图像二分类模型采用第二训练样本进行训练，采用交叉熵损失函数得到损失值，之后进行反向传播更新模型权重，实现完整的训练过程。通过不断地调整所述图像二分类模型的超参数，进行多次训练，可得到能准确分类第一初始图像和第二初始图像的模型。

S3、构建及训练图像生成模型：该图像生成模型用于根据第一初始图像生成目标图像，作为一种具体实施例，该图像生成模型主要由三部分组成：编码结构、膨胀卷积结构和解码结构。编码结构共有五个卷积块，每个卷积块均采用深度可分离卷积构成，第一到第四个卷积块均包含一个步长为2的卷积层，实现下采样，第五个卷积层不进行下采样。膨胀卷积结构由四个膨胀卷积块构成，每个膨胀卷积块均采用步长为1的3×3卷积，卷积膨胀倍率为6，并采用全零填充，不改变特征图的高和宽。解码结构采用共有五个卷积块，第一个卷积块对特征图的通道数进行调整，第二到第五个卷积块均进行一次放大倍率为2的上采样。第五个卷积块得到的特征图为目标图像，目标图像的尺寸与第一初始图像的尺寸保持一致。

图像生成模型采用第一训练样本进行训练，其具体训练步骤如图2所示：

S31、将第一初始图像输入到图像生成模型中生成目标图像；

S32、在目标图像上根据承载物位置截取与该位置对应的目标图像承载物位置截图，在第二初始图像上根据承载物位置截取与该位置对应的第二初始图像承载物位置截图；

S33、将目标图像、目标图像承载物位置截图、第二初始图像、第二初始图像承载物位置截图分别输入到图像二分类模型的特征向量计算单元中转换为相应的图像特征向量；

S34、比较目标图像对应的图像特征向量与第二初始图像对应的图像特征向量的差值，该差值作为全局图像损失；比较目标图像承载物位置截图对应的图像特征向量与第二初始图像承载物位置截图对应的图像特征向量差值，该差值作为局部图像损失，将全局图像损失与局部图像损失相加作为图像生成模型损失；

S35、设置规定阈值，比较图像生成模型损失是否能收敛至该规定阈值，如果能收敛至规定阈值，则完成模型训练，如不能收敛至规定阈值则需要进行步骤S36，重新设置图像生成模型的参数，对模型进行重新训练；

S36、在模型进行重新训练时，图像二分类模型的特征向量计算单元的所有参数固定不变只更新图像生成模型中的参数，随着参数不断地更新，图像生成模型所生成的目标图像特征与第二初始图像来越接近，当图像生成模型损失收敛时，再调整图像生成模型的超参数，进行多次训练，直至图像生成模型损失收敛至规定阈值，这样就完成了图像生成模型的训练。

S4、在目标图像上确定金属网交叉点坐标：图像生成模型训练完成后，将需要焊接的金属网与承载物按焊接要求放置，金属网位于承载物的上方，拍摄第一初始图像，将第一初始图像输入到训练好图像生成模型中生成目标图像，对第一初始图像进行处理，定位金属网的交叉点位置，其具体步骤如图3所示：

S41、通过设置灰度阈值将金属网与其他物体进行区分，筛选出图像中的金属网部分；

S42、通过图像开运算算法，确定金属网上的交叉点；

S43、设置面积阈值，保留图像上金属网的交叉点部分；

S44、在图像上定位金属网交叉点的中心点，计算每个金属网交叉点的中心点坐标。

得到金属网交叉点的中心点坐标后，结合目标图像中承载物的位置，这样就能在目标图像上获得与承载物位置对应区域内所有金属网交叉点的坐标。

S5、在得到承载物区域内所有金属网的交叉点位置坐标，将这些位置坐标信息输入给自动化焊接设备，这样就能引导设备将金属网的交叉点焊接在承载物上。

该金属网承载物焊接方法采用机器视觉的方式分别采集承载物被金属网遮蔽和不遮蔽两种图像，通过构建图像二分类模型训练特征向量计算单元，通过构建图像生成模型生成目标图像，并通过计算目标图像的全局图像损失和局部图像损失来计算整个模型的损失，并对模型进行反复训练，使训练好的模型能够更精细的修复图像中的局部特征，能将承载物被金属网遮蔽的特征修复地更加完整。

如图4所示为第一初始图像的示意图，该图像中承载物2被金属网1大部分遮蔽，在图像中很难观测；该第一初始图像经图像生成模型生成的目标图像如图6所示，其承载物2能够在图像中被完全显示，而且其图像基本接近于采集的承载物2位于金属网1上的第二初始图像（如图5所示）。可见通过该方法能够将承载物被金属网遮蔽的特征完全修复，可使金属网交叉点与承载物焊接位置定位更加的精确，进而能实现金属网与承载物的精确焊接，提高设备的焊接质量。本发明修复和定位的对象不仅只是金属网和承载物，还可用于其他被遮挡物体的修复和定位。

为了实现上述目的，本发明还提供了一种实现上述焊接方法的装置，具体可以为个人计算机、服务器、网络设备等，该实体设备包括存储介质和处理器；存储介质，用于存储计算机程序；处理器，用于执行计算机程序以实现上述S1至S5所述的步骤方法。

相应的，本实施例还提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述S1至S5所述的步骤方法。基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景所述的方法。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (8)

1.一种基于机器视觉的金属网承载物焊接方法，其特征在于，其包括如下步骤：

S1、样本采集及分类：在承载物上方设置相机，将金属网设置在承载物的上方，拍摄金属网及承载物的照片作为第一初始图像，再将金属网固定在承载物的下方，拍摄金属网及承载物的照片作为第二初始图像；调整承载物及金属网的参数特征，采集多个第一初始图像及第二初始图像，标注第二初始图像中承载物的位置，将第一初始图像、第二初始图像及承载物位置作为第一训练样本，将第一初始图像、第二初始图像作为第二训练样本；

S2、构建及训练图像二分类模型：所述图像二分类模型用于判断图像为第一初始图像还是第二初始图像，所述图像二分类模型包括特征向量计算单元和结果输出单元，所述特征向量计算单元用于将输入图像转换为图像特征向量，所述结果输出单元可根据图像特征向量输出判断结果，所述图像二分类模型通过第二训练样本进行训练；

S3、构建及训练图像生成模型：所述图像生成模型用于根据第一初始图像生成目标图像，训练时根据承载物位置分别截取目标图像承载物位置截图及第二初始图像承载物位置截图，将目标图像、目标图像承载物位置截图、第二初始图像、第二初始图像承载物位置截图分别输入到图像二分类模型的特征向量计算单元中转换为相应的图像特征向量，计算目标图像与第二初始图像的图像特征向量差值作为全局图像损失，计算目标图像承载物位置截图与第二初始图像承载物位置截图的图像特征向量差值作为局部图像损失，将全局图像损失与局部图像损失相加作为图像生成模型损失，调整图像生成模型参数，通过第一训练样本进行反复训练，直至图像生成模型损失收敛至规定阈值；

S4、在目标图像上确定金属网交叉点坐标：拍摄需要焊接的金属网与承载物的第一初始图像，将第一初始图像输入到训练好的图像生成模型中生成目标图像，对第一初始图像进行处理，定位金属网的交叉点位置，结合目标图像中承载物的位置，在目标图像上获得与承载物位置对应的金属网交叉点坐标；

S5、根据步骤S4中获得的金属网交叉点坐标，引导焊接设备焊接金属网与承载物。

2.根据权利要求1所述的基于机器视觉的金属网承载物焊接方法，其特征在于，步骤S1中承载物的参数特征包括数量、形状、大小、颜色、位置，金属网的参数特征包括网格密度、金属丝直径、颜色。

3.根据权利要求1所述的基于机器视觉的金属网承载物焊接方法，其特征在于，步骤S4中，定位金属网的交叉点位置包括具体如下步骤：

S41、通过设置灰度阈值将金属网与其他物体进行区分，筛选出图像中的金属网部分；

S42、通过图像开运算算法，确定金属网的交叉点；

S43、设置面积阈值，保留图像上金属网的交叉点部分；

S44、在图像上定位金属网交叉点的中心点，计算每个金属网交叉点的中心点坐标。

4.根据权利要求1所述的基于机器视觉的金属网承载物焊接方法，其特征在于，步骤S2中承载物位置为承载物在图像中最小平行外接矩形的坐标。

5.根据权利要求1所述的基于机器视觉的金属网承载物焊接方法，其特征在于，步骤S1中相机为面阵黑白相机。

6.根据权利要求1所述的基于机器视觉的金属网承载物焊接方法，其特征在于，步骤S1中金属网与承载物之间通过磁铁进行固定。

7.一种基于机器视觉的金属网承载物焊接装置，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于：所述处理器执行所述计算机程序时实现权利要求1所述方法的步骤。

8.一种计算机存储介质，用于存储计算机程序，其特征在于：所述计算机程序被执行时实现权利要求1所述方法的步骤。