CN115121913B - 激光中心线的提取方法 - Google Patents

Abstract

本申请提供了一种激光中心线的提取方法，该提取方法包括：对多个原始训练图像进行图像预处理，得到多个目标训练图像，并提取至少部分目标训练图像的标签信息，得到训练数据集，其中，训练数据集包括多组训练数据，每一组训练数据包括一个目标训练图像和一组对应的标签信息，一组标签信息用于表征一条激光中心线在目标训练图像上的位置信息；采用训练数据集，对预设模型进行训练，直到预设模型的目标损失函数收敛为止，得到目标模型；采用目标模型，提取目标测试图像中的激光中心线的目标位置信息，从而解决了现有技术中提取激光中心线的速度较慢以及鲁棒性较差的问题。

Description

激光中心线的提取方法

技术领域

本申请涉及焊缝跟踪领域，具体而言，涉及一种激光中心线的提取方法。

背景技术

在激光焊缝跟踪领域，提取激光中心线的坐标位置是非常重要的。但焊接过程中，激光传感器采集到的激光图像存在飞溅噪声大、反光严重、环境光比较亮以及激光线比较弱等各种干扰情况，这也使得激光中心线的相关提取算法的健壮性产生了巨大挑战。

传统的提取激光中心线的方法，通常采用边缘检测等方式分割出激光线区域，再结合霍夫变换或者随机采样一致性（RANSAC）等算法进行激光中心线提取。上述算法需要人工手动去调滤波算子，并根据算法所针对的焊接场景调节参数，工作量大且鲁棒性较差。当焊接工况出现明显变化时或者图片干扰严重时，激光中心线的检取效果不佳。

基于深度学习的激光中心线的提取算法中，例如，中国专利文件CN112381948A，把激光中心线得提取视为分割任务。虽深度分割方法效果强于传统提取方法，但由于分割是逐像素分类的，需对图像中每一个像素点进行分类，故存在速度慢且鲁棒性差的问题。

在背景技术部分中公开的以上信息只是用来加强对本文所描述技术的背景技术的理解，因此，背景技术中可能包含某些信息，这些信息对于本领域技术人员来说并未形成在本国已知的现有技术。

发明内容

本申请的主要目的在于提供一种激光中心线的提取方法，以解决现有技术中提取激光中心线的速度较慢以及鲁棒性较差的问题。

根据本发明实施例的一个方面，提供了一种激光中心线的提取方法，包括：对多个原始训练图像进行图像预处理，得到多个目标训练图像，并提取至少部分所述目标训练图像的标签信息，得到训练数据集，其中，所述训练数据集包括多组训练数据，每一组所述训练数据包括一个所述目标训练图像和一组对应的所述标签信息，一组所述标签信息用于表征一条所述激光中心线在所述目标训练图像上的位置信息；采用所述训练数据集，对预设模型进行训练，直到所述预设模型的目标损失函数收敛为止，得到目标模型；采用所述目标模型，提取目标测试图像中的所述激光中心线的目标位置信息。

可选地，所述预设模型包括依次排列的多个网络层，任意两个所述网络层的维度均不相同，在多个所述网络层的排列方向上，多个所述网络层处理的所述目标训练图像的高度依次减小至最小值，多个所述网络层处理的所述目标训练图像的宽度先依次减小，再依次放大至最大值。

可选地，所述目标损失函数包括平滑损失函数，所述平滑损失函数为预测值的任意阶的差分组合，其中，所述预测值为所述预设模型预测的所述激光中心线在所述目标训练图像上的位置信息。

可选地，所述目标损失函数还包括限位损失函数和拟合损失函数，其中，在预测值小于第一预定值的情况下，所述限位损失函数为所述预测值的相反数，在所述预测值大于或者等于所述第一预定值且小于或者等于第二预定值的情况下，所述限位损失函数为0，在所述预测值大于第二预定值的情况下，所述限位损失函数为所述预测值，所述拟合损失函数为采用平均绝对误差构成的函数，所述预测值为所述预设模型预测的所述激光中心线在所述目标训练图像上的位置信息。

可选地，所述目标训练图像包括第一训练图像和第二训练图像，对多个原始训练图像进行图像预处理，得到多个目标训练图像，并提取至少部分所述目标训练图像的标签信息，得到训练数据集，包括：对各所述原始训练图像进行第一增广处理，得到多个所述第一训练图像；至少对各所述原始训练图像进行第二增广处理，得到多个所述第二训练图像，并提取各所述第二训练图像的标签信息，得到多个标签信息，其中，所述第一增广处理的处理步骤与所述第二增广处理的处理步骤至少部分相同；由多个所述第一训练图像和多个所述标签信息，构成所述训练数据集。

可选地，至少对各所述原始训练图像进行第二增广处理，得到多个所述第二训练图像，包括：将各所述原始训练图像中的各像素值分别与预设百分比相乘，得到多个预设训练图像；对各所述预设训练图像中的所述激光中心线进行增强处理，得到多个备选训练图像；至少对各所述备选训练图像进行所述第二增广处理，得到多个所述第二训练图像。

可选地，在所述激光中心线未延伸到对应的图像边缘的情况下，至少对各所述备选训练图像进行所述第二增广处理，得到多个所述第二训练图像，包括：对各所述备选训练图像进行所述第二增广处理，得到多个增广处理图像；确定各所述增广处理图像的目标关键点的位置信息，所述目标关键点为所述激光中心线结束的像素点；以各所述目标关键点的位置信息为裁剪点，在垂直方向上对对应的所述增广处理图像进行裁剪，得到裁剪后的多个所述增广处理图像；将裁剪后的各所述增广处理图像的大小缩放处理至目标尺寸，得到多个所述第二训练图像。

可选地，提取各所述第二训练图像的标签信息，得到多个标签信息，包括：在水平方向上，对各所述第二训练图像进行划分，得到第一数值个预定像素列，其中，每一个所述第二训练图像对应第二数值个所述预定像素列，所述第二数值小于所述第一数值；确定第三数值个目标聚类中心，并采用K-means聚类算法，对每一个所述预定像素列的多个像素值进行聚类，且将所述像素值的最大的所述目标聚类中心的位置信息，确定为预设位置信息；由所述第二数值个所述预定像素列对应的所述预设位置信息，构成一个所述第二训练图像对应的所述标签信息。

可选地，在预定时间内获取到多个所述目标测试图像的情况下，采用所述目标模型，提取目标测试图像中的所述激光中心线的目标位置信息，包括：将各所述目标测试图像输入至所述目标模型中，提取所述激光中心线在各所述目标测试图像中的位置信息，得到多个预定位置信息；根据多个所述预定位置信息，确定所述激光中心线的所述目标位置信息。

根据本发明实施例的一个方面，提供了一种激光中心线的提取方法，包括：对多个原始训练图像进行图像预处理，得到多个目标训练图像，并提取至少部分所述目标训练图像的标签信息，得到训练数据集，其中，所述训练数据集包括多组训练数据，每一组所述训练数据包括一个所述目标训练图像和一组对应的所述标签信息，一组所述标签信息用于表征一条所述激光中心线在所述目标训练图像上的位置信息；采用所述训练数据集，对预设模型进行训练，得到目标模型，所述预设模型包括依次排列的多个网络层，任意两个所述网络层的维度均不相同，在多个所述网络层的排列方向上，多个所述网络层处理的所述目标训练图像的高度依次减小至最小值，多个所述网络层处理的所述目标训练图像的宽度先依次减小，再依次放大至最大值；采用所述目标模型，提取目标测试图像中的所述激光中心线的目标位置信息。

可选地，所述目标训练图像包括第一训练图像和第二训练图像，对多个原始训练图像进行图像预处理，得到多个目标训练图像，并提取至少部分所述目标训练图像的标签信息，得到训练数据集，包括：对各所述原始训练图像进行第一增广处理，得到多个所述第一训练图像；至少对各所述原始训练图像进行第二增广处理，得到多个所述第二训练图像，并提取各所述第二训练图像的标签信息，得到多个标签信息，其中，所述第一增广处理的处理步骤与所述第二增广处理的处理步骤至少部分相同；由多个所述第一训练图像和多个所述标签信息，构成所述训练数据集。

可选地，至少对各所述原始训练图像进行第二增广处理，得到多个所述第二训练图像，包括：将各所述原始训练图像中的各像素值分别与预设百分比相乘，得到多个预设训练图像；对各所述预设训练图像中的所述激光中心线进行增强处理，得到多个备选训练图像；至少对各所述备选训练图像进行所述第二增广处理，得到多个所述第二训练图像。

可选地，在所述激光中心线未延伸到对应的图像边缘的情况下，至少对各所述备选训练图像进行所述第二增广处理，得到多个所述第二训练图像，包括：对各所述备选训练图像进行所述第二增广处理，得到多个增广处理图像；确定各所述增广处理图像的目标关键点的位置信息，所述目标关键点为所述激光中心线结束的像素点；以各所述目标关键点的位置信息为裁剪点，在垂直方向上对对应的所述增广处理图像进行裁剪，得到裁剪后的多个所述增广处理图像；将裁剪后的各所述增广处理图像的大小缩放处理至目标尺寸，得到多个所述第二训练图像。

可选地，提取各所述第二训练图像的标签信息，得到多个标签信息，包括：在水平方向上，对各所述第二训练图像进行划分，得到第一数值个预定像素列，其中，每一个所述第二训练图像对应第二数值个所述预定像素列，所述第二数值小于所述第一数值；确定第三数值个目标聚类中心，并采用K-means聚类算法，对每一个所述预定像素列的多个像素值进行聚类，且将所述像素值的最大的所述目标聚类中心的位置信息，确定为预设位置信息；由所述第二数值个所述预定像素列对应的所述预设位置信息，构成一个所述第二训练图像对应的所述标签信息。

可选地，在预定时间内获取到多个所述目标测试图像的情况下，采用所述目标模型，提取目标测试图像中的所述激光中心线的目标位置信息，包括：将各所述目标测试图像输入至所述目标模型中，提取所述激光中心线在各所述目标测试图像中的位置信息，得到多个预定位置信息；根据多个所述预定位置信息，确定所述激光中心线的所述目标位置信息。

在本发明实施例中，所述的激光中心线的提取方法中，首先，对多个原始训练图像进行图像预处理，得到多个目标训练图像，并提取至少部分所述目标训练图像的标签信息，得到训练数据集；然后，采用所述训练数据集，对预设模型进行训练，直到预设模型的目标损失函数收敛为止，得到目标模型；最后，采用目标模型，提取目标测试图像中的激光中心线的目标位置信息。本方案与现有技术中将激光中心线的提取视为分割任务，对目标测试图像中的像素进行逐个分割以及各像素点进行逐个分类相比，本方案无需对目标测试图像中的像素进行逐个分割以及对各像素点进行逐个分类，只需要将目标测试图像输入至目标模型中，便可以提取到激光中心线在目标测试图像中的目标位置信息，这样保证了能够较为准确和高效地提取到激光中心线的目标位置信息，从而解决了现有技术中提取激光中心线的速度较慢以及鲁棒性较差的问题。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1示出了根据本申请的一种实施例的激光中心线的提取方法的流程图；

图2示出了根据本申请的一种实施例的预设模型的结构示意图；

图3示出了根据本申请的一种实施例的确定激光中心线的结构示意图；

图4示出了根据本申请的一种实施例的激光中心线的提取装置的结构示意图。

其中，上述附图包括以下附图标记：

100、单帧激光焊缝图像；101、目标模型；102、多帧激光焊缝图像；200、网络层；201、卷积层；202、池化层。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

正如背景技术中所说的，现有技术中的提取激光中心线的速度较慢以及鲁棒性较差，为了解决上述问题，本申请的一种典型的实施方式中，提供了一种激光中心线的提取方法。

实施例一

根据本申请的实施例，提供了一种激光中心线的提取方法。

图1是根据本申请实施例的激光中心线的提取方法的流程图。如图1所示，该提取方法包括以下步骤：

步骤S101，对多个原始训练图像进行图像预处理，得到多个目标训练图像，并提取至少部分上述目标训练图像的标签信息，得到训练数据集，其中，上述训练数据集包括多组训练数据，每一组上述训练数据包括一个上述目标训练图像和一组对应的上述标签信息，一组上述标签信息用于表征一条上述激光中心线在上述目标训练图像上的位置信息；

步骤S102，采用上述训练数据集，对预设模型进行训练，直到上述预设模型的目标损失函数收敛为止，得到目标模型；

步骤S103，采用上述目标模型，提取目标测试图像中的上述激光中心线的目标位置信息。

上述的激光中心线的提取方法中，首先，对多个原始训练图像进行图像预处理，得到多个目标训练图像，并提取至少部分上述目标训练图像的标签信息，得到训练数据集；然后，采用上述训练数据集，对预设模型进行训练，直到预设模型的目标损失函数收敛为止，得到目标模型；最后，采用目标模型，提取目标测试图像中的激光中心线的目标位置信息。本方案与现有技术中将激光中心线的提取视为分割任务，对目标测试图像中的像素进行逐个分割以及各像素点进行逐个分类相比，本方案无需对目标测试图像中的像素进行逐个分割以及对各像素点进行逐个分类，只需要将目标测试图像输入至目标模型中，便可以提取到激光中心线在目标测试图像中的目标位置信息，这样保证了能够较为准确和高效地提取到激光中心线的目标位置信息，从而解决了现有技术中提取激光中心线的速度较慢以及鲁棒性较差的问题。

具体地，若将上述多个原始训练图像看作为一组原始训练图像，上述对多个原始训练图像进行图像预处理可以为先对该组原始训练图像进行图像预处理，得到一组目标训练图像；再对该组原始训练图像再进行一次图像预处理，再次得到一组目标训练图像。两次图像预处理得到两组目标训练图像，构成上述多个目标训练图像。后续一组目标训练图像可以输入至预设模型中，以对预设模型进行训练；另一组目标训练图像可以用于提取对应的标签信息，从而由一组目标训练图像和对应的标签信息构成训练数据集。

具体地，上述预设模型的输入是目标训练图像，上述预设模型的输出是激光中心线在目标训练图像上的位置信息。上述位置信息可以以目标训练图像的左上角（左上角为人正对屏幕时，判断得到的）为坐标原点，将水平方向视为横坐标且将垂直方向视为纵坐标建立的坐标系中的位置信息。例如，对于一个288*512的图像，便可以将每一个列的全部像素点看作为一个预定像素列，则有512个预定像素列。在每一列的预定像素列中确定出一个像素点，该像素点所处的高度信息（即纵坐标）为上述激光中心线的位置信息。总结来说，上述的标签信息或者上述的激光中心线的位置信息可以为一个512列的一维数组。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在一种可选的实施例中，上述预设模型包括依次排列的多个网络层，任意两个上述网络层的维度均不相同，在多个上述网络层的排列方向上，多个上述网络层处理的上述目标训练图像的高度依次减小至最小值，多个上述网络层处理的上述目标训练图像的宽度先依次减小，再依次放大至最大值。这样进一步地保证了预设模型较为轻量化以及鲁棒性较好，进一步地保证了能够较为准确地提取激光中心线的位置信息。

具体地，在目标训练图像的高度方向上，预设模型对目标训练图像的高度不断地压缩，直到达到最小值。上述最小值可以为目标训练图像的1个像素点，当然，上述最小值并不限于目标训练图像的1个像素点，还可以为2~5个像素点。在目标训练图像的宽度方向上，预设模块先对目标训练图像的宽度进行压缩，例如，压缩到目标训练图像的宽度为32个像素点，再对目标训练图的宽度进行放大，直到达到与目标训练图像同宽度。上述预设模型的压缩过程采用最大池化或者平均池化，上述预设模型的放大过程可以采用反卷积或者上采样等。

在实际的应用过程中，如图2所示，上述预设模型的每一个网络层200可以包括2个卷积层201和1个池化层202。当然，上述每一个网络层并不限于包括2个卷积层和1个池化层，比如，上述网络层还可以包括归一化层等等，在本申请中并不对此进行限制。

另外，上述预设模型的各网络层之间还可以采用融合（Concat）策略，这样保证了上述预设模型的横向联想较好。例如，在激光中心线条是断的或者有很强大的干扰，进行横向联想，这样保证了后续提取到的激光中心线的效果较好。

具体地，上述得到的目标模型还可以用于预测坡口位置等其他的关键点信息。在具体使用时，只需修改上述目标模型的输出维度即可。也就是说，上述目标模型的输出维度时可以根据需检测的实际类型进行灵活的调整，本申请中，并不对上述目标模型的输出维度进行调整。

为了后续能够较为准确地确定出激光中心线的目标位置信息，在一种可选的实施例中，上述目标损失函数包括平滑损失函数，上述平滑损失函数为预测值的任意阶的差分组合，其中，上述预测值为上述预设模型预测的上述激光中心线在上述目标训练图像上的位置信息。

具体地，在对上述预设模型进行训练时，在训练的初始过程中，可以先将平滑损失函数的权重设置得较小，例如，可以将平滑损失函数的权重设置为0.0001~0.00001。然后，再逐步增大平滑损失函数的权重，例如，将平滑损失函数的权重逐步增大至100。在上述对预设模型的训练过程中，上述平滑损失函数可以具有正则项的能力，能够避免在训练的过程中出现过拟合的问题，因而使得本申请训练得到的目标模型能够较为准确和稳定的提取出激光中心线的目标位置信息。

本申请的一种具体的实施例中，上述平滑损失函数

的数学表现形式可以为

，其中，

为预测值。

在实际的应用过程中，上述平滑损失函数可以为预测值的任意阶的差分的平方的组合。在本申请中并不对差分的计算方式进行限制，例如，上述差分的计算方式可以为前向差分、后向差分、或者中心差分等等。

在一种可选的实施例中，上述目标损失函数还包括限位损失函数和拟合损失函数，其中，在预测值小于第一预定值的情况下，上述限位损失函数为上述预测值的相反数，在上述预测值大于或者等于上述第一预定值且小于或者等于第二预定值的情况下，上述限位损失函数为0，在上述预测值大于第二预定值的情况下，上述限位损失函数为上述预测值，上述拟合损失函数为采用平均绝对误差构成的函数，上述预测值为上述预设模型预测的上述激光中心线在上述目标训练图像上的位置信息。在该实施例中，目标损失函数还包括限位损失函数和拟合损失函数，这样可以进一步较为准确地确定出激光中心线的目标位置信息，以及进一步地较为快速地训练得到目标模型。

本申请的一种具体的实施例中，上述限位损失函数

的数学表现形式可以为：

。

本申请的另一种具体的实施例中，上述目标损失函数中上述平滑损失函数、上述限位损失函数以及上述拟合损失函数最终权重比例可以为：100*拟合损失函数+1*限位损失函数+100*平滑损失函数。

为了保证后续训练得到的目标模型的鲁棒性较好，在一种可选的实施例中，上述目标训练图像包括第一训练图像和第二训练图像，对多个原始训练图像进行图像预处理，得到多个目标训练图像，并提取至少部分上述目标训练图像的标签信息，得到训练数据集，包括：对各上述原始训练图像进行第一增广处理，得到多个上述第一训练图像；至少对各上述原始训练图像进行第二增广处理，得到多个上述第二训练图像，并提取各上述第二训练图像的标签信息，得到多个标签信息，其中，上述第一增广处理的处理步骤与上述第二增广处理的处理步骤至少部分相同；由多个上述第一训练图像和多个上述标签信息，构成上述训练数据集。

具体地，对各原始训练图像进行第一增广处理，得到多个第一训练图像，多个第一训练图像即为后续输入到预设模型中的目标训练图像。另外，上述第一增广处理可以为对原始训练图像的颜色、飞溅噪声以及明暗变化进行增广，即非一致性增广，以及对原始训练图像进行旋转、翻转以及缩放的增广，即一致性增广。上述第二增广处理可以对原始训练图像进行旋转、翻转以及缩放的增广。也就是说，第一增广处理和第二增广处理均需要对原始训练图像进行一致性增广。原因在于：在对原始训练图像的颜色、飞溅噪声以及明暗变化进行增广，并不会改变激光中心线在原始训练图像中的位置信息，即不会影响标签的一致性。而对原始训练图像进行旋转、翻转以及缩放的增广，这样在增广后对应的标签信息则会不同，因此，为了保证后续标签的一致性，故第一增广处理和第二增广处理均需要进行一致性增广。

当然，在实际的应用过程中，还可以对各原始训练图像进行一次增广处理，得到增广处理后的目标训练图像，后续将增广处理后的目标训练图像全部进行标签提取，但这种方法会导致标签提取的计算量较大。

具体地，上述非一致性增广的方法可以为随机区域增亮/打暗、背景噪声合成、HSV（色调、饱和度、明度）色域变换、高斯模糊、随机椒盐噪声、RGB颜色空间变换；上述一致性增广处理的方法可以为水平/竖直翻转、随机角度旋转等等。

为了便于后续提取到的标签信息较为准确，在一种可选的实施例中，至少对各上述原始训练图像进行第二增广处理，得到多个上述第二训练图像，包括：将各上述原始训练图像中的各像素值分别与预设百分比相乘，得到多个预设训练图像；对各上述预设训练图像中的上述激光中心线进行增强处理，得到多个备选训练图像；至少对各上述备选训练图像进行上述第二增广处理，得到多个上述第二训练图像。

具体地，将各上述原始训练图像中的各像素值分别与预设百分比相乘，得到多个预设训练图像，即对各原始训练图像整体亮度进行打暗，后续再对得到的预设训练图像的激光中心线进行增强处理，这样可以使得激光中心线的亮度与其的背景的亮度差别较大，从而可以较为容易地确定出激光中心线。上述的预设百分比可以为70%~80%。

另外，本申请并不对上述增强处理的方法进行限制，例如，上述增强处理的实际方法可以为加粗处理。在对激光中心线进行加粗处理的情况下，加粗的工具可以为画板、开源工具Kolourpaint等现有技术中任何可行的工具。

在一种可选的实施例中，在对多个原始训练图像进行图像预处理，得到多个目标训练图像之前，上述提取方法还包括：将各上述原始训练图像的大小缩放处理至目标尺寸，得到多个缩放处理后的上述原始训练图像。这样可以进一步地使得预设模型的计算量较少，以及进一步地保证后续提取目标训练图像的标签信息的计算量较少。

具体地，可以将原始训练图像的尺寸由1080*1920缩放至288*512。另外，若激光相机拍摄的原始训练图像低于目标尺寸，还可以原始训练图像的尺寸放大至目标尺寸。这样可以保证后续提取到的标签信息的维度相同，进一步地较为快速和高效地确定出目标模型。

在一种可选的实施例中，在上述激光中心线未延伸到对应的图像边缘的情况下，至少对各上述备选训练图像进行上述第二增广处理，得到多个上述第二训练图像，包括：对各上述备选训练图像进行上述第二增广处理，得到多个增广处理图像；确定各上述增广处理图像的目标关键点的位置信息，上述目标关键点为上述激光中心线结束的像素点；以各上述目标关键点的位置信息为裁剪点，在垂直方向上对对应的上述增广处理图像进行裁剪，得到裁剪后的多个上述增广处理图像；将裁剪后的各上述增广处理图像的大小缩放处理至目标尺寸，得到多个上述第二训练图像。在该实施例中，对激光中心线未延伸到对应的图像边缘的情况下，根据目标关键点的位置信息，对增广处理图像进行裁剪，得到裁剪后的多个上述增广处理图像，这样可以使得激光中心线充满整个图像，再将裁剪后的各上述增广处理图像的大小缩放处理至目标尺寸，得到多个上述第二训练图像，后续再对第二训练图像进行标签提取时，进一步地保证得到的各个标签信息的长度相同。

在实际的应用过程中，还可以将目标关键点的位置信息作为起始点，在水平方向对激光中心线进行往达到图像边缘的方向进行延伸，直到激光中心线达到图像边缘，得到第二训练图像。

具体地，上述激光中心线未延伸到对应的图像边缘可以为一侧未延伸到图像边缘以及另一侧延伸到图像边缘；当然，上述激光中心线未延伸到对应的图像边缘也可以为两侧均未延伸到图像边缘。

在一种可选的实施例中，提取各上述第二训练图像的标签信息，得到多个标签信息，包括：在水平方向上，对各上述第二训练图像进行划分，得到第一数值个预定像素列，其中，每一个上述第二训练图像对应第二数值个上述预定像素列，上述第二数值小于上述第一数值；确定第三数值个目标聚类中心，并采用K-means聚类算法，对每一个上述预定像素列的多个像素值进行聚类，且将上述像素值的最大的上述目标聚类中心的位置信息，确定为预设位置信息；由上述第二数值个上述预定像素列对应的上述预设位置信息，构成一个上述第二训练图像对应的上述标签信息。在该实例中，本申请中采用K-means聚类算法，来确定对应的标签信息，这样可以省却大量的人工劳动，避免了在数据标注过程中引起人员焦虑，降低了数据标注中的人工成本。

具体地，上述K-means聚类算法可以为采用Python实现的。

本申请的一种具体的实施例中，对于一个图像的尺寸大小为288*512（288为图像的高度，512为图像的宽度）的第二训练图像，可以在第二训练图像的宽度方向上进行不断地切分，从而得到512个像素列。再采用K-means聚类算法，对该512个预定像素列进行聚类时，每一个预定像素列的聚类对象为该预定像素列中的288个像素点。同时可以将聚类中心设置为30个，以及将聚类维度设置为2，其中一个维度为第二训练图像在高度方向上的坐标，取值范围是0~287；另一个维度是该预定像素列中像素的亮度，取值范围是0~255。对每一个预定像素列聚类完成后，从30个聚类中心中，取像素亮度最亮的聚类中心的高度坐标作为上述激光中心线在第二训练图像中的位置信息。对于一个第二训练图像，依此循环512次，得到一条激光中心线的标签信息。

具体地，上述第一数值可以为第二训练图像的总个数与512的乘积，上述第二数值可以为512，上述第三数值可以为30。但是在本申请中，并不对上述第一数值、上述第二数值以及第三数值进行限制，上述第一数值、上述第二数值和第三数值可以根据实际的训练需求和预测需求进行调整。

为了进一步地较为准确地确定出激光中心先的目标位置信息，在一种可选的实施例中，在预定时间内获取到多个上述目标测试图像的情况下，采用上述目标模型，提取目标测试图像中的上述激光中心线的目标位置信息，包括：将各上述目标测试图像输入至上述目标模型中，提取上述激光中心线在各上述目标测试图像中的位置信息，得到多个预定位置信息；根据各上述预定位置信息，确定上述激光中心线的上述目标位置信息。

在实际的应用过程中，如图3所示，上述得到的上述目标测试图像仅有一个（单帧激光焊缝图像100）的情况下，可以将目标模型101输出的激光中心线的位置信息直接确定为目标位置信息。另外，在实际的工况下，各种飞溅物的运动速度相较于激光中心线的运动是较为快速的，且由于在较短的时间内，激光中心线的位置差别较小，也就是说，在较短时间内获取的多个目标测试图像（即多帧激光焊缝图像102）中的激光中心线的位置差别较小，故在得到的多帧激光焊缝图像102的情况下，可以通过上述目标模型101，提取到激光中心线的多个预定位置信息，再根据多个位置信息信息，确定激光中心线的目标位置信息，这样进一步地保证了提取到的激光中心线的目标位置信息较为准确。

另外，在上述的实施例中，本申请并不对根据多个预定位置信息，确定激光中心线的目标位置信息的具体方法进行限制，其可以采用现有技术中任何可行的方法进行确定。例如，多个预定位置信息可以看作为多个512列的一维数组，可以将每一个预定位置信息的对应列的中位数作为目标位置信息，当然，还可以计算每一个预定位置信息对应列的平均值作为目标位置信息。

实施例二

本申请的一种典型的实施例中，还提供了一种激光中心线的提取方法。

该激光中心线的提取方法包括：对多个原始训练图像进行图像预处理，得到多个目标训练图像，并提取至少部分上述目标训练图像的标签信息，得到训练数据集，其中，上述训练数据集包括多组训练数据，每一组上述训练数据包括一个上述目标训练图像和一组对应的上述标签信息，一组上述标签信息用于表征一条上述激光中心线在上述目标训练图像上的位置信息；采用上述训练数据集，对预设模型进行训练，得到目标模型，上述预设模型包括依次排列的多个网络层，任意两个上述网络层的维度均不相同，在多个上述网络层的排列方向上，多个上述网络层处理的上述目标训练图像的高度依次减小至最小值，多个上述网络层处理的上述目标训练图像的宽度先依次减小，再依次放大至最大值；采用上述目标模型，提取目标测试图像中的上述激光中心线的目标位置信息。

上述的激光中心线的提取方法中，首先，对多个原始训练图像进行图像预处理，得到多个目标训练图像，并提取至少部分上述目标训练图像的标签信息，得到训练数据集；然后，采用上述训练数据集，对预设模型进行训练，得到目标模型，其中，预设模型包括依次排列的多个网络层，任意两个上述网络层的维度均不相同，在多个上述网络层的排列方向上，多个上述网络层处理的上述目标训练图像的高度依次减小至最小值，多个上述网络层处理的上述目标训练图像的宽度先依次减小，再依次放大至最大值；最后，采用目标模型，提取目标测试图像中的激光中心线的目标位置信息。本方案与现有技术中将激光中心线的提取视为分割任务，对目标测试图像中的像素进行逐个分割以及各像素点进行逐个分类相比，本方案无需对目标测试图像中的像素进行逐个分割以及对各像素点进行逐个分类，只需要将目标测试图像输入至目标模型中，便可以提取到激光中心线在目标测试图像中的目标位置信息，这样保证了能够较为准确和高效地提取到激光中心线的目标位置信息，从而解决了现有技术中提取激光中心线的速度较慢以及鲁棒性较差的问题。

具体地，若将上述多个原始训练图像看作为一组原始训练图像，上述对多个原始训练图像进行图像预处理可以为先对该组原始训练图像进行图像预处理，得到一组目标训练图像；再对该组原始训练图像再进行一次图像预处理，再次得到一组目标训练图像。两次图像预处理得到两组目标训练图像，构成上述多个目标训练图像。后续一组目标训练图像可以输入至预设模型中，以对预设模型进行训练；另一组目标训练图像可以用于提取对应的标签信息，从而由一组目标训练图像和对应的标签信息构成训练数据集。

具体地，上述预设模型的输入是目标训练图像，上述预设模型的输出是激光中心线在目标训练图像上的位置信息。上述位置信息可以以目标训练图像的左上角（左上角为人正对屏幕时，判断得到的）为坐标原点，将水平方向视为横坐标且将垂直方向视为纵坐标建立的坐标系中的位置信息。例如，对于一个288*512的图像，便可以将每一个列的全部像素点看作为一个预定像素列，则有512个预定像素列。在每一列的预定像素列中确定出一个像素点，该像素点所处的高度信息（即纵坐标）为上述激光中心线的位置信息。总结来说，上述的标签信息或者上述的激光中心线的位置信息可以为一个512列的一维数组。

具体地，在目标训练图像的高度方向上，预设模型对目标训练图像的高度不断地压缩，直到达到最小值。上述最小值可以为目标训练图像的1个像素点，当然，上述最小值并不限于目标训练图像的1个像素点，还可以为2~5个像素点。在目标训练图像的宽度方向上，预设模块先对目标训练图像的宽度进行压缩，例如，压缩到目标训练图像的宽度为32个像素点，再对目标训练图的宽度进行放大，直到达到与目标训练图像同宽度。上述预设模型的压缩过程采用最大池化或者平均池化，上述预设模型的放大过程可以采用反卷积或者上采样等。

在实际的应用过程中，如图2所示，上述预设模型的每一个网络层200可以包括2个卷积层201和1个池化层202。当然，上述每一个网络层并不限于包括2个卷积层和1个池化层，比如，上述网络层还可以包括归一化层等等，在本申请中并不对此进行限制。

另外，上述预设模型的各网络层之间还可以采用融合（Concat）策略，这样保证了上述预设模型的横向联想较好。例如，在激光中心线条是断的或者有很强大的干扰，进行横向联想，这样保证了后续提取到的激光中心线的效果较好。

具体地，上述得到的目标模型还可以用于预测坡口位置等其他的关键点信息。在具体使用时，只需修改上述目标模型的输出维度即可。也就是说，上述目标模型的输出维度时可以根据需检测的实际类型进行灵活的调整，本申请中，并不对上述目标模型的输出维度进行调整。

在一种可选的实施例中，采用上述训练数据集，对预设模型进行训练，得到目标模型，包括：采用上述训练数据集，对预设模型进行训练，直到上述预设模型的目标损失函数收敛为止，得到目标模型。

为了后续能够较为准确地确定出激光中心线的目标位置信息，在一种可选的实施例中，上述目标损失函数包括平滑损失函数，上述平滑损失函数为预测值的任意阶的差分组合，其中，上述预测值为上述预设模型预测的上述激光中心线在上述目标训练图像上的位置信息。

具体地，在对上述预设模型进行训练时，在训练的初始过程中，可以先将平滑损失函数的权重设置得较小，例如，可以将平滑损失函数的权重设置为0.0001~0.00001。然后，再逐步增大平滑损失函数的权重，例如，将平滑损失函数的权重逐步增大至100。在上述对预设模型的训练过程中，上述平滑损失函数可以具有正则项的能力，能够避免在训练的过程中出现过拟合的问题，因而使得本申请训练得到的目标模型能够较为准确和稳定的提取出激光中心线的目标位置信息。

本申请的一种具体的实施例中，上述平滑损失函数

的数学表现形式可以为

，其中，

为预测值。

在实际的应用过程中，上述平滑损失函数可以为预测值的任意阶的差分的平方的组合。在本申请中并不对差分的计算方式进行限制，例如，上述差分的计算方式可以为前向差分、后向差分、或者中心差分等等。

在一种可选的实施例中，上述目标损失函数还包括限位损失函数和拟合损失函数，其中，在预测值小于第一预定值的情况下，上述限位损失函数为上述预测值的相反数，在上述预测值大于或者等于上述第一预定值且小于或者等于第二预定值的情况下，上述限位损失函数为0，在上述预测值大于第二预定值的情况下，上述限位损失函数为上述预测值，上述拟合损失函数为采用平均绝对误差构成的函数，上述预测值为上述预设模型预测的上述激光中心线在上述目标训练图像上的位置信息。在该实施例中，目标损失函数还包括限位损失函数和拟合损失函数，这样可以进一步较为准确定确定出激光中心线的目标位置信息，以及进一步地较为快速地训练得到目标模型。

本申请的一种具体的实施例中，上述限位损失函数

的数学表现形式可以为：

。

本申请的另一种具体的实施例中，上述目标损失函数中上述平滑损失函数、上述限位损失函数以及上述拟合损失函数最终权重比例可以为：100*拟合损失函数+1*限位损失函数+100*平滑损失函数。

为了保证后续训练得到的目标模型的鲁棒性较好，在一种可选的实施例中，上述目标训练图像包括第一训练图像和第二训练图像，对多个原始训练图像进行图像预处理，得到多个目标训练图像，并提取至少部分上述目标训练图像的标签信息，得到训练数据集，包括：对各上述原始训练图像进行第一增广处理，得到多个上述第一训练图像；至少对各上述原始训练图像进行第二增广处理，得到多个上述第二训练图像，并提取各上述第二训练图像的标签信息，得到多个标签信息，其中，上述第一增广处理的处理步骤与上述第二增广处理的处理步骤至少部分相同；由多个上述第一训练图像和多个上述标签信息，构成上述训练数据集。

具体地，对各原始训练图像进行第一增广处理，得到多个第一训练图像，多个第一训练图像即为后续输入到预设模型中的目标训练图像。另外，上述第一增广处理可以为对原始训练图像的颜色、飞溅噪声以及明暗变化进行增广，即非一致性增广，以及对原始训练图像进行旋转、翻转以及缩放的增广，即一致性增广。上述第二增广处理可以对原始训练图像进行旋转、翻转以及缩放的增广。也就是说，第一增广处理和第二增广处理均需要对原始训练图像进行一致性增广。原因在于：在对原始训练图像的颜色、飞溅噪声以及明暗变化进行增广，并不会改变激光中心线在原始训练图像中的位置信息，即不会影响标签的一致性。而对原始训练图像进行旋转、翻转以及缩放的增广，这样在增广后对应的标签信息则会不同，因此，为了保证后续标签的一致性，故第一增广处理和第二增广处理均需要进行一致性增广。

当然，在实际的应用过程中，还可以对各原始训练图像进行一次增广处理，得到增广处理后的目标训练图像，后续将增广处理后的目标训练图像全部进行标签提取，但这种方法会导致标签提取的计算量较大。

具体地，上述非一致性增广的方法可以为随机区域增亮/打暗、背景噪声合成、HSV（色调、饱和度、明度）色域变换、高斯模糊、随机椒盐噪声、RGB颜色空间变换；上述一致性增广处理的方法可以为水平/竖直翻转、随机角度旋转等等。

为了便于后续提取到的标签信息较为准确，在一种可选的实施例中，至少对各上述原始训练图像进行第二增广处理，得到多个上述第二训练图像，包括：将各上述原始训练图像中的各像素值分别与预设百分比相乘，得到多个预设训练图像；对各上述预设训练图像中的上述激光中心线进行增强处理，得到多个备选训练图像；至少对各上述备选训练图像进行上述第二增广处理，得到多个上述第二训练图像。

具体地，将各上述原始训练图像中的各像素值分别与预设百分比相乘，得到多个预设训练图像，即对各原始训练图像整体亮度进行打暗，后续再对得到的预设训练图像的激光中心线进行增强处理，这样可以使得激光中心线的亮度与其的背景的亮度差别较大，从而可以较为容易地确定出激光中心线。上述的预设百分比可以为70%~80%。

另外，本申请并不对上述增强处理的方法进行限制，例如，上述增强处理的实际方法可以为加粗处理。在对激光中心线进行加粗处理的情况下，加粗的工具可以为画板、开源工具Kolourpaint等现有技术中任何可行的工具。

在一种可选的实施例中，在对多个原始训练图像进行图像预处理，得到多个目标训练图像之前，上述提取方法还包括：将各上述原始训练图像的大小缩放处理至目标尺寸，得到多个缩放处理后的上述原始训练图像。这样可以进一步地使得预设模型的计算量较少，以及进一步地保证后续提取目标训练图像的标签信息的计算量较少。

具体地，可以将原始训练图像的尺寸由1080*1920缩放至288*512。另外，若激光相机拍摄的原始训练图像低于目标尺寸，还可以原始训练图像的尺寸放大至目标尺寸。这样可以保证后续提取到的标签信息的维度相同，进一步地较为快速和高效地确定出目标模型。

在一种可选的实施例中，在上述激光中心线未延伸到对应的图像边缘的情况下，至少对各上述备选训练图像进行上述第二增广处理，得到多个上述第二训练图像，包括：对各上述备选训练图像进行上述第二增广处理，得到多个增广处理图像；确定各上述增广处理图像的目标关键点的位置信息，上述目标关键点为上述激光中心线结束的像素点；以各上述目标关键点的位置信息为裁剪点，在垂直方向上对对应的上述增广处理图像进行裁剪，得到裁剪后的多个上述增广处理图像；将裁剪后的各上述增广处理图像的大小缩放处理至目标尺寸，得到多个上述第二训练图像。在该实施例中，对激光中心线未延伸到对应的图像边缘的情况下，根据目标关键点的位置信息，对增广处理图像进行裁剪，得到裁剪后的多个上述增广处理图像，这样可以使得激光中心线充满整个图像，再将裁剪后的各上述增广处理图像的大小缩放处理至目标尺寸，得到多个上述第二训练图像，后续再对第二训练图像进行标签提取时，进一步地保证得到的各个标签信息的长度相同。

在实际的应用过程中，还可以将目标关键点的位置信息作为起始点，在水平方向对激光中心线进行往达到图像边缘的方向进行延伸，直到激光中心线达到图像边缘，得到第二训练图像。

具体地，上述激光中心线未延伸到对应的图像边缘可以为一侧未延伸到图像边缘以及另一侧延伸到图像边缘；当然，上述激光中心线未延伸到对应的图像边缘也可以为两侧均未延伸到图像边缘。

在一种可选的实施例中，提取各上述第二训练图像的标签信息，得到多个标签信息，包括：在水平方向上，对各上述第二训练图像进行划分，得到第一数值个预定像素列，其中，每一个上述第二训练图像对应第二数值个上述预定像素列，上述第二数值小于上述第一数值；确定第三数值个目标聚类中心，并采用K-means聚类算法，对每一个上述预定像素列的多个像素值进行聚类，且将上述像素值的最大的上述目标聚类中心的位置信息，确定为预设位置信息；由上述第二数值个上述预定像素列对应的上述预设位置信息，构成一个上述第二训练图像对应的上述标签信息。在该实例中，本申请中采用K-means聚类算法，来确定对应的标签信息，这样可以省却大量的人工劳动，避免了在数据标注过程中引起人员焦虑，降低了数据标注中的人工成本。

具体地，上述K-means聚类算法可以为采用Python实现的。

本申请的一种具体的实施例中，对于一个图像的尺寸大小为288*512（288为图像的高度，512为图像的宽度）的第二训练图像，可以在第二训练图像的宽度方向上进行不断地切分，从而得到512个像素列。再采用K-means聚类算法，对该512个预定像素列进行聚类时，每一个预定像素列的聚类对象为该预定像素列中的288个像素点。同时可以将聚类中心设置为30个，以及将聚类维度设置为2，其中一个维度为第二训练图像在高度方向上的坐标，取值范围是0~287；另一个维度是该预定像素列中像素的亮度，取值范围是0~255。对每一个预定像素列聚类完成后，从30个聚类中心中，取像素亮度最亮的聚类中心的高度坐标作为上述激光中心线在第二训练图像中的位置信息。对于一个第二训练图像，依此循环512次，得到一条激光中心线的标签信息。

具体地，上述第一数值可以为第二训练图像的总个数与512的乘积，上述第二数值可以为512，上述第三数值可以为30。但是在本申请中，并不对上述第一数值、上述第二数值以及第三数值进行限制，上述第一数值、上述第二数值和第三数值可以根据实际的训练需求和预测需求进行调整。

为了进一步地较为准确地确定出激光中心先的目标位置信息，在一种可选的实施例中，在预定时间内获取到多个上述目标测试图像的情况下，采用上述目标模型，提取目标测试图像中的上述激光中心线的目标位置信息，包括：将各上述目标测试图像输入至上述目标模型中，提取上述激光中心线在各上述目标测试图像中的位置信息，得到多个预定位置信息；根据多个上述预定位置信息，确定上述激光中心线的上述目标位置信息。

在实际的应用过程中，如图3所示，上述得到的上述目标测试图像仅有一个（单帧激光焊缝图像100）的情况下，可以将目标模型101输出的激光中心线的位置信息直接确定为目标位置信息。另外，在实际的工况下，各种飞溅物的运动速度相较于激光中心线的运动是较为快速的，且由于在较短的时间内，激光中心线的位置差别较小，也就是说，在较短时间内获取的多个目标测试图像（即多帧激光焊缝图像102）中的激光中心线的位置差别较小，故在得到的多帧激光焊缝图像102的情况下，可以通过上述目标模型101，提取到激光中心线的多个预定位置信息，再根据多个预定位置信息，确定激光中心线的目标位置信息，这样进一步地保证了提取到的激光中心线的目标位置信息较为准确。

另外，在上述的实施例中，本申请并不对根据多个预定位置信息，确定激光中心线的目标位置信息的具体方法进行限制，其可以采用现有技术中任何可行的方法进行确定。例如，多个预定位置信息可以看作为多个512列的一维数组，可以将每一个预定位置信息的对应列的中位数作为目标位置信息，当然，还可以计算每一个预定位置信息对应列的平均值作为目标位置信息。

实施例三

本申请实施例还提供了一种激光中心线的提取装置，需要说明的是，本申请实施例的激光中心线的提取装置可以用于执行本申请实施例所提供的用于激光中心线的提取方法。以下对本申请实施例提供的激光中心线的提取装置进行介绍。

图4是根据本申请实施例的激光中心线的提取装置的结构示意图。如图4所示，该提取装置包括：

第一预处理单元10，用于对多个原始训练图像进行图像预处理，得到多个目标训练图像，并提取至少部分上述目标训练图像的标签信息，得到训练数据集，其中，上述训练数据集包括多组训练数据，每一组上述训练数据包括一个上述目标训练图像和一组对应的上述标签信息，一组上述标签信息用于表征一条上述激光中心线在上述目标训练图像上的位置信息；

第一训练单元20，用于采用上述训练数据集，对预设模型进行训练，直到上述预设模型的目标损失函数收敛为止，得到目标模型；

第一提取单元30，用于采用上述目标模型，提取目标测试图像中的上述激光中心线的目标位置信息。

上述的激光中心线的提取装置中，第一预处理单元用于对多个原始训练图像进行图像预处理，得到多个目标训练图像，并提取至少部分上述目标训练图像的标签信息，得到训练数据集；第一训练单元用于采用上述训练数据集，对预设模型进行训练，直到预设模型的目标损失函数收敛为止，得到目标模型；第一提取单元用于采用目标模型，提取目标测试图像中的激光中心线的目标位置信息。本方案与现有技术中将激光中心线的提取视为分割任务，对目标测试图像中的像素进行逐个分割以及各像素点进行逐个分类相比，本方案无需对目标测试图像中的像素进行逐个分割以及对各像素点进行逐个分类，只需要将目标测试图像输入至目标模型中，便可以提取到激光中心线在目标测试图像中的目标位置信息，这样保证了能够较为准确和高效地提取到激光中心线的目标位置信息，从而解决了现有技术中提取激光中心线的速度较慢以及鲁棒性较差的问题。

具体地，若将上述多个原始训练图像看作为一组原始训练图像，上述对多个原始训练图像进行图像预处理可以为先对该组原始训练图像进行图像预处理，得到一组目标训练图像；再对该组原始训练图像再进行一次图像预处理，再次得到一组目标训练图像。两次图像预处理得到两组目标训练图像，构成上述多个目标训练图像。后续一组目标训练图像可以输入至预设模型中，以对预设模型进行训练；另一组目标训练图像可以用于提取对应的标签信息，从而由一组目标训练图像和对应的标签信息构成训练数据集。

具体地，上述预设模型的输入是目标训练图像，上述预设模型的输出是激光中心线在目标训练图像上的位置信息。上述位置信息可以以目标训练图像的左上角（左上角为人正对屏幕时，判断得到的）为坐标原点，将水平方向视为横坐标且将垂直方向视为纵坐标建立的坐标系中的位置信息。例如，对于一个288*512的图像，便可以将每一个列的全部像素点看作为一个预定像素列，则有512个预定像素列。在每一列的预定像素列中确定出一个像素点，该像素点所处的高度信息（即纵坐标）为上述激光中心线的位置信息。总结来说，上述的标签信息或者上述的激光中心线的位置信息可以为一个512列的一维数组。

在一种可选的实施例中，上述预设模型包括依次排列的多个网络层，任意两个上述网络层的维度均不相同，在多个上述网络层的排列方向上，多个上述网络层处理的上述目标训练图像的高度依次减小至最小值，多个上述网络层处理的上述目标训练图像的宽度先依次减小，再依次放大至最大值。这样进一步地保证了整体的预设模型较为轻量化以及鲁棒性较好，进一步地保证了能够较为准确地提取激光中心线的位置信息。

具体地，在目标训练图像的高度方向上，预设模型对目标训练图像的高度不断地压缩，直到达到最小值。上述最小值可以为目标训练图像的1个像素点，当然，上述最小值并不限于目标训练图像的1个像素点，还可以为2~5个像素点。在目标训练图像的宽度方向上，预设模块先对目标训练图像的宽度进行压缩，例如，压缩到目标训练图像的宽度为32个像素点，再对目标训练图的宽度进行放大，直到达到与目标训练图像同宽度。上述预设模型的压缩过程采用最大池化或者平均池化，上述预设模型的放大过程可以采用反卷积或者上采样等。

在实际的应用过程中，如图2所示，上述预设模型的每一个网络层200可以包括2个卷积层201和1个池化层202。当然，上述每一个网络层并不限于包括2个卷积层和1个池化层，比如，上述网络层还可以包括归一化层等等，在本申请中并不对此进行限制。

另外，上述预设模型的各网络层之间还可以采用融合（Concat）策略，这样保证了上述预设模型的横向联想较好。例如，在激光中心线条是断的或者有很强大的干扰，进行横向联想，这样保证了后续提取到的激光中心线的效果较好。

具体地，上述得到的目标模型还可以用于预测坡口位置等其他的关键点信息。在具体使用时，只需修改上述目标模型的输出维度即可。也就是说，上述目标模型的输出维度时可以根据需检测的实际类型进行灵活的调整，本申请中，并不对上述目标模型的输出维度进行调整。

为了后续能够较为准确地确定出激光中心线的目标位置信息，在一种可选的实施例中，上述目标损失函数包括平滑损失函数，上述平滑损失函数为预测值的任意阶的差分组合，其中，上述预测值为上述预设模型预测的上述激光中心线在上述目标训练图像上的位置信息。

具体地，在对上述预设模型进行训练时，在训练的初始过程中，可以先将平滑损失函数的权重设置得较小，例如，可以将平滑损失函数的权重设置为0.0001~0.00001。然后，再逐步增大平滑损失函数的权重，例如，将平滑损失函数的权重逐步增大至100。在上述对预设模型的训练过程中，上述平滑损失函数可以具有正则项的能力，能够避免在训练的过程中出现过拟合的问题，因而使得本申请训练得到的目标模型能够较为准确和稳定的提取出激光中心线的目标位置信息。

本申请的一种具体的实施例中，上述平滑损失函数

的数学表现形式可以为

，其中，

为预测值。

在实际的应用过程中，上述平滑损失函数可以为预测值的任意阶的差分的平方的组合。在本申请中并不对差分的计算方式进行限制，例如，上述差分的计算方式可以为前向差分、后向差分、或者中心差分等等。

在一种可选的实施例中，上述目标损失函数还包括限位损失函数和拟合损失函数，其中，在预测值小于第一预定值的情况下，上述限位损失函数为上述预测值的相反数，在上述预测值大于或者等于上述第一预定值且小于或者等于第二预定值的情况下，上述限位损失函数为0，在上述预测值大于第二预定值的情况下，上述限位损失函数为上述预测值，上述拟合损失函数为采用平均绝对误差构成的函数，上述预测值为上述预设模型预测的上述激光中心线在上述目标训练图像上的位置信息。在该实施例中，目标损失函数还包括限位损失函数和拟合损失函数，这样可以进一步较为准确定确定出激光中心线的目标位置信息，以及进一步地较为快速地训练得到目标模型。

本申请的一种具体的实施例中，上述限位损失函数

的数学表现形式可以为：

。

本申请的另一种具体的实施例中，上述目标损失函数中上述平滑损失函数、上述限位损失函数以及上述拟合损失函数最终权重比例可以为：100*拟合损失函数+1*限位损失函数+100*平滑损失函数。

为了保证后续训练得到的目标模型的鲁棒性较好，在一种可选的实施例中，上述目标训练图像包括第一训练图像和第二训练图像，上述第一预处理单元包括第一处理模块、第二处理模块和第一组合模块，其中，上述第一处理模块用于对各上述原始训练图像进行第一增广处理，得到多个上述第一训练图像；上述第二处理模块用于至少对各上述原始训练图像进行第二增广处理，得到多个上述第二训练图像，并提取各上述第二训练图像的标签信息，得到多个标签信息，其中，上述第一增广处理的处理步骤与上述第二增广处理的处理步骤至少部分相同；上述第一组合模块用于由多个上述第一训练图像和多个上述标签信息，构成上述训练数据集。

具体地，对各原始训练图像进行第一增广处理，得到多个第一训练图像，多个第一训练图像即为后续输入到预设模型中的目标训练图像。另外，上述第一增广处理可以为对原始训练图像的颜色、飞溅噪声以及明暗变化进行增广，即非一致性增广，以及对原始训练图像进行旋转、翻转以及缩放的增广，即一致性增广。上述第二增广处理可以对原始训练图像进行旋转、翻转以及缩放的增广。也就是说，第一增广处理和第二增广处理均需要对原始训练图像进行一致性增广。原因在于：在对原始训练图像的颜色、飞溅噪声以及明暗变化进行增广，并不会改变激光中心线在原始训练图像中的位置信息，即不会影响标签的一致性。而对原始训练图像进行旋转、翻转以及缩放的增广，这样在增广后对应的标签信息则会不同，因此，为了保证后续标签的一致性，故第一增广处理和第二增广处理均需要进行一致性增广。

当然，在实际的应用过程中，还可以对各原始训练图像进行一次增广处理，得到增广处理后的目标训练图像，后续将增广处理后的目标训练图像全部进行标签提取，但这种方法会导致标签提取的计算量较大。

具体地，上述非一致性增广的方法可以为随机区域增亮/打暗、背景噪声合成、HSV（色调、饱和度、明度）色域变换、高斯模糊、随机椒盐噪声、RGB颜色空间变换；上述一致性增广处理的方法可以为水平/竖直翻转、随机角度旋转等等。

为了便于后续提取到的标签信息较为准确，在一种可选的实施例中，上述第二处理单元包括第一计算子模块、第一处理子模块和第二处理子模块，其中，上述第一计算子模块用于将各上述原始训练图像中的各像素值分别与预设百分比相乘，得到多个预设训练图像；上述第一处理子模块用于对各上述预设训练图像中的上述激光中心线进行增强处理，得到多个备选训练图像；上述第二处理子模块用于至少对各上述备选训练图像进行上述第二增广处理，得到多个上述第二训练图像。

具体地，将各上述原始训练图像中的各像素值分别与预设百分比相乘，得到多个预设训练图像，即对各原始训练图像整体亮度进行打暗，后续再对得到的预设训练图像的激光中心线进行增强处理，这样可以使得激光中心线的亮度与其的背景的亮度差别较大，从而可以较为容易地确定出激光中心线。上述的预设百分比可以为70%~80%。

另外，本申请并不对上述增强处理的方法进行限制，例如，上述增强处理的实际方法可以为加粗处理。在对激光中心线进行加粗处理的情况下，加粗的工具可以为画板、开源工具Kolourpaint等现有技术中任何可行的工具。

在一种可选的实施例中，在对多个原始训练图像进行图像预处理，得到多个目标训练图像之前，上述提取装置还包括第一处理单元，用于将各上述原始训练图像的大小缩放处理至目标尺寸，得到多个缩放处理后的上述原始训练图像。这样可以进一步地使得预设模型的计算量较少，以及进一步地保证后续提取目标训练图像的标签信息的计算量较少。

具体地，可以将原始训练图像的尺寸由1080*1920缩放至288*512。另外，若激光相机拍摄的原始训练图像低于目标尺寸，还可以原始训练图像的尺寸放大至目标尺寸。这样可以保证后续提取到的标签信息的维度相同，进一步地较为快速和高效地确定出目标模型。

在一种可选的实施例中，在上述激光中心线未延伸到对应的图像边缘的情况下，上述第二处理子模块包括第三处理子模块、第一确定子模块、第一裁剪子模块和第四处理子模块，其中，上述第三处理子模块用于对各上述备选训练图像进行上述第二增广处理，得到多个增广处理图像；上述第一确定子模块用于确定各上述增广处理图像的目标关键点的位置信息，上述目标关键点为上述激光中心线结束的像素点；上述第一裁剪子模块用于以各上述目标关键点的位置信息为裁剪点，在垂直方向上对对应的上述增广处理图像进行裁剪，得到裁剪后的多个上述增广处理图像；上述第四处理子模块用于将裁剪后的各上述增广处理图像的大小缩放处理至目标尺寸，得到多个上述第二训练图像。在该实施例中，对激光中心线未延伸到对应的图像边缘的情况下，根据目标关键点的位置信息，对增广处理图像进行裁剪，得到裁剪后的多个上述增广处理图像，这样可以使得激光中心线充满整个图像，再将裁剪后的各上述增广处理图像的大小缩放处理至目标尺寸，得到多个上述第二训练图像，后续再对第二训练图像进行标签提取时，进一步地保证得到的各个标签信息的长度相同。

在实际的应用过程中，还可以将目标关键点的位置信息作为起始点，在水平方向对激光中心线进行往达到图像边缘的方向进行延伸，直到激光中心线达到图像边缘，得到第二训练图像。

具体地，上述激光中心线未延伸到对应的图像边缘可以为一侧未延伸到图像边缘以及另一侧延伸到图像边缘；当然，上述激光中心线未延伸到对应的图像边缘也可以为两侧均未延伸到图像边缘。

在一种可选的实施例中，上述第二处理模块还包括第一划分子模块、第二确定子模块和第一组合子模块，其中，上述第一划分子模块用于在水平方向上，对各上述第二训练图像进行划分，得到第一数值个预定像素列，其中，每一个上述第二训练图像对应第二数值个上述预定像素列，上述第二数值小于上述第一数值；上述第二确定子模块用于确定第三数值个目标聚类中心，并采用K-means聚类算法，对每一个上述预定像素列的多个像素值进行聚类，且将上述像素值的最大的上述目标聚类中心的位置信息，确定为预设位置信息；上述第一组合子模块用于由上述第二数值个上述预定像素列对应的上述预设位置信息，构成一个上述第二训练图像对应的上述标签信息。在该实例中，本申请中采用K-means聚类算法，来确定对应的标签信息，这样可以省却大量的人工劳动，避免了在数据标注过程中引起人员焦虑，降低了数据标注中的人工成本。

具体地，上述K-means聚类算法可以为采用Python实现的。

本申请的一种具体的实施例中，对于一个图像的尺寸大小为288*512（288为图像的高度，512为图像的宽度）的第二训练图像，可以在第二训练图像的宽度方向上进行不断地切分，从而得到512个像素列。再采用K-means聚类算法，对该512个预定像素列进行聚类时，每一个预定像素列的聚类对象为该预定像素列中的288个像素点。同时可以将聚类中心设置为30个，以及将聚类维度设置为2，其中一个维度为第二训练图像在高度方向上的坐标，取值范围是0~287；另一个维度是该预定像素列中像素的亮度，取值范围是0~255。对每一个预定像素列聚类完成后，从30个聚类中心中，取像素亮度最亮的聚类中心的高度坐标作为上述激光中心线在第二训练图像中的位置信息。对于一个第二训练图像，依此循环512次，得到一条激光中心线的标签信息。

具体地，上述第一数值可以为第二训练图像的总个数与512的乘积，上述第二数值可以为512，上述第三数值可以为30。但是在本申请中，并不对上述第一数值、上述第二数值以及第三数值进行限制，上述第一数值、上述第二数值和第三数值可以根据实际的训练需求和预测需求进行调整。

为了进一步地较为准确地确定出激光中心先的目标位置信息，在一种可选的实施例中，在预定时间内获取到多个上述目标测试图像的情况下，上述第一提取单元包括第一提取模块和第一确定模块，其中，上述第一提取子模块用于将各上述目标测试图像输入至上述目标模型中，提取上述激光中心线在各上述目标测试图像中的位置信息，得到多个预定位置信息；上述第一确定模块用于根据各上述预定位置信息，确定上述激光中心线的上述目标位置信息。

在实际的应用过程中，如图3所示，上述得到的上述目标测试图像仅有一个（单帧激光焊缝图像100）的情况下，可以将目标模型101输出的激光中心线的位置信息直接确定为目标位置信息。另外，在实际的工况下，各种飞溅物的运动速度相较于激光中心线的运动是较为快速的，且由于在较短的时间内，激光中心线的位置差别较小，也就是说，在较短时间内获取的多个目标测试图像（即多帧激光焊缝图像102）中的激光中心线的位置差别较小，故在得到的多帧激光焊缝图像102的情况下，可以通过上述目标模型101，提取到激光中心线的多个预定位置信息，再根据多个位置信息信息，确定激光中心线的目标位置信息，这样进一步地保证了提取到的激光中心线的目标位置信息较为准确。

另外，在上述的实施例中，本申请并不对根据多个预定位置信息，确定激光中心线的目标位置信息的具体方法进行限制，其可以采用现有技术中任何可行的方法进行确定。例如，多个预定位置信息可以看作为多个512列的一维数组，可以将每一个预定位置信息的对应列的中位数作为目标位置信息，当然，还可以计算每一个预定位置信息对应列的平均值作为目标位置信息。

实施例四

本申请的一种典型的实施例中，还提供了一种激光中心点的提取装置。

该激光中心线的提取装置包括第二预处理单元、第二训练单元和第二提取单元，其中，上述第二预处理单元用于对多个原始训练图像进行图像预处理，得到多个目标训练图像，并提取至少部分上述目标训练图像的标签信息，得到训练数据集，其中，上述训练数据集包括多组训练数据，每一组上述训练数据包括一个上述目标训练图像和一组对应的上述标签信息，一组上述标签信息用于表征一条上述激光中心线在上述目标训练图像上的位置信息；上述第二训练单元用于采用上述训练数据集，对预设模型进行训练，得到目标模型，上述预设模型包括依次排列的多个网络层，任意两个上述网络层的维度均不相同，在多个上述网络层的排列方向上，多个上述网络层处理的上述目标训练图像的高度依次减小至最小值，多个上述网络层处理的上述目标训练图像的宽度先依次减小，再依次放大至最大值；上述第二提取单元用于采用上述目标模型，提取目标测试图像中的上述激光中心线的目标位置信息。

上述的激光中心线的提取装置中，第二预处理单元用于对多个原始训练图像进行图像预处理，得到多个目标训练图像，并提取至少部分上述目标训练图像的标签信息，得到训练数据集；第二训练单元用于采用上述训练数据集，对预设模型进行训练，得到目标模型，其中，预设模型包括依次排列的多个网络层，任意两个上述网络层的维度均不相同，在多个上述网络层的排列方向上，多个上述网络层处理的上述目标训练图像的高度依次减小至最小值，多个上述网络层处理的上述目标训练图像的宽度先依次减小，再依次放大至最大值；上述第二提取单元用于采用目标模型，提取目标测试图像中的激光中心线的目标位置信息。本方案与现有技术中将激光中心线的提取视为分割任务，对目标测试图像中的像素进行逐个分割以及各像素点进行逐个分类相比，本方案无需对目标测试图像中的像素进行逐个分割以及对各像素点进行逐个分类，只需要将目标测试图像输入至目标模型中，便可以提取到激光中心线在目标测试图像中的目标位置信息，这样保证了能够较为准确和高效地提取到激光中心线的目标位置信息，从而解决了现有技术中提取激光中心线的速度较慢以及鲁棒性较差的问题。

具体地，若将上述多个原始训练图像看作为一组原始训练图像，上述对多个原始训练图像进行图像预处理可以为先对该组原始训练图像进行图像预处理，得到一组目标训练图像；再对该组原始训练图像再进行一次图像预处理，再次得到一组目标训练图像。两次图像预处理得到两组目标训练图像，构成上述多个目标训练图像。后续一组目标训练图像可以输入至预设模型中，以对预设模型进行训练；另一组目标训练图像可以用于提取对应的标签信息，从而由一组目标训练图像和对应的标签信息构成训练数据集。

具体地，上述预设模型的输入是目标训练图像，上述预设模型的输出是激光中心线在目标训练图像上的位置信息。上述位置信息可以以目标训练图像的左上角（左上角为人正对屏幕时，判断得到的）为坐标原点，将水平方向视为横坐标且将垂直方向视为纵坐标建立的坐标系中的位置信息。例如，对于一个288*512的图像，便可以将每一个列的全部像素点看作为一个预定像素列，则有512个预定像素列。在每一列的预定像素列中确定出一个像素点，该像素点所处的高度信息（即纵坐标）为上述激光中心线的位置信息。总结来说，上述的标签信息或者上述的激光中心线的位置信息可以为一个512列的一维数组。

具体地，在目标训练图像的高度方向上，预设模型对目标训练图像的高度不断地压缩，直到达到最小值。上述最小值可以为目标训练图像的1个像素点，当然，上述最小值并不限于目标训练图像的1个像素点，还可以为2~5个像素点。在目标训练图像的宽度方向上，预设模块先对目标训练图像的宽度进行压缩，例如，压缩到目标训练图像的宽度为32个像素点，再对目标训练图的宽度进行放大，直到达到与目标训练图像同宽度。上述预设模型的压缩过程采用最大池化或者平均池化，上述预设模型的放大过程可以采用反卷积或者上采样等。

在实际的应用过程中，如图2所示，上述预设模型的每一个网络层200可以包括2个卷积层201和1个池化层202。当然，上述每一个网络层并不限于包括2个卷积层和1个池化层，比如，上述网络层还可以包括归一化层等等，在本申请中并不对此进行限制。

另外，上述预设模型的各网络层之间还可以采用融合（Concat）策略，这样保证了上述预设模型的横向联想较好。例如，在激光中心线条是断的或者有很强大的干扰，进行横向联想，这样保证了后续提取到的激光中心线的效果较好。

具体地，上述得到的目标模型还可以用于预测坡口位置等其他的关键点信息。在具体使用时，只需修改上述目标模型的输出维度即可。也就是说，上述目标模型的输出维度时可以根据需检测的实际类型进行灵活的调整，本申请中，并不对上述目标模型的输出维度进行调整。

在一种可选的实施例中，上述第二训练单元包括训练子模块，用于采用上述训练数据集，对预设模型进行训练，直到上述预设模型的目标损失函数收敛为止，得到目标模型。

为了后续能够较为准确地确定出激光中心线的目标位置信息，在一种可选的实施例中，上述目标损失函数包括平滑损失函数，上述平滑损失函数为预测值的任意阶的差分组合，其中，上述预测值为上述预设模型预测的上述激光中心线在上述目标训练图像上的位置信息。

具体地，在对上述预设模型进行训练时，在训练的初始过程中，可以先将平滑损失函数的权重设置得较小，例如，可以将平滑损失函数的权重设置为0.0001~0.00001。然后，再逐步增大平滑损失函数的权重，例如，将平滑损失函数的权重逐步增大至100。在上述对预设模型的训练过程中，上述平滑损失函数可以具有正则项的能力，能够避免在训练的过程中出现过拟合的问题，因而使得本申请训练得到的目标模型能够较为准确和稳定的提取出激光中心线的目标位置信息。

本申请的一种具体的实施例中，上述平滑损失函数

的数学表现形式可以为

，其中，

为预测值。

在实际的应用过程中，上述平滑损失函数可以为预测值的任意阶的差分的平方的组合。在本申请中并不对差分的计算方式进行限制，例如，上述差分的计算方式可以为前向差分、后向差分、或者中心差分等等。

在一种可选的实施例中，上述目标损失函数还包括限位损失函数和拟合损失函数，其中，在预测值小于第一预定值的情况下，上述限位损失函数为上述预测值的相反数，在上述预测值大于或者等于上述第一预定值且小于或者等于第二预定值的情况下，上述限位损失函数为0，在上述预测值大于第二预定值的情况下，上述限位损失函数为上述预测值，上述拟合损失函数为采用平均绝对误差构成的函数，上述预测值为上述预设模型预测的上述激光中心线在上述目标训练图像上的位置信息。在该实施例中，目标损失函数还包括限位损失函数和拟合损失函数，这样可以进一步较为准确定确定出激光中心线的目标位置信息，以及进一步地较为快速地训练得到目标模型。

本申请的一种具体的实施例中，上述限位损失函数

的数学表现形式可以为：

。

本申请的另一种具体的实施例中，上述目标损失函数中上述平滑损失函数、上述限位损失函数以及上述拟合损失函数最终权重比例可以为：100*拟合损失函数+1*限位损失函数+100*平滑损失函数。

为了保证后续训练得到的目标模型的鲁棒性较好，在一种可选的实施例中，上述目标训练图像包括第一训练图像和第二训练图像，上述第二预处理单元包括第三处理模块、第四处理模块和第二组合模块，其中，上述第三处理模块用于对各上述原始训练图像进行第一增广处理，得到多个上述第一训练图像；上述第四处理模块用于至少对各上述原始训练图像进行第二增广处理，得到多个上述第二训练图像，并提取各上述第二训练图像的标签信息，得到多个标签信息，其中，上述第一增广处理的处理步骤与上述第二增广处理的处理步骤至少部分相同；上述第二组合模块用于由多个上述第一训练图像和多个上述标签信息，构成上述训练数据集。

具体地，对各原始训练图像进行第一增广处理，得到多个第一训练图像，多个第一训练图像即为后续输入到预设模型中的目标训练图像。另外，上述第一增广处理可以为对原始训练图像的颜色、飞溅噪声以及明暗变化进行增广，即非一致性增广，以及对原始训练图像进行旋转、翻转以及缩放的增广，即一致性增广。上述第二增广处理可以对原始训练图像进行旋转、翻转以及缩放的增广。也就是说，第一增广处理和第二增广处理均需要对原始训练图像进行一致性增广。原因在于：在对原始训练图像的颜色、飞溅噪声以及明暗变化进行增广，并不会改激光中心线在原始训练图像中的位置信息，即不会影响标签的一致性。而对原始训练图像进行旋转、翻转以及缩放的增广，这样在增广后对应的标签信息则会不同，因此，为了保证后续标签的一致性，故第一增广处理和第二增广处理均需要进行一致性增广。

当然，在实际的应用过程中，还可以对各原始训练图像进行一次增广处理，得到增广处理后的目标训练图像，后续将增广处理后的目标训练图像全部进行标签提取，但这种方法会导致标签提取的计算量较大。

具体地，上述非一致性增广的方法可以为随机区域增亮/打暗、背景噪声合成、HSV（色调、饱和度、明度）色域变换、高斯模糊、随机椒盐噪声、RGB颜色空间变换；上述一致性增广处理的方法可以为水平/竖直翻转、随机角度旋转等等。

为了便于后续提取到的标签信息较为准确，在一种可选的实施例中，上述第四处理模块包括第二计算子模块、第四处理子模块和第五处理子模块，其中，上述第二计算子模块用于将各上述原始训练图像中的各像素值分别与预设百分比相乘，得到多个预设训练图像；上述第四处理子模块用于对各上述预设训练图像中的上述激光中心线进行增强处理，得到多个备选训练图像；上述第五处理子模块用于至少对各上述备选训练图像进行上述第二增广处理，得到多个上述第二训练图像。

具体地，将各上述原始训练图像中的各像素值分别与预设百分比相乘，得到多个预设训练图像，即对各原始训练图像整体亮度进行打暗，后续再对得到的预设训练图像的激光中心线进行增强处理，这样可以使得激光中心线的亮度与其的背景的亮度差别较大，从而可以较为容易地确定出激光中心线。上述的预设百分比可以为70%~80%。

另外，本申请并不对上述增强处理的方法进行限制，例如，上述增强处理的实际方法可以为加粗处理。在对激光中心线进行加粗处理的情况下，加粗的工具可以为画板、开源工具Kolourpaint等现有技术中任何可行的工具。

在一种可选的实施例中，在对多个原始训练图像进行图像预处理，得到多个目标训练图像之前，上述提取装置还包括第二处理单元，用于将各上述原始训练图像的大小缩放处理至目标尺寸，得到多个缩放处理后的上述原始训练图像。这样可以进一步地使得预设模型的计算量较少，以及进一步地保证后续提取目标训练图像的标签信息的计算量较少。

具体地，可以将原始训练图像的尺寸由1080*1920缩放至288*512。另外，若激光相机拍摄的原始训练图像低于目标尺寸，还可以原始训练图像的尺寸放大至目标尺寸。这样可以保证后续提取到的标签信息的维度相同，进一步地较为快速和高效地确定出目标模型。

在一种可选的实施例中，在上述激光中心线未延伸到对应的图像边缘的情况下，上述第五处理子模块包括第六处理子模块、第二确定子模块、第二裁剪子模块和第七处理子模块，其中，上述第六处理子模块用于对各上述备选训练图像进行上述第二增广处理，得到多个增广处理图像；上述第二确定子模块用于确定各上述增广处理图像的目标关键点的位置信息，上述目标关键点为上述激光中心线结束的像素点；上述第二裁剪子模块用于以各上述目标关键点的位置信息为裁剪点，在垂直方向上对对应的上述增广处理图像进行裁剪，得到裁剪后的多个上述增广处理图像；上述第七处理子模块用于将裁剪后的各上述增广处理图像的大小缩放处理至目标尺寸，得到多个上述第二训练图像。在该实施例中，对激光中心线未延伸到对应的图像边缘的情况下，根据目标关键点的位置信息，对增广处理图像进行裁剪，得到裁剪后的多个上述增广处理图像，这样可以使得激光中心线充满整个图像，再将裁剪后的各上述增广处理图像的大小缩放处理至目标尺寸，得到多个上述第二训练图像，后续再对第二训练图像进行标签提取时，进一步地保证得到的各个标签信息的长度相同。

在实际的应用过程中，还可以将目标关键点的位置信息作为起始点，在水平方向对激光中心线进行往达到图像边缘的方向进行延伸，直到激光中心线达到图像边缘，得到第二训练图像。

具体地，上述激光中心线未延伸到对应的图像边缘可以为一侧未延伸到图像边缘以及另一侧延伸到图像边缘；当然，上述激光中心线未延伸到对应的图像边缘也可以为两侧均未延伸到图像边缘。

在一种可选的实施例中，上述第四处理模块还包括第二划分子模块、第三确定子模块和第二组合子模块，其中，上述第二划分子模块用于在水平方向上，对各上述第二训练图像进行划分，得到第一数值个预定像素列，其中，每一个上述第二训练图像对应第二数值个上述预定像素列，上述第二数值小于上述第一数值；上述第三确定子模块用于确定第三数值个目标聚类中心，并采用K-means聚类算法，对每一个上述预定像素列的多个像素值进行聚类，且将上述像素值的最大的上述目标聚类中心的位置信息，确定为预设位置信息；上述第二组合子模块用于由上述第二数值个上述预定像素列对应的上述预设位置信息，构成一个上述第二训练图像对应的上述标签信息。在该实例中，本申请中采用K-means聚类算法，来确定对应的标签信息，这样可以省却大量的人工劳动，避免了在数据标注过程中引起人员焦虑，降低了数据标注中的人工成本。

具体地，上述K-means聚类算法可以为采用Python实现的。

本申请的一种具体的实施例中，对于一个图像的尺寸大小为288*512（288为图像的高度，512为图像的宽度）的第二训练图像，可以在第二训练图像的宽度方向上进行不断地切分，从而得到512个像素列。再采用K-means聚类算法，对该512个预定像素列进行聚类时，每一个预定像素列的聚类对象为该预定像素列中的288个像素点。同时可以将聚类中心设置为30个，以及将聚类维度设置为2，其中一个维度为第二训练图像在高度方向上的坐标，取值范围是0~287；另一个维度是该预定像素列中像素的亮度，取值范围是0~255。对每一个预定像素列聚类完成后，从30个聚类中心中，取像素亮度最亮的聚类中心的高度坐标作为上述激光中心线在第二训练图像中的位置信息。对于一个第二训练图像，依此循环512次，得到一条激光中心线的标签信息。

具体地，上述第一数值可以为第二训练图像的总个数与512的乘积，上述第二数值可以为512，上述第三数值可以为30。但是在本申请中，并不对上述第一数值、上述第二数值以及第三数值进行限制，上述第一数值、上述第二数值和第三数值可以根据实际的训练需求和预测需求进行调整。

为了进一步地较为准确地确定出激光中心先的目标位置信息，在一种可选的实施例中，在预定时间内获取到多个上述目标测试图像的情况下，上述第二提取单元包括第二提取模块和第二确定模块，其中，上述第二提取模块用于将各上述目标测试图像输入至上述目标模型中，提取上述激光中心线在各上述目标测试图像中的位置信息，得到多个预定位置信息；上述第二确定模块用于根据多个上述预定位置信息，确定上述激光中心线的上述目标位置信息。

在实际的应用过程中，如图3所示，上述得到的上述目标测试图像仅有一个（单帧激光焊缝图像100）的情况下，可以将目标模型101输出的激光中心线的位置信息直接确定为目标位置信息。另外，在实际的工况下，各种飞溅物的运动速度相较于激光中心线的运动是较为快速的，且由于在较短的时间内，激光中心线的位置差别较小，也就是说，在较短时间内获取的多个目标测试图像（即多帧激光焊缝图像102）中的激光中心线的位置差别较小，故在得到的多帧激光焊缝图像102的情况下，可以通过上述目标模型101，提取到激光中心线的多个预定位置信息，再根据多个位置信息信息，确定激光中心线的目标位置信息，这样进一步地保证了提取到的激光中心线的目标位置信息较为准确。

另外，在上述的实施例中，本申请并不对根据多个预定位置信息，确定激光中心线的目标位置信息的具体方法进行限制，其可以采用现有技术中任何可行的方法进行确定。例如，多个预定位置信息可以看作为多个512列的一维数组，可以将每一个预定位置信息的对应列的中位数作为目标位置信息，当然，还可以计算每一个预定位置信息对应列的平均值作为目标位置信息。

上述激光中心线的提取装置包括处理器和存储器，上述第一预处理单元、第一训练单元和第一提取单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来解决现有技术中提取激光中心线的速度较慢以及鲁棒性较差的问题。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

实施例五

本发明实施例提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现上述激光中心线的提取方法。

实施例六

本发明实施例提供了一种处理器，上述处理器用于运行程序，其中，上述程序运行时执行上述激光中心线的提取方法。

实施例七

本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现至少以下步骤：

步骤S101，对多个原始训练图像进行图像预处理，得到多个目标训练图像，并提取至少部分上述目标训练图像的标签信息，得到训练数据集，其中，上述训练数据集包括多组训练数据，每一组上述训练数据包括一个上述目标训练图像和一组对应的上述标签信息，一组上述标签信息用于表征一条上述激光中心线在上述目标训练图像上的位置信息；

步骤S102，采用上述训练数据集，对预设模型进行训练，直到上述预设模型的目标损失函数收敛为止，得到目标模型；

步骤S103，采用上述目标模型，提取目标测试图像中的上述激光中心线的目标位置信息。

本文中的设备可以是服务器、PC、PAD、手机等。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有至少如下方法步骤的程序：

步骤S101，对多个原始训练图像进行图像预处理，得到多个目标训练图像，并提取至少部分上述目标训练图像的标签信息，得到训练数据集，其中，上述训练数据集包括多组训练数据，每一组上述训练数据包括一个上述目标训练图像和一组对应的上述标签信息，一组上述标签信息用于表征一条上述激光中心线在上述目标训练图像上的位置信息；

步骤S102，采用上述训练数据集，对预设模型进行训练，直到上述预设模型的目标损失函数收敛为止，得到目标模型；

步骤S103，采用上述目标模型，提取目标测试图像中的上述激光中心线的目标位置信息。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本发明各个实施例上述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

从以上的描述中，可以看出，本申请上述的实施例实现了如下技术效果：

1）、本申请的激光中心线的提取方法中，首先，对多个原始训练图像进行图像预处理，得到多个目标训练图像，并提取至少部分上述目标训练图像的标签信息，得到训练数据集；然后，采用上述训练数据集，对预设模型进行训练，直到预设模型的目标损失函数收敛为止，得到目标模型；最后，采用目标模型，提取目标测试图像中的激光中心线的目标位置信息。本方案与现有技术中将激光中心线的提取视为分割任务，对目标测试图像中的像素进行逐个分割以及各像素点进行逐个分类相比，本方案无需对目标测试图像中的像素进行逐个分割以及对各像素点进行逐个分类，只需要将目标测试图像输入至目标模型中，便可以提取到激光中心线在目标测试图像中的目标位置信息，这样保证了能够较为准确和高效地提取到激光中心线的目标位置信息，从而解决了现有技术中提取激光中心线的速度较慢以及鲁棒性较差的问题。

2）、本申请的激光中心线的提取装置中，第一预处理单元用于对多个原始训练图像进行图像预处理，得到多个目标训练图像，并提取至少部分上述目标训练图像的标签信息，得到训练数据集；第一训练单元用于采用上述训练数据集，对预设模型进行训练，直到预设模型的目标损失函数收敛为止，得到目标模型；第一提取单元用于采用目标模型，提取目标测试图像中的激光中心线的目标位置信息。本方案与现有技术中将激光中心线的提取视为分割任务，对目标测试图像中的像素进行逐个分割以及各像素点进行逐个分类相比，本方案无需对目标测试图像中的像素进行逐个分割以及对各像素点进行逐个分类，只需要将目标测试图像输入至目标模型中，便可以提取到激光中心线在目标测试图像中的目标位置信息，这样保证了能够较为准确和高效地提取到激光中心线的目标位置信息，从而解决了现有技术中提取激光中心线的速度较慢以及鲁棒性较差的问题。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (14)

1.一种激光中心线的提取方法，其特征在于，包括：

对多个原始训练图像进行图像预处理，得到多个目标训练图像，并提取至少部分所述目标训练图像的标签信息，得到训练数据集，其中，所述训练数据集包括多组训练数据，每一组所述训练数据包括一个所述目标训练图像和一组对应的所述标签信息，一组所述标签信息用于表征一条所述激光中心线在所述目标训练图像上的位置信息；

采用所述训练数据集，对预设模型进行训练，直到所述预设模型的目标损失函数收敛为止，得到目标模型，其中，所述预设模型包括依次排列的多个网络层，任意两个所述网络层的维度均不相同，在多个所述网络层的排列方向上，多个所述网络层处理的所述目标训练图像的高度依次减小至最小值，多个所述网络层处理的所述目标训练图像的宽度先依次减小，再依次放大至最大值；

采用所述目标模型，提取目标测试图像中的所述激光中心线的目标位置信息。

2.根据权利要求1所述的提取方法，其特征在于，所述目标损失函数包括平滑损失函数，所述平滑损失函数为预测值的任意阶的差分组合，其中，所述预测值为所述预设模型预测的所述激光中心线在所述目标训练图像上的位置信息。

3.根据权利要求2所述的提取方法，其特征在于，所述目标损失函数还包括限位损失函数和拟合损失函数，其中，在预测值小于第一预定值的情况下，所述限位损失函数为所述预测值的相反数，在所述预测值大于或者等于所述第一预定值且小于或者等于第二预定值的情况下，所述限位损失函数为0，在所述预测值大于第二预定值的情况下，所述限位损失函数为所述预测值，所述拟合损失函数为采用平均绝对误差构成的函数，所述预测值为所述预设模型预测的所述激光中心线在所述目标训练图像上的位置信息。

4.根据权利要求1所述的提取方法，其特征在于，所述目标训练图像包括第一训练图像和第二训练图像，

对多个原始训练图像进行图像预处理，得到多个目标训练图像，并提取至少部分所述目标训练图像的标签信息，得到训练数据集，包括：

对各所述原始训练图像进行第一增广处理，得到多个所述第一训练图像；

至少对各所述原始训练图像进行第二增广处理，得到多个所述第二训练图像，并提取各所述第二训练图像的标签信息，得到多个标签信息，其中，所述第一增广处理的处理步骤与所述第二增广处理的处理步骤至少部分相同；

由多个所述第一训练图像和多个所述标签信息，构成所述训练数据集。

5.根据权利要求4所述的提取方法，其特征在于，至少对各所述原始训练图像进行第二增广处理，得到多个所述第二训练图像，包括：

将各所述原始训练图像中的各像素值分别与预设百分比相乘，得到多个预设训练图像；

对各所述预设训练图像中的所述激光中心线进行增强处理，得到多个备选训练图像；

至少对各所述备选训练图像进行所述第二增广处理，得到多个所述第二训练图像。

6.根据权利要求5所述的提取方法，其特征在于，在所述激光中心线未延伸到对应的图像边缘的情况下，至少对各所述备选训练图像进行所述第二增广处理，得到多个所述第二训练图像，包括：

对各所述备选训练图像进行所述第二增广处理，得到多个增广处理图像；

确定各所述增广处理图像的目标关键点的位置信息，所述目标关键点为所述激光中心线结束的像素点；

以各所述目标关键点的位置信息为裁剪点，在垂直方向上对对应的所述增广处理图像进行裁剪，得到裁剪后的多个所述增广处理图像；

将裁剪后的各所述增广处理图像的大小缩放处理至目标尺寸，得到多个所述第二训练图像。

7.根据权利要求4所述的提取方法，其特征在于，提取各所述第二训练图像的标签信息，得到多个标签信息，包括：

在水平方向上，对各所述第二训练图像进行划分，得到第一数值个预定像素列，其中，每一个所述第二训练图像对应第二数值个所述预定像素列，所述第二数值小于所述第一数值；

确定第三数值个目标聚类中心，并采用K-means聚类算法，对每一个所述预定像素列的多个像素值进行聚类，且将所述像素值的最大的所述目标聚类中心的位置信息，确定为预设位置信息；

由所述第二数值个所述预定像素列对应的所述预设位置信息，构成一个所述第二训练图像对应的所述标签信息。

8.根据权利要求1至7中任意一项所述的提取方法，其特征在于，在预定时间内获取到多个所述目标测试图像的情况下，采用所述目标模型，提取目标测试图像中的所述激光中心线的目标位置信息，包括：

将各所述目标测试图像输入至所述目标模型中，提取所述激光中心线在各所述目标测试图像中的位置信息，得到多个预定位置信息；

根据多个所述预定位置信息，确定所述激光中心线的所述目标位置信息。

9.一种激光中心线的提取方法，其特征在于，包括：

对多个原始训练图像进行图像预处理，得到多个目标训练图像，并提取至少部分所述目标训练图像的标签信息，得到训练数据集，其中，所述训练数据集包括多组训练数据，每一组所述训练数据包括一个所述目标训练图像和一组对应的所述标签信息，一组所述标签信息用于表征一条所述激光中心线在所述目标训练图像上的位置信息；

采用所述训练数据集，对预设模型进行训练，得到目标模型，所述预设模型包括依次排列的多个网络层，任意两个所述网络层的维度均不相同，在多个所述网络层的排列方向上，多个所述网络层处理的所述目标训练图像的高度依次减小至最小值，多个所述网络层处理的所述目标训练图像的宽度先依次减小，再依次放大至最大值；

采用所述目标模型，提取目标测试图像中的所述激光中心线的目标位置信息。

10.根据权利要求9所述的提取方法，其特征在于，所述目标训练图像包括第一训练图像和第二训练图像，

对多个原始训练图像进行图像预处理，得到多个目标训练图像，并提取至少部分所述目标训练图像的标签信息，得到训练数据集，包括：

对各所述原始训练图像进行第一增广处理，得到多个所述第一训练图像；

至少对各所述原始训练图像进行第二增广处理，得到多个所述第二训练图像，并提取各所述第二训练图像的标签信息，得到多个标签信息，其中，所述第一增广处理的处理步骤与所述第二增广处理的处理步骤至少部分相同；

由多个所述第一训练图像和多个所述标签信息，构成所述训练数据集。

11.根据权利要求10所述的提取方法，其特征在于，至少对各所述原始训练图像进行第二增广处理，得到多个所述第二训练图像，包括：

将各所述原始训练图像中的各像素值分别与预设百分比相乘，得到多个预设训练图像；

对各所述预设训练图像中的所述激光中心线进行增强处理，得到多个备选训练图像；

至少对各所述备选训练图像进行所述第二增广处理，得到多个所述第二训练图像。

12.根据权利要求11所述的提取方法，其特征在于，在所述激光中心线未延伸到对应的图像边缘的情况下，至少对各所述备选训练图像进行所述第二增广处理，得到多个所述第二训练图像，包括：

对各所述备选训练图像进行所述第二增广处理，得到多个增广处理图像；

确定各所述增广处理图像的目标关键点的位置信息，所述目标关键点为所述激光中心线结束的像素点；

以各所述目标关键点的位置信息为裁剪点，在垂直方向上对对应的所述增广处理图像进行裁剪，得到裁剪后的多个所述增广处理图像；

将裁剪后的各所述增广处理图像的大小缩放处理至目标尺寸，得到多个所述第二训练图像。

13.根据权利要求10所述的提取方法，其特征在于，提取各所述第二训练图像的标签信息，得到多个标签信息，包括：

在水平方向上，对各所述第二训练图像进行划分，得到第一数值个预定像素列，其中，每一个所述第二训练图像对应第二数值个所述预定像素列，所述第二数值小于所述第一数值；

确定第三数值个目标聚类中心，并采用K-means聚类算法，对每一个所述预定像素列的多个像素值进行聚类，且将所述像素值的最大的所述目标聚类中心的位置信息，确定为预设位置信息；

由所述第二数值个所述预定像素列对应的所述预设位置信息，构成一个所述第二训练图像对应的所述标签信息。

14.根据权利要求9至13中任意一项所述的提取方法，其特征在于，在预定时间内获取到多个所述目标测试图像的情况下，采用所述目标模型，提取目标测试图像中的所述激光中心线的目标位置信息，包括：

将各所述目标测试图像输入至所述目标模型中，提取所述激光中心线在各所述目标测试图像中的位置信息，得到多个预定位置信息；

根据多个所述预定位置信息，确定所述激光中心线的所述目标位置信息。

Images