CN111683779A - 用于管道焊接中的接缝跟踪的系统和方法 - Google Patents

Abstract

本公开内容提供了一种用于控制机器人焊接系统以焊接管道区段的方法，其中，管道区段通过在管道区段之间的接缝处的多个缝线相对于彼此以固定关系保持。方法包括旋转管道区段从而照相机可以确定接缝位置，移动焊炬臂和焊炬使得焊炬在多个缝线中的一个上方，在焊炬在缝线上方时调节焊接参数并且确定缝线起点，并且在焊炬移动经过多个缝线中的一个时进一步调节焊接参数并且确定缝线终点。

Description

用于管道焊接中的接缝跟踪的系统和方法

相关申请的交叉引用

本申请要求于2018年2月8日提交的美国临时专利申请第62/628,009号的优先权，其全部内容在此通过引用并入本文。

技术领域

本公开内容涉及管道等的焊接。具体实施例提供了用于基于机器视觉检测管道焊缝的特征以及基于检测到的特征控制机器人焊接系统的系统和方法。

背景技术

使用机器视觉跟踪焊缝可以使用各种类型的成像系统实施。在一些系统中，使用了激光扫描仪，但是将激光扫描仪用于管道焊接所实现的精度水平受到限制。

与使用照相机跟踪焊接操作有关的现有技术的示例包括：

·Bae,K.-Y.T.-H.-C.(2002)。用于钢管的气体金属弧焊中的接缝跟踪和焊接熔池控制的光学感测系统。材料加工技术杂志(Journal of Materials ProcessingTechnology)，458-465；

·Ma,H.e.(2010)。基于被动视觉的用于薄板封闭间隙对接焊的机器人焊缝跟踪方法。国际先进制造技术杂志(International Journal of Advanced ManufacturingTechnology)，945-953；

·Nele,L.E.(2013)。用于实时接缝跟踪的图像采集系统。国际先进制造技术杂志(International Journal of Advanced Manufacturing Technology)，2099-2110；

·Shen,H.-y.e.(2008)。具有基于被动视觉的接缝跟踪和焊接熔池控制的弧焊机器人系统。国际先进制造技术杂志(International Journal of Advanced ManufacturingTechnology)，669-678；

·美国专利第4,733,051号；

·美国专利第5,959,425号；

·美国专利第6,049,059号；

·公布号为2013/0119040的美国专利申请，以及

·Tecnar自动化有限公司，Rotoweld 3.0(http://www.tecnar.com/wp-content/themes/tecnar-oz/pdf/rotoweld_brochure.pdf；

http://www.tecnar.com/wp-content/themes/tecnar-oz/pdf/rotoweld_manual.pdf)。

存在对于用于监测焊接操作并自动调节焊接参数的改进的系统和方法的需要。

发明内容

一个方面提供了一种用于控制机器人焊接系统以在短管焊接操作中将两个管道区段自动焊接在一起的方法，其中，所述两个管道区段通过在所述两个管道区段之间的界面处的多个缝线相对于彼此以固定关系保持，所述机器人焊接系统具有保持焊炬的焊炬臂、用于控制所述焊炬臂的运动的控制器、以及可操作地联接至所述控制器和照相机的处理器，所述照相机定位成捕获焊接电弧周围区域的图像。所述方法包括：使所述两个管道区段和所述机器人焊接系统相对于彼此旋转，同时用所述照相机连续捕获和缓冲所述两个管道区段之间的界面的多个帧；处理所述多个帧以确定接缝位置；控制机器人焊接系统以移动所述焊炬臂以跟踪所述接缝位置；处理所述多个帧以检测所述焊炬是否在所述多个缝线中的一个上方；响应于检测所述焊炬在所述多个缝线中的一个上方移动而确定缝线起点；控制所述机器人焊接系统以响应于确定所述缝线起点而调节焊接参数；响应于检测所述焊炬移动经过所述多个缝线中的一个而确定缝线终点；和控制所述机器人焊接系统以响应于确定所述缝线终点而调节焊接参数。

下面阐述示例实施例的其他方面和细节。

附图说明

以下附图阐述了实施例，其中，相同的附图标记表示相同的部分。在附图中通过示例而非限制的方式示出了实施例。

图1是示出了处于焊接准备中缝合在一起的管道区段的照片。

图2示出了根据一个实施例的用于执行自动管道焊接操作的示例系统。

图2A是示意性地示出了图2的系统的元件的框图。

图3是示出了根据一个实施例的用于在初始焊道(其可以称为“根部”焊道，该“根部”焊道将缝合在一起但未通过其他方式接合的两个管道区段焊接在一起)期间控制机器人焊接系统的示例方法的步骤的流程图。

图3A示出了示例缝线帧。

图3B示出了示例非缝线帧。

图3C示出了示例缝线起点帧。

图3D示出了示例缝线终点帧。

图3E是示出了根据另一个实施例的用于在根部焊道期间控制机器人焊接系统的示例方法的步骤的流程图。

图4是示出根据一个实施例的用于在后续非根部焊道(其可以称为“填充”或“盖面”焊道)期间控制机器人焊接系统的示例方法的步骤的流程图。

图4A-4C分别示出了来自示例四焊道管道焊接中的第一填充焊道、第二填充焊道和盖面焊道的示例帧。

具体实施方式

本公开内容提供了用于监测管道焊接并自动调节焊接参数的新颖的系统和方法。下面针对1)根部焊道接缝跟踪以及缝线起点和终点检测以及2)其他焊道的接缝跟踪描述示例方法。本文描述的示例可以用附接到焊接机器人的焊炬保持臂的照相机来实施，使得对于基于视觉的接缝跟踪，仅需要确定接缝的位置而不是计算接缝与焊炬尖端之间的偏移。在其他实施例中，照相机可以安装在不同的位置处，如下面所讨论的。

为了图示的简洁和清楚，附图标记可以在附图之间重复以指示对应或相似的元件。阐述了许多细节以提供对本文描述的示例的理解。示例可以在没有这些细节的情况下实行。在其他情况中，未详细描述公知的方法、过程和部件以避免使所描述的示例不清楚。描述不应被认为限于本文描述的示例的范围。

如下面详细讨论的，用于在初始焊道(称为根部焊道)期间的接缝检测的方法与用于其他焊道(称为填充焊道或盖面焊道)的不同。这是因为在根部焊道中存在缝线。图1是示出已准备好用于焊接的三个示例管道区段P的照片。接缝S位于每对相邻的管道区段P的界面处，并且多个缝线St位于每个接缝S周围以将区段保持在一起。例如，每个接缝S可以具有绕圆周间隔开的3个缝线St，该三个缝线St可以均匀地间隔开(例如，分开约120度)或不均匀地间隔开。取决于管道的直径和壁厚，可以使用多于或少于3个缝线。

图2示意性地示出了用于利用焊接设备10进行自动焊接的示例系统，其中，管道区段P安装在“定位器”105上，该“定位器”105使管柱相对于安装在可重新定位的支撑结构11上的机器人焊接系统100旋转。示例机器人焊接系统100的细节可以在公布号为WO2017165964的国际(PCT)专利申请中找到，其在此通过引用并入本文。机器人焊接系统100具有安装在焊炬臂上的照相机C和焊炬T，并且支撑结构11便于将焊炬T定位在接缝S处。在一些实施例中，照相机C安装在焊炬臂的下侧。在其他实施例中，照相机C可以安装在焊炬臂的顶部或侧部中的一个上。可替代地，照相机C可以安装在任何其他合适的位置处(例如，安装在机器人焊接系统100上，安装在单独的固定支撑件上)，只要它具有焊接电弧的视野即可。如下面所描述的，控制柜101可操作地连接到机器人焊接系统100和照相机C。

图2A示意性地示出了图2的系统的某些元件。控制柜101容纳控制器103(例如，可编程逻辑控制器或PLC)，该控制器103控制机器人焊接系统100执行焊接模式并且控制定位器105旋转管道区段P。控制柜101还容纳连接至照相机C和控制器103的处理器107(例如，工控机或IPC)。如下面所描述的，处理器107被配置为处理来自照相机C的图像并基于所处理的图像向控制器103提供信号，以使控制器控制机器人焊接系统100的操作。

照相机C可以包括具有足够的灵敏度和分辨率以捕获具有足够信息的图像以检测用于以期望的精度水平控制焊接操作的特征的任何照相机，如下面所讨论的。精度水平可以取决于预期的实施。例如，一些实施例提供至少0.1mm的精度。其他实施例可以提供更大或更小的精度。例如，在需要高精度的情况下，可以利用具有较高分辨率和/或灵敏度的照相机，或者在需要较低精度的情况下，可以利用具有较低分辨率和/或灵敏度的照相机。

在一些实施例中，照相机C包括近红外(NIR)照相机。在一些实施例中，照相机C包括高动态范围(HDR)照相机。在一些实施例中，照相机C包括HDR NIR照相机。在其中照相机C包括具有2048x2048的分辨率、12位深度和75mm镜头的HDR NIR照相机的示例实施例中，向处理器提供每个像素对应于大约0.02mm乘0.02mm的面积的图像，从而允许以0.1mm或更好的精度进行接缝跟踪。在其他实施例中，照相机C可以具有不同的类型，并且可以具有不同的分辨率、位深度、镜头或其他参数。在一些实施例中，照相机C包括立体照相机。在一些实施例中，多个照相机C可操作地联接到处理器107。在一些实施例中，除了照相机C之外还可以提供激光照相机。在一些实施例中，除了照相机C之外还可以提供两个光斑激光传感器以用于确定焊炬T和管道区段P之间的距离。在一些实施例中，除了照相机C之外还可以提供不同类型的传感器，诸如例如，接近传感器、热传感器、电或机械接触传感器或其他传感器。

图3是示出示例方法300的步骤的流程图，该示例方法300用于监测将两个管道区段焊接在一起的根部焊道并在根部焊道期间自动跟踪接缝。方法300可以例如由在与用于控制机器人焊接系统100的控制器(例如控制器103)通信的处理器(例如处理器107)上运行的视觉软件来执行。方法300在处理器接收到来自控制器(其控制机器人焊接系统开始焊接操作并控制定位器开始旋转管道区段)的“电弧启动”信号时开始。在方框302处，处理器将状态设置为“初始化”以指示初始化模式。在一些实施例中，在开始方法300之前，焊炬定位在两个管道区段之间的接缝处的缝线上方，如以下段落中所描述的。在其他实施例中，当方法300开始时，焊炬可以不定位在缝线上方。

在方框304处，处理器从照相机接收帧。在方框306处，处理器检查状态，该状态初始被设置为“初始化”，因此方法前进至方框310。在方框310处，处理器分析帧以检测在接缝间隙内是否存在焊接熔池(通常为这种情况，除非焊炬在缝线上方)。图3A示出了示例帧，其示出了焊炬的尖端Ti和在缝线St顶上的焊接熔池Wp。图3B示出了不具有缝线的示例帧，其中，焊接熔池Wp位于接缝的间隙G内。在一些实施例中，在方框310处对熔池的检测包括利用分析当前帧的卷积神经网络。在一些实施例中，在方框310处的检测包括模板匹配或其他图像处理技术。在方框312处，处理器将当前帧的全部或一部分存储在缓冲器中。在一些实施例中，处理器将感兴趣区域(ROI)存储在缓冲器中，该ROI包括围绕帧的最亮部分的区域，该最亮部分是焊接电弧所位于的地方。

在方框314处，如果在当前帧中检测到熔池(方框314输出为是)，则在方框316处处理器将状态设置为“熔池”。在方框318处，处理器为待处理的图像调节ROI以用于接缝检测。在一些实施例中，处理器可以不调节ROI并且可以省略方框318。在方框318处调节ROI可以例如包括选择图像的包围焊接电弧和正在被焊接的管道区段的边缘的区域。在方框318之后，方法前进到方框319，在方框319处处理器分析图像以检测接缝位置。在方框319处的接缝位置检测可以例如包括检测图像中的边缘和/或线以定位正在被焊接的管道区段的边缘。在一些实施例中，在方框319处的接缝位置检测包括对图像进行空间滤波。在一些实施例中，在方框319处的接缝位置检测包括利用卷积神经网络。在一些实施例中，在方框319处的接缝位置检测包括模板匹配或其他图像处理技术。在一些实施例中，在方框319处的接缝位置检测包括基于来自一个或多个其他传感器、诸如例如激光扫描仪和/或一对光斑激光传感器、的信号确定从焊炬到管道区段的距离。在一些实施例中，在方框319处的接缝位置检测包括确定正在被焊接的管道区段的边缘之间的间隙尺寸。在一些实施例中，在方框319处的接缝位置检测包括前述动作中的两个或更多个的组合。在当前优选的实施例中，在方框319处的接缝位置检测包括使用卷积神经网络对特征进行定位，在时间和/或空间上对图像进行滤波并对图像预处理，然后检测拐角/边缘，并且处理器确定正在被焊接的管道区段的边缘之间的中心线并且确定中心线上在正在被焊接的管道区段的边缘上方所需高度的位置处的接缝位置。在方框319之后，或者如果在当前帧中未检测到焊池(方框314输出为否)，则方法返回到方框304，在方框304处处理器读取下一帧。

在方框306处，当状态为“焊池”时，方法前进到方框320，在方框320处，处理器缓冲当前帧的一些或全部。在方框320之后，方法前进到方框322和330。方框322和330处的步骤(以及后续步骤，如果适用)对于每个帧并行执行。

在方框322处，处理器预测接缝位置。方框322处的接缝位置的预测可以例如包括基于最新检测到的接缝位置利用卡尔曼滤波器或粒子滤波器。在方框322处所利用的滤波器可以例如包括标准卡尔曼滤波器、扩展卡尔曼滤波器、无迹卡尔曼滤波器、快速卡尔曼滤波器、无迹粒子滤波器、SIR粒子滤波器或其他合适的滤波器。滤波器可以基于焊炬移动的模型来设计。在一些实施例中，可以使用随机游走模型来对焊炬的移动进行建模(例如，滤波可以使用具有恒定状态转移矩阵并相应地设置过程和测量噪声的值的模型)。方框322处的接缝位置的预测例如可以包括利用存储在处理器可访问的存储器中的焊炬移动的模型和/或来自控制器的关于定位器和焊炬移动的反馈。处理器向控制器提供预测的接缝位置以控制焊炬的移动以跟踪接缝。

在方框324处，处理器分析当前帧或一组最近缓冲的帧，以检测接缝位置。在方框324处的接缝位置检测可以例如包括检测缓冲图像中的边缘和/或线以定位正在被焊接的管道区段的边缘。在一些实施例中，在方框324处的接缝位置检测包括对缓冲图像进行空间滤波。在一些实施例中，在方框324处的接缝位置检测包括对缓冲图像进行平均。在一些实施例中，在方框324处的接缝位置检测包括利用卷积神经网络。在一些实施例中，在方框324处的接缝位置检测包括模板匹配。在一些实施例中，在方框324处的接缝位置检测包括基于来自一个或多个其他传感器、诸如例如激光扫描仪和/或一对光斑激光传感器、的信号确定从焊炬到管道区段的距离。在一些实施例中，在方框324处的接缝位置检测包括确定正在被焊接的管道区段的边缘之间的间隙尺寸。在一些实施例中，在方框324处的接缝位置检测包括前述动作中的两个或更多个的组合。在当前优选的实施例中，在方框324处的接缝位置检测包括使用卷积神经网络对特征进行定位，在时间和/或空间上对图像进行滤波，然后检测拐角和边缘，并且处理器确定正在被焊接的管道区段的边缘之间的中心线并且确定中心线上在正在被焊接的管道区段的边缘上方所需高度的位置处的接缝位置。

在方框326处，处理器确定在方框324处是否检测到接缝，并且如果是这样(方框326输出为是)，则处理器在方框328处更新接缝位置，并向控制器提供更新的接缝位置，用于控制焊炬的移动以跟踪接缝。在方框328之后，或者如果未检测到接缝(方框326输出为否)，则方法前进到方框329，在方框329处处理器为待处理的图像调节ROI以用于接缝检测。在一些实施例中，处理器可以不调节ROI，并且可以省略方框329。在方框329处调节ROI可以例如包括选择图像的包围焊接电弧和正在被焊接的管道区段的边缘的区域。当检测到接缝(方框326输出为是)时，调节ROI可以例如包括选择图像的包括用于接缝检测的特征的较小区域。当未检测到接缝(方框326输出为否)时，调节ROI可以例如包括选择图像的较大区域以增加接缝检测的可能性。在方框329之后，方法返回到方框304，在方框304处处理器读取下一帧。

在方框330处，处理器分析当前帧或一组最近缓冲的帧，以检测焊炬是否在缝线上方。方框330处的缝线检测可以例如包括利用卷积神经网络、评估图像的亮度、和/或模板匹配。图3C示出了缝线起点的示例图像。在方框332处，处理器确定是否检测到缝线的开始或“缝线起点”(即，当焊炬移动到缝线上时)。如果检测到缝线的起点(方框332输出为是)，则在方框334处处理器存储缝线起点的位置(例如，角位置)，然后在方框336处将状态设置为“缝线”。处理器还向控制器提供缝线起点的指示以响应于缝线检测而调节焊接参数。响应于缝线起点检测而调节焊接参数可以例如包括增加电压调整、送丝速度、摆动幅度、摆动频率和定位器速度中的一项或多项。如下面所讨论的，处理器和/或控制器也可以存储缝线的角位置以在一个或多个后续焊道期间调节焊接参数。在方框336之后，或者如果未检测到缝线起点(方框332输出为否)，则方法返回到方框304，在方框304处处理器读取下一帧。

在方框306处，当状态为“缝线”时，方法前进到方框340。在方框340处，处理器预测接缝绕缝线所处的位置。在方框340处接缝位置的预测可以例如包括利用存储在处理器可访问的存储器中的焊炬移动的模型和/或来自控制器的关于定位器和焊炬移动的反馈。类似于上面讨论的方框330，在方框342处，处理器分析当前帧或一组最近缓冲的帧，以检测焊炬是否在静止缝线上方。图3D示出了缝线终点的示例图像。在方框344处，处理器确定是否检测到“缝线终点”(即，当焊炬移动经过缝线时)。如果检测到缝线终点(方框344输出为是)，则在方框346处处理器存储缝线终点的位置(例如，角位置)，然后在方框348处将状态设置为“焊池”。处理器还向控制器提供缝线终点的指示以响应于缝线检测而调节焊接参数。响应于缝线终点检测而调节焊接参数可以例如包括降低电压调整、送丝速度、摆动幅度、摆动频率和定位器速度中的一项或多项。如下面讨论的，处理器和/或控制器也可以存储缝线的角位置以在一个或多个后续焊道期间调节焊接参数。在方框348之后，或者如果未检测到缝线终点(方框344输出为否)，则方法返回到方框304，在方框304处处理器读取下一帧。

在一些实施例中，方法300还可以包括确定根部焊道的完成并且自动转变到用于在其他焊道期间控制焊接系统的方法。例如，控制器可以(例如，通过从定位器上的编码器接收信号)监测定位器的进程并在管道的一个旋转已完成时向处理器发送信号，以将处理器转变到“其他焊道”的操作方法，如下面描述的。在一些实施例中，卷积神经网络可以处理图像帧以检测焊道的终点。在一些实施例中，例如如果接缝需要在下一焊道之前冷却，则可以向操作员提供在焊道之间“暂停”焊接操作的选项。

图3E是示出根据另一实施例的用于监测根部焊道的焊接并且跟踪接缝的示例方法350的步骤的流程图。方法350在一些方面与图3的方法300类似，例如，缝线位置和接缝位置仅通过从照相机获取的图像检测，并且这样的检测可以结合深度学习技术(诸如利用卷积神经网络)和图像处理技术(诸如模板匹配和边缘检测)进行。与图3的方法300相比，方法350在一些方面也得到了简化，例如，没有使用状态指示器，并且缝线检测未单独分解为检测缝线起点和缝线终点。如下面描述的，方法350也与图3的方法300不同，其在于在方法350中，确定了焊接熔池的形状，并且这样的确定可以用于调节焊接参数。然而，应当理解，图3的方法300的特征可以包括在图3E的方法350中。同样地，图3E的方法350的特征可以包括在图3的方法300中，或者包括在用于后续焊道的方法中，诸如下面参考图4描述的方法400。

方法350从方框304开始，在方框304处处理器从照相机接收帧。处理器在方框352处分析帧以检测焊接电弧并且在方框354处确定是否存在电弧。在一些实施例中，这可以包括利用卷积神经网络。在一些实施例中，这可以包括评估图像的区域的相对亮度。当未检测到电弧(方框354输出为否)时，方法350前进到方框380，在方框380处处理器确定机器人焊接系统是否已经到达根部焊道的终点。

当检测到电弧(方框354输出为是)时，在方框320处处理器将当前帧的全部或一部分存储在缓冲器中。在一些实施例中，处理器将感兴趣区域(ROI)存储在缓冲器中，ROI包括围绕帧的最亮部分的区域，该最亮部分是焊接电弧所位于的地方。

在方框320之后，方法350前进到方框356，在方框356处处理器分析图像以检测焊接熔池的形状，并且生成用于调节机器人焊接系统的操作的焊接熔池控制信号。在一些实施例中，方框356包括确定焊接熔池的上表面的斜率。在一些实施例中，这包括利用卷积神经网络来定位焊接熔池的边缘。在一些实施例中，这涉及图像处理以检测电弧的位置并且在空间和时间上跟踪它。在一些实施例中，这些技术被组合。在一些实施例中，焊接熔池控制信号从描述了随时间变化的焊接电弧的中心位置的线的长度和斜率得出。在一些实施例中，该控制信号与先前检测到的接缝边缘的位置相结合而得出。在一些实施例中，方框356包括确定近似于焊接熔池顶部的线与水平线之间的角度。例如，处理器可以基于随时间跟踪的电弧中心或焊接熔池的顶部拐角(或两者的组合)确定顶部焊接熔池的水平度的近似值。

可以将焊接熔池控制信号提供至控制器103并且将该信号用于调节具有焊炬的机器人臂的运动。例如，在一些实施例中，与水平线的角度差可以用于改变焊接臂的“摆动轴线”的角度以进行补偿(例如，通过调节机器人焊接系统的位置以改变焊炬臂和管道区段的相对角度)。在一些实施例中，与水平线的角度差和线相对于所跟踪的接缝位置的位置可以用于对检测到的接缝位置提供额外的调节。

在方框358处，处理器例如基于检测到的电弧来选择感兴趣区域以进一步分析。在方框362处，处理器分析图像以检测缝线。当检测到缝线(方框364输出为是)时，在方框366处处理器存储缝线的位置和/或更新先前存储的缝线位置。当未检测到缝线(方框364输出为否)时，处理器在方框370处分析图像以检测接缝边缘，然后在方框372处对接缝位置进行滤波。类似于上面参考方法300的方框322描述的，在方框372处对接缝位置进行滤波可以例如包括使用诸如卡尔曼滤波器的机构来应用平滑滤波器。滤波使信号更平滑和一致，并且通过相对于接缝检测的最新历史对其进行滤波使得更加能抵抗单个接缝检测中的任何错误/不准确。在方框374处，处理器存储接缝的位置和/或更新先前存储的接缝位置。

在方框366或方框372之后，方法350前进到方框380，在方框380处处理器确定机器人焊接系统是否已到达根部焊道的终点。例如，控制器可以(例如，通过从定位器上的编码器接收信号)监测定位器的进程并在管道的一个旋转已完成时向处理器发送信号。直到根部焊道的终点(方框380输出为否)，方法350在方框380之后返回方框304。在根部焊道的终点处(方框380输出为是)，方法350前进到方框382并执行如下面描述的后续焊道方法。

在完成根部焊道(焊炬已完成围绕管道区段的一个圆周)之后，通常需要一个或多个附加焊道来完成焊接操作，并且处理器可以执行不同的方法来监测其他焊道。根部焊道之后的焊道可以被称为“填充焊道”或“盖面焊道”。由于缝线没有阻止除根部焊道之外的焊道中的视野，因此其他焊道的接缝检测过程着重于接缝的提取，如图4的示例方法400所示。图4A、4B和4C分别示出了(四焊道管道焊接过程中的)第一填充焊道和第二填充焊道以及盖面焊道的样本帧，该样本帧包含用于检测接缝的足够信息。处理器使用来自这样的帧以及具有各种亮度级别的帧的信息来检测接缝。在一些实施例中，在一个或多个后续焊道期间，处理器还更新缝线的先前确定的角位置上的焊接参数以更好地穿透。

方法400在完成根部焊道之后开始，并且在方框402处，处理器将状态设置为“初始化”。在方框404处，处理器从照相机读取帧。在方框406处，处理器检查状态，该状态初始被设置为“初始化”，因此方法前进到方框410。在方框410处，处理器分析帧以检测图像中是否存在焊接熔池。焊接熔池检测可以例如包括类似于上面关于方框310所描述的那样分析图像，并且一旦处理器对存在焊接熔池有一定程度的确信就检测焊接熔池。在方框412处，处理器将当前帧的全部或一部分存储在缓冲器中。在一些实施例中，处理器将感兴趣区域(ROI)存储在缓冲器中，ROI包括围绕帧的最亮部分的区域，该最亮部分是焊接电弧所位于的地方。

在方框414处，如果在当前帧中检测到熔池(方框414输出为是)，则在方框416处处理器将状态设置为“熔池”。在方框418处，处理器为待处理的图像调节ROI以用于接缝检测。在一些实施例中，处理器可以不调节ROI并且可以省略方框418。在方框418处调节ROI可以例如包括选择图像的包围焊接电弧和正在被焊接的管道区段的边缘的区域。在方框418之后，方法前进到方框419，在方框419处处理器分析图像以检测接缝位置。在方框419处的接缝位置检测可以例如包括检测图像中的边缘和/或线以定位正在被焊接的管道区段的边缘。在一些实施例中，在方框419处的接缝位置检测包括对图像进行空间滤波。在一些实施例中，在方框419处的接缝位置检测包括利用卷积神经网络。在一些实施例中，在方框419处的接缝位置检测包括模板匹配。在一些实施例中，在方框419处的接缝位置检测包括基于来自一个或多个其他传感器、诸如例如激光扫描仪和/或一对光斑激光传感器、的信号确定从焊炬到管道区段的距离。在一些实施例中，在方框419处的接缝位置检测包括确定正在被焊接的管道区段的边缘之间的间隙尺寸。在一些实施例中，在方框419处的接缝位置检测包括前述动作中的两个或更多个的组合。在当前优选的实施例中，在方框419处的接缝位置检测包括使用模板匹配或卷积神经网络对特征进行定位，在时间和/或空间上对图像进行滤波，然后检测边缘和线，并且处理器确定正在被焊接的管道区段的边缘之间的中心线并且确定中心线上在正在被焊接的管道区段的边缘上方所需高度的位置处的接缝位置。在方框419之后，或者如果在当前帧中未检测到焊池(方框414输出为否)，则方法返回到方框404，在方框404处处理器读取下一帧。

在方框406处，当状态为“焊池”时，方法前进到方框420，在方框420处，处理器缓冲当前帧的一些或全部。在方框320之后，方法前进到方框422并且可选地也前进到方框430。当包括方框430时，方框422和430处的步骤(以及后续步骤，如果适用)对于每个帧并行执行。

在方框422处，处理器预测接缝位置。方框422处的接缝位置的预测可以例如包括基于最新检测到的接缝位置利用卡尔曼滤波器或粒子滤波器。在方框422处所利用的滤波器可以例如包括标准卡尔曼滤波器、扩展卡尔曼滤波器、无迹卡尔曼滤波器、快速卡尔曼滤波器、无迹粒子滤波器、SIR粒子滤波器或其他合适的滤波器。滤波器可以基于焊炬移动的模型来设计。在一些实施例中，可以使用随机游走模型来对焊炬的移动进行建模(例如，滤波可以使用具有恒定状态转移矩阵并相应地设置过程和测量噪声的值的模型)。方框422处的接缝位置的预测例如可以包括利用存储在处理器可访问的存储器中的焊炬移动的模型和/或来自控制器的关于定位器和焊炬移动的反馈。处理器向控制器提供预测的接缝位置以控制焊炬的移动以跟踪接缝。

在方框424处，处理器分析当前帧或一组最近缓冲的帧，以检测接缝位置。在方框424处的接缝位置检测可以例如包括检测缓冲图像中的边缘和/或线以定位正在被焊接的管道区段的边缘。在一些实施例中，在方框424处的接缝位置检测包括对缓冲图像进行空间滤波。在一些实施例中，在方框424处的接缝位置检测包括对缓冲图像进行平均。在一些实施例中，在方框424处的接缝位置检测包括模板匹配。在一些实施例中，在方框424处的焊缝位置检测包括利用卷积神经网络。在一些实施例中，在方框424处的接缝位置检测包括选择帧内的较小的感兴趣区域以进行进一步处理，如下面所讨论的。在一些实施例中，在方框424处的接缝位置检测包括确定正在被焊接的管道区段的边缘之间的间隙尺寸。在一些实施例中，在方框424处的接缝位置检测包括前述动作中的两个或更多个的组合。在当前优选的实施例中，在方框424处的接缝位置检测包括使用卷积神经网络或模板匹配对特征进行定位，在时间和/或空间上对图像进行滤波，然后检测边缘和线，并且处理器确定正在被焊接的管道区段的边缘之间的线并且确定线上在正在被焊接的管道区段的边缘上方所需高度的位置处的接缝位置。

在方框426处，处理器确定在方框424处是否检测到接缝，并且如果是这样(方框426输出为是)，则处理器在方框428处更新接缝位置，并向控制器提供更新的接缝位置，用于控制焊炬的移动以跟踪接缝。在方框428之后，或者如果未检测到接缝(方框426输出为否)，则方法前进到方框429，在方框429处处理器调节ROI。在一些实施例中，处理器可以不调节ROI并且可以省略方框429。在方框429处调节ROI可以例如包括选择图像的包围焊接电弧和正在被焊接的管道区段的边缘的区域。当检测到接缝(方框426输出为是)时，调节ROI可以例如包括选择图像的包括用于接缝检测的特征的较小区域。当未检测到接缝(方框426输出为否)时，调节ROI可以例如包括选择图像的较大区域以增加接缝检测的可能性。在方框429之后，方法返回到方框404，在方框404处处理器读取下一帧。

在缝线没有被根部焊道完全或平滑地覆盖的情况下，方框430-438处的步骤可能是期望的，使得在其他焊道期间在缝线上方的调节是有益的。在其他情况下，可以省略方框430-438处的步骤。在方框430处，处理器检查当前焊炬位置以及所存储的缝线起点和缝线终点的角位置。如果焊炬在缝线起点处(方框432输出为是)，则在方框434处处理器将缝线起点的指示提供给控制器以调节焊接参数。响应于缝线起点检测而调节焊接参数可以例如包括增加电压调整、送丝速度、摆动幅度、摆动频率和定位器速度。如果焊炬在缝线终点处(方框436输出为是)，则在方框438处处理器将缝线终点的指示提供给控制器以调节焊接参数。响应于缝线终点检测而调节焊接参数可以例如包括降低电压调整、送丝速度、摆动幅度、摆动频率和定位器速度。在方框434或438之后，或者如果未确定起点或终点(方框432和434输出为否)，则方法返回到方框404，在方框404处处理器读取下一帧。

应当理解，阐述了许多具体细节以便提供对本文所描述的示例性实施例的透彻理解。然而，本领域普通技术人员将理解，本文描述的实施例可以在没有这些具体细节的情况下实施。在其他情况下，未详细描述公知的方法、过程和部件以免使本文所描述的实施例不清楚。此外，该描述不应被认为以任何方式限制本文描述的实施例的范围，而应被认为仅描述本文描述的各种示例实施例的实施。

该描述提供了本发明主题的许多示例实施例。尽管每个实施例代表发明元素的单个组合，但是本发明主题被认为包括所公开元素的所有可能的组合。因此，如果一个实施例包括元素A、B和C，而第二实施例包括元素B和D，那么即使没有明确公开，本发明主题也被认为包括A、B、C或D的其他剩余组合。

本文描述的装置、系统和方法的实施例可以以硬件和软件两者的组合来实施。这些实施例可以在可编程计算机上实施，每台计算机包括至少一个处理器、数据存储系统(包括易失性存储器或非易失性存储器或其他数据存储元件或其组合)以及至少一个通信接口。例如，可编程计算机可以是服务器、网络设备、机顶盒、嵌入式设备、计算机扩展模块、个人计算机、笔记本、个人数据助理、云计算系统或移动设备。云计算系统是可操作的以通过网络上的共享资源、软件和数据来传递计算服务。程序代码被应用于输入数据以执行本文描述的功能并生成输出信息。输出信息被应用于一个或多个输出设备以产生可识别的效果。在一些实施例中，通信接口可以是网络通信接口。在其中元素被组合的实施例中，通信接口可以是软件通信接口，诸如用于进程间通信的那些软件通信接口。在其他实施例中，可以存在通信接口的组合。

程序代码被应用于输入数据以执行本文描述的功能并生成输出信息。输出信息被应用于一个或多个输出设备。在一些实施例中，通信接口可以是网络通信接口。在其中元素可以组合的实施例中，通信接口可以是软件通信接口，诸如用于进程间通信的那些软件通信接口。在其他实施例中，可以存在被实施为硬件、软件及其组合的通信接口的组合。

每个程序可以以高级过程或面向对象的编程或脚本语言或两者来实施以与计算机系统通信。但是，如果需要，也可以用汇编语言或机器语言来实施程序。在任何情况下，语言均可以是编译语言或解释语言。每个这样的计算机程序可以存储在可由通用或专用可编程计算机读取的存储介质或设备(例如ROM或磁盘)上，以在计算机读取存储介质或设备时配置和操作计算机以执行本文描述的过程。系统的实施例也可以被认为实施为配置有计算机程序的非暂时性计算机可读存储介质，其中，如此配置的存储介质使计算机以特定和预定的方式操作以执行本文所描述的功能。

此外，所描述的实施例的系统、过程和方法能够分布在计算机程序产品中，该计算机程序产品包括带有用于一个或多个处理器的计算机可用指令的物理非暂时性计算机可读介质。可以以各种形式提供介质，包括一个或多个软盘、光盘、磁带、芯片、磁存储介质和电子存储介质等。计算机可用指令也可以采用各种形式，包括已编译和未编译的代码。

本文描述的实施例可以涉及各种类型的计算应用，例如图像处理和生成应用、与计算资源有关的应用、语音识别应用、视频处理应用、半导体制造等等。通过说明性示例，实施例可以在本文中关于图像相关的应用来描述。

在前面的讨论中，将对由计算设备形成的服务器、服务、接口、门户网站、平台或其他系统进行大量参考。应当理解，使用这样的术语被认为代表具有至少一个处理器的一个或多个计算设备，该处理器被配置为执行存储在计算机可读有形非暂时性介质上的软件指令。例如，服务器可以包括一种或多种计算机，该计算机以实现所述角色、职责或功能的方式作为网络服务器、数据库服务器或其他类型的计算机服务器操作。

实施例的技术方案可以是软件产品的形式。软件产品可以存储在非易失性或非暂时性存储介质中，该非易失性或非暂时性存储介质可以是光盘只读存储器(CD-ROM)、USB闪存盘或可移动硬盘。软件产品包括使计算机设备(个人计算机、服务器或网络设备)能够执行实施例所提供的方法的多个指令。

本文所描述的实施例由物理计算机硬件实施，包括计算设备、服务器、接收器、发送器、处理器、存储器、显示器和网络。本文描述的实施例提供了有用的物理机器以及特别配置的计算机硬件布置。

尽管已经详细描述了实施例，但是应当理解，本文可以进行各种改变、替换和变化。此外，本申请的范围不旨在限于说明书中描述的过程、机器、制造、物质组成、手段、方法和步骤的特定实施例。可以理解，上面描述和示出的示例仅旨在是示例性的。

在不脱离本公开内容的精神或基本特征的情况下，本公开内容可以以其他特定形式来体现。所描述的实施例在所有方面均仅被认为是说明性的而非限制性的。

根据前述公开内容，对于本领域技术人员将显而易见的是，对于本文所描述的方法和系统可以进行许多变化和修改。尽管上面已经讨论了许多示例性方面和实施例，但是本领域技术人员将认识到其某些修改、置换、添加及其子组合。因此，旨在将后面所附的权利要求书和随后引入的权利要求解释为包括本领域技术人员可以合理地推断出的所有这样的修改、置换、添加和子组合。权利要求的范围不应该由示例中阐述的实施例限制，而应当被授予与前述公开内容相一致的最广泛的解释。

Claims (10)

1.一种用于控制机器人焊接系统以在短管焊接操作中将两个管道区段自动焊接在一起的方法，其中，所述两个管道区段通过在所述两个管道区段之间的界面处的多个缝线相对于彼此以固定关系保持，所述机器人焊接系统具有保持焊炬的焊炬臂、用于控制所述焊炬臂的运动的控制器、以及可操作地联接至所述控制器和照相机的处理器，所述照相机定位成捕获焊接电弧周围区域的图像，所述方法包括：

使所述两个管道区段和所述机器人焊接系统相对于彼此旋转，同时用所述照相机连续捕获和缓冲所述两个管道区段之间的界面的多个帧；

处理所述多个帧以确定接缝位置；

控制机器人焊接系统以移动所述焊炬臂以跟踪所述接缝位置；

处理所述多个帧以检测所述焊炬是否在所述多个缝线中的一个上方；

响应于检测所述焊炬在所述多个缝线中的一个上方移动而确定缝线起点；

控制所述机器人焊接系统以响应于确定所述缝线起点而调节焊接参数；

响应于检测所述焊炬移动经过所述多个缝线中的一个而确定缝线终点；和

控制所述机器人焊接系统以响应于确定所述缝线终点而调节焊接参数。

2.根据权利要求1所述的方法，其中，处理所述多个帧以确定接缝位置包括检测所述两个管道区段中的每一个的边缘并且基于所检测到的边缘来确定所述接缝位置。

3.根据权利要求1或2所述的方法，包括处理所述多个帧以检测焊接熔池的形状，并且控制所述机器人焊接系统以基于所检测到的所述焊接熔池的形状来调节焊接参数。

4.根据权利要求3所述的方法，其中，控制所述机器人焊接系统以基于所检测到的所述焊接熔池的形状来调节焊接参数包括改变所述焊炬臂的摆动轴线与所述两个管道区段之间的角度。

5.根据权利要求1至4中任一项所述的方法，包括处理所述多个帧以确定在所述两个管道区段之间的所述界面处的间隙尺寸，并且控制所述机器人焊接系统以响应于所确定的间隙尺寸而调节焊接参数。

6.根据权利要求1至5中任一项所述的方法，包括：

存储每个缝线起点和缝线终点的角位置；

监测所述焊接电弧的角位置；和

控制所述机器人焊接系统以在一个或多个后续焊道中，当所述焊接电弧的所述角位置在缝线上方时调节焊接参数。

7.根据权利要求1至6中任一项所述的方法，其中，控制所述机器人焊接系统以响应于确定所述缝线起点而调节焊接参数包括增加电压调整、送丝速度、摆动幅度、摆动频率和定位器速度中的一个或多个。

8.根据权利要求1至7中任一项所述的方法，其中，控制所述机器人焊接系统以响应于确定所述缝线终点而调节焊接参数包括降低电压调整、送丝速度、摆动幅度、摆动频率和定位器速度中的一个或多个。

9.根据权利要求1至8中任一项所述的方法，包括当在根部焊道期间所述焊接电弧在缝线上方时，基于最近检测到的接缝位置通过利用滤波器预测所述接缝位置。

10.根据权利要求9所述的方法，其中，所述滤波器包括标准卡尔曼滤波器、扩展卡尔曼滤波器、无迹卡尔曼滤波器、快速卡尔曼滤波器、无迹粒子滤波器、SIR粒子滤波器或其他合适的滤波器。

Images