CN108701428A - 同步焊接数据以供呈现的焊接培训系统 - Google Patents

Abstract

公开了同步焊接培训系统。示例性系统包括显示设备；处理器，其执行指令以：在焊接式操作期间从焊接式设备收集描述该操作的数据；从一个或多个相机的组收集操作员的第一图像，第一图像描绘操作员的姿势或技术；从该相机组中收集焊炬的第二图像；收集焊缝的第三图像；同步数据、以及第一图像、第二图像和第三图像；显示数据以及第一图像、第二图像和第三图像；并且在焊接式操作之后响应于指定焊接式操作的部分的输入，显示数据、第一图像、第二图像和第三图像的对应的同步部分以呈现姿势、焊炬的位置以及焊缝的数据之间的关系。

Description

同步焊接数据以供呈现的焊接培训系统

相关申请案

本专利要求于2016年1月11日提交的标题为“Synchronized Weld TrainingSystem”(同步焊接培训系统)的美国临时专利申请第62/277,307号和于2017年1月5日提交的标题为“Weld Training Systems to Synchronize Weld Data for Presentation”(同步焊接数据以供呈现的焊接培训系统)的美国专利申请第15/399,518号的优先权。美国临时专利申请第62/277,307号和美国专利申请第15/399,518号的全部内容通过引用并入本文。

背景技术

本公开概括地涉及焊接培训，并且更具体地，涉及同步焊接数据以供呈现的焊接培训系统。

焊接通常涉及多个因素的平衡以实现一致的焊接结果。在培训焊接操作员时，在焊接期间或之后通常难以向焊接操作员提供某些反馈信息。此外，经过培训的焊接操作员通常可以从影响焊接质量的特定因素的可视化中受益。通过将这些方法与本公开的其余部分中参考附图描述的方法和系统的一些方面进行比较，本领域技术人员将明白传统焊接方法的进一步限制和缺点。

发明内容

提供了用于同步焊接培训系统的方法和系统，基本上如由至少一幅附图所示和/或结合至少一幅附图所描述的，如权利要求中更完整地阐述的。

附图说明

图1示出了示例性焊接培训系统，其配置成在焊接操作之前、期间和之后收集和/或呈现焊接数据和/或图像。

图2示出了图1的焊接培训系统的示例性实施方式。

图3是说明机器可读指令的流程图，该机器可读指令可被执行以实施图1和/或2的焊接培训系统。

图4A描绘了在焊接操作期间捕获的焊接数据和第一图像的示例性同步。

图4B描绘了在焊接操作期间捕获的焊接数据和第一图像的另一示例性同步，包括对焊接数据偏差和/或焊缝缺陷的识别。

图5描绘了在焊接操作期间来自已经同步的多个相机的焊接数据和图像的同步显示。

图6A和6B示出了与焊接操作的图像同步的焊接数据的示例性焊接培训用户接口显示，其中选择焊接数据和/或图像的不同部分。

具体实施方式

允许焊接操作员在单个屏幕上查看曲线图和/或视频将提高焊接操作员的学习。还可以通过将视频(例如，也可以包括音频的图像序列)与相关数据的曲线图同步来显示同时发生的数据和视频来改进培训。示例性视频可以显示多个视点的焊炬角度、操作员姿势、接触尖端到工件距离和/或焊接速度。另外，在一些示例中，操作员的受监控表现的同步视频和/或曲线图可以覆盖有指示目标焊接操作的“正确”或“专家”表现的对照图像或视图。用户可以在整个焊接操作期间操纵视频和/或曲线图以查看和/或关注焊炬角度、操作员姿势、接触尖端到工件距离和/或焊接速度，和/或那些方面的效果。

本公开的示例利用用户接口，所述用户接口显示和同步各种焊接操作数据(比如培训视图、焊接操作员的姿势以及焊接参数)与焊缝图像，以提供焊接操作和所得焊缝的增强的回放和分析，无论是现实世界还是模拟焊接操作。焊接操作数据可以与焊缝同步，以便用户可以沿着焊缝选择点以显示该时间点的各种焊接操作数据(即，当形成焊缝的选定部分时)。可以将焊接操作数据在焊接操作期间实时显示和/或记录以供稍后回放。

本公开的焊接培训用户接口收集、显示和同步各种焊接操作数据(例如，培训视图、焊接操作员的姿势和焊接参数)与焊缝图像，以提供对焊接操作和焊缝的分析。焊接培训用户接口采用一个或多个传感器，所述传感器可以与头戴物集成一体或在焊接区域中的其他地方。可以将焊接操作数据在焊接操作期间实时显示和/或记录以供稍后回放。

如本文使用的，术语焊接式设备是指能够执行实际焊接的焊接设备，已变得不能进行焊接的焊接设备，和/或模拟/非焊接设备，和/或其任何组合。

如本文使用的，术语“焊接式操作”是指实际焊接、使用能够执行实际焊接的设备的焊接模拟，使用已变得不能执行焊接的焊接设备的焊接模拟，和/或使用模拟设备或非焊接设备的焊接模拟。

如本文使用的，术语“姿势”是指焊接操作员身体的位置。

如本文使用的，术语“技术”是指焊接操作员采取的主动动作，比如焊炬角度和行进速度，以及操作员采取的被动动作，比如操作员的动作的维持和稳定性。

如本文使用的，术语焊炬位置信息包括相对于例如焊缝或工件的焊炬位置。可以使用任何已知的焊炬跟踪技术通过传感器、边缘检测、模式识别、头盔和焊炬传感器、相对测定、操作员前臂上的角度传感器等来确定焊炬位置。

虽然下面参考焊接培训描述了一些示例，但是本公开的系统和方法也可以用于监视实际的焊接工作。例如，本公开的系统和方法可以用于捕获示例性焊接以供以后使用，用于提供文档以供在焊接产品失效的情况下用于稍后查看或根本原因故障分析，和/或用于任何其他监视目的。

一些示例性焊接培训系统包括显示设备，处理器以及包括机器可读指令的机器可读存储设备。该指令在执行时使处理器在焊接式操作期间从焊接式设备收集描述焊接式操作的数据。该指令还使处理器从一个或多个相机的组收集执行焊接式操作的操作员的第一图像，该第一图像描绘操作员的姿势或操作员的技术，并从一个或多个相机的组中收集焊接式操作中使用的焊炬的第二图像。该指令还使处理器收集由焊接式操作产生的焊缝的第三图像，同步数据、第一图像、第二图像和第三图像，并显示数据、第一图像、第二图像和第三图像。该指令还使处理器在焊接式操作之后响应于指定焊接式操作的部分的输入而显示数据、第一图像、第二图像和第三图像的对应的同步部分，以呈现操作员的姿势、焊炬的位置和焊缝的数据之间的关系。

在一些示例性焊接培训系统中，焊接式操作是模拟焊接，并且焊缝的第三图像是模拟图像。在一些示例中，焊接式操作是实际焊接。在一些这样的示例中，焊缝的第三图像是从一个或多个相机的组中收集的。

在一些示例性焊接培训系统中，所述输入是对时间的选择、对数据的选择、对任何第一图像的选择、对任何第二图像的选择，或对任何第三图像的选择。在一些示例中，所述指令还使处理器从焊接式操作中捕获音频。在一些这样的示例中，输入包括对音频的部分的选择。

在一些示例中，第一图像、第二图像或第三图像中的一个或多个展示可见波长光谱之外的光波长。在一些示例中，指令使处理器显示曲线图中的数据。在一些示例中，指令使得处理器通过在焊接式操作期间确定焊接熔池的位置并将焊接熔池的位置与焊接式操作期间捕获的数据点中的至少一个相关联来使数据与相应位置相关联。

在一些示例性焊接培训系统中，描述焊接式操作的数据包括焊接变量、物理焊接参数或电焊参数中的至少一个。该指令使处理器显示数据的曲线图，该曲线图的至少一个轴线对应于焊缝。在一些这样的示例中，焊接变量是焊接电压、焊接电流、接触尖端到工件距离、电弧长度、能量输入、焊炬行进速度、焊炬取向或测量的焊缝宽度。在一些示例中，指令使处理器利用曲线图显示曲线图中的数据的可接受值的范围，并且曲线图可视地指示在可接受值的范围之外的任何数据点。

在一些示例中，指令使处理器在显示设备上以分屏配置显示数据、第一图像、第二图像和第三图像的对应的同步部分。在一些示例中，焊接培训系统与焊接式设备集成一体。在一些示例中，焊接培训系统经由无线通信或有线通信中的至少一种从焊接式设备接收数据。

在一些示例性焊接培训系统中，指令还使处理器：将数据、第一图像、第二图像和第三图像存储在存储设备中；将数据与第一图像、第二图像或第三图像中的一个或多个图像与异常类型或异常原因中的至少一个相关联；并且，响应于选择焊缝中的异常类型或异常原因中的至少一个，经由显示设备显示数据以及第一图像、第二图像或第三图像中的一个或多个图像。

在一些示例中，指令还使处理器将数据的表示与显示设备上的第一图像、第二图像或第三图像中的至少一个对准和对其进行缩放。在一些示例中，指令使处理器以慢动作或加速的速度显示数据、第一图像、第二图像和第三图像的对应的同步部分。在一些示例性焊接培训系统中，指令还使处理器将数据、第一图像、第二图像或第三图像中的一个或多个图像提供给神经网络，以识别焊接式操作中的焊接异常，并且指令使处理器通过标识符显示数据、第一图像、第二图像和第三图像的对应的同步部分，以指示由神经网络识别的焊接异常。

在一些示例中，指令还使处理器：在焊接式操作期间收集焊炬位置信息；使焊炬位置信息与数据、第一图像、第二图像或第三图像中的一个或多个图像同步；并且，在焊接式操作之后，确定焊炬相对于焊缝的位置，以经由数据、第一图像、第二图像或第三图像确定要显示的焊接式操作的部分。在一些示例性焊接培训系统中，数据、第一图像、第二图像和第三图像的对应的同步部分表示焊接式操作的指定部分发生的时间段。

本公开的示例性焊接培训系统包括显示设备、处理器以及包括机器可读指令的机器可读存储设备。该指令在执行时使处理器在焊接式操作期间从焊接式设备收集描述焊接式操作的数据。该指令还使处理器从一个或多个相机的组收集描绘以下两个或多个方面的图像：a)在焊接式操作期间操作员的姿势或操作员的技术；b)在焊接式操作中使用的焊炬；或c)焊接式操作产生的焊缝。该指令还使处理器同步收集的数据和收集的图像，并以同步的方式将收集的数据和收集的图像一起显示在显示设备上，以使得处理器在选择部分的焊接式操作用于观察时更新显示设备以显示对应的同步的数据和图像。

在一些示例中，处理器从一个或多个相机的组收集描绘以下两个或更多个方面的图像：a)在焊接式操作期间操作员的姿势或操作员的技术；b)在焊接式操作中使用的焊炬；或c)焊接式操作产生的焊缝。在一些示例中，处理器处理收集的数据以产生由焊接式操作产生的焊缝的表示。在一些这样的示例中，处理器通过显示由焊接式操作产生的焊缝的表示来显示收集的数据。

图1示出了示例性焊接培训系统100，其配置成在焊接操作之前、期间和之后收集和/或呈现焊接数据和/或图像。示例性焊接培训系统100收集焊接数据和图像、同步焊接数据和图像，并呈现用于焊接培训的同步的焊接数据和图像。

如图1所示，焊接操作员108保持焊炬104以利用焊炬104对物理工件102执行焊接式操作。如图所示，焊接操作员108可以是人类操作员，但是本公开的示例可以应用于机器人焊接(例如，焊接操作的记录和回放)。焊炬104联接到焊接设备106，比如电源和/或送丝机。焊接培训系统100可以被集成到焊接设备。或者，焊接培训系统100可以与焊接设备106分离，并且焊接培训系统100经由无线通信和/或有线通信从焊接设备106接收焊接数据。

示例性焊接培训系统100从相机110、112接收焊接式操作的图像。焊接培训系统100还从焊接设备106接收焊接数据。示例性焊接设备106包括和/或联接到一个或多个传感器114。焊接式操作可以是模拟焊接或实际焊接。当焊接是模拟焊接时，焊缝的图像可以是模拟的图像。当焊接是实际焊接时，焊缝的图像可以通过另一个相机收集。

焊炬104可以是现实世界的焊炬或模拟的焊炬。例如，增强现实焊接可以与现实世界焊接(即，形成电弧)或模拟焊接结合使用，其中焊接操作员108操纵模拟焊接工具和/或试样，同时经由显示来模拟电弧和焊缝。数据、焊接参数、分数和/或其他指导可以与焊接操作员、焊缝和/或焊炬的图像(例如，视频)一起呈现。

传感器114和/或相机110、112可以用于在焊接式操作期间收集焊炬位置信息。焊接培训系统100使焊炬位置信息与数据、第一图像、第二图像和/或第三图像同步，并且在焊接式操作之后确定焊炬相对于焊缝的位置，以确定指定焊接式操作部分的输入。

在一些示例中，焊接培训系统100是计算系统或服务器，其收集数据(包括测量的焊接数据)和/或图像、处理数据和/或图像，并经由显示设备呈现数据和/或图像以供操作员或其他系统用户查看。在另一示例性实施方式中，焊接培训系统100可以包括具有外壳和自动变暗镜片的焊接头盔以及可由头盔的佩戴者观看的显示系统(例如，介导现实显示器、增强现实显示器等)。

在已焊接工件102之后，焊接培训系统100可以呈现焊接操作员108在工件102上执行的焊接式操作的记录。记录包括测量的焊接数据、图像和/或关于焊接的任何其他信息，其可以被同步以用于同时回放。该呈现使得焊接操作员108(可以是执行焊接的焊接操作员108或指导者、检查员等)能够查看焊接操作，以例如检查可能的质量问题。

如下面更详细描述的，焊接操作员108可以例如经由焊接培训系统100选择完成的焊缝的部分，以使视频寻找到熔敷焊缝的接触部分的记录点，并使焊接培训系统100显示在熔敷焊缝的选定部分时呈现的各种焊接操作数据(例如，焊接参数、设备设置、焊炬参数等)和/或在熔敷焊缝的选定部分的同时捕获的任何其他图像。例如，焊接培训系统100还可以显示在选定的时间点焊接操作员108的姿势和/或在选定的时间点焊炬104的位置和取向。在一些示例中，焊接培训系统100可以显示在选择的时间点之前的持续时间和/或在选择的时间点之后的持续时间。数据、第一图像、第二图像和第三图像的对应的同步部分可以表示焊接式操作的指定部分发生的时间段。类似地，可位于远程的指导者可以选择焊缝上的点(或对应的曲线图)以分析在焊接操作期间的特定点处焊接操作员108的工作。在某些方面，可以在回放时在真实接缝上将虚拟焊炬与实际焊炬104的图像一起动画化，以将期望的焊炬取向和实际焊炬取向之间的差异对比以便进行改进。

在另一示例性场景中，可以在对工件102的焊接操作期间实时地向焊接操作员呈现和展示测量的焊接数据和焊缝之间的对应关系。例如，焊缝的曲线图和/或视觉增强可以在焊接操作期间呈现实时视觉反馈，比如当前焊炬角度、焊炬速度、接触尖端到工件距离、焊接设备设置等。焊接培训系统100或实现本公开的方面的另一系统还可以被配置为显示、监视和跟踪焊接程序规范(WPS)、程序资格记录(Procedure Qualification Record(PQR))、用于建立焊接程序的指令、焊接代码、适用的审查标准、课程、培训视频等。焊接培训系统100可以使用WPS、PQR和/或任何其他信息来识别和显示异常、焊接参数范围和/或潜在的焊缝缺陷。

参照图2，示出了焊接培训系统100的示例性实施方式。在示例性实施方式中，焊接培训系统100包括电路系统，该电路系统包括：显示设备222、机电用户接口部件207、天线202、通信端口204、通信接口206、用户接口驱动器208、处理器210、存储器211或其他机器可读存储设备、扬声器驱动器电路系统212、扬声器213、图形处理单元(GPU)和/或全息处理单元(HPU)218、电源224和/或一个或多个传感器114，比如惯性测量单元(IMU)传感器114、麦克风和/或可用于确定焊接操作员108的姿势的位置传感器。在焊接培训系统100用于传统的现实世界焊接环境而没有增强现实的示例中，可以省略焊接培训系统100的任何不必要的部件以降低成本。例如，如果焊接培训系统100被配置为仅记录焊接的图像和焊接参数以供回放，则可以省略GPU和/或HPU218，显示驱动器电路系统等。

天线202可以是适合于用于在焊接培训系统100和其他设备(比如焊接设备、无线基站、电话、计算机等)之间无线通信(例如，Wi-Fi、蓝牙、蓝牙低功耗、Zigbee和/或诸如此类)的频率、功率电平等的任何类型的天线。

通信端口204可以包括，例如，双绞线以太网端口、USB端口、HDMI端口、无源光网络(PON)端口，和/或用于与有线或光纤电缆对接的任何其他合适的端口，焊接培训系统100可以通过该通信端口204与其他设备比如焊接设备、无线基站、电话、计算机等通信。

通信接口206包括电路系统，该电路系统可操作以将处理器210与天线202和端口204对接以进行传输和接收操作。对于传输操作，通信接口206从处理器210接收数据，并将数据打包并根据通信链路使用的协议将数据转换为物理层信号。要传输的数据可以包括例如用于控制焊接设备的控制信号。对于接收操作，通信接口206经由天线202或端口204接收物理层信号、从接收的物理层信号中恢复数据(解调、解码等)，并将数据提供给处理器210。接收的数据可以包括例如对焊接设备的当前设置和/或实际测量输出的指示(例如，电压、电流强度和/或焊丝速度设置和/或测量)。输出到通信接口206的信号可以包括例如控制焊接设备的设置的信号。可以基于来自GPU 218和/或用户接口驱动器208的信号产生这样的信号。来自通信接口206的信号包括例如对焊接设备的当前设置和/或实际测量输出的指示(例如，经由天线202接收)。

机电用户接口部件207可以包括例如响应于用户输入而产生电信号的一个或多个触摸屏元件、扬声器、麦克风、物理按钮等。如下所述，附加地或替代地通过相机216捕获和通过GPU 218执行的图像处理算法检测的手势，用户可以与焊接培训系统100交互。

用户接口驱动器208包括电路系统，该电路系统可操作以调节(例如，放大、数字化等)来自机电用户接口部件207的信号以便传送到处理器210。

处理器210可操作以处理来自通信接口206、用户接口驱动器208和GPU 218的数据，并产生控制信号和/或数据信号以输出到扬声器驱动器电路系统212、GPU 218和通信接口206。处理器210可以执行存储在存储器211中的指令以及向和从存储器211读取和写入数据。本文公开的焊接培训系统100的任何和/或所有操作和/或功能可以由处理器实施，该处理器执行存储在非瞬时性机器可读介质比如存储器211上的指令。

扬声器驱动器电路系统212可操作以调节(例如，转换为模拟、放大等)来自处理器210的信号，以输出到一个或多个扬声器213。

电源224可以包括例如电池、用于从AC和/或DC电源对电池充电的电路系统，以及用于将来自电池的能量调节/输送到焊接培训系统100的其他电路系统的电路系统。

在示例性实施方式中，相机可以基于飞行时间(ToF)距离测量相机，利用主动调制光源比如激光或光脉冲照射场景并测量照明和反射之间的相移，和/或在相机和针对图像的每个点(一类非扫描激光雷达LIDAR)的对象之间的光信号的飞行时间。在这种类型的相机中，立刻捕获整个场景。在另一示例性实施方式中，相机216可以是3D激光扫描仪或结构光，其可以用于扫描物体并产生3D绘图或模型，通常用于物理部件/零件的逆向工程。又一示例性实施方式是间隔开的两个相机，以提供具有更复杂的图像处理和可能更慢的帧速率的立体视觉和深度感知。相机216可以提供例如亚毫米深度精度和160fps(或更高)帧速率。由于深度测量是从ToF的相移中提取的，因此与使用结构光时相比，电弧与周围之间的强度对比度可能对测量的影响较小。相机216可以与焊接培训系统100集成，或者在某些方面，与焊接工作站中的其他部分集成。例如，一个或多个相机216可以定位在工件102附近并且被配置为向工件102提供瞄准线(例如，安装到工作台或工件102)。

图形处理单元(GPU)218可操作以处理像素数据。这包括处理来自相机216的像素数据和产生像素数据以经由显示驱动器输出到显示设备222。对来自相机216的像素数据的处理可以包括，例如，分析像素数据以检测焊接操作员的手势、位置和诸如此类，检测焊缝的质量，和/或确定焊炬的取向。产生像素数据以输出到显示驱动器可以包括例如呈现从存储器211检索的图像数据(3D CAD绘图，包括文本、图形、静止图像和/或视频)。

在适用的情况下，显示设备222可以包括例如液晶显示器、有机LED(OLED)显示器和/或可操作以将电信号转换为焊接培训系统100的用户可查看的光信号的任何其他合适类型的显示器。

传感器114可以包括例如光电二极管、红外和/或超声遥测仪、加速计、陀螺仪、磁力计和/或类似物。传感器114可以例如可操作以跟踪焊接操作员108的头部和身体移动。

在各种其他示例性实施方式中，被描绘为焊接培训系统100的部分的电路系统可以位于焊接培训系统100、焊接设备、远程计算机和/或电气和/或通信地联接到焊接培训系统100的任何其他设备的任何组合中。例如，GPU 218或其部分可以位于远程计算机或焊接设备中。

图3是说明机器可读指令300的流程图，该机器可读指令300可以被执行以实施图1和/或2的焊接培训系统100。例如，指令300可以由处理器210执行以便对(例如，真实的或模拟的)焊接操作收集图像和数据、同步图像和数据，并且显示同步的图像和数据以供用户呈现和/或浏览。

在框302处，初始化焊接式设备106、焊接传感器114和相机110、112以监测焊接式操作。例如，焊接培训系统100可以响应于确定焊接设备106被通电和/或准备好使用而初始化相机110、112和/或传感器114。

在框304处，焊接培训系统100在焊接式操作期间从焊接设备106和/或从传感器114收集描述焊接式操作的数据。描述焊接式操作的数据可以包括焊接变量，比如焊接电压、物理焊接参数、电焊参数、焊接电流、接触尖端到工件距离、电弧长度、能量输入、焊炬行进速度、焊炬取向和/或测量的焊缝宽度。在一些示例中，焊接培训系统100从由相机110、112收集的图像收集描述焊缝的一种或多种类型的数据，比如测量的焊缝宽度。

在框306处，焊接培训系统100收集执行焊接式操作的操作器108的第一图像。可以从第一相机110收集第一图像，该第一相机110具有操作员的姿势和/或操作员108的技术的视点。例如，第一图像可以描绘操作员的整个身体和/或操作员身体的上半部分。

在框308处，焊接培训系统100从第二相机112收集在焊接式操作中使用的焊炬104的第二图像。例如，第二图像可以描绘关于焊接式操作期间焊炬104的取向和/或行进速度的更多细节。

在框310处，焊接培训系统100收集由焊接式操作产生的焊缝的第三图像。例如，第三图像可以由聚焦在焊接熔池和/或焊缝上的第三相机捕获和/或可以由第二相机112使用附加处理和/或变焦捕获，从而除了捕获焊炬104的第二图像之外还捕获焊缝。第一图像、第二图像和/或第三图像中的任何一个可以捕获或展示可见波长光谱之外的光波长。

在框304、306、308和310处，焊接培训系统100接收包括时间信息(例如，时间戳)的数据和/或图像。在其他示例中，焊接培训系统100基于在焊接培训系统100处接收数据点和/或图像的时间来对接收的数据和/或图像加时间戳。

在框312处，焊接培训系统100确定焊接式操作是否完成。如果焊接式操作未完成(框312)，则控制返回框304以继续收集数据和/或图像。

当焊接式操作完成时(框312)，在框314处，焊接培训系统100同步数据、第一图像、第二图像和第三图像。例如，焊接培训系统100可以基于与数据和图像相关联的时间戳来匹配数据点、第一图像、第二图像和第三图像。在一些示例中，焊接培训系统100通过在焊接式操作期间确定焊接熔池的位置(例如，基于图像分析、基于来自焊炬104的反馈，或者任何其他检测位置的方法)并将焊接熔池的位置与焊接式操作期间捕获的焊接数据点相关联来将焊接数据与工件上的相应位置相关联。

在框316处，焊接培训系统100经由焊接培训接口显示数据、第一图像、第二图像和第三图像。经由焊接培训接口显示数据、第一图像、第二图像和第三图像可以包括呈现分屏配置。例如，处理器210和/或GPU218可以控制显示设备222以显示焊接数据的曲线图，其中该曲线图的至少一个轴线对应于焊缝或焊接式操作的持续时间。该曲线图还可以包括曲线图中数据的可接受值范围，其中该曲线图可视地指示在可接受值范围之外的任何数据点。处理器210和/或GPU 218可以控制显示设备222在显示设备222的不同部分中同时显示第一、第二和第三图像。以下参考图5、6A和6B描述焊接培训接口的示例。

在框318处，焊接培训系统100确定是否已经经由焊接培训接口接收到输入，该输入指定焊接式操作的部分。例如，可以经由用户接口部件207和/或接口设备116接收输入。示例性输入包括经由时间线在焊接式操作期间选择特定时间点、在焊接数据点的可视化图上选择一个或多个焊接数据点(例如，焊接数据随着时间的曲线图，该图允许选择绘制的数据)，和/或选择第一图像、第二图像和/或第三图像中的任何一个。

如果尚未接收到输入(框318)，则控制循环到框318以等待输入。当接收到输入时(框318)，在框320处，焊接培训接口基于输入显示数据、第一图像、第二图像和第三图像的对应的同步部分。

例如，如果用户选择焊接数据点，则在焊接培训接口上显示具有与所选焊接数据点的时间戳对应的时间戳的第一图像之一、第二图像之一和第三图像之一。例如，这可以允许用户在对应参数的特定范围之外选择焊接数据点，以在焊接数据点发生时和/或接近焊接数据点发生时查看焊缝、焊接设备和/或操作员的姿势，这可以向用户提供焊接数据点在该范围之外的原因。

附加地或替代地，用户可以沿着时间线滑动时间指示器以查看在焊接式操作期间的不同时间的第一图像、第二图像和/或第三图像，同时焊接数据的曲线图显示与在任何特定时间查看的图像对应的焊接数据点的值。如果用户察觉焊缝、焊接设备和/或操作员姿势的异常方面，则用户可以容易地发现该方面如何影响焊接式操作的其他元件(例如，操作员的姿势如何影响接触尖端到工件距离、焊缝和/或焊接数据)。

图4A和4B示出了焊接培训用户接口的实时焊接操作数据和对应图像以及对应试样的显示，其中给定焊接参数的偏差可导致缺陷和/或其他异常。如图所示，当焊接参数落在可接受的操作范围之外(例如，偏离)时可能发生缺陷，该可接受的操作范围可以由最大限度和/或最小限度来定义。为了帮助焊接操作员108识别并防止这种偏差，焊接培训用户接口可以实时显示和监测焊接参数。焊接培训用户接口可以经由焊接培训系统100、接口设备116和/或经由另一个监视器比如远程或邻近布置的监视器进行显示。此外，当焊接操作员108操纵焊炬时，焊接培训用户接口可以警告焊接操作员108如上所述的潜在偏差。例如，如果焊接操作员108的行进速度接近最大限度，则焊接培训用户接口可以发出警报或提供视觉提示以提示焊接操作员108降低速度。参考图4A，相对于焊接样本404上的焊缝402绘制示例性焊接参数。如曲线图406中所示，焊接数据408位于限定的操作范围410内。因此，在焊接样本404的焊缝402中没有显示或预期缺陷。然而，参考图4B，显然焊接参数在至少两个实例412、414中偏离操作范围。因此，在焊接样本404的焊缝中产生两个缺陷416、418。因此，焊接数据408可以被收集、存储并且与沿着焊缝402的点同步，以使得用户可以识别所选缺陷416、418的原因。如下所述，还可以测量(例如，当形成现实世界焊缝时)、存储并与焊缝上的对应位置同步焊缝402的物理特性。同样地，焊接操作员108可以选择曲线图406上的数据点以显示所得到的焊缝(或其部分)、焊接操作员108的姿势、其他焊接参数、焊接设置等。换句话说，组合显示的各种数据和/或显示可以是同步的，其中用户可以基于例如沿着焊缝的点、曲线图上的数据点、特定姿势或其组合来选择时间点以进一步进行分析。

在一些示例中，同步可以包括在显示设备222上对准和/或缩放焊接数据(例如，曲线图)和/或焊缝的捕获图像的表示，以使得曲线图和焊缝被描绘为具有基本相等的长度。附加地或替代地，焊接数据的表示可以与焊接操作员的姿势和/或技术的图像和/或焊炬的图像对准和/或缩放。

在一个示例中，可以实时跟踪作为非限制性示例性焊接参数组的焊炬角度和焊炬的行进速度。将焊炬角度与行进速度相结合使得焊接操作员108能够识别(或预测)焊缝内可能存在缺陷的位置。可以经由焊接培训用户接口显示缺陷。可以通过缺陷的可能原因进一步批注缺陷。例如，可以选择缺陷(或悬停在其上)以显示它是由行进速度偏差引起的。在虚拟环境中，可以产生缺陷的视觉外观以匹配从特定行进速度偏差预期的缺陷。在现实世界的焊接环境中，焊缝的外观可以是实际的焊缝。虽然在该示例中使用了焊炬角度和行进速度，但是可以监视其他焊接参数。此外，可以使用一个或多个焊接参数或其他焊接操作数据来形成综合得分，其可以类似地用于识别和/或预测缺陷。

在一些示例中，焊接培训系统100可以利用额外的处理能力来改进对焊接式操作的分析，以进一步增强操作员的学习。例如，焊接培训系统100可以将数据、第一图像、第二图像和/或第三图像提供给神经网络，以识别焊接式操作中的焊接异常。然后，焊接培训系统100可以用指示由神经网络识别的焊接异常的标识符来显示数据、第一图像、第二图像和第三图像的对应的同步部分。

在一些示例中，焊接培训系统100在焊接式操作期间将焊接数据、第一图像、第二图像和第三图像存储在存储装置比如存储器211中。焊接培训系统100将数据与第一图像、第二图像和/或第三图像中的一个或多个图像与焊接缺陷类型和/或焊接缺陷原因相关联。例如，观察到的焊接数据可以与如2016年11月22日公告的美国专利第9,498,852(Albrecht)中所述的已知的焊接缺陷类型和/或焊接缺陷原因相关联。美国专利第9,498,852号的全部内容通过引用加入本文中。响应于选择焊缝中的焊接缺陷类型和/或焊接缺陷原因，焊接培训系统经由显示设备222显示数据和第一图像、第二图像或第三图像中的一个或多个图像。用户可以访问焊接培训系统100以识别一种或多种特定类型的焊接缺陷和/或焊接缺陷的特定原因，以确定在完成的焊接式操作中是否存在任何这种类型和/或原因的焊接缺陷。

图4A和/或4B中示出的示例性界面可以实时和/或在焊接式操作结束时示出。

图5示出了同步的实时焊接参数以及焊接操作员108和对应的增强现实试样的视图的组合显示500。组合显示可以经由焊接培训系统100或经由另一个监视器显示。焊接培训用户接口的组合显示可以经由电子用户设备(比如膝上型电脑、平板电脑、智能电话、固定显示器等)显示为图形用户接口(GUI)。在某些方面，电子用户设备的现有硬件可以用于收集数据。例如，电子用户设备可以配置有三维相机或其他感测设备，无论是视觉的、听觉的还是其他的。电子用户设备可以固定在焊炬或工作台上。电子用户设备可以是移动的，其中它可以附接到焊接操作员108作为头盔的部分或者作为焊接机、送丝机/机器人GUI的部分。电子用户设备可以使用一种或多种无线通信技术从焊接系统接收信息，所述无线通信技术包括例如蓝牙、Wi-Fi、近场通信(NFC)、ZigBee等。组合显示向焊接操作员108提供各种引导参考，包括例如一个或多个焊接参数的实时曲线图502、焊接样本404的焊缝的实时焊接视图504、焊接操作员108姿势的实时姿势视图506以及焊炬104的可缩放的实时视图508。组合显示可以是可定制的，以便在给定时间仅提供某些显示。因此，焊接操作员108可以在单个显示器上查看曲线图和图像以增加学习，但是当指导者和焊接操作员108显示与焊接数据同步的图像时，可以增强任何真实的校正。

实时曲线图502可以示出一个或多个焊接参数或综合得分，这考虑一个或多个焊接参数。在某些方面，可以提供多个实时曲线图502。例如，某些实时曲线图502可以显示单独的焊接参数或操作条件，而其他实时曲线图502则可以显示一个或多个焊接参数或操作条件的复合。位于焊接操作员108或焊接培训系统100上的一个或多个位置传感器可以用于确定焊接操作员108的姿势，和/或操作员的姿势的图像可以由一个或多个相机捕获以直接在姿势视图506中显示。因此，可以在整个焊接操作中监视和存储焊接操作员108的姿势。

可以显示焊接样本404的图像，其可以是可缩放的、可旋转的和/或可摇动的(panable)。例如，焊接样本404的图像可以实时移动以对应于焊接样本404的移动，或者可以由焊接操作员108手动重新定位(例如，经由摇动、旋转和缩放图标)，其中基于存储的信息(例如，产生的机械数据/CAD数据)来呈现图像，从而使指导者能够在操作完成之后检查最终产品。可以采用多个相机来提供各种视图或角度。例如，基于从IMU传感器接收的信号，组合显示可以显示焊接操作员108的脚的位置、焊接操作员108的重心、总体姿势等。IMU传感器可以定位成跟踪在焊接操作员108的身体、焊炬、焊接件、机器人或焊接系统的另一部件各处的移动，从而能够跟踪身体姿势、焊炬、焊接件和/或机器人位置。在另一方面，可以采用其他传感器114。

图6A和6B示出了与焊接操作的图像604、606、608同步的焊接数据602的示例性焊接培训用户接口显示600，其中选择焊接数据和/或图像的不同部分。显示的焊接数据602和图像604、606、608以分屏格式呈现，其中焊接数据602和图像604、606、608中的每一个占据显示600的一部分。焊接数据602以代表性形式呈现，比如在曲线图610中。

图6A和6B的示例可以实施为焊接培训用户接口上的回放模式。例如，焊接操作员108和/或指导者可以选择曲线图610上的一个或多个位置和/或沿焊缝612的点以显示在选定的时间点614时的各种焊接操作数据602和收集的数据。图像和数据可以同步。也就是说，如果选择缺陷616，则焊接培训用户接口可以显示在焊接操作期间在该点(例如，在时间614)时焊接操作员108的姿势和/或一个或多个焊接参数。例如，焊接操作员108和/或指导员可以得出结论，该缺陷是由于姿势不良和极快的行进速度造成的。使用该信息，焊接操作员108可以学习在将来改善这种姿势并降低行进速度。还可以存储各种焊接参数和收集的数据以供以后分析，或者输出和发送以供专家分析。使用该数据，专家可以识别缺陷或其他问题的原因，其可以从焊接参数、姿势、视频等得出。

当形成真正的焊缝时，可以使用一种或多种技术(比如扫描、目视观察、X射线、超声波、模具渗透、机械测试)分析焊缝的特征，和焊缝位置/形状。焊缝的特征也可以与视频和曲线图同步，从而为焊接操作员108提供任何相关性焊接参数/姿势和结果特征。

在一些示例中，可以将监视的焊接操作设置为焊接操作的“正确”或“专家”示例表现，可以与未来的培训焊接对照。然后，示例性焊接培训系统100将同步的数据和/或图像保存到存储设备以供后续检索。焊接培训系统100还可以将标签或元数据与存储的数据和/或图像相关联，以便能够基于问题定位数据和/或图像。例如，焊接数据和图像可以与形成正确的填充相关联，并且将响应于在焊接培训系统100处的用户请求而被识别，用于表示焊接操作期间缺乏填充的培训数据。

焊接培训系统100可以以正常速度、慢速运动和/或以加速的速度显示数据、第一图像、第二图像和/或第三图像的对应的同步部分。

在一些示例中，图1和/或图2的传感器114捕获来自焊接式操作的音频，并且焊接培训系统100使音频与图像和/或焊接数据同步。当经由焊接培训系统100选择焊接数据和/或图像时，可以播放在所选择的焊接数据或图像的时间点附近捕获的音频的部分，以向用户提供额外的听觉反馈。在一些这样的示例中，焊接培训系统100使用户能够选择音频的部分。例如，焊接培训用户接口可以显示与焊接数据和/或图像同步的音频的代表性波形的曲线图。音频波形可视化使用户能够选择音频的部分(例如，基于具有视觉可观察的异常的音频波形)，这使得焊接培训用户接口显示来自相同的时间或时间段的操作员108的焊接数据和/或图像、焊炬104和/或焊缝。

显示焊缝的捕获图像或模拟图像的替代方案包括显示焊缝的表示，比如电压或电流。例如，焊接培训系统100可以处理收集的数据以产生由焊接式操作产生的焊缝的表示并显示该表示，比如一个或多个参数的曲线图和/或使用一个或多个参数的模型的结果的曲线图。像焊缝的图像一样，该表示可以与收集的数据和/或其他捕获的图像同步。

如本文使用的，术语“电路”和“电路系统”是指物理电子部件(即硬件)以及可以配置硬件的、由硬件执行的，和/或以其他方式与硬件相关联的任何软件和/或固件(“代码”)。如本文使用的，例如，特定处理器和存储器可以在执行第一一行或多行代码时包括第一“电路”，并且在执行第二一行或多行代码时可以包括第二“电路”。如本文使用的，“和/或”表示由“和/或”连接的列表中的任何一个或多个条目。作为示例，“x和/或y”表示三元素集{(x),(y),(x,y)}中的任何元素。换句话说，“x和/或y”表示“x和y中的一个或两个”。作为另一个示例，“x，y和/或z”表示七元素集{(x),(y),(z),(x,y),(x,z),(y,z),(x,y,z)}中的任何元素。换句话说，“x、y和/或z”表示“x、y和z中的一个或多个”。如本文使用的，术语“示例性”是指用作非限制性示例、实例或说明。如本文使用的，术语“例如”和“比如”列出一个或多个非限制性示例、实例或图示的列表。如本文使用的，电路系统“可操作”，从而只要该电路系统包括执行功能所需的硬件和代码(如果有必要的话)就执行该功能，而不管该功能的性能是否被禁用或未被启用(例如，通过用户可配置的设置、工厂调整等)。

本方法和/或系统可以用硬件、软件或硬件和软件的组合来实现。本方法和/或系统可以在至少一个计算系统中以集中方式实现，或者以分布式方式实现，其中不同元件分布在若干互连计算系统各处。适配于执行本文描述的方法的任何类型的计算系统或其他装置都是适合的。硬件和软件的典型组合可以是具有程序或其他代码的通用计算系统，当所述程序或其他代码被加载和执行时，控制计算系统以使得其执行本文描述的方法。另一种典型实施方式可以包括专用集成电路或芯片。一些实施方式可以包括非瞬时性机器可读(例如，计算机可读)介质(例如，FLASH驱动器、光盘、磁存储盘等)，其上存储有可由机器执行的一行或多行代码，从而使机器执行如本文所述的过程。

尽管已经参考某些实施方式描述了本方法和/或系统，但是本领域技术人员将理解，在不脱离本方法和/或系统的范围的情况下，可以进行各种改变并且可以替换等同方案。另外，在不脱离本公开的范围的情况下，可以进行许多修改以使特定情况或材料适应本公开的教导。因此，本方法和/或系统意在不限于本公开的特定实施方式，而是本方法和/或系统将包括落入所附权利要求书范围内的所有实施方式。

Claims (26)

1.一种焊接培训系统，包括：

显示设备；

处理器；以及

包括机器可读指令的机器可读存储设备，当所述机器可读指令被执行时，使所述处理器：

在焊接式操作期间从焊接式设备收集描述所述焊接式操作的数据；

从一个或多个相机的组收集执行所述焊接式操作的操作员的第一图像，所述第一图像描绘所述操作员的姿势或所述操作员的技术；

从所述一个或多个相机的组收集在所述焊接式操作中使用的焊炬的第二图像；

收集由所述焊接式操作产生的焊缝的第三图像；

同步所述数据、所述第一图像、所述第二图像和所述第三图像；

显示所述数据、所述第一图像、所述第二图像和所述第三图像；并且

在所述焊接式操作之后响应于输入，显示所述数据、所述第一图像、所述第二图像和所述第三图像的对应的同步部分以呈现所述操作员的所述姿势、所述焊炬的位置以及所述焊缝的所述数据之间的关系，所述输入指定所述焊接式操作的部分。

2.如权利要求1所述的焊接培训系统，其中所述焊接式操作是模拟焊接，并且所述焊缝的所述第三图像是模拟图像。

3.如权利要求1所述的焊接培训系统，其中所述焊接式操作是实际焊接。

4.如权利要求3所述的焊接培训系统，其中从所述一个或多个相机的组收集所述焊缝的所述第三图像。

5.如权利要求1所述的焊接培训系统，其中所述输入包括对时间的选择、对所述数据的选择、对所述第一图像中的任一个的选择、对所述第二图像中的任一个的选择，或对所述第三图像中的任一个的选择。

6.如权利要求1所述的焊接培训系统，其中所述指令还使所述处理器从所述焊接式操作中捕获音频。

7.如权利要求6所述的焊接培训系统，其中所述输入包括选择所述音频的部分。

8.如权利要求1所述的焊接培训系统，其中所述第一图像、所述第二图像或所述第三图像中的一个或多个图像展示可见波长光谱之外的光波长。

9.如权利要求1所述的焊接培训系统，其中所述指令使所述处理器以曲线图显示所述数据。

10.如权利要求1所述的焊接培训系统，其中所述指令使所述处理器通过在所述焊接式操作期间确定焊接熔池的位置并将所述焊接熔池的所述位置与在所述焊接式操作期间捕获的至少一个数据点相关联来将所述数据与相应位置相关联。

11.如权利要求1所述的焊接培训系统，其中描述所述焊接式操作的所述数据包括焊接变量、物理焊接参数或电焊参数中的至少一个，所述指令使所述处理器显示所述数据的曲线图，所述曲线图的至少一个轴线对应于所述焊缝。

12.如权利要求11所述的焊接培训系统，其中所述焊接变量是焊接电压、焊接电流、接触尖端到工件距离、电弧长度、能量输入、焊炬行进速度、焊炬取向或测量的焊缝宽度。

13.如权利要求11所述的焊接培训系统，其中所述指令使所述处理器利用所述曲线图显示所述曲线图中的所述数据的可接受值的范围，所述曲线图可视地指示在所述可接受值范围之外的任何数据点。

14.如权利要求1所述的焊接培训系统，其中所述指令使所述处理器在所述显示设备上以分屏配置显示所述数据、所述第一图像、所述第二图像和所述第三图像的所述对应的同步部分。

15.如权利要求1所述的焊接培训系统，其中所述焊接培训系统与所述焊接式设备集成。

16.如权利要求1所述的焊接培训系统，其中所述焊接培训系统经由无线通信或有线通信中的至少一种从所述焊接式设备接收所述数据。

17.如权利要求1所述的焊接培训系统，其中所述指令还使所述处理器：

将所述数据、所述第一图像、所述第二图像和所述第三图像存储在存储设备中；

将所述数据与所述第一图像、所述第二图像或所述第三图像中的一个或多个图像与异常类型或异常原因中的至少一个相关联；并且

响应于选择所述焊缝中的所述异常类型或所述异常原因中的至少一个，经由所述显示设备显示所述数据以及所述第一图像、所述第二图像或所述第三图像中的所述一个或多个图像。

18.如权利要求1所述的焊接培训系统，其中所述指令还使所述处理器在所述显示设备上将所述数据的表示与所述第一图像、所述第二图像或所述第三图像中的至少一个图像对准和缩放。

19.如权利要求1所述的焊接培训系统，其中所述指令使所述处理器以慢动作或加速的速度显示所述数据、所述第一图像、所述第二图像和所述第三图像的所述对应的同步部分。

20.如权利要求1所述的焊接培训系统，其中所述指令还使所述处理器将所述数据、所述第一图像、所述第二图像或所述第三图像中的一个或多个提供给神经网络，以识别所述焊接式操作中的焊接异常，所述指令使所述处理器通过标识符显示所述数据、所述第一图像、所述第二图像和所述第三图像的所述对应的同步部分，以指示由所述神经网络识别的所述焊接异常。

21.如权利要求1所述的焊接培训系统，其中所述指令还使所述处理器：

在所述焊接式操作期间收集焊炬位置信息；

使所述焊炬位置信息与所述数据、所述第一图像、所述第二图像或所述第三图像中的一个或多个同步；并且

在所述焊接式操作之后，确定所述焊炬相对于所述焊缝的位置，以经由所述数据、所述第一图像、所述第二图像或所述第三图像确定要显示的所述焊接式操作的部分。

22.如权利要求1所述的焊接培训系统，其中所述数据、所述第一图像、所述第二图像和所述第三图像的所述对应的同步部分表示所述焊接式操作的指定部分发生的时间段。

23.一种焊接培训系统，包括：

显示设备；

处理器；以及

包括机器可读指令的机器可读存储设备，当所述机器可读指令被执行时，使所述处理器：

在焊接式操作期间从焊接式设备收集描述所述焊接式操作的数据；

从一个或多个相机的组收集描绘以下一个或多个方面的图像：

a)在所述焊接式操作期间所述操作员的姿势或所述操作员的技术；或者

b)在所述焊接式操作中使用的焊炬；

同步所述收集的数据和所述收集的图像；并且

以同步的方式将所述收集的数据和所述收集的图像一起显示在所述显示设备上，以使得所述处理器在选择所述焊接式操作的部分以供查看时更新所述显示设备以显示对应的同步的数据和图像。

24.如权利要求23所述的焊接培训系统，其中所述指令使所述处理器从所述一个或多个相机的组收集描绘以下两个或更多个方面的图像：

a)在所述焊接式操作期间所述操作员的所述姿势或所述操作员的所述技术；

b)在所述焊接式操作中使用的所述焊炬；或者

c)所述焊接式操作产生的焊缝。

25.如权利要求23所述的焊接培训系统，其中所述指令使所述处理器处理所述收集的数据以产生由所述焊接式操作产生的所述焊缝的表示。

26.如权利要求25所述的焊接培训系统，其中所述指令使所述处理器通过显示由所述焊接式操作产生的所述焊缝的所述表示来显示所述收集的数据。