CN109128591A - 用于实时长距离远程焊接的系统和方法 - Google Patents

用于实时长距离远程焊接的系统和方法 Download PDF

Info

Publication number
CN109128591A
CN109128591A CN201810544689.2A CN201810544689A CN109128591A CN 109128591 A CN109128591 A CN 109128591A CN 201810544689 A CN201810544689 A CN 201810544689A CN 109128591 A CN109128591 A CN 109128591A
Authority
CN
China
Prior art keywords
welding
scene
controller
remote
emulation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810544689.2A
Other languages
English (en)
Other versions
CN109128591B (zh
Inventor
大卫·约翰·慕兹拉
B·J·钱特里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lincoln Global Inc
Original Assignee
Lincoln Global Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lincoln Global Inc filed Critical Lincoln Global Inc
Publication of CN109128591A publication Critical patent/CN109128591A/zh
Application granted granted Critical
Publication of CN109128591B publication Critical patent/CN109128591B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/10—Other electric circuits therefor; Protective circuits; Remote controls
    • B23K9/1087—Arc welding using remote control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K37/00—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K15/00—Electron-beam welding or cutting
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00—Working by laser beam, e.g. welding, cutting or boring
    • B23K26/20—Bonding
    • B23K26/21—Bonding by welding
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
    • B23K31/02—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to soldering or welding
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/095—Monitoring or automatic control of welding parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/095—Monitoring or automatic control of welding parameters
    • B23K9/0956—Monitoring or automatic control of welding parameters using sensing means, e.g. optical
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/026—Acoustical sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G21—NUCLEAR PHYSICS; NUCLEAR ENGINEERING
    • G21C—NUCLEAR REACTORS
    • G21C21/00—Apparatus or processes specially adapted to the manufacture of reactors or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/28—Flow control; Congestion control in relation to timing considerations
    • H04L47/283—Flow control; Congestion control in relation to timing considerations in response to processing delays, e.g. caused by jitter or round trip time [RTT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Plasma & Fusion (AREA)
  • Robotics (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Acoustics & Sound (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Manufacturing & Machinery (AREA)
  • General Engineering & Computer Science (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Arc Welding Control (AREA)
  • Manipulator (AREA)

Abstract

公开了远距离地、实时地对机器人焊接系统进行远程控制的系统和方法的实施例。一个实施例是一种方法，所述方法包括追踪由焊工在本地现场操作的仿真焊接工具的运动和控制，并且生成与所述运动和控制相对应的控制参数。通过超低延迟通信网络将所述控制参数从所述本地现场传送至远程焊接现场处的机器人焊接系统。所述超低延迟通信网络上的往返通信延迟在0.5毫秒与10毫秒之间，并且所述本地现场与所述远程焊接现场之间的距离至少为10公里。响应于所述控制参数，经由所述机器人焊接系统的远程机器人控制而对所述机器人焊接系统的实际焊接操作进行控制以在所述远程焊接现场处形成焊缝。

Description

用于实时长距离远程焊接的系统和方法
技术领域
本发明的实施例涉及与焊接相关的系统和方法。更具体地，本发明的实施例涉及用于执行长距离实时远程焊接的系统和方法。
背景技术
现今，焊工通常是在特定类型的焊接方面具有多年经验的专家焊工。当关键部件或结构失效时(例如在车间、工厂或现场)，可能很快需要特定类型的专家焊工来解决问题。然而，可能不易在此地点找到这样的专家焊工，从而导致大量的停工时间和/或安全问题，直到专家焊工可以前往此地点解决问题。需要访问这样的专家焊工来更及时地修理关键部件或结构。此外，关键的部分或结构所在的某些区域可能对人类不太适宜。例如，诸如热量、湿度、化学品或辐射等环境因素可能对焊工造成问题。需要远程访问这类不适宜的区域(例如，近地轨道空间)。
发明内容
本发明的实施例包括与远程焊接相关的系统和方法。位于一个地点的焊工可以在另一个地点远程执行焊接操作。例如，可找到的位于第一个地点的专家焊工(所述专家焊工是与核反应堆相关的特定类型的焊接方面专家)可以在距数英里以外的第二个地点对核反应堆结构进行修理。在一个实施例中，位于第一位置的专家焊工可以使用焊炬/焊枪来控制在远程位置处的持有类似焊炬/焊枪的机器人。由专家焊工持有的焊炬/焊枪是不工作的，但是具有指示焊炬/焊枪在三维空间中的位置和方位的加速计或陀螺仪。在专家焊工移动焊炬/焊枪时，由远程位置处的机器人持有的焊炬/焊枪以相同的方式移动以主动形成焊缝。专家焊工在远程位置处(例如，经由头戴式显示器)来观察(视频和声音)焊接环境(工件、焊炬/焊枪、焊接熔池等)。在第一位置与远程位置之间存在较小的往返通信延迟(例如，大约1ms)，使得专家焊工不会受到网络不适的影响(即对于专家焊工来说，他在第一位置使用焊炬/焊枪正在做的事情会在远程位置处在同一时间发生)。通过这种方式，可以实时地完成更远距离的远程焊接。这两个位置之间的超低延迟通信网络是更远距离的远程有效焊接的一个关键。尽管在本文中主要讨论电弧焊接，但是某些实施例也可以适用于其他类型的焊接，例如像电子束焊接或激光束焊接。如本文中所使用的术语“电弧”是指等离子体电弧，并且本文中所使用的术语“射束”可以指电子束或激光束。
一个实施例包括用于执行长距离实时远程焊接的系统。所述系统包括被配置成设置在远程焊接现场以执行实际焊接操作的机器人焊接系统。所述系统还包括被配置成在本地现场设置的模拟焊接系统。机器人焊接系统包括焊炬、摄像头以及第一控制器。所述第一控制器被配置成控制所述机器人焊接系统、并且在所述实际焊接操作过程中经由所述摄像头捕获工件与所述焊炬之间的至少电弧或射束的视频。所述模拟焊接系统包括头戴式显示设备，所述头戴式显示设备被配置成由焊工佩戴以至少观察所述本地现场处的所述视频。所述模拟焊接系统还包括仿真焊接工具，所述仿真焊接工具被配置成响应于所述焊工在至少观察所述视频的同时在所述本地现场握住和移动所述仿真焊接工具而远程控制所述焊炬。所述模拟焊接系统还包括第二控制器，所述第二控制器被配置成控制所述模拟焊接系统、并且在追踪所述仿真焊接工具的运动和控制的同时生成控制参数。在一个实施例中，所述第一控制器和所述第二控制器各自包括三维集成电路芯片、三维集成电路芯片堆叠、嵌入在电路板中的光波导、芯片堆叠内的光集成收发器、和机箱内电路板的完全无线的芯片到芯片的互连中的至少一项。所述系统还包括超低延迟通信网络，所述超低延迟通信网络被配置成提供在远程焊接现场处的第一控制器与本地现场处的第二控制器之间的至少视频和控制参数的通信。在一个实施例中，第一控制器与第二控制器之间的往返通信延迟在0.5毫秒与10毫秒之间，并且远程焊接现场与本地现场之间的直线距离至少为10公里。如本文所使用的，术语“直线距离”对应于术语“笔直”的含义。在一个实施例中，所述第一控制器或所述第二控制器中的至少一者被配置成运行延迟测试以确定所述远程焊接现场处的所述第一控制器与所述本地现场处的所述第二控制器之间的往返通信延迟。所述机器人焊接系统被配置成：在所述实际焊接操作过程中，至少响应于所述控制参数，经由所述仿真焊接工具、经由所述焊炬的远程机器人控制而在所述远程焊接现场在所述工件上形成实际焊缝(例如，横跨工件的焊道)。在一个实施例中，所述超低延迟通信网络包括射频无线网段和光纤网段中的至少一项。在一个实施例中，所述超低延迟通信网络是在所述远程焊接现场与所述本地现场之间进行操作的专用且私用的网络。在一个实施例中，所述超低延迟通信网络包括无源光学组件、暗光纤、色散补偿模块、非前向纠错应答器、软件定义网络和网络功能虚拟化技术中的至少一项。在一个实施例中，所述超低延迟通信网络包括三维集成电路芯片、三维集成电路芯片堆叠、嵌入在电路板中的光波导、芯片堆叠内的光集成收发器、和机箱内电路板的完全无线的芯片到芯片的互连中的至少一项。在一个实施例中，所述机器人焊接系统包括自动变光滤光镜。所述第一控制器被配置成在所述实际焊接操作过程中经由通过所述自动变光滤光镜进行观察的所述摄像头捕获所述工件与所述焊炬之间的至少所述电弧或所述射束的视频。在一个实施例中，所述机器人焊接系统包括麦克风。所述第一控制器被配置成在所述实际焊接操作过程中经由所述麦克风捕获所述工件与所述焊炬之间的至少所述电弧或所述射束的音频。所述超低延迟通信网络被配置成提供从所述远程焊接现场处的所述第一控制器的所述音频到所述本地现场处的所述第二控制器的通信，以便由所述焊工经由所述头戴式显示设备在所述本地现场进行观察。在一个实施例中，所述仿真焊接工具包括一个或多个传感器，所述传感器被配置成监测所述仿真焊接工具的位置和方位中的至少一项、并且向所述第二控制器提供相应的位置和方位信号以用于在三维空间中追踪所述仿真焊接工具。在另一个实施例中，所述一个或多个传感器在所述仿真焊接工具的外部。
一个实施例包括一种远距离地、实时地对机器人焊接系统进行远程控制的方法。所述方法包括追踪由焊工在本地现场操作的仿真焊接工具的运动和控制、并且生成与所述仿真焊接工具的运动和控制相对应的控制参数。所述方法还包括通过超低延迟的通信网络将所述控制参数从所述本地现场传送至远程焊接现场处的机器人焊接系统。在一个实施例中，在所述本地现场与所述远程焊接现场之间的所述超低延迟通信网络的往返通信延迟在0.5毫秒与10毫秒之间，并且所述本地现场与所述远程焊接现场之间的直线距离至少为10公里。所述方法进一步包括：响应于所述控制参数，经由所述机器人焊接系统的远程机器人控制来控制所述远程焊接现场处的所述机器人焊接系统的实际焊接操作以在所述远程焊接现场处在工件上形成实际焊缝(例如，横跨工件的焊道)。在一个实施例中，所述机器人焊接系统的焊炬追随由所述焊工在所述本地现场实时操作的所述仿真焊接工具的运动和控制。在一个实施例中，由所述焊工操作的所述仿真焊接工具的运动是沿着所述本地现场处的模拟工件，所述模拟工件模拟所述远程焊接现场处的所述工件。在一个实施例中，所述方法包括：在所述远程焊接现场处的所述实际焊接操作的过程中，确定何时所述机器人焊接系统的所述焊炬的尖端距所述工件的距离不适当。当所述焊炬的所述尖端未处于适当的距离时，通过所述超低延迟通信网络将反馈信号从所述远程焊接现场传送至所述本地现场。响应于反馈信号，在本地现场处的仿真焊接工具内生成触觉响应。在一个实施例中，所述方法包括：在所述远程焊接现场处的所述实际焊接操作过程中，确定何时所述机器人焊接系统的所述焊炬相对于所述工件未处于适当角度。当所述焊炬未处于适当角度时，通过所述超低延迟通信网络将反馈信号从所述远程焊接现场传送至所述本地现场。响应于反馈信号，在本地现场处的仿真焊接工具内产生触觉响应。在一个实施例中，所述方法包括：在所述远程焊接现场处的所述实际焊接操作过程中，确定何时所述机器人焊接系统的所述焊炬相对于所述工件不是以适当的行进速度移动。当所述焊炬未以所述适当的行进速度移动时，通过所述超低延迟通信网络将反馈信号从所述远程焊接现场传送至所述本地现场。响应于反馈信号，在本地现场处的仿真焊接工具内产生触觉响应。在一个实施例中，所述方法还包括：在所述远程焊接现场处的所述实际焊接操作过程中，捕获在所述工件与所述焊炬之间形成的至少电弧或射束的视频。在实际焊接操作过程中，当焊工移动仿真焊接工具时，通过超低延迟通信网络将来自远程焊接现场的视频传送至本地现场并实时显示给本地现场处的焊工。在一个实施例中，通过所述远程焊接现场处的自动变光滤光镜来捕获所述视频。在一个实施例中，所述还方法包括：在所述远程焊接现场处的所述实际焊接操作过程中，捕获在所述工件与所述焊炬之间形成的至少电弧或射束的音频。在实际焊接操作过程中，当焊工移动仿真焊接工具时，通过超低延迟通信网络将来自远程焊接现场的音频传送至本地现场并实时播放给本地现场处的焊工。在一个实施例中，所述方法包括：在所述远程焊接现场附近的所述超低延迟通信网络的边缘附近采用预测、插值或外推技术中的至少一项来在下一毫秒或更长时间内预计与所述仿真焊接工具的运动和控制相对应的控制参数。
总体发明概念中的许多方面将从以下示例性实施例的详细描述、权利要求和附图中变得显而易见。
附图说明
结合在本说明书中并且构成本说明书的一部分的附图展示了本披露内容的多种不同实施例。将理解的是，在附图中展示的元件边界(例如，方框、多组方框或其他形状)表示边界的一个实施例。在一些实施例中，一个元件可以被设计成多个元件或者多个元件可以被设计成一个元件。在一些实施例中，作为另一个元件的内部部件示出的元件可以被实施为外部部件，并且反之亦然。此外，元件可以不是按比例绘制的。
图1展示了用于执行长距离实时远程焊接的系统的实施例；
图2展示了图1的系统的机器人焊接系统的实施例；
图3展示了图1的系统的模拟焊接系统的实施例；
图4展示了图3的模拟焊接系统的头戴式显示设备的实施例和仿真焊接工具的实施例；
图5展示了一种远距离地、实时地对机器人焊接系统进行远程控制的方法的实施例的流程图；
图6展示了图2的机器人焊接系统的控制器或图3的模拟焊接系统的控制器的示例实施例；
图7展示了图1的系统的超低延迟通信网络的一个实施例；并且
图8展示了图1的系统的超低延迟通信网络的另一个实施例。
具体实施方式
公开了用于执行实时长距离远程焊接的系统和方法的实施例。在一个实施例中，由焊工在本地现场使用仿真焊接工具来对远程位置处的实际焊炬/焊枪进行远程控制以执行实际焊接操作、同时对实际焊接操作进行远程观察(例如，在视觉上，听觉上和触觉上)。远程位置处的焊矩/焊枪立即响应焊工的仿真焊接工具的运动，使得焊工不会受到“网络不适”的影响。也就是说，对于焊工来说，其在本地现场使用仿真焊接工具正在做的事情会在远程位置处使用实际焊炬/焊枪在同一时间发生。本地现场与远程焊接现场之间的通信延迟足够短，使得焊工不会感知将会导致焊工感到混乱或困惑的任何视觉、听觉或触觉延迟。
本文中的示例和附图仅仅是说明性的而不意味着限制本发明，本发明通过权利要求书的范围和精神来衡量。现在参照附图，其中示出的内容仅是出于展示本主题发明的示例性实施例的目的，而不是出于限制本主题发明的示例性实施例的目的。图1展示了用于执行长距离实时远程焊接的系统100的一个实施例。术语“焊枪”和“焊炬”在本文中关于焊接可互换使用。
参考图1，系统100包括通过超低延迟(ULL)通信网络400相互通信的远程焊接现场处的机器人焊接系统200和本地现场处的模拟焊接系统300。根据一个实施例，机器人焊接系统200与模拟焊接系统300之间的ULL通信网络400的往返通信延迟在0.5毫秒与10毫秒之间，并且远程焊接现场与本地现场之间的直线距离(笔直的)至少为10公里。如本文所使用的，往返通信延迟是数据包从本地现场处的模拟焊接系统行进到远程焊接现场处的机器人焊接系统并且再返回所花费的时间的量度。当人与技术系统相互作用时，只有当人与系统之间的反馈与人的反应时间相对应时，这种相互作用才好像是人类天生的和本能的。例如，人类听觉反应时间大约为100毫秒，人类视觉反应时间大约为10毫秒，并且人类触觉反应时间大约为1毫秒。
通常，通信延迟受到本地现场与远程现场之间的通信网络的部件和操作的限制。然而，最终，如果通信网络没有延迟(即理想的网络)，则通信延迟仍将受到大约每秒300,000公里的光速的限制。也就是说，光在真空中可以在一毫秒内行进大约300公里。因此，两个现场之间的距离必须小于150公里才能实现1毫秒的往返通信延迟。由于两个现场之间的通信网络的部件而造成的通信延迟越大，两个现场必须越靠近以维持往返通信延迟(例如，一毫秒)。
能够实现远距离超低延迟的通信网络将会采用先进技术。例如，在一个实施例中，ULL通信网络400可以采用无源光学组件、暗光纤、色散补偿模块、非前向错误校正应答器、软件定义网络和网络功能虚拟化技术中的一项或多项。ULL通信网络400可以采用的附加先进技术包括三维集成电路芯片、三维集成电路芯片堆叠、嵌入在电路板中的光波导、芯片堆叠内的光集成收发器、和机箱内电路板的完全无线的芯片到芯片的互连。根据其他实施例，其他先进技术也是可能的。根据一个实施例，可以在近地轨道(LEO)卫星的网络中采用这类先进技术，所述卫星是支持长距离实时远程焊接的ULL通信网络的一部分。
图2展示了图1的系统100的机器人焊接系统200的实施例。机器人焊接系统200被配置成设置在远程焊接现场以经由远程控制来执行实际焊接操作。机器人焊接系统200包括焊炬210、摄像机(或其他成像传感器)220、自动变光滤光镜230、麦克风(或其他音频传感器)240、以及控制器250。在一个实施例中，焊炬210附接至机器人焊接系统200的臂。通过控制器250来命令臂的运动(并且因此命令焊炬210的运动)。例如，在一个实施例中，臂可以在控制器250的控制下为焊炬210提供至少六个运动自由度。然而，根据一个实施例，控制器250响应于通过ULL通信网络400从模拟焊接系统300接收的控制参数来控制臂(并且因此焊炬210)的运动，如稍后在本文中讨论的。
控制器250被配置成控制机器人焊接系统200、并且在实际焊接操作过程中分别经由摄像头220和麦克风240捕获在工件260与焊炬210之间的等离子电弧、电子束或激光束的视频和音频。在一个实施例中，由摄像头220通过自动变光滤光镜230进行观察而捕获视频。根据一个实施例，摄像头220、自动变光滤光镜230和麦克风240可以直接地或间接地附接至机器人焊接系统200的臂，使得摄像头220、自动变光滤光镜230、以及麦克风240移动以追随焊炬210与工件260接触的点(例如，经由相对于工件260的平面的x轴和y轴的两轴运动)。根据另一个实施例，摄像头220、自动变光滤光镜230、以及麦克风240以另一种方式被控制以追随焊炬210与工件260接触的点(例如，经由单独的运动控制器，所述运动控制器经由来自摄像头220的输入来追踪焊炬210的运动)。将视频和音频分别从摄像头210和麦克风240提供给控制器250。控制器250被配置成通过ULL通信网络400将视频和音频实时传送至模拟焊接系统300。
图3展示了图1的系统100的模拟焊接系统300的实施例。模拟焊接系统300被配置成设置在本地现场以执行模拟焊接操作，所述模拟焊接操作通过ULL通信网络400对远程焊接现场处的实际焊接操作进行远程控制。模拟焊接系统300包括仿真焊接工具310、头戴式显示设备320以及控制器330。头戴式显示设备320被配置成由焊工(例如，图3中的本地专家焊工)佩戴以观察来自远程焊接现场处的机器人焊接系统200的视频和音频。仿真焊接工具310被配置成响应于焊工在观察视频和音频的同时在本地现场握住和移动仿真焊接工具310而远程控制焊炬210。例如，焊工可以沿着模拟在远程焊接位置处的真实工件260的模拟工件或试样340来移动仿真焊接工具310。控制器330被配置成控制模拟焊接系统300、并且在追踪仿真焊接工具310在三维空间中的位置和运动的同时生成控制参数。例如，在一个实施例中，控制器330包括用于对仿真焊接工具310随时间的位置和方位进行追踪的空间追踪技术。例如，空间追踪技术可以根据一个实施例是基于磁性的，或者根据另一个实施例是基于惯性的。根据其他实施例，其他类型的空间追踪技术也是有可能的。
再次参照图1，ULL通信网络400被配置成实时提供本地现场处的控制器330与远程焊接现场处的控制器250之间的视频、音频和控制参数的通信。此外，根据一个实施例，机器人焊接系统200与模拟焊接系统300之间的ULL通信网络400的往返通信延迟在0.5毫秒与10毫秒之间，并且远程焊接现场与本地现场之间的直线距离(笔直的)至少为10公里。以这种方式，机器人焊接系统200被配置成：在实际焊接操作过程中，响应于控制参数，经由仿真焊接工具310、经由焊炬210的远程机器人控制而在远程焊接现场处的工件260上形成实际焊缝。在实际焊接操作过程中，焊工移动仿真焊接工具310、并且经由头戴式显示设备320来观察视频和音频。其结果是，焊工具有在远程焊接现场进行实际焊接的体验，而不会受到诸如网络不适等不利影响。
根据一个实施例，控制器250被配置成执行延迟测试，以确定远程焊接现场处的控制器250与本地现场处的控制器330之间的沿着ULL通信网络的路径的往返通信延迟。根据另一个实施例，控制器330被配置成执行延迟测试，以确定远程焊接现场处的控制器250与本地现场处的控制器330之间的沿着通过ULL通信网络的路径的往返通信延迟。这样的延迟测试可以包括在控制器250与控制器330之间来回发送盖有时间戳的数据包并且计算数据包之间的平均延迟。以这种方式，在尝试执行远程焊接操作之前，可以验证两个现场之间的期望的或所需的延迟。根据其他实施例，其他类型的延迟测试也是有可能的。
ULL通信网络可以提供多于一条通过ULL通信网络的路径。不同的路径可能有不同的延迟。根据一个实施例，控制器可以具有通过ULL通信网络的各种路径的先验知识。当延迟测试失败时(即延迟被确定为太长)，执行延迟测试的控制器可以沿着通过ULL通信网络的不同路径来执行随后的延迟测试。这样的延迟测试可以继续，直到确定了可接受的路径，或者直到用完所有路径。
图4展示了图3的模拟焊接系统300的头戴式显示设备320的实施例和仿真焊接工具310的实施例。仿真焊接工具310包括手柄311、尖端312、鹅颈管313、以及触发器314。仿真焊接工具310还包括惯性传感器316(例如，加速计或陀螺仪)，所述惯性传感器用于生成用于追踪仿真焊接工具310在三维空间中的位置、方位和运动的信号。根据另一个实施例，模拟焊接系统300包括在仿真焊接工具310的外部以在三维空间中追踪仿真焊接工具310的传感器。这类外部传感器可以包括例如激光设备或摄像头设备，以感测仿真焊接工具310的位置、方位和/或运动。在一个实施例中，挂件附接至仿真焊接工具310，所述挂件是通过本地现场处的位于上方的传感器阵列来感测的。
仿真焊接工具310还包括用于与控制器330无线通信的无线发送器318。例如，在一个实施例中，经由无线发送器318将表示触发器314的位置的数据和用于追踪仿真焊接工具310的位置、方位和运动的信号无线地传递至控制器。在另一个实施例中，将数据从仿真焊接工具310以有线方式传递至控制器330。控制器330基于来自用于对机器人焊接系统200进行远程控制的仿真焊接工具310的数据来生成控制参数。根据一个实施例，仿真焊接工具310包括被配置成收集信号并生成数据的处理器(未示出)和存储器(未示出)。
在一个实施例中，头戴式显示设备320包括焊接头盔或面罩322、以及被配置成显示来自远程焊接现场的流畅的实时全动态视频的两个显示器324(例如，两个高对比度SVGA3D OLED微显示器)。头戴式显示设备320还包括被配置成实时播放来自远程焊接现场的音频的两个扬声器326。在一个实施例中，头戴式显示设备320与控制器330以有线方式接口以接收视频和音频。在另一个实施例中，所述接口可以是经由无线收发器设备328的无线接口。
在一个实施例中，在三维空间中追踪头戴式显示设备320(例如，类似于如何经由传感器和控制器330追踪仿真焊接工具310)。头戴式显示设备320的追踪可以用于控制在远程焊接现场处的摄像头220、麦克风240、以及自动变光滤光镜230的位置。以这种方式，当本地现场处的焊工移动他/她的头部时，远程焊接现场处的摄像头220、麦克风240、以及自动变光滤光镜230追随所述运动(类似于焊炬210如何追随仿真焊接工具310)。根据一个实施例，远程焊接现场处的摄像头220、麦克风240、以及自动变光滤光镜230可以可操作地连接至例如单独的伺服机构系统。
图5展示了远距离地、实时地对机器人焊接系统进行远程控制的方法500(例如，使用图1的系统100)的实施例的流程图。在框510处，在由本地现场处的焊工操作仿真焊接工具310时，追踪仿真焊接工具310的运动和控制。生成与仿真焊接工具310的运动和控制相对应的控制参数。例如，在一个实施例中，控制参数被构造成向机器人焊接系统200传递如何在实际焊接操作过程中操作和控制焊炬210。根据一个实施例，仿真焊接工具310可以模拟实际焊炬210的特性(例如，鹅颈管和尖端)。
在框520处，通过ULL通信网络400将控制参数从本地现场传送至远程焊接现场处的机器人焊接系统200。根据一个实施例，本地现场与远程焊接现场之间的ULL通信网络400的往返通信延迟在0.5毫秒与10毫秒之间，并且本地现场与远程焊接现场之间的直线距离(笔直的)至少为10公里。根据另一个实施例，本地现场与远程焊接现场之间的ULL通信网络400的往返通信延迟在0.5毫秒与20毫秒之间，并且本地现场与远程焊接现场之间的直线距离(笔直的)至少为50公里。在又另一个实施例中，本地现场与远程焊接现场之间的ULL通信网络400的往返通信延迟在0.5毫秒与50毫秒之间，并且本地现场与远程焊接现场之间的直线距离(笔直的)至少为100公里。
在框530处，响应于控制参数，经由机器人焊接系统200的远程机器人控制，在远程焊接现场处对机器人焊接系统200的实际焊接操作进行控制以在工件260上形成实际焊缝。机器人焊接系统200的焊炬210实时追随由焊工在本地现场进行操作的仿真焊接工具310的运动和控制。根据一个实施例，由焊工操作的仿真焊接工具310的运动是沿着本地现场处的模拟工件或试样340。根据一个实施例，模拟工件340可以在远程焊接现场模拟工件260。
在实际焊接操作过程中，在远程焊接现场处捕获在工件260与焊炬210之间形成的至少电弧(即等离子电弧)或射束(即电子束或激光束)的视频和音频(和/或包括焊炬210和工件260的至少一部分的围绕电弧或射束的区域)的视频和音频，并且通过ULL通信网络400传送至本地现场。在实际焊接操作过程中，在焊工移动仿真焊接工具时，实时地向本地现场处的焊工显示所述视频并播放所述音频。
在一个实施例中，确定何时机器人焊接系统200的焊炬210的尖端在远程焊接现场处的实际焊接操作过程中未处于距工件适当的或指定的距离处。进行这种确定的方法在本领域中是众所周知的。当焊炬210的尖端未处于距工件指定距离处时，生成反馈信号并通过ULL通信网络400从远程焊接现场传送(例如，通过控制器250)至本地现场。响应于反馈信号，在本地现场处的仿真焊接工具310内生成触觉响应。触觉响应可以是例如仿真焊接工具310的手柄中产生的振动(例如经由手柄内的振动设备)，当焊工握住仿真焊接工具310时可以感测到所述振动。根据其他实施例，其他触觉响应也是可能的。以这种方式，焊工可以通过调整仿真焊接工具310的尖端到工件340的距离远近来进行响应，直到触觉响应停止。
在一个实施例中，确定何时机器人焊接系统200的焊炬210在远程焊接现场处的实际焊接操作过程中未与工件260处于适当的或指定的角度。进行这种确定的方法在本领域中是众所周知的。当焊炬210未与工件260处于指定角度时，生成反馈信号并通过ULL通信网络400从远程焊接现场传送(例如，通过控制器250)至本地现场。响应于反馈信号，在本地现场处的仿真焊接工具310内生成触觉响应。此外，触觉响应可以是例如仿真焊接工具310的手柄中产生的振动，当焊工握住仿真焊接工具310时可以感测到所述振动。根据其他实施例，其他触觉响应也是可能的。以这种方式，焊工可以通过调整仿真焊接工具310到工件340的角度来进行响应，直到触觉响应停止。
在一个实施例中，确定何时机器人焊接系统200的焊炬210在远程焊接现场处的实际焊接操作过程中未以适当的或指定的行进速度跨越工件260移动。进行这种确定的方法在本领域中是众所周知的。当焊炬210未以指定的行进速度跨越工件260移动时，生成反馈信号并通过ULL通信网络400从远程焊接现场传送(例如，通过控制器250)至本地现场。响应于反馈信号，在本地现场处的仿真焊接工具310内生成触觉响应。此外，触觉响应可以是例如仿真焊接工具310的手柄中产生的振动，当焊工握住仿真焊接工具310时可以感测到所述振动。根据其他实施例，其他触觉响应也是可能的。以这种方式，焊工可以通过调整仿真焊接工具310跨越工件340的行进速度来进行响应，直到触觉响应停止。
图6展示了图2的机器人焊接系统200的控制器250或图3的模拟焊接系统300的控制器330的示例实施例。控制器包括经由总线子系统612与多个外围设备通信的至少一个处理器614(例如，中央处理单元、张量处理单元、图形处理单元)。这些外围设备可以包括存储子系统624(包括例如存储器子系统628和文件存储子系统626)、用户接口输入设备622、用户接口输出设备620以及网络接口子系统616。这些输入和输出设备允许与控制器进行用户交互。网络接口子系统616提供与外部网络(例如，ULL通信网络400)的接口并联接至其他设备(例如，仿真焊接工具310和头戴式显示设备320)中的对应接口设备。在一个实施例中，至少一个处理器614是张量处理单元(TPU)，所述张量处理单元是专门为机器学习而创建的专用集成电路(ASIC)。与图形处理单元(GPU)不同，TPU被构造为适应更大量的精度降低的计算。
用户接口输入设备622可以包括键盘、定点设备(例如，鼠标、追踪球、触摸板、图形输入板、扫描仪、并入显示器中的触摸屏)、音频输入设备(例如，声音识别系统、麦克风)、和/或其他类型的输入设备。通常，使用术语“输入设备”旨在包括将信息输入到控制器或通信网络上的所有可能类型的设备和方式。
用户接口输出设备620可以包括显示子系统、打印机、传真机、或非可见显示器(例如，音频输出设备)。显示子系统可以包括阴极射线管(CRT)、平板设备(例如液晶显示器(LCD))、投影设备、或用于创建可见图像的一些其他机构。该显示子系统还可以例如经由音频输出设备来提供非可见显示。通常，使用的术语“输出设备”旨在包括将来自控制器的信息输出到用户或者另一个机器或计算机系统的所有可能类型的设备和方式。
存储子系统624存储了提供本文所述的一些或全部功能的编程和数据结构。计算机可执行指令和数据通常是通过处理器614单独地或与其他处理器组合地执行的。存储子系统624中使用的存储器628可以包括多个存储器，包括：在程序执行过程中用于存储指令和数据的主随机存取存储器(RAM)630和存储有固定指令的只读存储器(ROM)632。文件存储子系统626可以对程序和数据文件提供永久存储并且可以包括硬盘驱动器、与相关联的可移动介质一起的软盘驱动器、CD-ROM驱动器、光盘驱动器，或者可移动介质盒。实现某些实施例的功能的计算机可执行指令和数据可以是由存储子系统624中的文件存储子系统626或者由一个或多个处理器614可访问的其他机器来存储的。
总线子系统612提供了让控制器的这些不同部件和子系统如所预期地彼此通信的机构。虽然总线子系统612被示意性地示为单一总线，但是该总线子系统的替代实施例可以使用多条总线。
图6的控制器的各种部件可以采用先进技术，包括例如三维集成电路芯片、三维集成电路芯片堆叠、嵌入在电路板中的光波导、芯片堆叠内的光集成收发器、以及机箱内电路板的完全无线的芯片到芯片的互连。根据其他实施例，其他先进技术也是可能的。
控制器可以是各种不同的类型，包括工作站、服务器、计算集群、刀片式服务器、服务器群、或任何其他数据处理系统或计算设备。由于计算设备和网络的性质不断变化，图6所描绘的控制器的描述仅旨在作为出于说明一些实施例的目的的具体实例。控制器的许多其他构型(具有比图6中描绘的控制器更多或更少的部件)是可能的。
图7展示了图1的ULL通信网络400的一个实施例。在一个实施例中，ULL通信网络400包括第一射频无线网段710、第二射频无线网段720、第一光纤网段730以及第二光纤网段740。例如，光纤网段730和740更靠近ULL通信网络400的边缘(即分别在本地现场和远程焊接现场的附近)。射频无线网段710和720存在于光纤网段之间(例如，在本地现场与远程焊接现场之间的绝大多数距离上提供通信)。在一个实施例中，ULL通信网络400是在本地现场与远程焊接现场之间操作的专用且私用的网络。
图8展示了图1的ULL通信网络400的另一个实施例。在一个实施例中，ULL通信网络400包括第一光纤网段810、第二光纤网段820、第一射频无线网段830、第二射频无线网段840以及近地轨道(LEO)卫星网段850。此外，光纤网段810和820更靠近ULL通信网络400的边缘(即分别在本地现场和远程焊接现场的附近)。射频无线网段830和840以及LEO卫星网段850存在于光纤网段之间(例如，在本地现场与远程焊接现场之间的绝大多数距离上提供通信)。在一个实施例中，ULL通信网络400是在本地现场与远程焊接现场之间操作的公开访问的网络。
在一个实施例中，在ULL通信网络400的边缘附近采用预测、内插和/或外推技术。这类技术允许自动执行统计学可比较的动作，而用于实际动作的命令仍然在ULL通信网络400上传送。也就是说，系统100可以预计有待采取的动作并在执行此动作的实际命令到达例如远程焊接现场之前开始执行此动作。例如，响应于焊工在最近10毫秒在本地现场已经对于工件340移动了仿真焊接工具310(引起对应的控制参数)，远程焊接现场处的控制器250(执行预测、内插和/或外推技术)可以生成用于控制机器人焊接系统200的焊炬210下一毫秒的控制参数。以这种方式，延迟影响可以减小，有可能延长本地现场可以与远程焊接现场一起进行操作的距离。
虽然所披露的实施例已经被相当详细地展示并且描述，但是并不意图对所附权利要求的范围进行约束或以任何方式限制到这样的细节。当然，出于描述主题的多个不同的方面的目的，描述部件或方法的每个可想到的组合是不可能的。因此，本披露内容不限于所示出和描述的具体细节或说明性示例。因此，本披露内容旨在包含落入所附权利要求的范围内的变更、修改以及变体，这满足35U.S.C.§101的法定主题要求。已经通过示例的方式给出了以上对特定实施例的描述。根据所给出的披露内容，本领域的技术人员将不仅理解总体发明概念和伴随的优点，而且还将发现对所公开结构和方法的各种明显的改变和修改。因此，所寻求的是涵盖如落入如由所附权利要求及其等同物所限定的总体发明概念的精神和范围内的所有这种改变和修改。

Claims (21)

1.一种用于执行长距离实时远程焊接的系统，所述系统包括：
机器人焊接系统，所述机器人焊接系统被配置成设置在远程焊接现场以执行实际焊接操作，所述机器人焊接系统包括：
焊炬，摄像头，以及
第一控制器，所述第一控制器被配置成控制所述机器人焊接系统、并且在所述实际焊接操作过程中经由所述摄像头捕获工件与所述焊炬之间的至少电弧或射束的视频；
模拟焊接系统，所述模拟焊接系统被配置成设置在本地现场处，包括：
头戴式显示设备，所述头戴式显示设备被配置成由焊工佩戴以至少观察所述本地现场处的所述视频，
仿真焊接工具，所述仿真焊接工具被配置成响应于所述焊工在至少观察所述视频的同时在所述本地现场握住和移动所述仿真焊接工具而远程控制所述焊炬，以及
第二控制器，所述第二控制器被配置成控制所述模拟焊接系统、并且在追踪所述仿真焊接工具的运动的同时生成控制参数；以及
超低延迟通信网络，所述超低延迟通信网络被配置成至少提供所述远程焊接现场处的所述第一控制器与所述本地现场处的所述第二控制器之间的所述视频和所述控制参数的通信，其中所述第一控制器与所述第二控制器之间的往返通信延迟在0.5毫秒与10毫秒之间，并且其中所述远程焊接现场与所述本地现场之间的直线距离至少是10公里，并且
其中所述机器人焊接系统被配置成：在所述实际焊接操作过程中，至少响应于所述控制参数，经由所述仿真焊接工具、经由所述焊炬的远程机器人控制而在所述远程焊接现场在所述工件上形成焊缝。
2.如权利要求1所述的系统，其中所述机器人焊接系统包括自动变光滤光镜，并且其中所述第一控制器被配置成在所述实际焊接操作过程中经由通过所述自动变光滤光镜进行观察的所述摄像头捕获所述工件与所述焊炬之间的至少所述电弧或所述射束的视频。
3.如权利要求1所述的系统，其中所述机器人焊接系统包括麦克风，并且其中所述第一控制器被配置成在所述实际焊接操作过程中经由所述麦克风捕获所述工件与所述焊炬之间的至少所述电弧或所述射束的音频，并且其中所述超低延迟通信网络被配置成提供从所述远程焊接现场处的所述第一控制器的所述音频到所述本地现场处的所述第二控制器的通信，以便由所述焊工经由所述头戴式显示设备在所述本地现场进行观察。
4.如权利要求1所述的系统，其中，所述仿真焊接工具包括一个或多个传感器，所述传感器被配置成监测所述仿真焊接工具的位置和方位中的至少一项、并且向所述第二控制器提供相应的位置和方位信号以用于在三维空间中追踪所述仿真焊接工具。
5.如权利要求1所述的系统，进一步包括位于所述仿真焊接工具外部的一个或多个传感器，所述传感器被配置成监测所述仿真焊接工具的位置和方位中的至少一项、并且向所述第二控制器提供相应的位置和方位信号以用于在三维空间中追踪所述仿真焊接工具。
6.如权利要求1所述的系统，其中，所述第一控制器被配置成运行延迟测试以确定所述远程焊接现场处的所述第一控制器与所述本地现场处的所述第二控制器之间的往返通信延迟。
7.如权利要求1所述的系统，其中，所述第二控制器被配置成运行延迟测试以确定所述远程焊接现场处的所述第一控制器与所述本地现场处的所述第二控制器之间的往返通信延迟。
8.如权利要求1所述的系统，其中，所述超低延迟通信网络包括射频无线网段和光纤网段中的至少一项。
9.如权利要求1所述的系统，其中，所述超低延迟通信网络是在所述远程焊接现场与所述本地现场之间进行操作的专用且私用的网络。
10.如权利要求1所述的系统，其中，所述超低延迟通信网络包括无源光学组件、暗光纤、色散补偿模块、非前向纠错应答器、软件定义网络和网络功能虚拟化技术中的至少一项。
11.如权利要求1所述的系统，其中，所述超低延迟通信网络包括三维集成电路芯片、三维集成电路芯片堆叠、嵌入在电路板中的光波导、芯片堆叠内的光集成收发器、和机箱内电路板的完全无线的芯片到芯片的互连中的至少一项。
12.如权利要求1所述的系统，其中，所述第一控制器和所述第二控制器各自包括三维集成电路芯片、三维集成电路芯片堆叠、嵌入在电路板中的光波导、芯片堆叠内的光集成收发器、和机箱内电路板的完全无线的芯片到芯片的互连中的至少一项。
13.一种远距离地、实时地对机器人焊接系统进行远程控制的方法，所述方法包括：
追踪由焊工在本地现场操作的仿真焊接工具的运动和控制，并且生成与所述仿真焊接工具的运动和控制相对应的控制参数；
通过超低延迟的通信网络将所述控制参数从所述本地现场传送至远程焊接现场处的机器人焊接系统，其中所述本地现场与所述远程焊接现场之间的所述超低延迟通信网络的往返通信延迟在0.5毫秒与10毫秒之间，并且其中所述本地现场与所述远程焊接现场之间的直线距离至少为10公里；并且
响应于所述控制参数，经由所述机器人焊接系统的远程机器人控制来控制所述远程焊接现场处的所述机器人焊接系统的实际焊接操作以在所述远程焊接现场处在工件上形成实际焊缝，其中所述机器人焊接系统的焊炬追随由所述焊工在所述本地现场实时操作的所述仿真焊接工具的运动和控制。
14.如权利要求13所述的方法，其中，由所述焊工操作的所述仿真焊接工具的运动是沿着所述本地现场处的模拟工件，所述模拟工件模拟所述远程焊接现场处的所述工件。
15.如权利要求13所述的方法，进一步包括：
在所述远程焊接现场处的所述实际焊接操作的过程中，确定何时所述机器人焊接系统的所述焊炬的尖端距所述工件的距离不适当；
当所述焊炬的所述尖端未处于适当的距离时，通过所述超低延迟通信网络将反馈信号从所述远程焊接现场传送至所述本地现场；并且
响应于所述反馈信号而在所述本地现场处的所述仿真焊接工具内生成触觉响应。
16.如权利要求13所述的方法，进一步包括：
在所述远程焊接现场处的所述实际焊接操作过程中，确定何时所述机器人焊接系统的所述焊炬相对于所述工件未处于适当角度；
当所述焊炬未处于适当角度时，通过所述超低延迟通信网络将反馈信号从所述远程焊接现场传送至所述本地现场；并且
响应于所述反馈信号而在所述本地现场处的所述仿真焊接工具内生成触觉响应。
17.如权利要求13所述的方法，进一步包括：
在所述远程焊接现场处的所述实际焊接操作过程中，确定何时所述机器人焊接系统的所述焊炬相对于所述工件不是以适当的行进速度移动；
当所述焊炬未以所述适当的行进速度移动时，通过所述超低延迟通信网络将反馈信号从所述远程焊接现场传送至所述本地现场；并且
响应于所述反馈信号而在所述本地现场处的所述仿真焊接工具内生成触觉响应。
18.如权利要求13所述的方法，进一步包括在所述远程焊接现场附近的所述超低延迟通信网络的边缘附近采用预测、插值或外推技术中的至少一项来在下一毫秒或更长时间预计与所述仿真焊接工具的运动和控制相对应的控制参数。
19.如权利要求13所述的方法，进一步包括：
在所述远程焊接现场处的所述实际焊接操作过程中，捕获在所述工件与所述焊炬之间形成的至少电弧或射束的音频；
通过所述超低延迟通信网络将所述音频从所述远程焊接现场传送至所述本地现场；并且
在所述实际焊接操作过程中，在所述焊工移动所述仿真焊接工具时实时向所述本地现场处的所述焊工播放所述音频。
20.如权利要求13所述的方法，进一步包括：
在所述远程焊接现场处的所述实际焊接操作过程中，捕获在所述工件与所述焊炬之间形成的至少电弧或射束的视频；
通过所述超低延迟通信网络将所述视频从所述远程焊接现场传送至所述本地现场；并且
在所述实际焊接操作过程中，在所述焊工移动所述仿真焊接工具时实时向所述本地现场处的所述焊工显示所述视频。
21.如权利要求19所述的方法，其中，通过所述远程焊接现场处的自动变光滤光镜来捕获所述视频。
CN201810544689.2A 2017-06-19 2018-05-31 用于实时长距离远程焊接的系统和方法 Active CN109128591B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/626,655 US10828716B2 (en) 2017-06-19 2017-06-19 Systems and methods for real time, long distance, remote welding
US15/626,655 2017-06-19

Publications (2)

Publication Number Publication Date
CN109128591A true CN109128591A (zh) 2019-01-04
CN109128591B CN109128591B (zh) 2022-07-22

Family

ID=62712860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810544689.2A Active CN109128591B (zh) 2017-06-19 2018-05-31 用于实时长距离远程焊接的系统和方法

Country Status (5)

Country Link
US (2) US10828716B2 (zh)
EP (1) EP3417976A1 (zh)
JP (3) JP7446053B2 (zh)
KR (1) KR20180138161A (zh)
CN (1) CN109128591B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110434510A (zh) * 2019-07-15 2019-11-12 浙江工业大学 一种基于vr技术的焊接设备
CN113134828A (zh) * 2020-01-17 2021-07-20 中国科学院长春光学精密机械与物理研究所 定位追踪系统、基于线性趋势预测的时延补偿方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110653535A (zh) * 2019-10-11 2020-01-07 哈尔滨电机厂有限责任公司 一种大型发电机轴瓦表面巴氏合金自动化制备系统
KR102205827B1 (ko) * 2019-11-29 2021-01-21 (주) 토탈소프트뱅크 용접 지원 가상화 시스템
JP7290562B2 (ja) * 2019-12-26 2023-06-13 株式会社日立製作所 溶接制御装置、溶接ロボットシステム、および、溶接制御方法
US11774954B2 (en) * 2020-12-02 2023-10-03 Westinghouse Electric Company Llc Systems and methods for wireless remote control of automated equipment

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030029359A (ko) * 2001-10-08 2003-04-14 현대자동차주식회사 차량 용접라인의 용접 품질관리 시스템
US20090298024A1 (en) * 2008-05-28 2009-12-03 Todd Batzler Welding training system
CN101791750A (zh) * 2009-12-31 2010-08-04 哈尔滨工业大学 用于远程焊接的机器人遥控焊接系统及方法
US20140014637A1 (en) * 2012-07-13 2014-01-16 General Electric Company System and method for performing remote welding operations on an apparatus
CN103687687A (zh) * 2011-05-16 2014-03-26 林肯环球股份有限公司 双光谱数字成像焊接头盔
CN104057202A (zh) * 2014-07-11 2014-09-24 华南理工大学 基于fpga的远程监控移动式机器人自主焊接系统及方法
CN104471629A (zh) * 2012-06-13 2015-03-25 赛百瑞索路信有限公司 基于可以远程更新的增强现实模拟的用于焊接培训的先进装置
US20160175964A1 (en) * 2014-12-19 2016-06-23 Lincoln Global, Inc. Welding vision and control system
CN105899319A (zh) * 2013-10-28 2016-08-24 伊利诺斯工具制品有限公司 用于与焊接系统的无线遥控器进行数据交换和控制的系统和方法
US20160260261A1 (en) * 2015-03-06 2016-09-08 Illinois Tool Works Inc. Sensor assisted head mounted displays for welding
CN106231614A (zh) * 2016-07-30 2016-12-14 深圳市金立通信设备有限公司 一种信号传输方法及相关网元
CN106797282A (zh) * 2014-09-26 2017-05-31 高通股份有限公司 超低延迟lte上行链路帧结构

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5436542A (en) 1994-01-28 1995-07-25 Surgix, Inc. Telescopic camera mount with remotely controlled positioning
JPH07299561A (ja) 1994-05-02 1995-11-14 Mitsubishi Heavy Ind Ltd 溶接方法
JPH0976063A (ja) 1995-09-16 1997-03-25 Sanshiyuuzen Kogyo Kk 溶接装置
JPH1034342A (ja) * 1996-07-29 1998-02-10 Kawasaki Steel Corp Ｒｃ橋脚板巻き補強溶接方法とその装置
US6518995B1 (en) 2000-07-10 2003-02-11 Jagannath Rao Ghole System and process for remote, in situ metal work
US6479792B1 (en) 2000-09-06 2002-11-12 Illinois Tool Works Inc. Welding machine, system and method therefor
JP2002096169A (ja) 2000-09-21 2002-04-02 Toshiba Corp 遠隔操作型溶接ロボットシステム
US6532840B2 (en) 2000-12-19 2003-03-18 General Electric Company Methods for robotically inspecting gas turbine combustion components
US6414458B1 (en) 2000-12-19 2002-07-02 General Electric Company Apparatus for robotically inspecting gas turbine combustion components
JP4655175B2 (ja) 2000-12-19 2011-03-23 ソニー株式会社 マニピュレータシステム、マスタマニピュレータ、スレーブマニピュレータ及びそれらの制御方法、並びに記録媒体
US6624388B1 (en) 2001-01-25 2003-09-23 The Lincoln Electric Company System and method providing distributed welding architecture
US6758875B2 (en) 2001-11-13 2004-07-06 Great Lakes Air Systems, Inc. Air cleaning system for a robotic welding chamber
JP2003230959A (ja) 2002-02-06 2003-08-19 Toshiba Corp 遠隔操作型溶接ロボットシステム
FR2837612B1 (fr) 2002-03-22 2004-07-16 Framatome Anp Procede et dispositif de remplacement et procede de reparation d'un troncon d'une canalisation du circuit primaire d'un reacteur nucleaire
US20040074945A1 (en) 2002-10-17 2004-04-22 Brady Joseph P. Spot weld robot incorporating rechargeable docking port
JP4578056B2 (ja) 2003-02-06 2010-11-10 株式会社ダイヘン 作業ロボットを用いた制御システムによるワーク加工方法
JP4167954B2 (ja) 2003-09-02 2008-10-22 ファナック株式会社 ロボット及びロボット移動方法
DE10344526A1 (de) 2003-09-24 2005-04-28 Kuka Schweissanlagen Gmbh Verfahren zum Laserstrahlschweißen von Bauteilen
US7129442B2 (en) 2004-03-09 2006-10-31 Specialty Tooling Systems, Inc. Welding machine
US7077020B2 (en) 2004-04-01 2006-07-18 Crts, Inc. Internal field joint inspection robot
ITTO20040361A1 (it) 2004-05-28 2004-08-28 Comau Spa Metodo e dispositivo per saldatura laser remota mediante robot, con controllo semplificato della direzione di focalizzazione del fascio laser.
JP4653427B2 (ja) 2004-06-30 2011-03-16 ファナック株式会社 アーク溶接ロボットのトーチケーブル処理構造
DE102005045854B3 (de) 2005-09-26 2007-04-12 Siemens Ag Verfahren und System zur Kalibrierung einer Kamera in Produktionsmaschinen
FR2895791B1 (fr) 2005-12-29 2008-04-04 Framatome Anp Sas Procede de reparation d'au moins une zone de raccordement d'une plaque de partition sur une plaque tubulaire d'une boite a eau d'un echangeur de chaleur.
US7930065B2 (en) 2005-12-30 2011-04-19 Intuitive Surgical Operations, Inc. Robotic surgery system including position sensors using fiber bragg gratings
JP2007276052A (ja) 2006-04-06 2007-10-25 Sony Corp 制御システム、記録システム、情報処理装置および方法、プログラム、並びに記録媒体
EP2144727B1 (en) 2007-04-26 2011-11-09 Andrew Turner Positioning means for producing light signals to position a robot tool relative to a workpiece ; method using such positioning means
US20090080423A1 (en) 2007-09-24 2009-03-26 Ewing David B Systems and methods for adaptively adjusting codec rates for communication networks
US20090089700A1 (en) 2007-09-28 2009-04-02 Gm Global Technology Operations, Inc. Methods of integrating real and virtual world using physical sensor/actuator
AT507021B1 (de) 2008-07-04 2010-04-15 Fronius Int Gmbh Vorrichtung zur simulation eines schweissprozesses
DE102008042612A1 (de) 2008-10-06 2010-04-08 Kuka Roboter Gmbh Industrieroboter und Bahnplanungsverfahren zum Steuern der Bewegung eines Industrieroboters
US8592722B2 (en) 2008-11-03 2013-11-26 Illinois Tool Works Inc. Weld parameter interface
US7974725B2 (en) 2009-01-06 2011-07-05 GM Global Technology Operations LLC Integrated testing system and method for validation of a manufacturing automation system
US20100223706A1 (en) 2009-03-03 2010-09-09 Illinois Tool Works Inc. Welding helmet audio communication systems and methods with bone conduction transducers
US8354615B2 (en) 2009-03-05 2013-01-15 Lincoln Global, Inc. Manual welding electrode
GB0906290D0 (en) * 2009-04-09 2009-05-20 Nomura Internat Plc Ultra low latency securities trading infrastructure
AT508696B1 (de) 2009-09-11 2015-06-15 Fronius Int Gmbh Überwachungsmodul zur überwachung eines prozesses mit einem lichtbogen
US8569655B2 (en) 2009-10-13 2013-10-29 Lincoln Global, Inc. Welding helmet with integral user interface
FR2957000B1 (fr) 2010-03-02 2012-03-02 Commissariat Energie Atomique Procede et systeme d'aide a la manipulation d'engins robotises en environnement encombre
US8587635B2 (en) * 2011-07-15 2013-11-19 At&T Intellectual Property I, L.P. Apparatus and method for providing media services with telepresence
US9511444B2 (en) 2011-07-15 2016-12-06 Illinois Tool Works Inc. Digital communication based arc control welding system and method
US9862051B2 (en) * 2011-09-27 2018-01-09 Illinois Tool Works Inc. Welding system and method utilizing cloud computing and data storage
US9449498B2 (en) * 2012-08-17 2016-09-20 Illinois Tool Works Inc. Wireless communication network power optimization for control of industrial equipment in harsh environments
TWI493666B (zh) * 2013-01-25 2015-07-21 義守大學 晶片間信號傳輸系統及晶片間電容耦合傳輸電路
US20150103680A1 (en) 2013-10-11 2015-04-16 Qualcomm Incorporated Dynamic scheduling for multi-channel concurrency switching
JP2015174155A (ja) 2014-03-13 2015-10-05 三菱重工業株式会社 ロボット、ロボットの制御方法、及びロボットの制御プログラム
US11452121B2 (en) 2014-05-19 2022-09-20 Qualcomm Incorporated Apparatus and method for synchronous multiplexing and multiple access for different latency targets utilizing thin control
CN106465162B (zh) 2014-07-14 2019-07-12 柏思科技有限公司 用于传输数据包的方法和系统
US10442025B2 (en) 2014-10-22 2019-10-15 Illinois Tool Works Inc. Virtual reality controlled mobile robot
US10032388B2 (en) 2014-12-05 2018-07-24 Illinois Tool Works Inc. Augmented and mediated reality welding helmet systems
WO2016144744A1 (en) 2015-03-09 2016-09-15 Illinois Tool Works Inc. Methods and apparatus to provide visual information associated with welding operations
US11924826B2 (en) 2015-12-10 2024-03-05 Qualcomm Incorporated Flexible transmission unit and acknowledgment feedback timeline for efficient low latency communication
US10525596B2 (en) * 2016-02-11 2020-01-07 Darryl Hammock Teleoperated robot for flood-welding operations
US10913125B2 (en) * 2016-11-07 2021-02-09 Lincoln Global, Inc. Welding system providing visual and audio cues to a welding helmet with a display
US10472563B2 (en) * 2017-02-16 2019-11-12 Rohm And Haas Electronic Materials Llc Methods for making improved quantum dot resin formulations

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030029359A (ko) * 2001-10-08 2003-04-14 현대자동차주식회사 차량 용접라인의 용접 품질관리 시스템
US20090298024A1 (en) * 2008-05-28 2009-12-03 Todd Batzler Welding training system
CN101791750A (zh) * 2009-12-31 2010-08-04 哈尔滨工业大学 用于远程焊接的机器人遥控焊接系统及方法
CN103687687A (zh) * 2011-05-16 2014-03-26 林肯环球股份有限公司 双光谱数字成像焊接头盔
CN104471629A (zh) * 2012-06-13 2015-03-25 赛百瑞索路信有限公司 基于可以远程更新的增强现实模拟的用于焊接培训的先进装置
US20140014637A1 (en) * 2012-07-13 2014-01-16 General Electric Company System and method for performing remote welding operations on an apparatus
CN105899319A (zh) * 2013-10-28 2016-08-24 伊利诺斯工具制品有限公司 用于与焊接系统的无线遥控器进行数据交换和控制的系统和方法
CN104057202A (zh) * 2014-07-11 2014-09-24 华南理工大学 基于fpga的远程监控移动式机器人自主焊接系统及方法
CN106797282A (zh) * 2014-09-26 2017-05-31 高通股份有限公司 超低延迟lte上行链路帧结构
US20160175964A1 (en) * 2014-12-19 2016-06-23 Lincoln Global, Inc. Welding vision and control system
US20160260261A1 (en) * 2015-03-06 2016-09-08 Illinois Tool Works Inc. Sensor assisted head mounted displays for welding
CN106231614A (zh) * 2016-07-30 2016-12-14 深圳市金立通信设备有限公司 一种信号传输方法及相关网元

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110434510A (zh) * 2019-07-15 2019-11-12 浙江工业大学 一种基于vr技术的焊接设备
CN113134828A (zh) * 2020-01-17 2021-07-20 中国科学院长春光学精密机械与物理研究所 定位追踪系统、基于线性趋势预测的时延补偿方法
CN113134828B (zh) * 2020-01-17 2022-06-21 中国科学院长春光学精密机械与物理研究所 定位追踪系统、基于线性趋势预测的时延补偿方法

Also Published As

Publication number Publication date
JP2019000910A (ja) 2019-01-10
JP2023116643A (ja) 2023-08-22
US10828716B2 (en) 2020-11-10
US11267068B2 (en) 2022-03-08
KR20180138161A (ko) 2018-12-28
EP3417976A1 (en) 2018-12-26
US20210053137A1 (en) 2021-02-25
US20180361493A1 (en) 2018-12-20
CN109128591B (zh) 2022-07-22
JP7446053B2 (ja) 2024-03-08
JP2024026672A (ja) 2024-02-28

Similar Documents

Publication Publication Date Title
CN109128591A (zh) 用于实时长距离远程焊接的系统和方法
JP6810093B2 (ja) ロボットのシミュレーション装置
JP6723738B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20230367289A1 (en) Robotic control via a virtual world simulation
US20160288318A1 (en) Information processing apparatus, information processing method, and program
WO2022166264A1 (zh) 作业机械的模拟训练系统、方法、装置和电子设备
JP4463120B2 (ja) 身まねロボットシステムとその身まね動作制御方法
JP6863927B2 (ja) ロボットのシミュレーション装置
Tachi et al. Telesarphone: Mutual telexistence master-slave communication system based on retroreflective projection technology
JP2012011498A (ja) ロボットアーム操作システムおよびその操作方法
JP2018112789A (ja) 情報処理システム、情報処理プログラム、情報処理装置、情報処理方法、ゲームシステム、ゲームプログラム、ゲーム装置、及びゲーム方法
CN107257946B (zh) 用于虚拟调试的系统
JP2019000910A5 (zh)
CN107443374A (zh) 机械手操控系统及其操控方法、操控装置、存储介质
CN107838921A (zh) 一种基于vr的机器人培训系统
JPH0976063A (ja) 溶接装置
JPH01209505A (ja) 遠隔操作ロボットの教示装置
CN109213306A (zh) 一种机器人远程控制平台及其设计方法
KR20170116310A (ko) 작업 교시 시스템 및 방법
JP2020175453A (ja) 遠隔操作装置
EP3502836A1 (en) Method for operating an augmented interactive reality system
JP2019219702A (ja) 仮想空間における仮想カメラの制御方法
US20240001542A1 (en) Motion learning system and method for programming at least one robotic device
WO2020235541A1 (ja) 画像インタフェース装置、画像操作装置、操作対象物操作装置、操作対象物操作システム、操作対象物提示方法および操作対象物提示プログラム
WO2022138724A1 (ja) ロボットシステム及びロボット作業方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant