CN107980153A - 提供与焊接操作相关联的视觉信息的方法和器械 - Google Patents

提供与焊接操作相关联的视觉信息的方法和器械 Download PDF

Info

Publication number
CN107980153A
CN107980153A CN201680026611.0A CN201680026611A CN107980153A CN 107980153 A CN107980153 A CN 107980153A CN 201680026611 A CN201680026611 A CN 201680026611A CN 107980153 A CN107980153 A CN 107980153A
Authority
CN
China
Prior art keywords
welding
image
processor
camera
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680026611.0A
Other languages
English (en)
Other versions
CN107980153B (zh
Inventor
克里斯托弗·徐
斯科特·尼古拉斯·施密特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Illinois Tool Works Inc
Original Assignee
Illinois Tool Works Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Illinois Tool Works Inc filed Critical Illinois Tool Works Inc
Publication of CN107980153A publication Critical patent/CN107980153A/zh
Application granted granted Critical
Publication of CN107980153B publication Critical patent/CN107980153B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00Arc welding or cutting
    • B23K9/095Monitoring or automatic control of welding parameters
    • B23K9/0956Monitoring or automatic control of welding parameters using sensing means, e.g. optical
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00Arc welding or cutting
    • B23K9/32Accessories
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/24Use of tools
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/02Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25HWORKSHOP EQUIPMENT, e.g. FOR MARKING-OUT WORK; STORAGE MEANS FOR WORKSHOPS
    • B25H1/00Work benches; Portable stands or supports for positioning portable tools or work to be operated on thereby
    • B25H1/02Work benches; Portable stands or supports for positioning portable tools or work to be operated on thereby of table type
    • B25H1/04Work benches; Portable stands or supports for positioning portable tools or work to be operated on thereby of table type portable
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25HWORKSHOP EQUIPMENT, e.g. FOR MARKING-OUT WORK; STORAGE MEANS FOR WORKSHOPS
    • B25H3/00Storage means or arrangements for workshops facilitating access to, or handling of, work tools or instruments
    • B25H3/02Boxes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25HWORKSHOP EQUIPMENT, e.g. FOR MARKING-OUT WORK; STORAGE MEANS FOR WORKSHOPS
    • B25H3/00Storage means or arrangements for workshops facilitating access to, or handling of, work tools or instruments
    • B25H3/06Trays

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Plasma & Fusion (AREA)
  • Mechanical Engineering (AREA)
  • Arc Welding Control (AREA)

Abstract

公开了提供与焊接操作相关联的视觉信息的方法和器械。焊接培训系统包括显示器、相机、通信装置和焊接头盔。通信装置与焊接设备通信。焊接头盔具有视口。通信装置被配置为保持相机、通信装置和显示器,使得当焊接头盔由佩戴者佩戴时,显示器可由佩戴者观察,相机具有通过视口的视图,使得显示器通过视口将相机拍摄的佩戴者图像显示出来,并且显示基于经由通信装置从焊接设备接收的信息生成的模拟对象。

Description

提供与焊接操作相关联的视觉信息的方法和器械
相关申请
本专利要求于2015年3月9日提交的美国临时专利申请序列号62/130,340,以及于2015年4月6日提交的美国临时专利申请序列号62/143,243。美国临时专利申请序列号62/130,340和美国临时专利申请序列号62/143,243通过引用并入本文。
背景技术
焊接是在所有行业中越来越普遍存在的过程。虽然这些过程可以在某些情况下自动化,但是大量的应用仍然存在用于手动焊接操作,其成功严重依赖于焊接操作者正确使用焊枪或焊炬。例如,不正确的焊炬角度(工作和行进角度)、接触焊头到工件距离、行进速度和瞄准是指示焊缝质量的参数。然而,即使是经验丰富的焊接操作者,在焊接过程中也常常难以监视和维持这些重要参数。
发明内容
提供了用于联网式高动态范围焊接视觉系统的方法和系统,其基本上如结合至少一个附图所示和描述,如权利要求中所更全面的阐述。
附图说明
图1示出了根据本公开的方面的示例性电弧焊接系统。
图2示出了根据本公开的方面的示例焊接设备。
图3A、3B和3C示出了根据本公开的方面的示例焊接头具和电路。
图4A、4B和4C示出了根据本公开的方面的另一示例焊接头具和电路。
图5A-5C示出了可以根据正在进行的焊接的图像确定的各种参数。
图6A是示出使用体现本公开的方面的头具的示例焊接过程的流程图。
图6B-6G示出了可以经由显示器向焊接操作者呈现以向操作者提供焊接信息的示例接口。
图7A是示出使用体现本公开的方面的头具的示例焊接过程的流程图。
图7B和7C示出了可以经由显示器呈现给焊接操作者以向操作者提供焊接指令的示例接口。
图8A和8B示出了通过焊接头具生成的用于增强操作者对要焊接工件的视图的3D渲染的使用。
图9A是示出用于识别体现本公开的方面的焊接操作的示例焊接过程的流程图。
图9B是示出在焊接操作期间传输图像的示例焊接过程的流程图。
图10是示出可由处理器执行以生成体现本公开的方面的焊接过程的焊接记录的示例机器可读指令的流程图。
图11是图1的服务器的示例实施方式的框图。
图12是示出可由处理器执行以实现图1和/或11的服务器来存储和/或显示焊接操作的焊接记录的示例机器可读指令1200的流程图。
图13是示出可以被执行以实现图3A-4B的示例头具提供焊接操作者培训的示例计算机可读指令的流程图。
图14是示出可以被执行以实现图3A-4B的示例头具基于识别焊接电弧的位置来对图像传感器进行聚焦和/或变焦的示例计算机可读指令的流程图。
图15是代表可以被执行以实现图3A-4B的示例头具执行焊接场景的焊前检查的示例机器可读指令的流程图。
图16是代表可以被执行以实现图3A-4B的示例头具执行焊接场景的焊接后检查的示例机器可读指令的流程图。
图17示出了根据本公开的方面的焊接系统的另一示例。
图18示出了根据本公开的方面的焊接头具的另一示例。
图19是示出根据本公开的方面的自动曝光控制的过程的流程图。
图20是示出根据本公开的方面的焊接头具的示例操作的状态图。
图21A和21B示出了根据本公开的方面的在焊接操作的短路条件期间捕获焊接环境的图像的示例。
图22是代表根据本公开的方面可以被执行以在焊接操作的短路条件期间捕获焊接环境的图像的示例机器可读指令的流程图。
具体实施方式
用于记录焊接的公开的示例方法包括用光学传感器捕获焊接操作的第一图像,将第一图像存储在与光学传感器通信的存储器中,并且识别与焊接操作对应的传输事件。所公开的示例方法进一步包括响应于传输事件的识别:使用第一图像生成焊接操作的记录;并将焊接操作的记录发送到焊接系统控制器和数据存储装置。
如本文所使用的,术语焊接操作包括两个或更多个物理对象的实际焊接(例如,导致诸如焊接或钎焊的接合)、物理对象的覆盖、纹理化和/或热处理,和/或物理对象的切割)和模拟或虚拟焊接(例如,焊接的可视化,而没有发生物理焊接)。如本文所使用的,术语“可佩戴装置”包括设计或旨在由人佩戴的任何形式因素(例如个人防护设备,诸如头盔、面罩、服装等;个人装置,诸如头戴式电子装置、腕戴式装置、身体安装装置、围绕脖子佩戴的装置等);虽然不一定设计或旨在由人佩戴的可适用于由人佩戴的任何形式因素(例如,智能手机、平板计算机和/或其它数字处理装置)。
本公开的方面的动因包括生产焊接数据监视,使得生产主管可以监视自动化和手动焊接操作的生产率和质量。数据监视可以包括在焊接设备中收集数据,将其发送到云端,并通过网络浏览器进行检索。这种数据可以包括例如可能对制造车间主管、质量保证(QA)或质量控制(QC)人员、维护人员、培训人员等有用的焊接操作的视频记录。在手动焊接质量控制中,视频记录可能在精益制造中的故障模式和影响分析(FMEA)中是有价值的。本公开的方面的动因还包括使用视觉设备提供焊接操作者培训,以观察学生在焊接时如何放置和移动焊炬。本公开方面的动因进一步包括提供支持和服务。例如,如果焊接专家被要求帮助操作人员,则由于物理限制,在两个焊接头盔中挤压以使观察者与操作者一起观察电弧是一个挑战。在远处观察电弧也是一个挑战。
在一些示例方法中,捕获第一图像包括以下中的至少一个:记录高动态范围图像,记录高动态范围视频,记录宽动态分辨率图像,记录宽动态分辨率视频,记录飞行时间图像,用具有三维深度感知的结构光相机记录三维图像,或以每秒500帧和每秒10,000帧的高帧速率记录图像。在一些这种示例中,捕获第一图像包括使用具有对数响应的光学传感器。
在一些公开的示例方法中,识别传输事件包括从焊接控制器接收传输请求和/或经由光学传感器或第二传感器检测焊接操作的结束。在一些示例方法中,生成记录包括从第一图像生成视频或一组图像。一些示例方法包括接收同步信号,基于同步信号确定时间戳,以及将时间戳与焊接操作的记录相关联。在一些示例中,捕获第一图像响应于同步信号。
一些示例方法进一步包括使用光学传感器或第二传感器检测焊接操作的开始,其中第一图像的捕获响应于检测。在一些示例中,该方法在移动通信装置或焊接头盔中的至少一个中实现。
用于记录焊接的一些公开的示例方法包括用安装在头戴式装置上的光学传感器捕获焊接操作的第一图像,将第一图像存储在存储器中,以及监视与焊接操作相关联的焊接参数的测量。响应于识别焊接参数的测量已经满足阈值参数值,示例方法进一步包括:用光学传感器记录后续第二图像,将经由光学传感器获得的后续第二图像存储在存储器中,并且将焊接参数的第二测量存储在存储器中,其中第二测量对应于第二图像,并且通过将第一图像附加到第二图像并将第二测量附加到第二图像来生成焊接操作的记录。
在一些示例中,第一图像的记录包括以下中的至少一个:记录高动态范围图像,记录高动态范围视频,记录宽动态分辨率图像,记录宽动态分辨率视频,记录三维(3D)深度地图图像(例如,通过飞行时间(ToF)相机或结构化光3D扫描仪),用具有三维深度感知的结构光相机记录三维图像,或以每秒500帧与每秒10,000帧之间的帧速率记录图像。在一些示例方法中,第一图像的记录包括使用具有对数响应的光学传感器。在一些示例中,存储器包括循环缓冲器(例如,在链接列表中),并且将第一图像存储在存储器中包括以先进先出的方案用第一图像中的第一个替换第一图像中的第二个。
一些示例方法进一步包括经由通信接口接收焊接参数的测量。一些示例进一步包括将焊接操作的记录发送到服务器。一些示例方法包括识别焊接操作已经开始,第一图像的记录响应于识别焊接操作已经被启动。在一些这种示例中,识别焊接操作已经启动包括经由光学传感器或第二传感器接收同步信号或识别电弧中的至少一个。
一些示例方法进一步包括执行数字图像处理以提取表示焊接操作期间形成的焊接特性的图像特征,将该特性与阈值进行比较,并且当特性满足阈值时,在显示装置上显示指示该特性满足阈值的警告。在一些示例方法中,头戴式装置是包括无线通信装置的焊接头盔。诸如智能手机或平板计算机的无线通信装置可以可拆卸地安装到焊接头盔。
使用焊接操作者个人防护设备(PPE)引导焊接操作者的公开示例方法包括接收与焊接操作相关联的指令信息,并经由PPE的显示装置显示指令信息。一些示例方法还包括:在显示指令信息之后,接收焊接参数,在焊接操作期间经由显示装置显示焊接参数,检测焊接操作完成,并且响应于焊接操作完成的检测,呈现描述经由显示装置的焊接操作的特性的性能信息。
一些示例方法还包括执行数字图像处理以提取表示焊接操作期间形成的焊接特性的图像特征,并经由显示装置显示表示特性的信息。在一些示例中,执行数字图像处理并显示表示特性的信息是在焊接操作期间或焊接操作之后中的至少一个。一些示例方法进一步包括响应于经由PPE的用户界面接收第三指令来请求与第二焊接操作对应的第二指令,以及经由显示装置显示第二指令。在一些示例方法中,接收指令信息包括响应于经由PPE的通信接口发送对指令信息的请求,从无线通信装置或系统控制器中的至少一个接收指令信息。
用于记录焊接的公开的示例器械包括光学传感器、存储装置、控制器和处理器。光学传感器捕获焊接操作的第一图像。存储装置存储第一图像。处理器识别与焊接操作对应的传输事件,响应于传输事件的识别,使用第一图像生成焊接操作的记录,并将焊接操作的记录发送到服务器。
在一些示例器械中,光学传感器是高动态范围图像传感器、宽动态范围图像传感器、飞行时间传感器、结构化光传感器或具有每秒500-10,000帧的帧速率的图像传感器中的至少一个。一些示例器械进一步包括通信接口,其中处理器基于从服务器接收传输请求或经由光学传感器或第二传感器检测焊接操作的结束中的至少一个来识别传输事件。
一些示例器械包括用于接收同步信号的通信接口,其中处理器响应于同步信号捕获第一图像,并且处理器进一步基于同步信号确定时间戳,并将时间戳与焊接操作的记录相关联。
公开的头戴式装置包括光学传感器、存储装置和处理器。光学传感器捕获焊接操作的第一图像。存储装置存储第一图像。处理器与存储装置通信,并执行指令,以便:监视与焊接操作相关联的焊接参数的测量,并且响应于识别出焊接参数的测量已经满足阈值参数值,用光学传感器记录后续的第二图像,将经由光学传感器获得的后续第二图像存储在存储装置中,并将焊接参数的第二测量存储在存储装置中,第二测量对应于第二图像。处理器还通过将第一图像附加到第二图像并将第二测量附加到第二图像来生成焊接操作的记录。
在一些示例头戴式装置中,光学传感器是高动态范围图像传感器、宽动态范围图像传感器、飞行时间传感器、结构化光传感器或具有至少每秒500-10,000帧的帧速率的图像传感器中的至少一个。在一些示例中,存储装置包括循环缓冲器,其中存储装置通过以先进先出方案用第一图像中的第二个替换第一图像中的第一个。一些示例头戴式装置进一步包括用于接收焊接参数的测量的通信接口。
一些示例头戴式装置进一步包括用于将焊接操作的记录发送到服务器的通信接口。在一些示例中,处理器识别出焊接操作已经开始,并且光学传感器响应于识别焊接操作已被启动而记录第一图像。在一些示例中,处理器识别出通过接收同步信号和/或经由光学传感器或第二传感器识别电弧来启动焊接操作。
在一些示例中,头戴式装置进一步包括显示装置,并且处理器执行数字图像处理以提取表示在焊接操作期间形成的焊接特性的图像特征,并将该特性与阈值进行比较,当特性满足阈值时,在显示装置上显示警告。
公开的示例PPE包括显示装置、通信接口和处理器。显示装置在焊接操作之前显示指令信息,在焊接操作期间显示焊接参数测量,并显示描述焊接操作特性的性能信息。通信接口接收指令信息并接收焊接参数测量。处理器执行用于检测焊接操作的开始的指令,并且检测焊接操作完成,并且计算性能信息。显示装置在焊接操作开始之后显示焊接参数测量。
在一些示例PPE中,处理器执行数字图像处理以提取表示在焊接操作期间形成的焊接特性的图像特征,其中显示装置显示代表特性的信息。一些示例进一步包括用于接收第三指令的用户界面,其中响应于接收第三指令,处理器请求与第二焊接操作对应的第二指令,并且显示装置显示第二指令。
为了节省功率和/或降低功率消耗,所公开的示例将视频捕获装置置于视频捕获装置未主动捕获视频的睡眠模式。对弧光或诸如ZigBee的低功率无线协议敏感的光电二极管可用于诸如响应于刺激来通知视频捕获装置唤醒视频并开始捕获视频。例如,当处于睡眠或低功率模式时,视频捕获装置停止操作,除了监视光电二极管或Zigbee或其它无线电以检查输入信号(例如,来自与视频捕获装置通信的焊接设备)。如果接收到开始记录视频的信号,则无线无线电监视器生成中断和/或以其它方式唤醒主控制电路。示例信号可以指示触发器拉动和/或可疑的焊接异常(例如,正在形成的可疑的焊接缺陷)。
在一些示例中,焊接设备内部的无线(例如,ZigBee)协调器接收触发器拉动事件的通知,并将信号发送到头盔的无线电模块中的无线(例如Zigbee)节点。作为响应,无线节点激活WiFi无线电以经由诸如UDP、TFTP、lwIP、HTTP和/或任何其它协议的更高带宽协议来传输媒体(例如,视频和/或音频)。
在一些示例中,头盔向一个或多个云服务器提供媒体以存储和/或处理媒体。在一些示例中,头盔访问雾网以存储、处理、测量和控制图像数据。雾网络可以由头盔外部的一个或多个装置经由边缘和/或对等网络来实现。在一些示例中,头盔将介质(例如,视频和/或音频)存储在头盔内的本地闪速存储器和/或其它非易失性存储器中。头盔进一步实现HTTP和/或FTP服务器。在一些示例中,通过执行应用、HTTP客户端和/或FTP客户端,无线通信邻近内的智能手机用作边缘资源雾网络。示例智能手机访问存储在头盔的存储装置中的介质。在一些示例中,智能手机提供存储、处理和/或分析能力。焊接设备和/或智能手机可以作为头盔捕获的视频和音频的配置、合并、缓存和安全性的边缘资源。
在一些示例中,头盔使用对等网络(也称为点到点网络)将头盔上的记录装置捕获的实时视频传输到无线通信邻近内的智能手机和/或计算装置。即使当这些人由于焊接场景中和/或周围的物理限制而无法直接观察焊接场景(例如,焊接电弧)时,视频的传输也可使其他人观察焊接场景。在一些示例中,头盔包括RTSP服务器,并且与头盔通信的智能手机应用和/或计算装置包括RTSP客户端。头盔RTSP服务器结合媒体流传输的实时控制协议(RTCP)使用实时传输协议(RTP)。
在一些示例中,头盔包括无线天线和头盔佩戴者的头部之间的EMI屏蔽,以减少佩戴者的头部暴露于RF辐射。
在一些示例中,头盔包括用于捕获图像的相机和用于执行操作者识别和/或授权的图像识别处理器。在一些示例中,操作者面对头盔相机,并且焊接系统登录操作者。例如,焊接系统可以执行面部识别过程以分析操作者的面部特征并将特征与授权操作者的数据库进行比较。在一些示例中,数据库包括每个操作者的凭证,用于识别操作者是否被授权(例如,根据当前的焊工资格测试记录(WQTR)进行认证和/或由工作的主管批准)使用相应的焊接设备操作和/或操作指定的焊接任务和/或焊接任务的类型。另外地或可替代地,焊接系统可以包括识别属于焊工的识别卡上的代码的图像识别特征。响应于在数据库中识别焊工,焊接系统检查所识别的焊工的存在和/或过期信息的资格记录。
在一些示例中,当佩戴配备相机的头盔时,操作者可以以诸如用于在一定距离处计算机观察的非常大的字体中的QR码的标记来观察诸如气体和焊丝的焊接耗材(例如,通过定位头盔使得由相机观察的物品落在头盔镜头的视场内)。焊接系统可以执行图像处理以识别和登录用于焊接作业的耗材,和/或针对焊接过程规范(WPS)检查识别的耗材,用于可能导致焊接缺陷的不一致。如果识别了这种不一致,则焊接系统可以警告操作者和/或其他人,和/或禁止焊炬上的触发器。
在一些示例中,头盔上的相机在主动焊接操作上自动对焦。相机可以通过识别代表电弧的特征的位置(例如,场景中最亮区域)来自动对焦,并且聚焦在紧邻周围和/或邻近特征的区域,这在一些情况下最可能包括接头和/或电极。在一些示例中,相机还可以具有提供大景深的光学器件,使得相机容易地实现对所需区域的聚焦。
在一些示例中,相机执行光学和/或数字图像稳定。头盔可以包括一个或多个惯性测量单元(IMU),诸如多轴陀螺仪、多轴加速度计和/或多轴磁力计,用于检测、编码和/或测量头盔的运动(例如,当佩戴者的头移动以跟随电弧时的转动、振动、行进和摇动)。基于测量的运动,焊接系统通过使用例如微致动器和/或诸如压电晶体的微机电系统(MEMS)来移动镜头和/或成像器来补偿运动。另外或可替代地,焊接系统可以实现电子图像稳定(EIS)。通过使用图像稳定技术,诸如由Miller ElectricTM销售的的焊工培训系统可以使用头盔安装式相机替代或补充固定位置相机,以相对于焊接接头提取焊炬运动数据和/或焊炬角度数据。这种数据可能有益于焊工在固定位置(诸如360度5G位置和/或6G位置管道焊接)对相机困难或不可能的接头上焊接的后续培训。另外或可替代地,焊接头盔可以包括用于固定安装相机的传感器,用于跟踪头盔的运动并使用头盔位置和/或取向来将在头盔中由相机捕获的图像转换。
一些示例焊接系统包括焊接头盔上的高动态范围成像器或图像传感器阵列(例如,至少120dB的动态范围)和/或原始宽动态范围成像器(例如,至少140dB的动态范围)。在其它示例中,焊接系统包括具有至少100dB动态范围的中动态范围(MDR)成像器,以降低头盔的部件成本。可以使用的一个示例MDR成像器是由ON出售的MT9V024型。
在一些示例中,焊接头盔进一步包括取向为照射焊接场景的光源。照明可以是诸如LED阵列的主动光源。为了节省头盔的电池电量,当相机拍摄图像时,可以自动激活光源,并确定附加照明是有益的(例如,在相机处接收的亮度小于阈值)。另外或可替代地,主动光源可以通过诸如语音命令的操作者界面来激活和/或去激活。另外或可替代地,头盔可以设置有无源光源,诸如反射外表面。这种无源光源可以反射来自电弧的光以照射焊接场景。
一些示例头盔进一步包括捕获电弧光子能量的能量收集器,诸如太阳能电池。能量收集器可以为控制电路充电以操作相机电路、图像处理、无线装置和IMU。
在一些示例中,当处理捕获的图像时,处理器使用自动增益控制(AGC)来基于电弧信号来控制亮度。AGC也被称为自动曝光控制或自动亮度控制。当观察焊接电弧时,场景亮度的突然变化可能会造成困难的观察条件。AGC算法选择最亮和最暗区域之间的亮度或曝光值(例如,大致分割亮度差),以试图使整个场景可视化。然而,当观察到电弧区域的过度曝光是可以容忍的,但接头和焊丝的曝光不可接受时,AGC可能不提供适当的结果。焊接中的AGC的另一个问题是亮度迅速变化,例如,在电弧启动期间以及在从短路到断弧过渡期间从小的光到极亮的光。虽然常规算法使用平均方案和/或在数十个帧上的增益的逐渐变化,但是这种算法导致对电弧点火和再点火的实际事件的数字渲染图像中的延迟。
一些公开的示例曝光控制器使用来自电源或送丝器的电弧信号(例如,经由有线或无线数据连接)作为前馈信号,以适应光学传感器和/或图像处理的曝光时间。具体来说,一些示例使用电弧电压来确定场景中是否有电弧。如果感测的电弧电压(例如,不包括焊接电缆电压和电极粘附电压以及焊丝和接触焊头之间的接触电压等)大于14V,则曝光控制器确定存在电弧,并且作为响应,减少曝光以显露诸如接头和焊丝延伸部的黑暗区域的细节。曝光控制器也可以对相对较亮的场景使用更积极的图像压缩比和/或数字图像滤波器。相反,当感测的电弧电压小于14V时,曝光控制器确定电弧不存在,并且场景较暗。响应于确定不存在电弧,曝光控制器使用更长的曝光和较不积极的图像压缩比和/或数字图像滤波器。
在一些示例中,补充或替代电弧信号,曝光控制器还使用电弧功率作为电弧亮度的代理。例如,曝光控制器可以使用电弧电压或电弧电流的电平(或作为电弧功率的电压和电流的乘积)来预测场景的亮度,从而调节曝光并选择相应的图像处理算法及其参数。因此,诸如在脉冲焊接和短路焊接中,和/或当使用电弧亮度快速变化(例如,20Hz至250Hz的频率)的焊接过程时,示例曝光控制器更有效地适应电弧开始和/或停止。
公开的示例焊接培训系统包括显示器、相机,与焊接设备通信的通信装置以及具有视口的焊接头盔。在公开的示例焊接培训系统中,焊接头盔保持相机、通信装置和显示器,使得当焊接头盔由佩戴者佩戴时,显示器可由佩戴者观察,相机具有通过视口的视图,使得显示器通过视口将相机拍摄的佩戴者图像显示出来,并且显示基于经由通信装置从焊接设备接收的信息生成的模拟对象。在一些示例中,通信装置向焊接设备发送命令以使焊接设备在培训或模拟模式中操作。
在一些示例中,通信装置接收识别模拟焊接开始的触发信号,显示器响应于接收到触发信号而显示模拟对象。在一些示例中,焊接培训系统、显示器、相机和通信装置在与焊接头盔一体的智能手机或平板计算机中。在一些示例中,显示器、相机和通信装置在与焊接头盔一体的智能手机或平板计算机中。在一些示例中,智能手机或平板计算机包括麦克风和处理器。处理器识别经由麦克风接收的第一音频命令,响应于接收到音频命令开始焊接培训操作,包括经由显示器向佩戴者显示图像和模拟对象。处理器识别经由麦克风接收的第二音频命令,并响应于第二音频命令结束焊接培训操作。
一些示例焊接培训系统进一步包括执行软件以向佩戴者提供焊接培训的处理器。在一些示例中,处理器将模拟焊接电弧、模拟焊道或模拟焊接熔池中的至少一个作为模拟对象。在一些示例焊接培训系统中,通信装置从焊接设备接收焊接参数。一些示例进一步包括处理器,用于处理图像以提取多个焊接条件,并且基于焊接参数并且基于多个焊接条件呈现模拟对象,其中显示器采用基于图像的位置和视角将模拟对象叠加在图像上。在一些这种示例中,焊接条件包括以下中的至少一个:接触焊头到工件距离、工件测量厚度、工件嵌合、相对于接缝的焊炬瞄准、焊炬行进角度、焊炬工作角度或焊炬行进速度。在一些这种示例中,模拟对象包括模拟焊接电弧、模拟焊接熔池、模拟飞溅、模拟烟雾或模拟焊道中的至少一个。一些示例进一步包括用于输出模拟电弧声音或模拟气流声音中的至少一种的扬声器。在一些示例中,焊接参数包括电压设定点、电弧长度设定点、电流设定点或送丝速度设定点或焊接程序预设中的至少一个。
在一些示例焊接培训系统中,处理器处理图像以提取焊接场景的特性,并进一步基于特性呈现模拟对象,其中特性包括焊接过程类型、焊炬类型、焊接条件、焊接消耗类型、焊接接头类型、定位焊接存在、工件表面清洁度、焊接夹具状态或焊接夹钳状态中的至少一个。
在一些示例焊接培训系统中,通信装置被配置为经由无线通信与焊接设备通信。一些示例焊接培训系统包括处理器,通过提取和分析图像的特征来测量焊接场景的第一特性,确定第一特性和第二特性之间的差异是否对应于不可接受的焊接条件,并且当该差异对应于不可接受的焊接条件时,经由显示器输出指示焊接场景具有不可接受的焊接条件的警告。
一些示例焊接培训系统包括处理器,用于分析图像以识别图像中的对象和对象之间的空间关系,呈现代表空间关系的图形,并将图形叠加在显示器上的图像上。在一些示例中,通信装置与焊接设备通信以检测模拟焊接操作的开始或模拟焊接操作的结束,并且显示器响应于模拟焊接操作的开始呈现模拟对象,或响应于模拟焊接操作的结束移除模拟对象。
在一些示例中,相机是高动态范围相机,并且图像是高动态范围图像。在一些示例中,相机是中动态范围相机,并且图像是中动态范围图像。在一些示例中,相机是宽动态范围相机,并且图像是宽动态范围图像。在一些示例中,图像是视频和/或静止图像。
一些示例焊接培训系统进一步包括处理器,其使用距离参考来校准图像的距离测量,并使用校准的距离测量来测量存在于图像中的对象的物理特性。在一些示例中,通信装置将图像发送到外部计算装置。在一些示例中,显示器将显示覆盖在图像上的焊接指令信息。
参考图1,示出了示例焊接系统10,其中操作者18正佩戴焊接头具20并且使用焊炬22焊接工件24,经由导管14由装置12输送功率或燃料到焊炬22。设备12可以包括电源或燃料源,可选地是保护气体的源,并且其中由送丝器自动提供焊丝/填充材料。图1的焊接或切割系统10可以通过任何已知技术构成焊接接头,包括火焰焊接技术,诸如氧-燃料焊接和电焊技术,诸如屏蔽金属电弧焊(即棒焊)、金属惰性气体焊接(MIG)、钨惰性气体焊接(TIG)和等离子体切割。
可选地,在任何实施例中,焊接设备12可以是电弧焊接设备,其向可消耗或不可消耗的电极16提供直流(DC)或交流(AC)(更优选地例如在图5C中示出)。电极16将电流输送到工件24上的焊接点。在焊接系统10中,操作者18通过操纵焊炬22并触发电流的开始和停止来控制电极16的位置和操作。当电流流动时,在电极和工件24之间形成电弧26。导管14和电极16因此输送足以在电极16和工件之间产生电弧26的电流和电压。在电极16与工件24之间焊接点处,电弧26局部熔化工件24和提供给焊接接头512的焊丝或棒(在消耗电极的情况下为电极16,或在非消耗电极的情况下为可选地分开的焊丝或棒),从而当金属冷却时形成焊接接头512。
如下面更充分地示出和描述的,设备12和头具20可以经由链路25进行通信。这种通信可以使得头具20能够控制设备12和/或设备12的设置,以将关于其设置的信息提供给头具20。尽管示出了无线链路,但是链路可以是无线的、有线的或光学的。
服务器30和头具20可以直接或间接地通信。对于前者,服务器30和头具20可以经由链路27进行通信。间接通信可以包括例如头具20经由链路25向设备12发送时间戳图像和/或其它数据,其中设备12组合图像和/或数据与自身数据,并且然后经由链路29将组合的数据中继到服务器30。类似地,服务器30和设备12可以直接或间接地通信。对于前者,服务器30和设备12可以经由链路25进行通信。间接通信可以包括例如设备12经由链路25向头具20发送时间戳数据,并且头具20将数据与捕获的图像和/或数据组合,并且然后经由链路27将组合的数据中继到服务器30。另一示例是在焊接期间减少链路25上的实时数据流量,同时保持头盔20和设备12捕获的视频的同步。例如在22处由操作者触发拉动时,设备12经由链路25向头具20发送开始同步命令。此后,头具20记录具有由开始同步命令启动的时间戳的视频或图像,并且设备12还记录由独立于头具20的相同开始同步命令启动的焊接数据。在触发释放或完成焊接时,头具20经由通信链路27将时间戳的视频或图像上传到服务器30,并且设备经由通信链路29将时间戳的焊接数据上传到服务器30。服务器30用允许同步数据的回放的公共时间戳将视频数据和焊接数据一起组合。
链路25、27和29可以使用任何合适的协议,诸如蓝牙、蓝牙低功耗、WiFi、Zigbee等。
服务器30可以是例如数据中心中的本地或远程/云工作站或服务器。例如,头具20可以将由头具20捕获的图像和/或其它数据(例如,电弧长度、温度等)发送到服务器30以进行实时交互(例如,观察、注释等)和/或分析(例如,焊炬、工件和/或电弧的参数)。作为另一示例,头具20可以将由头具20捕获的图像和/或其它数据发送到服务器30用于记录/存储用于以后的交互和/或分析。作为另一示例,服务器30可以基于从头具20接收的图像和/或其它数据的分析来向头具20发送信息(例如,视觉和/或音频指令以调节各种参数)。在示例实施方式中,服务器30是焊工培训系统的部件,其中焊接操作者18的运动由一个或多个外部安装的相机32跟踪。在培训期间,操作者18的运动可以与头具20的相机(例如,图4的相机414)拍摄的视频一起被捕获,用于服务器30处的同步回放。服务器30的一个示例使用是为了质量控制的目的。在生产焊接期间,设备12捕获焊接信号数据,而头具20捕获代表操作者看到的视频数据。两个数据都被发送到服务器30。由于视频数据的大量存储需求,服务器30可以是可以比本地服务器更方便地提供大量存储的远程服务器。当发现缺陷时,从远程服务器30检索焊接信号数据和视频数据二者以进行回放和故障分析。尽管示出了无线链路,但是链路可以是无线、有线或光学的。
图2示出了根据本公开的方面的示例焊接设备。图2的设备12包括天线202、通信端口204、通信接口电路206、用户接口模块208、控制电路210、电源电路212、送丝器模块214和气体供应模块216。
天线202可以是适合于由通信链路25使用的无线电频率、功率等级等的任何类型的天线。
通信端口204可以包括例如以太网端口、USB端口、HDMI端口、光纤通信端口和/或用于与有线或光缆连接的任何其它合适的端口。
通信接口电路206可操作以将控制电路210连接到天线202和/或端口204用于发送和接收操作。为了发送,通信接口206可以从控制电路210接收数据,并将数据分组化并根据通信链路25上使用的协议将数据转换成物理层信号。为了接收,通信接口可以经由天线202或端口204接收物理层信号,从接收的物理层信号恢复数据(解调、解码等),并将数据提供给控制电路210。
用户界面模块208可以包括机电接口部件(例如,屏幕、扬声器、麦克风、按钮、触摸屏、手势识别等)和相关联的驱动电路。用户界面208可以响应于用户输入(例如,屏幕触摸、按钮按压、语音命令、手势识别等)而生成电信号。用户界面模块208的驱动器电路可以调节(例如,放大、数字化等)信号并将其提供给控制电路210。用户界面208可以响应于来自控制电路210的信号生成可听、视觉和/或触觉输出(例如,经由扬声器、显示器和/或电机/致动器/伺服器等)。
控制电路210包括电路(例如,微控制器和存储器),其可操作以处理来自通信接口206,来自用户界面208的数据,来自电源212,来自送丝器214和/或来自气体供应216的数据。控制电路210包括电路(例如,微控制器和存储器),其可操作以将数据和/或控制信号输出到通信接口206、到用户界面208、到电源212、到送丝器214,和/或到气体供应216。
电源电路212包括用于生成经由导管14输送到焊接电极的功率的电路。电源电路212可以包括例如一个或多个模拟电源、降压转换器、逆变器等。由电源电路212输出的电压和/或电流可以由来自控制电路210的控制信号来控制。电源电路212还可以包括用于感测和报告到控制电路210的实际电流和/或电压反馈的电路。在示例实施方式中,电源电路212可以包括用于测量导管14上(在导管14的任一端或两端处)的电压和/或电流的电路,使得所报告的电压和/或电流是实际的,并且不仅仅是基于校准的期望值。
送丝器模块214被配置为将可消耗焊丝电极16输送到焊接接头512。送丝器214可以包括例如用于保持焊丝的线轴,用于将焊丝从线轴拉出发送到焊接接头512的送丝器,以及用于控制送丝器输送焊丝的速率的电路。可以基于来自控制电路210的控制信号来控制送丝器。送丝器模块214还可以包括用于向控制电路210报告实际的焊丝速度和/或剩余的焊丝量的电路。在示例实施方式中,送丝器模块214可以包括用于测量焊丝速度的电路和/或机械部件,使得所报告的速度是实际速度,而不是简单地基于校准的期望值。
气体供应模块216配置成经由导管14提供在焊接过程期间使用的保护气体。气体供应模块216可以包括用于控制气体开/关的电控阀。阀门可以由来自控制电路210的控制信号(其可以通过送丝器214进行路由或直接从控制电路210进入,如虚线所示)来控制。气体供应模块216还可以包括用于向控制电路210报告当前气体流量的电路。在示例实施方式中,气体供应模块216可以包括用于测量气体流量的电路和/或机械部件,使得速率是实际的,而不是简单地基于校准的期望值。
图3A、3B、3C、4A、4B和4C示出根据本公开的方面的示例焊接头具20。示例头具20是头盔,其包括安装在其中或安装到其的壳体306:包括光学部件302的一个或多个相机414、一个或多个显示器304、305、机电用户接口部件308、天线402、通信端口404、通信接口406、用户界面驱动器电路408、中央处理单元(CPU)410、扬声器驱动器电路412、图像处理器416、图形处理单元(GPU)418、显示器驱动器电路420、传感器422、电源424和存储器426。图4的示例存储器426存储可由处理器410执行以实现本文公开的示例的机器可读指令428。在其它实施例中,并非头盔,头具可以是例如面罩、眼镜、护目镜、面罩附件、眼镜附件或护目镜附件等。在其它示例实施方式中,414可以安装到焊接夹具、机器人(例如,无人机)、焊炬(可能具有光纤发送的图像)和/或适于捕获关于焊接操作的图像和/或数据信息的任何其它位置。头具20的部件可以驻留在一个或多个印刷电路板(PCB)或柔性电路上。在仅示出一个说明的示例中,当通信接口406、用户界面驱动器408、处理器410、扬声器驱动器412、GPU 418、显示器驱动器420和/或存储器426驻留在PCB430上时,电源424、相机414、天线402、端口404、显示器304、控制装置308被实现为与PCB 430分离/耦合的子系统(可能包括它们自己的PCB)。
每组光学器件302可以包括例如一个或多个镜头、滤光器和/或用于在例如红外到紫外线的光谱中捕获电磁波的其它光学部件。在示例实施方式中,用于两个相机的光学器件302a和302b可以被定位成与头具20的佩戴者的眼睛大致居中,以捕获如果通过镜头观察则头具20的佩戴者将具有的视场的图像(以从30到100fps或更高的静止照片到视频的任何合适的帧速率拍摄)。在一些示例中,多个相机拍摄立体图像。立体系统基于图像的四个角度计算视场的尺寸。例如,立体系统基于相机或光学传感器之间的预定间距来计算图像点的实际坐标,并且计算点之间的真实距离。
在一个示例中,光学传感器414具有在单帧时间内在每个像素处具有对数响应的高动态范围(HDR)、中动态范围或宽动态范围(WDR)成像阵列,其中动态范围超过120dB至>140dB。2015年12月22日提交的题为“自动化焊接转换平台”的美国专利申请序列号14/978,141中公开了使用高动态范围、宽动态范围等捕获焊接场景的图像的示例技术。美国专利申请序列号14/978,141的全部内容通过引用并入本文。对数响应成像器允许观察典型的弧高对比度焊接场景,其中混合高强度弧光和低光环境,诸如接头、焊接熔池、电极延伸部等,而不会使传感器饱和,并且抑制空间-时间光的适应。对数响应成像器有效地自动平衡曝光并观察细节,诸如焊池表面和明亮弧附近的接缝。传感器可以是例如由接头、接触焊头、电极等反射的光的可见波长的CMOS,或者例如通过凝固焊池发射的用于短波红外波长的InGaAs。成像器可以是单色或彩色。
在又一示例中,光学传感器414可以具有在单个帧时间中在每个像素处具有多个响应或曝光时间的成像阵列,以扩大观察焊接场景的高对比度问题的动态范围。例如,与明亮弧相关联的像素可以具有比周围场景中的像素的曝光时间的一小部分,使得像素的充电被减慢以避免饱和。
在另一个示例中,光学传感器414是帧速率超过每秒500至1000帧或基本上比金属转移和焊池振荡动态更快以避免混叠的高速相机。在优选的实施方式中,相机具有通过短皮秒积分时间、同步曝光和高速并行读出实现的具有高光响应性的CMOS像素阵列,以及其它技术。优选的帧速率至少为焊接物理动力学的10倍,通常在50Hz至250Hz之间。为了减少视频文件的大小,可以以固定间隔的突发模式或来自设备12的同步触发来进行高帧速率图像采集(例如2KHz、10KHz或更高),以捕获特定的金属液滴转移或焊池振荡事件。
在另一个示例中,光学传感器414是用于3D深度感知的ToF测距深度相机,并且克服明亮的电弧光和黑暗环境之间的光强度对比度。在优选的实施方式中,脉冲调制照明具有与电弧光谱异相或避免电弧光的光谱峰值的近红外波长。
在另一个示例中,光学传感器414是具有3D深度感知的结构化光3D扫描相机,并且克服明亮的电弧光和黑暗环境之间的光强度对比度。通常,帧速率是缓慢的,但是对于诸如接缝跟踪的操作来说,操作者的头部相对静止,和/或运动传感器跟踪和计算头部运动,这可能是足够的。
在另一个示例中,光学传感器414包含以上的组合技术,例如组合的高动态范围和高帧速率成像、具有两个HDR成像的立体视觉,组合的HDR成像和ToF成像。
显示器304可以包括例如LCD、LED、OLED、电子墨水、近眼光场显示器,和/或可操作以将电信号转换成可由头具20的佩戴者可观察的光学信号并且在某些情况下产生包括虚拟现实和增强现实在内的介导现实的任何其它合适类型的显示器。在图3A的示例中,显示器304与头具20成一体。在图3B的示例中,显示器304是安装到头具20的外部或内部(诸如头具20的镜头432的外侧或内侧)的移动装置(例如,智能手机、平板计算机等)的一部分。在图4A的示例中,显示器304是与头具20分离的装置,并且被佩戴在头具20的下方,使得显示器304在头具20的视场内(例如,头具20的镜头432的视场)。
机电用户界面部件308可以包括例如响应于用户输入而生成电信号的一个或多个触摸屏元件、扬声器、麦克风、物理按钮、手势控制、脑电图控制等。例如,机电用户界面部件308可以包括安装在显示器304背面(即,头具20的外侧上)上的电容、感应或电阻式触摸屏传感器,其使得头具20的佩戴者能够与显示在显示器304的前面上(即,在头具20的内侧上)的用户图形交互。
天线402可以是适合于由通信链路25使用的射频、功率等级的任何类型的天线。
通信端口404可以包括例如以太网、USB端口、HDMI端口、光纤通信端口和/或用于与有线或光缆连接的任何其它合适的端口。
通信接口电路406可操作以将处理器410接口到天线202和端口204以进行发送和接收操作。对于发送操作,通信接口406可以从处理器410接收数据,并且将数据分组化并根据通信链路25上使用的协议将数据转换为物理层信号。待发送的数据可以包括,例如,用于控制设备12的控制信号。对于接收操作,通信接口可以经由天线202或端口204接收物理层信号,从接收到的物理层信号(解调、解码等)恢复数据,并将数据提供给处理器410。所接收的数据可以包括例如设备12的当前设置和/或实际测量输出的指示。对于电焊接,这可以包括例如电压、电流和/或焊丝速度设置和/或测量。对于火焰焊接,这可以包括例如气体流量和/或气体混合比设置和/或测量。
在一些示例中,通信接口406包括接收触发拉动事件的通知的无线(例如,ZigBee)协调器,并将该信号发送到处理器410(例如,无线节点)。作为响应,处理器410使通信接口的WiFi无线电能够经由诸如FTP、HTTP和/或任何其它协议的更高带宽协议来传输媒体(例如,视频和/或音频)。
在一些示例中,头具20(例如,经由处理器410和通信接口406)向一个或多个云服务器提供介质(例如,视频、音频、焊接数据)以存储和/或处理介质。在一些示例中,头具20访问雾网络以存储、处理、测量和控制图像数据。雾网络可以经由边缘和/或对等网络由头盔20外部的一个或多个装置来实现。在一些示例中,头具20将介质存储在头盔内的本地闪速存储器和/或其它非易失性存储器(例如,在存储器426中)。头具20可以实现HTTP和/或FTP服务器以实现数据传输。在一些示例中,通过执行应用、HTTP客户端和/或FTP客户端,无线通信邻近内的智能手机用作边缘资源雾网络。示例智能手机访问存储在头具20的存储装置中的介质。在一些示例中,智能手机提供存储、处理和/或分析能力。焊接设备和/或智能手机可以是边缘资源,用于由头具20捕获的视频和音频的配置、汇集、缓存和安全性。
在一些示例中,头具20使用对等网络(也称为点到点网络)将头具20上的相机414捕获的实时视频发送到无线通信邻近内的智能手机和/或计算装置)。即使当这些人由于焊接场景中和/或周围的物理限制而无法直接观察焊接场景(例如,焊接电弧)时,视频的传输也可使其他人观看焊接场景。在一些示例中,头具20包括RTSP服务器,并且与头盔通信的智能手机应用和/或计算装置包括RTSP客户端。头具20RTSP服务器使用实时传输协议(RTP)与实时控制协议(RTCP)结合用于媒体流发送。
用户界面驱动器电路408可用于调节(例如,放大、数字化等)来自用户界面部件308的信号。
处理器410可操作以处理来自通信接口406、用户界面驱动器408、图像处理器416和GPU 418的数据,并且生成要输出到扬声器驱动器电路412、GPU 418和通信接口406的控制和/或数据信号。输出到通信接口406的信号可以包括例如用于控制设备12的设置的信号。这种信号可以基于来自GPU 418和/或用户界面驱动器408的信号来生成。来自通信接口406的信号可以包括例如当前设置和/或设备12的实际测量输出的指示(经由链路25接收)。到GPU 418的信号可以包括例如用于控制显示器304上呈现的用户界面的图形元素的信号。来自GPU 418的信号可以包括例如基于由相机414捕获的像素数据的分析确定的信息。
扬声器驱动器电路412可操作以调节(例如,转换为模拟、放大等)来自处理器410的信号,以输出到用户界面部件308的一个或多个扬声器。这种信号可以例如携带用于提醒头具20的佩戴者的音频(焊接参数超出公差,焊接正在顺序地执行),以向头具20的佩戴者提供音频指令等。
一个或多个相机414可操作以捕获头具20周围的物理环境的图像。相机414可操作以捕获任何合适波长的电磁波,例如从红外至紫外线。在示例实施方式中,可以存在用于捕获立体图像的两个相机414,通过处理所捕获的图像,可以从其获得3D定位信息。在示例实施方式中,相机414可以各自包括一个或多个高动态范围图像传感器(例如,约140dB或更多的动态范围),使得图像的观看者可以同时看到焊接电弧和工件。在另一示例实施方式中,来自多个图像传感器的图像可以被组合(例如,通过如下面所讨论的GPU 418)以生成具有比由任何图像传感器单独支持的更高动态范围的合成图像。在一个示例中,光学传感器414和光学器件302部件安装在显示器304的后面。在另一示例中,光学传感器414和光学部件302部件安装在显示器304的外部。
在一些示例中,图像处理器416包括执行操作者识别和/或授权的图像识别处理器。为了执行操作者识别/授权,操作者面对头盔相机,图像处理器416执行面部识别处理以分析操作者的面部特征并将特征与授权操作者的数据库进行比较。在一些示例中,数据库包括每个操作者的凭证,用于识别操作者是否被授权(例如,合格的、批准的)使用相应的焊接设备进行操作和/或操作指定的焊接任务和/或焊接任务类型。另外或可替代地,图像处理器416可以包括识别属于焊工的识别卡上的代码的图像识别特征。响应于在数据库中识别焊工,焊接系统检查所识别的焊工的存在和/或过期信息的资格记录。
在一些示例中,当佩戴配备相机的头盔时,操作者可以观察诸如气体和焊丝的焊接耗材(例如,通过定位头盔,使得由相机观察的物品落在头盔镜头的视场内)。图像处理器416可以执行图像处理以识别和登录用于焊接作业的耗材,和/或针对WPS检查所识别的耗材,用于可能导致焊接缺陷的不一致。如果识别出这种不一致,则头具20警告操作者(例如,经由显示器304和/或扬声器驱动器412)和/或其他人(例如,经由通信接口406)和/或禁用焊炬上的触发器。
在一些示例中,图像处理器416使相机414自动对焦于主动焊接操作。图像处理器416可以通过识别表示电弧的特征的位置(例如,场景中最亮的区域)来控制自动对焦,并且指示相机414聚焦在紧邻周围和/或相邻的特征的区域,其在一些情况下最可能包括接头和/或电极。在一些示例中,相机414还可以具有提供大景深的光学元件,使得相机容易实现对所需区域的聚焦。
在一些示例中,图像处理器416控制相机414执行光学和/或数字图像稳定。传感器422可以包括一个或多个惯性测量单元(IMU),诸如多轴陀螺仪、多轴加速度计和/或多轴磁力计,以检测、编码和/或测量头盔的运动(例如,当佩戴者的头部移动以跟随电弧时头盔的转动、振动、行进和摇动)。基于所测量的运动,图像处理器416通过使用例如微致动器和/或诸如压电晶体的微机电系统(MEMS)移动镜头和/或成像器来补偿运动。另外或可替代地,图像处理器416可以实现电子图像稳定(EIS)。通过使用图像稳定技术,由Miller ElectricTM销售的焊工培训系统(诸如)可以使用头盔安装式相机替代或补充固定位置相机,以相对于焊接接头提取焊炬运动数据和/或焊炬角度数据。这种数据可能有益于焊工在固定位置(诸如360度5G位置和/或6G位置管道焊接)对相机困难或不可能的接头上焊接的后续培训。另外或可替代地,传感器422可以包括用于固定安装相机的传感器,用于跟踪头盔的运动并使用头盔位置和/或取向来转换相机414在头盔中捕获的图像。
一些示例相机414包括头具20上的高动态范围成像器或图像传感器阵列(例如,至少120dB的动态范围)和/或原始宽动态范围成像器(例如,至少140dB的动态范围)。在其它示例中,焊接系统包括具有至少100dB动态范围的中动态范围(MDR)成像器,以降低头盔的部件成本。可以使用的一个示例MDR成像器是由ON出售的MT9V024型。
在一些示例中,头具20进一步包括定向为照射焊接场景的光源。照明可以是诸如LED阵列的主动光源。为了节省头具20的电池功率,当相机414拍摄图像并且确定附加照明是有益的(例如,在相机414处接收的亮度小于阈值)时,可以自动激活光源。另外或可替代地,主动光源可以通过诸如语音命令的操作者界面来激活和/或去激活。另外或可替代地,头具20可以设置有无源光源,例如反射外表面。这种无源光源可以反射来自电弧的能量来照射焊接场景。
图像处理器416包括曝光控制器,其从电源或送丝器(例如,经由诸如通信接口406的有线或无线数据连接)接收电弧信号作为前馈信号,以使曝光时间适于光学传感器和/或图像处理。具体地,图像处理器416可以使用电弧电压来确定场景中电弧的存在和不存在。如果感测到的电弧电压(例如,不包括焊接电缆电压和/或电极伸出电压)大于14V,则图像处理器416确定存在电弧,并且作为响应,减少曝光以显露诸如接头和焊丝延伸部的黑暗区域的细节。图像处理器416还可以对相对较亮的场景使用更积极的图像压缩比和/或数字图像滤波器。相反,当感测到的电弧电压小于14V时,图像处理器416确定不存在电弧并且场景较暗。响应于确定不存在电弧,图像处理器416使用更长的曝光和较不积极的图像压缩比和/或数字图像滤波器。
在一些示例中,除了电弧信号之外,图像处理器416还使用电弧功率作为电弧亮度的代理。例如,图像处理器416可以使用电弧电压或电弧电流(或电压和电流的乘积,其是电弧功率)的电平来预测场景的亮度,从而调节曝光并选择相应的图像处理算法及其参数。因此,图像处理器416更有效地适应于电弧开始和/或停止,和/或当使用电弧亮度快速变化(例如20Hz至250Hz的频率)的焊接过程时,诸如在脉冲焊接和短路焊接中。
图形处理单元(GPU)418可操作以从相机414接收和处理像素数据(例如,立体图像或二维图像),以将一个或多个信号输出到处理器410,并且将像素数据输出到显示器304。如上所述,来自相机414的像素数据的处理可以包括将来自第一光学传感器414或图像传感器的图像与来自第二光学传感器414或图像传感器的图像组合以获得比单独的第一个第二图像更高的动态范围的结果合成图像。GPU 418执行的处理可以包括压缩图像以减少用于发送它们的必要带宽和/或用于存储它们的必要存储器。
GPU 418对像素数据的处理可以包括例如分析像素数据,以便实时地(例如,等待时间小于100毫秒,或者更优选小于20毫秒,或更优选小于5毫秒)确定以下的一个或多个:工件24的名称、尺寸、部件号、金属类型或其它特性;电极16和/或填充材料的名称、尺寸、部件号、金属类型或其它特性;要焊接的接头512的类型或几何形状;在捕获的视场中的物品(例如电极、工件等)的2-D或3-D位置、用于视场中进行的焊接的一个或多个焊接参数(例如,诸如下面参照图5描述的那些);在视场中的一个或多个物品的测量(例如,被焊接的接头或工件的尺寸,在焊接期间形成的焊道的尺寸,在焊接期间形成的焊接熔池的尺寸等);和/或可以从像素数据中收集的任何其它信息,并且其可以有助于实现更好的焊接,培训操作者,校准系统10等。
在一个示例中,图1中的部件4A包含在诸如iPhone(苹果)或Android(安卓)手机的智能手机中,包括光学传感器414。在这种示例中,头具20具有用于固定和容纳具有相机和WIFI的智能手机或平板计算机的保持器,其中(例如)一个智能手机相机面向与头盔佩戴者相同的方向,头盔上透明开口,以便智能手机相机观察焊接场景。手机可以被定位成使得镜头432位于智能相机前面(可以是用于佩戴者眼睛的那个相同的)。在一些示例中,镜头432可以被省略,因为智能手机保护佩戴者的眼睛免受电弧。
在示例实施方式中,处理器410接收触发光学传感器414开始和/或停止视频记录的同步信号。在一些示例中,光学传感器414在智能手机中,并且“应用程序”(应用)可以在智能手机上运行以接收同步信号并且控制光学传感器414。同步信号可以由头具的电路20或者通过头盔20外部的电路生成。同步信号可以例如是:由设备12的电路生成并经由天线402接收;由传感器422(例如,无源红外传感器或光电二极管)生成并通过光学传感器414和传感器422之间的有线或无线接口发送到光学传感器414;由智能手机(其可安装到头盔或安装在头盔内)生成;等等。同步信号可以例如响应于:触发器触发器的拉动;捕获环境光强度的光电二极管的输出变化;使用图像处理算法检测由光学传感器414捕获的图像中的焊接电弧;和/或任何其它合适的刺激。
同步信号可以是例如可以叠加/覆盖由应用文本或图形记录的视频的相关联的焊接视频的电弧数据(电压、电流、焊丝速度等)。焊接设备12可以是焊接电源、焊炬、送丝器、焊接单元中的通信模块、机器人、用户界面模块等。在焊接完成后,视频可以自动上传到云端。或者使用对等视频服务、托管视频服务和/或视频直播服务来现场发送,以在远程位置和/或在本地经由连接到如与查看器相同服务的平板计算机/智能手机观察。该信号还可以是来自观察流视频的另一个人的指令、音频命令或视觉指令。远程服务器或应用程序进行数字图像处理,并对焊接过程(电弧长度、焊丝放置、焊池尺寸等)和/或焊接结果(焊接尺寸、焊接图案、焊接长度等)进行一些测量。智能手机可以具有分屏,诸如位于每个操作者眼睛前方的一个屏幕,以产生立体视觉效果。智能手机还可以具有诸如美国专利No.8,957,835中所公开的近眼增强现实显示技术。该应用可以自动检测亮度并在使用滤光器时相应地进行调节。该应用程序可以具有用于黑暗、录制、静态镜头、可听见的反馈设置的可变设置点。应用程序可以接收输入,诸如来自加速度计和/或陀螺仪,以感测头部运动并补偿运动、声音输入或其它远程输入。应用程序和滤光器可以独立于头盔或耳机(手持式、台架式、支架式等)使用。在虚拟现实模式下,智能手机应用程序可以模拟电弧和焊接。当与其它传感器一起使用时,虚拟现实应用程序可以用于如下所述的操作者培训。
在示例实施中,VR培训应用程序在容纳在头盔内部或外部的智能手机或平板计算机上执行,提供使用其现有焊接设备和智能手机或平板计算机装置的软件操作者培训系统。因此,不需要专门的焊接培训设备,并且任何焊接设备都可以转换成培训工具。
在一些示例中,应用程序可以使操作者能够在实际被焊接的工件上进行焊接,而不是在模拟或实验室设置上进行焊接。操作者将具有计算机可读字形符号的校准或标记带或条带放置在焊接场景上(例如,在工件或焊件和/或焊炬本体上)。标记可以是本地化代码或图案的高对比度字形符号。可替代地,斑点图案可以蚀刻到工件中用于定位。该应用程序采用设备在执行应用程序的装置上的相机来识别本地化代码,以针对距离的真实世界单位来校准图像/视频中的场景对象。使用从标记确定的校准距离,应用程序测量诸如行进速度的焊接工具(焊炬)运动。
在示例顺序中,操作者配置真实的焊接设备(例如,设置参数)并且准备用于实际焊接的焊接设备,而不以模拟模式配置焊接设备。操作者拉动触发器。智能手机或平板计算机中的VR应用程序可以获取实时图像,执行包括对象识别的图像处理,并基于捕获的图像呈现重构的场景图像,并将虚拟对象叠加到场景图像中。示例虚拟对象包括虚拟电弧、虚拟焊池、虚拟飞溅和/或飞溅、虚拟送丝和/或虚拟焊道。随着焊接参数改变或焊炬操纵改变和/或头部姿势、头盔位置和/或头盔取向改变,真实场景中的相应重建对象与虚拟电弧、虚拟池和/或虚拟焊道动画也根据电弧物理学和热力学模型的行为模型相应地改变。在一些情况下,该应用程序配备了更简单版本的这种模型,以实现足够的性能,诸如响应时间。另外或可替代地,应用程序向远程服务器发送数据以执行模型,并通过通信接口接收结果。
代替使用定位标记,在一些示例中,焊炬内的IMU提供位置数据,应用程序用于确定焊炬行进速度并呈现虚拟池和焊道形状。在2016年1月22日提交的题为“手动跟踪和惯性测量单元的指导”的美国专利申请序列号15/004,801中描述了使用IMU确定焊炬行进速度的示例技术。美国专利申请序列号15/004,801的全部内容通过引用并入本文。在其它一些示例中,智能手机可以配备红外附件,诸如红外(IR)感测相机来测量焊炬行进速度。红外感测相机可以从布置在焊炬本体上的IR照明器和/或IR反射器接收IR光以捕获焊炬运动。为了补偿头部移动,可以将IR反射器放置在一个或多个静止对象(诸如焊接夹具)上,以校准和/或变换从移动的相机拍摄的图像。固定的红外反射器可以具有与焊炬上的反射器不同的形状,或者可以使用不同的波长来区分焊炬与固定的标记或场景锚。虽然一些示例使用智能手机/平板计算机来识别焊炬速度,但在其它一些示例中,IR检测和处理电路被单独封装(例如,在包含IR相机、光学器件、传感器和计算硬件和软件的电路板上)来跟踪焊炬运动、取向和/或速度。示例IR检测和处理电路向智能手机或平板计算机提供移动、取向和/或速度信息,以用于生成焊接记录和/或向操作者显示数据。示例标记(例如,IR反射器)在下面参照图6F进行描述。
智能手机或平板计算机可以接收来自焊接设备的无线(例如,蓝牙)同步信号,以开始和/或结束操作者在物理焊接设备上设置的VR模拟和焊接参数。另外或可替代地,智能手机可以接收和处理来自操作者的语音命令,以在智能手机安装在头盔内或以其它方式由手指触摸不可触及时执行操作。智能手机/平板计算机可以在焊接完成之后显示焊接结果或焊炬运动的摘要(例如,热输入、焊道宽度、穿透率、行进速度、焊炬角度等)。
可以将从图像处理确定的参数与正在执行的焊接的焊接程序规范WPS进行比较。如果存在与WPS的偏差超过确定的公差窗口,则可以生成警告(例如,视觉、听觉和/或触觉)。例如,图像处理可以测量处理器410然后可以与WPS进行比较的焊接宽度和长度。作为另一示例,图像处理可以执行接缝跟踪以跟踪接点并且测量相对于接点的焊丝布置,并且处理器410可以将该测量与WPS进行比较,并且如果焊丝离开接点超过确定的公差,则警告操作者。用于确定各种参数的图像处理可以考虑并由焊接作业的先验知识辅助,诸如工件的尺寸、焊丝尺寸、气体类型等。
从GPU 418输出到处理器410的信息可以包括从像素分析确定的信息。
从GPU 418输出到显示器304的像素数据可以为头具20的佩戴者提供介入的现实视图。在这种视图中,佩戴者体验在显示器304上呈现的视频,好像他/他是通过镜头观看,但是通过屏幕显示增强和/或补充图像。增强(例如,调节对比度、亮度、饱和度、清晰度等)可以使得头具20的佩戴者能够仅使用镜头来看到他看不到的东西。屏幕显示可以包括覆盖在视频上的文本、图形等,以提供从处理器410接收的设备设置的可视化和/或从像素数据的分析确定的信息的可视化。
显示器驱动器电路420可操作以生成用于显示器304的控制信号(例如,偏置和定时信号),并且从GPU 418调节(例如,电平控制同步、数据分组化、格式化等)像素数据,以供发送到显示器304。
传感器422可以包括例如红外和/或超声波传感器,加速度计,陀螺仪和/或类似物。传感器422可以例如可操作以跟踪焊接操作者的头部运动。
电源224可以包括例如电池(例如,锂离子或钠离子或锂聚合物或双碳电池),用于从AC和/或DC电源对电池充电的电路,以及用于将能量从电池调节/传递到头具20的其它电路的电路。
图4C是头具20的另一示例透视图。图4C示出了壳体306内的视点(例如,从佩戴者的视角)。如图4C所示,显示器304(例如,智能手机)安装在壳体306的视场中,使得智能手机后部的相机具有焊接场景434的视图。
图4C的示例焊接场景434包括工件24和焊炬22。在焊接场景434中,焊炬22不操作(例如,在焊接场景434中不发生焊接)。如下面更详细地描述的,可以控制显示器304以显示焊接场景434,其中一个或多个模拟对象覆盖在由相机414观察到的场景上。如在图4C中所示,显示器304可以示出实际存在于焊接场景434中的工件24和焊炬22之外的模拟焊道436、模拟焊接熔池438和/或模拟电弧440。视场由示出安装在壳体306中的智能手机的相机414的视场外侧的视线442示出。
图4C的示例智能手机使用夹持智能手机的夹子444安装在焊接头盔(例如,壳体306)内,使得当移动装置由焊接头盔保持并且焊接头盔由佩戴者佩戴时,智能手机的显示器304由佩戴者可以看到,智能手机的相机具有通过视口(例如通过镜头432)的视图,使得智能手机的显示器304提供对应于通过视口的佩戴者视场的佩戴者视场。尽管图4C中示出了4个夹子444,但是可以使用更多或更少的夹子。另外或可替代地,可以使用任何其它结构来将智能手机可拆卸地安装到焊接头盔内部,诸如臂、带、皮带、外壳、槽、容器、盖子、封壳、框架、外套、构件、平台、肋、环、压缩装置、摩擦装置、电缆、钩、螺母/螺栓、粘合剂、支架和/或任何其它类型的结构、紧固件和/或安装装置。
尽管参照图3A、3B、3C、4A、4B和4C描述了头具20的示例实施例,但是可以使用其它实施方式。例如,示例天线402、示例端口404、示例通信接口406、示例用户界面驱动器408、示例处理器410、示例扬声器驱动器412、示例相机414、示例图像处理器416、示例GPU 418、示例显示器驱动器420、示例传感器422、示例电源424、示例存储器426和/或示例指令428可以使用硬件、软件、固件,和/或硬件、软件和/或固件的任何组合实现。例如,示例天线402、示例端口404、示例通信接口406、示例用户界面驱动器408、示例处理器410、示例扬声器驱动器412、示例相机414、示例图像处理器416、示例GPU 418、示例显示器驱动器420、示例传感器422、示例电源424、示例存储器426和/或示例指令428可以使用一个或多个集成电路和/或分立电路,诸如通用处理器、专用处理器(例如,数字信号处理器)、可编程逻辑器件来实现。此外,实施方式可以包括将部件和/或功能组合成单个集成电路封装和/或将部件和/或功能划分成多个集成电路封装。
图5A-5C示出了可以根据正在进行的焊接的图像确定的各种参数。示出坐标轴作参考。在图5A中,Z轴指向纸张的顶部,X轴指向右侧,并且Y轴指向纸张。在图5B和5C中,Z轴指向纸张顶部,Y轴指向右侧,并且X轴指向纸张。
在图5A-5C中,设备12包括将消耗电极16馈送到工件24的焊接接头512的MIG枪504(例如,图1的焊炬22的实施方式)。在焊接操作期间,MIG枪504可以由以下参数定义,包括:接触焊头到工件距离506或507、行进角度502、工作角度508、行进速度510和瞄准。
接触焊头到工件的距离可以包括从焊炬22的焊头到工件24的垂直距离506,如图5A所示。在其它实施例中,接触焊头到工件的距离可以是在焊炬22与工件24的角度处从焊炬22的焊头到工件24的距离507。
行进角度502是沿着行进轴线(图5A-5C所示的示例中的X轴)的枪504和/或电极16的角度。
工作角度508是与行进轴线垂直的枪504和/或电极16的角度(图5A-5C所示的示例中的Y轴)。
行进速度是枪504和/或电极16沿着焊接的接头512移动的速度。在示例实施方式中,可以使用图像处理来确定行进速度。例如,可以在图像处理算法中使用熔池尺寸和形状(例如,泪滴状、椭圆形等)和/或焊接场景中的其它固定特征(例如,工件上的凸起或划痕)来推断行进速度(类似于光电鼠标)。在示例实施例中,可以与图像处理算法一起使用Miller Electric的轮廓脉冲(例如,改变焊丝速度和/或功率和热输入)的焊道条纹来推断焊接场景中的行进速度。
瞄准是测量电极16相对于要焊接接头512的位置。瞄准可以例如测量为在垂直于行进方向的方向中与接头512的中心的距离。例如,图5C描绘了示例目标测量516。
图6A-6E示出了使用体现本公开的方面的头具的示例焊接过程。
该过程从框652开始,其中要执行的一个或多个焊接由头具20确定。该确定可以基于由头具20的佩戴者通过例如语音识别和/或触觉输入而键入的标识符(例如,工单号、部件号等)。可替代地或另外地,头具20的佩戴者可以从允许相机302捕获工件的图像的距离和/或角度来观察要焊接的工件,图像处理算法可以从其检测要执行的焊接。例如,捕获的图像视图中的工件的独特形状、标记和/或其它特征可以被检测并用于检索与工件相关联的标识符。
在框654中,从存储器(例如,20和/或基于网络的存储器中的本地存储器)检索要执行的焊接的指令。例如,在框652中确定的标识符可以用作索引,用于检索驻留在服务器30(图1)中的数据库中的对应条目。检索到的指令可以包括例如适于呈现在显示器304上的任何格式的文本和/或图像(静止图像、视频和/或CAD图)。指令中包含的信息可以包括例如:要对工件执行焊接的数量,要执行的多个焊接的顺序,要执行的每个焊接的目标焊接参数,用于要执行的每个焊接的标称设备设置,用于要执行的每个焊接的焊接材料(电极、填充材料等),如何准备要执行的每个焊接的工件(例如,涂漆或氧化物去除、定位焊接,如何将部件放置在夹具中,关闭夹钳,拧紧/栓紧扭矩值,工具的准备/清洁,接头嵌合的检查和测量等)等。智能手机应用程序可以使用代码扫描仪功能来识别对象(例如,针对WPS检查焊丝类型来标记错误、不一致和/或不合规。当触发器被拉动时,应用程序检查要求列表,并且如果识别错误,则标记所识别的异常并禁用触发器。
在框656中,预焊界面呈现在显示器304上。预焊界面可以提供关于设置要执行的下一焊接和/或实际执行焊接的指令。参考图6B,示出了示例预焊界面。示例预焊界面包括覆盖在框652中识别的工件的图像上的图形元素602、604、606、608和610。工件的图像可以是与指令一起接收的照片或绘图,或者可以是由相机302捕获的实际工件的图像(例如,在框652中)。
图形602(例如,文本框)为头具20的佩戴者提供关于要焊接的工件的信息(例如,要焊接的工件的部件号,要执行的焊接的工单号等)。为了将数据存储到适当的用户简档,图形602还可以显示头具20的佩戴者的用户名。头具的佩戴者可以经由用户界面208与图形604(例如,使用手势、触觉或语音控件)交互。图形604的激活可能导致头具20闭合预焊界面并出现下述的焊接中界面。头具20的佩戴者可以经由用户界面208与图形606交互。图形606的激活可以使头具20出现额外的指令(例如,将先前记录的焊接视频显示为执行)。图形608和610识别要执行的下一个焊接,并提供关于执行焊接的信息。在所示的示例中,图形608识别:工件的特性,诸如其制造的金属的类型;要焊接的接缝的特性,如长度和宽度;诸如目标工作角度、目标行进角度、目标行进速度、目标编织图案、目标多遍叠加顺序等焊接接缝的目标参数;和标称设备设置,诸如是否应使用恒定电流或恒定电压模式,应使用的标称电压,应使用的标称电流,应使用的电极和/或填充材料的类型/尺寸,应使用的标称焊丝速度等。
回到图6A,在框658中,头具20的佩戴者触发(例如,通过激活图形604)从预焊界面到焊接中界面的转变。在框660中,呈现焊接中界面。焊接中界面提供执行特定焊接的说明。简要地参考6C,示出了焊接中界面的示例。示例焊接中界面包括覆盖在由相机302捕获的实时视频帧上的图形元素602、612、620、624、628和630。实时视频帧可以在例如已被相机302捕获的例如20毫秒或更优选5毫秒内呈现在显示器304上。覆盖的图形可以是不透明的或部分透明的。图形602(例如,文本框)为头具20的佩戴者提供关于要执行的焊接的信息(例如,工件的部件号,要执行的焊接的工单号等)。头具20的佩戴者可以经由用户界面208(例如,使用触觉或语音或手势控件)与图形612交互。图形612的激活可能导致头具20从焊接中界面转移回到用于当前焊接的预焊界面。以这种方式,操作者能够在预焊界面和焊接中界面之间来回快速切换。在示例实施方式中,可以同时观看两个界面(例如,在并排或画中画类型视图中)。
图形620、624、628和630针对正在进行的焊接测量的一个或多个焊接参数向头具20的佩戴者提供反馈。在所示的示例中,图形620包括表示工作角度和行进角度的位置坐标轴。坐标系的中心指示在焊接期间焊炬618的最佳取向。焊炬的实际取向由点622指示。基于该反馈,操作者可以重新定位焊炬以试图使点622重新回到中心。可以使用提供反馈的焊炬角的其它图形表示,而不是图6C所示的“牛眼”。在美国专利申请公布2009/0298024中描述了一些示例,其通过引用并入本文。在所示的示例中,图形624包括在“太慢”标记和“太快”标记之间延伸的图形速度计。指示实际速度的标记626作为对头具20的佩戴者的反馈被提供在图形速度计上。可以使用行进速度的其它图形表示来提供反馈,而不是图6C中所示的线性速度计。在美国专利申请公布2009/0298024中描述了一些实例,其通过引用并入本文。图形628为头具20的佩戴者提供关于焊接设备12的设置和/或实际测量输出的反馈。所测量的输出可以例如呈现来自电弧监视设备的实时读数(例如,沿着时间轴如在示波器显示器上呈现)。图形630提供参考路径,以帮助操作者执行焊接时瞄准电极。图形630可以例如与接缝的中心线一致和/或可以提出织造图案。在焊接期间捕获的任何图像和/或其它数据可以被存储到本地存储器和/或诸如服务器30的存储器的远程存储器中。所存储的图像和/或其它数据因此可用于稍后的回放、分析和/或其它交互。例如,服务器30可以被配置为启用流式传输、二维傅立叶变换、采样和滤波、运动估计,诸如相位相关、块匹配和时空梯度分析、噪声平滑、锐化、同态滤波、伪着色、分割、压缩、注释、共享等,使得可以向计算机新手提供用于使用所捕获的图像和/或其它数据进行观察、交互、学习和教育的工具。在另一示例中,上述图像处理可以在设备12中经由通信链路29发送到服务器30之前完成。
返回到图6A,在框662中,操作者完成焊接。在框664中,当检测到焊接的完成(例如,通过图像处理算法自动或通过来自操作者的输入)时,头具20呈现焊接后界面。焊接后界面提供了完成的焊接的概要(例如,用于培训和/或质量控制目的)。简要地参考图6D,示出了焊接后示例。示例焊接后界面包括覆盖在由相机302捕获的视频帧上的图形元素602、634、638、640和651。图形602(例如,文本框)为头具20的佩戴者提供关于要执行的焊接的信息(例如,所涉及的工件的部件号、要执行的焊接的工单号等)。头具20的佩戴者可以经由用户界面208与图形634交互(例如,使用触觉或语音控件)。图形634的激活可能导致头具20从焊接后界面转移到预焊界面以进行下一个焊接,而音频指令指示操作以观察完成的焊接,从而指示相机横跨整个焊接。
图形638、640和651提供对头具20的佩戴者的完成的焊接的评论。图形638(例如,文本框)提供对完成的焊接的评估结果。这种评估可以包括确定在焊接期间测量和存储的焊接参数和/或设备设置是否在确定的公差内(例如,在说明书中阐述)。这种评估可以包括实施用于检查形状、长度、宽度、高度、污迹、氧化物清洁轨迹、反射率、颜色、可见不连续性和缺陷(例如裂纹、底切、烧穿、焊道隆起、凹陷、缺乏熔合、表面孔隙率、剩余的焊丝突起、飞溅和溅泼、扭曲、变形和/或焊道614和/或工件的其它视觉特性)。这种评估可以包括检查在焊接期间捕获的图像的亮度。例如,焊接期间的深色框架可以指示沿着电弧消失时的焊缝的位置,并且这种位置可能需要额外的检查(通过图像处理和/或通过指示操作者执行进一步的检查或测试)。类似地,这种评估可以包括检查图形640中所示的设备设置/输出,例如可能对应于电弧消失的地方的不连续性。
图形640提供在焊接期间测量的参数和/或设置的直方图。尽管仅示出了单个图形640,但是可以示出对应于任何数量的参数和/或设置的任何数量的图形。线650对应于参数的目标值。线646和648对应于参数的上限和下限公差。线644对应于完成焊接的参数测量。标记642允许操作者在焊接期间选择任何时刻。图形651显示由标记642选择的时刻的附加信息。在示例实施方式中,其上重叠有图形元素602、634、638、640和651的视频帧是在标记642所选择的时刻捕获的帧。以这种方式,通过滚动标记642或触发回放(即,标记642的自动滚动),可以在显示器304上观察焊接的记录。焊接后界面中呈现的数据可以与执行焊接的操作者的用户简档相关联在存储器中。这种用户简档信息可以用于对操作者进行评估/认证/等。
在示例实施方式中,可以分析图形640以检测焊接的潜在问题(例如,可以分析输送到焊缝的电流的时间图,以显示尖锐的尖峰或不连续性,这可能表示短路、断开电路电压(OCV)或停电等)。然后可以在焊接后界面上用界面元件(例如,替代标记642)来调用这种尖峰、不稳定性或异常现象。然后由操作者与这种界面元件的相互作用可以从围绕检测到的尖峰或不稳定性的时间段起出对焊接界面的记录。
返回到图6A,在框666中,头具20的佩戴者触发(例如,通过激活图形634)从焊接后界面到预焊界面的转变,以使下一个焊接完成。图6E示出了类似于图6B所示的界面但是对于工件600上的下一个焊接的这种界面的示例。
图6F示出了可以呈现给操作者进行操作者培训的示例培训图形653。示例图形653可以呈现在显示器304上,并且示出了具有工件600的焊接环境。图形中的工件600可以从相机414拍摄的环境的图像获得。在培训模式中,图像处理器416和处理器410基于从电源(其也处于培训模式并且不输出电流)接收的焊接信号反馈来生成并叠加电弧668和所得到的焊道670的虚拟版本。
在图6F的示例中,图像处理器416基于一个或多个定位标记672a、672b确定图像中的工件600和/或任何其它对象的取向。在由相机414捕获的图像中识别定位标记,并且通过识别标记672a、672b的尺寸和布置,图像处理器416可以确定为显示而生成的对象的适当尺寸和/或取向。标记672a、672b可以是条形码、快速响应(QR)码或通过处理标记672a、672b的图像可读的任何其它一维、二维和/或三维标记和/或字形。另外或可替代地,标记672a、672b可以使用红外(IR)频率反射器来实现。
图6G示出另一示例焊接界面674,其中头部20在焊接操作期间测量和/或显示焊缝熔池676的尺寸。为了测量焊接熔池676的尺寸,头具20可以使用一个或多个相机414。使用一个相机,示例处理器410使用焊接场景中的一个或多个已知对象来识别和校准尺寸信息。例如,处理器410可以识别(由相机414捕获的图像),具有预定尺寸的焊丝直径和/或定位标记672a、672b。为了获得焊接熔池676的图像(例如,不受电弧的干扰),处理器410可以请求由设备12执行短路。在稳定的GMAW过程中,短路事件以规则间隔发生,例如在80-250Hz处。当电弧在短路期间熄灭时,相机414捕获焊接熔池的图像,然后可以通过参照已知的参考对象由处理器410处理图像来测量。例如,由于电极丝接触焊池676(或至少紧邻),因此处理器410可以从相同图像中的电极丝尺寸估计焊池尺寸。如果不使用编织,则焊接尺寸通常非常接近焊池尺寸(成比例或偏移)。可替代地,在诸如GTAW的非短路焊接过程(例如,电极不是可消耗但具有已知直径)中,相机414是可以在强电弧光下观察焊池的HDR相机。
另外或可替代地,相机可以包括1)立体HDR光学传感器,其可以提供深度感知和尺寸测量以测量焊池676;2)立体红外传感器,其将焊接熔池676识别为红外图像中的最高温度对象并过滤掉其它对象;3)激光扫描仪;4)飞行时间相机;5)具有距离的激光测距装置的单个相机;6)具有安装在焊池676前面的用于参考的焊炬上的已知尺寸的对象的单个相机;和/或7)具有气体喷嘴几何特征的单个相机,其具有已知尺寸,测量伸出和通过电弧的电弧长度(例如,经由HDR光学传感器)来确定焊池676的尺寸。
使用连续的图像,处理器410可以识别焊池行进方向(例如,焊池形成的方向与焊池冷却到焊道的方向相反)。从焊池行进方向,处理器410测量焊池676的宽度(例如,垂直于行进方向)。在确定焊池676的尺寸之后,处理器410确定焊接尺寸,其可以是增量偏移或与焊池676成比例。从焊接尺寸,处理器410进一步确定焊炬504的行进速度(例如,使用模型或算法)、热输入(例如,与圆角的平方成比例)和/或焊接腿尺寸。处理器410可以确定行进速度与除以热输入的焊接功率成比例。
示例接口674在与焊接场景一起显示的图形678中显示计算出的焊接熔池直径和行进速度。在一些示例中,处理器基于行进速度一致性来警告操作者。另外或可替代地,处理器410可以请求对焊接尺寸闭环控制或每单位长度闭环控制的热输入(例如,用于恒定穿透)的焊丝进给速率的改变。
图7A-7C示出了使用体现本公开的方面的头具的示例焊接过程700。
该方法开始于框702处,其中确定头具20和工件之间的距离和视角。该距离例如可以使用集成到头具20中的超声波或红外线传感器来确定。可替代地,可以通过由GPU 418执行的图像处理算法来确定距离。在这种实施例中,工件的捕获图像可以进行分析以检测在图像中出现的工件的特性(尺寸、位置等)。然后可以将特性与关于工件的存储数据(例如,工件的特征的实际尺寸)结合使用,以确定观察距离和角度。例如,工件上的可见标记的尺寸,工件上的某些标记可见而其它标记不可见的事实,标记的已知实际尺寸以及在工件上标记的已知定位可被用于确定观察距离和角度。
在框704中,用于焊接工件的指令从存储器(例如,从头具20经由LAN或因特网到达的网络数据库)检索。
在框706中,基于确定的工件距离和/或视角来选择指令的一部分以在显示器304上呈现。当从相当远的地方观察工件时,指令的所选部分可以包括将操作者定向到整个工作的高级画面和指令,以帮助操作者规划在工件上执行的一系列焊接。例如,简要地参考图7B,当在相对远的距离d1观察工件时,选择指令部分724用于呈现。指令部分724是工件的缩小视图,包括识别工件的部件号的图形726和要在工件上执行的两个焊接,以及要执行焊接的顺序。相反,当从相对较近的角度观察工件时,指令的所选部分可以包括用于引导操作者执行特定焊接的低级图像和指令。例如,参考图7C,当以近距离d2观察工件时,选择指令部分734用于呈现。指令部分734是包括仍然与放大视图相关的图形726的一部分的缩小视图,以及提供用于焊接操作者正在观察的焊缝的深入信息的图形730。虽然描述了两个距离和相应的指令部分,但是对应于不同的观察距离和/或角度的任何数量的指令部分可能是可用的。类似地,在不同的指令部分之间的切换不需要完全地或者甚至根本不基于所测量的距离。相反,操作者可以在任何给定时间选择(例如,经由语音和/或触觉输入)他/他希望查看哪个指令部分。此外,可以同时观察多个指令部分(例如,在并排或画中画型视图中)。例如,指令部分724可以被呈现在显示器的角落中,而指令部分734被呈现在显示器的其余部分上。
返回到图7A,在框708中,头具20的佩戴者触发(例如,通过激活图形604)到焊接界面的转变,诸如图6C的界面。在框710中,在焊接期间,头具20确定在相机302的视场中被焊接的焊缝、焊炬、电极和/或其它对象的空间位置。头具20使用该确定的空间位置信息来实时更新一个或多个图形覆盖。例如,空间位置信息可以使用基于由相机302捕获的立体图像的像素数据确定3D位置的图像处理算法来确定。空间位置信息可以例如用于呈现覆盖工件的实时视频的图形(诸如630),使得图形保持与工件的正确对准(即,跟踪和补偿他/她执行焊接时焊工头部的变化位置)。
图8A和8B示出了通过焊接头具生成的用于增强操作者对要焊接工件的视图的3D渲染的使用。在图8A中,要焊接的工件800的一部分被障碍物802阻挡。障碍物802可以是例如执行焊接的操作者的焊炬和/或手。在图8B中,3D渲染用于数字地擦除障碍物802,使得头具20的佩戴者能够“看穿”障碍物802。例如,焊道804的虚拟延伸部、虚拟电极808和接缝810的虚拟延伸部呈现代替障碍物802。渲染可以基于:工件的当前位置(由相机302捕获的最新的图像确定),关于工件的已知信息(例如,当障碍物802未阻挡工件的视图时)和色度键控(例如,焊炬和焊工的手套可能被涂成绿色或一些其它颜色)。
参考图9A,流程图示出了用于焊接工件24同时使得基于这种焊接的图像数据的远程存储的示例过程900。
该过程从框901开始,其中要执行的一个或多个焊接由头具20确定。该确定可以基于焊工18通过例如语音识别和/或触觉输入键入的标识符(例如,工单号、部件号等)。例如,可替代地或另外地,焊工18可以从允许相机302捕获图像处理算法可以检测要执行的焊接的工件的图像的距离和/或角度来观察要焊接的工件。例如,捕获的图像视图中的工件的独特形状、标记和/或其它特征可以被检测并用于检索与工件相关联的标识符。
在框902中,焊工18启动焊接操作。例如,焊工18可以给出焊接系统10进入焊接模式的语音命令,该焊接模式通过头具20的用户界面来响应该语音命令。处理器410根据语音命令配置头具20的部件,以便在显示器304上显示用于焊工观察的实时焊接操作。焊工观察显示器304上的焊接并控制电极16的操作和定位。处理器410可响应于语音命令并向设备12发送信号以触发设备12中的焊接模式。例如,处理器410禁用闭锁使得当焊炬上的触发器被焊工拉动时,经由电源212将电力发送到电极16。送丝器214和气体供应器216也可以相应地被激活。因此,框902表示焊工将焊接系统置于焊接模式中以使得工件可以被焊接的步骤。设备12由焊工18使用头盔20的用户界面基于所确定的要执行的焊接特性来配置。例如,可以选择恒定电流或恒定电压模式,可以设置标称电压和/或标称电流,可以设置电压限制和/或电流限制等。相机414可以经由头具20的用户界面来配置。例如,可以预测电弧的预期亮度(基于设备配置和要进行的焊接的特性)。来自用户界面308的电信号可以配置镜头滤光器的暗度、相机414的曝光时间等。
在框904中,操作者开始焊接。相对于光学器件302a、302b的视场,工件24与电极一起放置就位。触发器由焊工激活,并且在存储器中创建/打开多媒体文件,并且焊接操作的图像开始被相机414捕获并存储到多媒体文件中。图像可以被存储为来自相机414的原始未处理的像素数据。可替代地(或另外),图像可以被压缩并作为经处理的来自GPU 418的像素数据存储。在示例实施方式中,这些事件可以被排序使得图像捕获首先开始并且允许在电流开始流向电极之前校准相机414和/或显示器304(调节焦点、亮度、对比度、饱和度、清晰度等)期间的几帧,这可以确保足够的图像质量,即使在焊接操作的最初阶段。多媒体文件可以存储在头具20的存储器411中。可替代地(或另外),处理器410可以将图像(未处理或处理的)发送到通信接口406,以发送到远程存储器,诸如设备12中的存储器和/或服务器30中的存储器。
仍然在框904中,除了存储捕获的图像之外,可以在显示器304上和/或一个或多个其它远程显示器上实时地显示图像,实时地将捕获的图像经由链路25、27和/或29发送到该其它远程显示器。在示例实施方式中,可以对输出到显示器304的一个视频流和经由通信接口406输出的另一视频流执行不同量的图像处理。在这点上,更高的等待时间可以容忍远程查看器,使得可以在呈现在远程显示器之前对图像执行附加处理。
在框906中,随着焊接操作的进行,捕获的图像数据被处理并且可以用于实时地(例如,等待时间小于100ms或更优选地小于5ms)确定存在的焊接参数,诸如参考5A-5C在上面描述的那些。确定的焊接参数可以与处理的和/或未处理的图像数据一起存储到存储器。例如,焊接参数的图形表示可以与所捕获的图像同步,并且在存储图像之前被转换成覆盖在所捕获的图像上的文本/图形。可替代地(或另外),所确定的焊接参数可以与捕获的图像数据一起作为元数据存储。
仍然参考框906,随着焊接操作的进行,设备12的设置和/或测量输出可以经由链路25被接收。处理器410可以基于所确定的参数来调节设置。以这种方式,可以调节设备设置,诸如电压、电流、焊丝速度和/或其它参数,以试图补偿参数与其理想值的偏差。设备设置和/或测量输出可以与捕获的图像数据一起存储。例如,设置和/或测量输出可以与捕获的图像同步,并且在存储图像数据之前被GPU 418转换成覆盖在图像数据上的文本/图形,和/或标识符可以被存储在存储图像数据的多媒体文件中。
仍然参考框906,随着焊接操作的进行,可以捕获其它信息(通过相机414和/或其它传感器422)并与捕获的图像一起存储。然后可将该其它数据与捕获的图像同步并与所捕获的图像一起存储(例如,作为元数据和/或转换为文本/图形并覆盖在图像上)。这种数据可以包括例如在框901中确定的焊接操作的总体标识符,被焊接的部件的单独部件号(例如,被条形编码,使得它们可以从捕获的图像被自动检测)、时间戳、气候(温度、湿度等)等。包含这些信息的多媒体文件可以由任何这些信息索引,用于以后的搜索和检索。
在框908中,完成对工件24的第一焊接操作。在框908中,可以关闭在框904和906期间写入图像和其它数据的多媒体文件(例如,添加的文件头、计算的校验和等)。在一些情况下,可以将文件长时间存储(例如,从头具20的存储器411发送到驻留在服务器30的存储器中的数据库)。
在捕获的图像数据被存储为原始未处理的像素数据的情况下,可以在头具20的外部处理这种原始未处理像素数据。在框910中,处理器410将像素数据经由天线402或端口404发送到例如服务器30处的存储器。服务器30处的处理器处理原始的未处理数据并将处理的数据存储在服务器30处的存储器中。服务器30可能处存在更多的计算能力,与在显示器304上呈现之前的头具20中的处理相比,可以容忍更大的等待时间。如果在头盔内存在太多的等待时间,则焊工可能会变得迷失方向。类似地,已经在等待时间限制(例如,为了在显示器304上实时呈现的条件下)已经在头具20中处理的像素数据可以由头具20和/或外部处理器(诸如在服务器30中)进一步处理。这种附加处理可以使得能够确定关于焊接的附加和/或更详细的信息,即在实时呈现捕获的图像之前没有时间和/或计算能力来确定。
在框912中,在框904期间捕获的图像从服务器30的存储器发送到诸如云服务器的第二远程位置。例如,可以由教练或主管检索云上的图像(例如,使用通过浏览器或其它网络客户端或非网络应用程序访问的基于网络的应用程序)来检查学生或雇员的工作。作为另一个示例,图像可以由质量控制审核员审查,作为随机质量检查的一部分和/或作为对失败焊接的调查的一部分(例如,如果焊接部件以后在制造商的质量保证(QA)部门或现场失败,则可以观察捕获的图像和与图像一起存储的信息,以查看焊接过程是否是故障的可能原因)。
在另一示例实施方式中,头具20可以包括安装在常规自动变暗镜头后面的透明或透明光学显示器,其可操作以执行波长选择性切换(WSS),以防止峰值光谱波长到达佩戴者的眼睛。WSS可以基于光电二极管传感器的输出进行控制,该传感器检测与自动变暗镜头使用的传感器类似的焊接电弧的存在或不存在。当焊接电弧存在时,WSS被配置为使得显示器能够启用波长对应于焊接电弧的功率谱密度中的峰值的陷波滤波器。当焊接电弧不存在时,WSS被配置为使得显示器通过所有(或大多数)可见光谱(即,当焊接电弧不存在时,显示器基本上是透明的)。显示器可以包括例如一个或多个硅上液晶(LCoS)显示器。在示例实施方式中,可以基于正在执行的焊接的特性(例如,取决于焊接保护气体组成、焊接材料等,其可能影响由电弧发射的波长)来确定WSS显示陷波滤波器波长,使得WSS显示波长被编程为拒绝焊接中使用的特定已知气体或母体材料的电弧光谱中的峰值。
图9B是示出焊接操作期间发送图像的示例焊接过程920的流程图。可以执行示例过程920以捕获正在进行的焊接操作的图像(例如,视频),并将图像发送到观察计算机,以供其他人观察和/或存储图像。框901、902和904如上文参考图9A所述实现。
在框922中,处理器410经由通信接口406(例如,经由有线和/或无线通信)将捕获的视频发送到另一装置。例如,处理器410可以将视频发送到图1的服务器30,其可以包括用于由焊接操作者的培训师或主管观察的显示器。
在框924中,处理器410确定焊接是否完成。如果焊接未完成(框924)。例如,处理器410可以经由通信接口406从焊接设备12接收触发释放信号和/或经由相机414检测亮度的降低。如果未检测到焊缝的结束(框924),则控制返回到框922以继续发送所捕获的视频。当检测到焊接的结束时(框924),示例指令900结束。
图10是示出可由处理器执行以生成用于焊接过程的焊接记录的示例机器可读指令1000的流程图。示例指令1000可以由图3和/或4的示例头具20,由移动设备和/或其它计算设备执行(例如,安装到焊接头盔或其他个人防护设备的智能手机)。将参考图4的示例头具20来描述示例指令1000(例如,执行存储在存储器426中的指令428的示例处理器410)。
在框1002处,处理器410确定焊接操作是否已经开始。例如,处理器410可以基于来自传感器422的信号,来自光学传感器414的一个或多个图像和/或经由通信接口406接收的信号(例如,来自焊接电源和/或来自服务器的同步信号)来识别焊接操作。如果焊接操作尚未开始(框1002),则处理器410重复框1002以监视焊接操作的开始。
在框1004处,示例光学传感器414捕获HDR图像。例如,光学传感器414可以记录高动态范围图像,记录高动态范围视频,记录宽动态分辨率图像,记录宽动态分辨率视频,记录时间飞行图像,记录结构化的三维图像,和/或以每秒500-10,000帧的帧速率记录图像。
在框1006处,处理器410确定循环缓冲器是否已满。例如,循环缓冲器可以是存储器426的指定部分和/或单独的缓冲器或存储装置。
如果循环缓冲器已满(框1006),则示例处理器410用捕获的图像重写存储在循环缓冲器中的最旧图像(方框1008)。例如,处理器410和循环缓冲器可以以先进先出顺序存储缓冲图像以保留最近的图像。
如果循环缓冲器未满(框1006),则处理器410将捕获的图像存储在循环缓冲器中(框1010)。
在将捕获的图像存储在循环缓冲器(框1008或框1010)中之后,在框1012处,示例处理器410监视焊接参数测量。例如,处理器410可以经由通信接口406从焊接操作中使用的电源接收一个或多个焊接参数,并将焊接参数与对应的值范围进行比较。
在框1014处,处理器410确定焊接参数中的任何一个是否在相应的可接受范围之外(框1014)。例如,处理器410可以确定电流或电压是否已经超过为焊接操作指定的范围。如果没有一个焊接参数在相应的范围之外(框1014),则处理器410将控制返回到框1004。
如果焊接参数中的任何一个超出相应的范围(框1014),则示例光学传感器414捕获HDR图像(框1016)。框1016可以以与框1004相同的方式实现。
在框1018处,示例处理器410将捕获的图像存储在存储器426中。在框1018中,处理器410不将所捕获的图像存储在循环缓冲器中,而是存储捕获的图像在存储器426的不同部分中,同时保持循环缓冲器完好无损。
在框1020处,处理器410确定焊接操作是否完成(框1020)。例如,处理器410可以基于来自传感器422的信号,来自光学传感器414的一个或多个图像和/或经由通过通信接口406(例如,来自焊接电源和/或服务器)接收到的信号来确定焊接操作是否完成。如果焊接操作未完成(框1020),则处理器410将控制返回到框1016以继续捕获图像。
当焊接操作没有完成时(框1020),在框1022处,处理器410将循环缓冲器中的图像附加到存储器中的图像以生成焊接操作的记录(例如,从操作者的近似视点或从可以充分观察焊接操作的另一个有利点的焊接视频)。在一些示例中,处理器410还将已经接收的焊接参数测量附加到记录。示例处理器410包括图像的时间戳和/或参数测量值,以使得焊接参数中的任何偏差能够与在大约相同的时间拍摄的图像相关。
在框1024处,示例处理器410将焊接操作的记录发送到服务器。例如,处理器410可以自动发送记录,响应于请求发送记录,和/或当满足一个或多个标准时发送记录(例如,足够的电池电力来完成发送,足够的无线网络连接和/或速度等)。
图10的示例指令1000生成记录,该记录可以检查用于培训、生产控制、维护和/或任何其它目的的焊接操作。虽然示例指令1000响应于识别超出可接受范围的焊接参数而触发记录的生成,但是在一些其它示例中,指令1000基于另一个触发和/或没有任何触发(例如,记录用于培训的高质量焊接和/或记录所有焊接)来自动生成焊接记录。
在一些示例中,焊接记录进一步包括在焊接期间由一个或多个麦克风收集的音频。可以对与不同焊接质量和/或缺陷对应的音频签名回放和/或分析音频信息。在1994年4月26日授权的美国专利No.5,306,893中描述了可用于收集和/或分析焊接音频的示例方法和系统。美国专利No.5,306,893的全部内容被并入本文作为参考。
图11是图1的服务器30的示例实施方式的框图。图11的示例服务器30可以是通用计算机、膝上型计算机、平板计算机、移动装置、服务器和/或任何其它类型的计算装置。在一些示例中,服务器30可以使用一个或多个物理机器在云计算环境中实现,并且在一些示例中可以在数据中心中的一个或多个虚拟机中实现。
图11的示例服务器30包括处理器1102。示例处理器1102可以是来自任何制造商的任何通用中央处理单元(CPU)。在一些其它示例中,处理器1102可以包括一个或多个专用处理单元,诸如图形处理单元和/或数字信号处理器。处理器1102执行机器可读指令1104,其可以本地存储在处理器(例如,包含的高速缓存中)处,随机存取存储器1106(或其它易失性存储器)中,在只读存储器1108(或诸如闪速存储器的其它非易失性存储器)中和/或大容量存储装置1110中。示例大容量存储装置1110可以是硬盘驱动器、固态存储驱动器、混合驱动器、RAID阵列和/或任何其它大容量数据存储装置。
总线1112使处理器1102、RAM 1106、ROM 1108、大容量存储装置1110、网络接口1114和/或输入/输出接口1116之间的通信成为可能。
示例网络接口1114包括将服务器30连接到诸如因特网的通信网络1118的硬件、固件和/或软件。例如,网络接口1114可以包括用于发送和/或接收通信的IEEE802.X兼容的无线和/或有线通信硬件。
图11的示例I/O接口1116包括用于将一个或多个输入/输出装置1120连接到处理器1102的硬件、固件和/或软件,用于向处理器1102提供输入和/或提供来自处理器1102的输出。例如,I/O接口1116可以包括用于与显示装置进行接口的图形处理单元,用于与一个或多个USB兼容装置、FireWire、现场总线和/或任何其它类型的接口进行接口连接的通用串行总线端口。示例I/O设备1120可以包括键盘、小键盘、鼠标、轨迹球、指向装置、麦克风、音频扬声器、显示装置、光学介质驱动器、多点触摸屏幕、手势识别界面、磁介质驱动器和/或任何其它类型的输入和/或输出装置。
示例服务器30可以经由I/O接口1116和/或I/O装置1120访问非暂时机器可读介质1122。图11的机器可读介质1122的示例包括光盘(例如,压缩光盘(CD)、数字通用/视频盘(DVD)、蓝光盘等)、磁性介质(例如,软盘)、便携式存储介质(例如便携式闪存驱动器、安全数字(SD)卡等)和/或任何其它类型的可移动和/或安装的机器可读介质。
图12是示出可由处理器执行以实现图1和/或11的服务器30来存储和/或显示焊接操作的焊接记录的示例机器可读指令1200的流程图。示例指令1200可以存储在图11中描述的任何非暂时机器可读介质上,和/或由图11的处理器1102执行。
在框1202中,示例处理器1102确定是否检测到焊接操作。例如,处理器1102可以与图1的设备12(例如,焊接电源)通信,处理器1102从该处接收使用设备12执行的焊接操作的状态。
如果已经检测到焊接操作(框1202),则在框1204中,处理器1102将同步信号发送到与焊接操作相关联的捕获装置。例如,处理器1102可以与图1的头具20和/或相机32通信。
在框1206中,示例处理器1102确定是否检测到焊接操作的结束。例如,处理器1102可以从设备12接收指示设备12已经结束焊接操作的结束信号(例如,响应于操作者释放枪的触发器)。如果未检测到焊接操作的结束(框1206),则处理器1102将控制返回到框1204。
当没有检测到焊接操作的结束(框1206)时,处理器1102向捕获装置(例如,头具20、相机32)发送结束信号(框1208)。在一些示例中,处理器1102可以进一步经由显示器警告或提醒操作者观看将完成的焊接作为目视检查。
在框1210中,示例处理器1102向用于焊接记录的捕获设备发送请求。作为响应,示例捕获设备可以生成如上参考图10所述的焊接记录。
在框1212中,示例处理器1102向电源发送用于焊接参数测量的请求。作为响应,示例设备12可以收集在焊接操作期间生成的一组测量(例如,电压测量、电流测量、过程选择等)。在一些示例中,设备12在焊接操作期间发送参数测量值,并且处理器1102可以访问先前接收的测量值代替框1212。
在框1214中,使用焊接记录和焊接参数测量中的图像的对应时间戳,处理器1102将从捕获装置接收的焊接记录与焊接参数测量结合。因此,合并的焊接记录和参数测量可以将捕获的图像与以与图像相同或大致相同的时间发生的焊接参数测量同步。
在合并记录(框1214)之后,或者如果没有检测到焊接操作(框1202),则在框1216中,处理器1102确定是否已经请求任何焊接记录。例如,QA经理、焊工培训师或商店主管、维修技术人员可能希望检查针对特定焊接操作捕获的图像和/或参数测量。
如果已经请求焊接记录(框1216),则处理器1102访问所请求的焊接记录(框1218)。例如,处理器1102可以从本地或远程存储装置访问焊接记录。处理器1102输出同步的焊接图像和焊接参数测量(框1220)。例如,处理器1102可以生成用于在显示装置上显示和/或由观察者交互观察的基于网络的界面(例如,HTML5界面等)。在一些示例中,处理器1102将界面发送到用于观察和/或交互的另一装置(例如,平板计算机、计算机终端等)。
在输出同步焊接图像和焊接参数测量(框1220)之后,和/或如果没有请求焊接记录(框1216),则示例指令1200可以结束。
图13是示出可以被执行以实现图3A-4B的示例头具20提供焊接操作者培训的示例计算机可读指令的流程图。在示例指令13中,使用诸如智能手机的移动装置来实现头具20,该智能手机可以被安装在头盔或其它头戴式装置上,使得移动装置的显示面向焊接操作者,并且相机移动装置面向与焊接操作者相同的方向。
在框1302处,处理器410初始化移动装置应用(例如,应用程序),其可以作为指令428存储在存储器426中。
在框1304处,当移动装置应用程序被初始化时,处理器410建立与诸如电源的焊接设备的通信。例如,处理器410可以使用通信接口406和一个或多个有线或无线协议,诸如Zigbee、蓝牙或WiFi、MiFi、蜂窝式卫星网络,以与要用于培训的电源通信。
在框1305处,处理器410接收焊接配置信息。示例焊接配置信息可以包括例如正在使用的焊接设备的描述。处理器410可以经由通信接口406和/或经由用户输入来接收焊接配置信息。在框1306处,处理器410初始化移动装置的相机414。
在框1308处,图像处理器416和/或处理器410采用图像处理技术处理相机图像以识别焊接场景。作为示例,图像处理器416可以识别由相机414捕获的图像内的定位标记,以识别焊接场景。在框1310处,处理器410确定是否检测到焊接场景。如果未检测到焊接场景(框1310),则控制返回到框1308以继续处理相机图像。
当检测到焊接场景时(框1310),在方框1312处,处理器410监视通信接口406。例如,处理器410可以等待来自电源或送丝器的触发信号,指示焊接操作者已经拉动触发器。在框1314处,处理器410例如通过接收触发信号、语音命令或其他用户输入,和/或从捕获的图像识别电弧来确定是否检测到焊接开始命令。在一些示例中,诸如使用实际焊接的培训,处理器410还可以监视来自图像处理器416的指示是否检测到电弧开始(例如,经由识别高亮度图像)。如果没有检测到焊接开始(框1314),则控制返回到框1308。
当检测到焊接开始时(框1314),在框1316处,图像处理器416处理相机图像以识别焊接场景。例如,图像处理器416可以识别由相机414捕获的图像中的焊接对象,诸如焊池、电极、电弧和/或焊枪。
在框1318处,处理器410从焊接设备(例如,经由通信接口406)接收焊接参数。示例焊接参数可以包括电压设定点、电流设定点、焊接过程(例如MIG、TIG、喷雾转移、受控短路等)和/或焊丝进给速度。
在框1320处,GPU 418在移动装置的显示器304上生成并显示(例如,覆盖在)相机图像上的模拟对象,以向操作者显示焊接场景。模拟对象可以包括模拟电弧、模拟焊接熔池,示出所接收的焊接数据的图形和/或任何其它培训信息。在该示例中,显示器304充当操作者对焊接场景的显示。
在框1321处,示例处理器410基于从焊接场景的图像提取的焊接参数和/或特征来调节或配置模拟的显示(例如,焊接场景和/或模拟对象的显示图像)。例如,诸如接触焊头到工件距离的提取的特征指示操作者如何执行,并且可以通过识别电极和/或焊炬来识别工件,并使用距离参考来校准距离测量,并使用校准距离测量距离。例如,处理器410可以使用焊丝进给速度和/或焊枪行进速度来确定模拟焊接将如何基于模型(例如,热力学模型、神经网络模型等)而行动以确定熔池尺寸和焊接电压以确定电弧长度。处理器410确定焊接将如何在真正的焊接情况下起作用并且向用户显示焊接的对应图像。
在框1322处,处理器410确定是否检测到焊接结束命令。例如,处理器410可以经由通信接口406从焊接设备接收触发释放信号。如果没有检测到焊接的结束(框1322),则控制返回到框1316。
当检测到焊接的结束(框1322)时,在框1324处,处理器410在显示器304上的焊接后概述界面中总结并显示培训焊接的焊接性能。当焊接操作者清除显示(例如,通过语音命令或其它输入)时,控制返回框1308。
图14是示出可以被执行以实现图3A-4B的示例头具20的示例计算机可读指令1400的流程图,用于基于识别焊接点弧的位置来对图像传感器进行聚焦和/或变焦。示例指令1400可以由图3C和/或4B的处理器410执行,以对图像传感器422进行聚焦和/或放大由图像传感器捕获的图像以在显示器304上显示。该指令可以结合图6A、7A的任何其它指令来执行。在框1402处,处理器410确定是否检测到焊接操作。例如,处理器410可以根据图像的亮度和/或图像的任何部分是否超过阈值来处理来自图像传感器422的一个或多个图像以确定是否存在电弧。如果未检测到焊接操作(框1402),则控制迭代直到检测到焊接操作。
当检测到焊接操作(框1402)时,图像传感器422捕获焊接场景的图像(框1404)。在一些示例中,图像传感器422捕获多个图像以便于生成HDR、WDR或MDR图像。
在框1406中,处理器410通过检测图像中最亮的位置(例如,区域)来确定焊接场景内的焊接电弧的位置。在使用多个(例如,立体)图像传感器的一些情况下,确定电弧的三维位置。
在框1408中,处理器410基于焊接弧的位置来确定焊接场景中感兴趣的位置。例如,由于焊接电弧和焊接熔池之间的关系,处理器410可以将焊接熔池的位置确定为距离焊接弧的位置很短的距离。
在框1410中,示例处理器410控制相机414(例如,HDR图像传感器)以聚焦于感兴趣的位置。通过聚焦感兴趣的位置,处理器410可以改善操作者对感兴趣位置的看法。
在框1412中,处理器410确定是否选择焊炬变焦。当选择焊炬变焦(框1412)时,处理器410生成并显示(例如,经由显示器304)感兴趣位置的放大图像。
在生成和呈现放大的图像(框1414)之后,或者如果没有选择焊炬变焦(框1412),则控制返回到框1402。
图15是代表可以被执行以实现图3A-4B的示例头具20执行焊接场景的焊前检查的示例机器可读指令1500的流程图。虽然参考处理器410描述了示例指令1500,但是可以使用诸如云计算或任何其它外部计算资源的外部处理资源来实现示例指令1500。
在框1502中,处理器410接收焊接信息,诸如WPS、设备信息、工件信息和/或描述焊接操作的任何其它信息。处理器410可以经由通信接口和/或经由用户输入来接收焊接信息。
在框1504中,相机414捕获焊接场景的图像。在框1506中,处理器410处理图像以识别与焊接相关的对象。例如,处理器410可以在焊接场景的图像中识别工件(例如,一个或多个要焊接件)、焊枪、电极丝和/或任何其它对象。
在框1508中,处理器410分析要焊接对象的对准。例如,处理器410可以识别要焊接件的轮廓,并基于轮廓比较件的位置。例如,如果要焊接的第一件的表面邻接要焊接的第二件的不正确表面,则处理器410可以识别第一件和第二件的所识别的边缘、表面和/或横截面的取向第二件不符合焊接信息。
在框1510中,处理器410测量待焊接件之间存在的间隙。在框1512中,处理器410基于图像测量电极丝尺寸。例如,处理器410可以使用参考来确定距离的测量,并且将测量应用于要焊接的部件之间的一个或多个间隙和/或确定电极丝尺寸。示例参考包括具有图像中已知尺寸、取向和/或间距的标记,和/或多个图像传感器(例如,立体图像传感器)之间的已知距离。根据参考,处理器410可以测量间隙和/或电极丝尺寸。在一些示例中,可以通过相机414拍摄的立体图像来确定测量。可以基于在图像上执行边缘检测和/或其它图像处理技术来识别示例电极丝以进行测量,以识别焊枪和电极丝接近。
另外或可替代地,处理器410识别和验证可接受的焊接条件和/或不可接受的焊接条件,例如:是否识别出适当的焊接工具(例如焊炬);所识别的焊接耗材是否匹配WPS中指定的耗材(例如,基于将诸如QR码的识别码与WPS中指定的代码相匹配);是否存在工件的适当的夹具接合(例如,如果工件夹钳被接合,是否存在定位焊接和/或处于正确的模式和/或位置);电压感测引线已连接;接触焊头和/或喷嘴是否处于可接受的状态;工件表面是否已经根据WPS(例如,基于颜色)被适当地清洁;工件嵌合(例如,部件之间的间隙)是否在公差窗口内,和/或任何其它可视识别的焊接条件。
在框1514中,处理器410将测量的特性(例如,对准、间隙尺寸、电极丝尺寸等)与焊接信息(例如,来自WPS)进行比较。在框1516中,处理器410确定在所测量的特性和焊接信息之间是否检测到差异。例如,处理器410可以基于要执行的焊接的焊接信息来确定工件是否超出对准超过阈值,任何间隙是否大于允许的间隙,和/或电极丝尺寸是否不正确执行。
如果处理器410检测到任何差异(框1516),则在框1518中,处理器410生成预焊警告信号。可以经由显示器304显示预焊警告信号,经由扬声器驱动器412输出和/或经由通信接口406传送到设备12。在框1520中,处理器410禁止(例如,防止)焊接经由通信接口406向设备发送禁用信号。在一些示例中,预焊警告信号用作设备12的禁用信号。当焊接被禁用时,用户的焊炬触发器被拉动不会导致电弧启动。在一些示例中,焊接被禁用,直到通过另一个预焊检查,或焊接由操作者和/或主管手动启用。
如果处理器410没有检测到任何差异(框1516),则在框1522中,处理器410启用焊接。例如,处理器410向设备12提供启用信号。在一些示例中,焊接被启用,直到处理器410发送禁用信号。
在禁用焊接(框1520)或启用焊接(框1522)之后,示例指令1500结束。
图16是代表可以执行以实现图3A-4B的示例头具20执行焊接场景的焊接后检查的示例机器可读指令1600的流程图。尽管参考处理器410描述了示例指令1600,但是示例指令1600可以使用诸如云计算或任何其它外部计算资源的外部处理资源来实现。
在框1602中,处理器410接收焊接信息,诸如WPS、设备信息、工件信息和/或描述焊接操作的任何其它信息。处理器410可以经由通信接口和/或经由用户输入来接收焊接信息。
在框1604中,相机414捕获焊接场景的图像。在框1606中,处理器410处理图像以识别与焊接相关的对象。例如,处理器410可以在焊接场景的图像中识别工件(例如,一个或多个要焊接件)、焊枪、电极丝和/或任何其它对象。
在框1608中,处理器410识别完成的焊接中存在的孔和/或裂纹。例如,处理器410可以基于识别与周围焊道基本上不同的焊道中的颜色和/或形状来识别孔和/或裂纹。在框1610中,处理器410识别完成的焊接中的烧穿现象。例如,处理器410可以通过使用基于材料的烧穿形状和/或颜色的图像的分析来识别烫伤。
在框1612中,处理器410识别焊接几何形状。例如,处理器410可以分析完成的焊道的路径以确定焊接的尺寸和/或焊接的长度。在框1614中,处理器410识别焊接的放置。例如,处理器410可以确定工件是否在正确的位置焊接和/或是否正确放置点焊。处理器410可以使用参考点来确定距离的测量,并且应用测量来分析焊接几何形状和/或位置。在一些示例中,测量可以由相机414拍摄的立体图像确定。
在框1616中,处理器410确定是否检测到测量特性和焊接信息之间的任何差异。例如,如果焊接几何形状在阈值可接受的几何形状之外,和/或如果焊接位置不正确,则处理器410可以确定是否存在任何孔、裂纹和/或烧穿现象。如果识别出差异(框1616),则在框1618中,处理器410生成焊接后警告信号。焊接后警告信号可以经由显示器304显示,经由扬声器驱动器412输出和/或经由通信接口406传送到设备12和/或焊接监视服务器。
另一方面,如果没有识别到差异(框1616),则在框1620中,处理器410批准焊接。处理器410可以向设备和/或焊接监视服务器发送焊接批准信号。
在生成焊接后警告信号(框1618)之后,或在批准焊接之后(块1620),示例指令1600结束。
图17示出了焊接系统10的另一示例,其中操作者18正佩戴焊接头具20,并且使用焊炬22焊接工件24a和24b,焊炬22经由导管14由设备12输送功率或燃料到该焊炬22。在图17的示例中,相机414可以用于操作者识别。例如,操作者可能面对相机,并且可以通过面部识别软件登录到焊接系统中,分析操作者的面部特征并将其与用于特定设备或特定焊接作业的授权操作者的数据库进行比较。操作者的资质记录可以自动检查存在和到期。类似地,当操作者佩戴头盔时,相机可以捕获焊枪、电源、诸如气体和焊丝等耗材的识别特征(例如,信息标签或高对比度标记50)。图像处理软件可以登录用于焊接作业的适当焊枪、耗材等,并检查WPS(焊接程序规范)是否存在错误。标记50可以是例如印刷在焊接耗材的包装上的条形码或QR码(例如,线轴52上的QR码50b和气瓶54上的QR码50c),使得可以识别适当的耗材以符合预焊WPS。另一个示例是可以使用操作者手套上的QR码50g将操作者登录到焊接系统,并验证和接受操作者凭证(他/她的WPQ)。另一个示例是使用接头附近的QR码(例如QR码50d)来识别焊接部件内的焊接编号,以便可以执行适当的焊接顺序,并且可以自动调用或设置该特定接头的焊接程序。可替代地,可以将高对比度标记印刷在贴纸上或预蚀刻在工件24a和24b(例如,标记条50e和50f)以及焊枪(例如,标记50a)上以跟踪焊枪相对于接缝的的位置、取向和运动。可以从图像处理中提取诸如焊枪的行进速度、相对于接头的焊枪取向(即焊炬角度和行进角度)以及相对于接头中心的焊丝放置的信息。标记50a、50e和50f可以例如用近红外反射油墨或颜料打印,使得如果相机的成像器对IR敏感但拒绝可见的光谱,则它们在明亮的电弧状态下更可见。在另一个示例中,操作者18可以观察线轴52,并且头具20中的相机414可以捕获线轴52的图像,并且相应的图像处理将确定线轴在焊丝上是否低并且需要补充。类似地,操作者18可以将焊炬22保持靠近头盔,并目视检查用于第三只眼睛相机的焊炬22的前端以捕获焊头和喷嘴条件。相应的图像处理将基于预定标准确定焊头或喷嘴是否需要改变。另一个示例是,在焊接之后,操作者18可以目视检查他/她刚刚完成的焊接。第三只眼睛相机可以自动捕获焊接的图像,并计算焊接的实际长度、宽度、焊道形状和外部缺陷或不连续性,并将测量结果与视觉验收的质量标准进行比较。缺失的焊接、尺寸过大的焊接、不良质量焊接可以自动标记在系统中。操作者18可以经由扬声器驱动器412在现场通知。
图18示出了包括电磁屏蔽1810、光源1812和太阳能电池1814的焊接头具20的另一示例。示例头具20进一步包括光学部件302、显示器304、用户界面部件308、天线402、相机414、传感器422、电源424和PCB 430。
屏蔽件1810可以被定位成屏蔽佩戴者免受来自天线402和头具20的其它电子部件的电磁辐射。
光源1812可以包括例如超亮LED阵列以帮助照亮焊接场景。为了节省电池,控制电路可以只有确定附加照明将是有益时激活光源312(例如,当没有附加照明的焊接场景的亮度超出相机414的能力时,诸如在电弧点亮之前)。另外或可替代地,在焊炬触发器的拉动等时,光源可以通过诸如语音命令的操作者界面被激活和去激活。
图19是示出自动曝光控制的过程1900的流程图。示例方法1900可以由图3A-4B和/或18的头具20执行。
在框1902中,相机414准备好捕获图像。在框1904中,头具20的电路确定在捕获图像时是否存在焊接电弧。
如果电弧将存在,则在框1906中,使用相对较短的曝光时间和第一组图像处理参数和算法来显示诸如接头和焊丝延伸部的暗区的细节。第一组图像处理参数可以包括例如明亮场景的相对更具侵略性的图像压缩和数字图像滤波。
回到框1904,如果在图像捕获期间电弧不会存在,则可以与第二组图像处理参数一起使用更长的曝光,并且可以使用算法。第二组图像处理参数和算法可以包括例如对于黑暗场景相对较小的图像压缩比和数字图像滤波。
在框1910中,使用在框1906或1908中确定的曝光和参数和算法捕获图像,然后该过程返回到框1902以进行下一次捕获。
返回到框1904,存在可以确定在捕获期间电弧是否将存在的各种方式。在示例实施方式中,电弧信号(例如,从设备12传送到头具20)可用作前馈信号以适应曝光时间。例如,如果检测到的电弧电压(不包括焊接电缆电压和电极伸出电压)大于14V,则可以确定存在电弧并且可能保持存在以用于即将到来的图像捕获。
在另一示例实施方式中,不是仅预测电弧的存在或不存在,而是可以预测电弧的亮度并且用于适配曝光时间和/或图像处理参数。例如,可以使用电弧电压或电弧电流(或电压和电流的乘积作为电弧功率)的电平来预测场景的亮度,并相应地选择曝光和图像处理参数和算法。这不仅在电弧启动和停止期间,而且在电弧亮度快速变化(例如,在20Hz至250Hz频率中)的焊接过程中也是有用的,诸如在脉冲焊接和短路焊接中。
图20是示出根据本公开的各方面的焊接头具的示例操作的状态图。在状态2002中,头具20可以上电,其中诸如驻留在PCB 430上的电路的电路处于省电状态。在状态2002中,相机414可能不会捕获照片,通信接口406可以不发送或接收任何数据等。当头具20处于省电模式时,传感器的光电二极管422可以监视入射到其上的光,以检测焊接电弧的存在。在感测到焊接电弧的存在时,光电二极管生成触发从状态2002到状态2004的转变的中断。在状态2004中,状态2002处于省电模式的电路被唤醒。例如,相机414可以开始捕获视频,GPU 418可以处理视频,并且通信接口406可以开始以P2P联网无线地流式传输视频,使得它们的视频可以显示在装置的网络浏览器中附近。当光电二极管检测到电弧熄灭时,它可能触发电路进行省电模式的转换(包括进行一些“内务处理”,诸如将状态信息存储到存储器等中,然后系统返回到状态2002。
图21A和21B示出了在焊接操作的短路条件期间捕获焊接环境2100的图像的示例。图21A和21B的示例可以由图3A-4C的示例头具20执行以在焊接操作期间捕获焊接环境的图像。例如,头具20可以使用当存在电弧时不依赖诸如HDR、WDR、MDR、ToF感测或用于捕获图像的任何其它技术的技术的低成本光学传感器或相机(例如,相机414)。
参考图21A,示例焊接环境2100包括在正在进行的焊接操作期间被焊接的工件2102。在焊接操作中,焊炬2104将电极丝2106馈送到焊接操作,并且在电极丝2106和工件2102之间存在具有高亮度的电弧2108。由于电弧2108的高亮度,在电弧2108的存在期间捕获的焊接环境2100的图像可能不会在不使用如上所述的HDR和/或其它技术的情况下示出焊接环境2100中的焊接熔池或其它特征。
参考图21B,图21A的焊接操作经历了短路状态,其中电极丝2106与焊接熔池2112和/或工件2102直接接触。结果,电弧2106熄灭(例如,暂时),并且电流直接从电极丝2106流到焊接熔池2112。由于电弧2106不存在,焊接环境2100在焊接环境2100中的不同元件之间具有较低的亮度差,并且焊接环境2100的图像可以使用较低动态-范围图像技术捕获。
头具20的示例处理器410识别在焊接操作中存在短路条件的时间段,并且在识别的时间段期间经由相机414捕获图像。如本文所述,图像可以向头具20的佩戴者显示(例如,在显示器304上),覆盖有一个或多个模拟对象、存储和/或发送用于远程观察。
在一些示例中,处理器410通过从传感器422和/或相机414接收一个或多个信号(例如,亮度值)和/或通过经由通信接口406从设备12接收数据来识别存在短路条件的时间段。可以从设备12接收的示例数据包括由电源和/或送丝器输出的测量的电压和/或电流值,和/或指示电源基于短路条件操作的电源的工作模式。例如,如果处理器410从设备12接收到指示短路条件(例如,电压下降和/或电流增加到阈值电平)的焊接变量值,则处理器410使相机414捕获一个或多个图像。
在一些示例中,处理器410接收正在使用受控短路过程的标识。基于由设备提供的受控短路过程和/或焊接变量数据,示例处理器410预测存在短路的时间并在预测时间捕获图像。在一些示例中,处理器410发送信号以命令设备12在特定时间引起短路条件。
图22是代表可由图3A-4C的处理器410执行以在焊接操作的短路条件期间捕获焊接环境的图像(例如,图21A-21B的焊接环境2100)的示例机器可读指令2200的流程图。
在框2202处,图3A-4C的示例处理器410确定焊接操作是否发生。如果没有发生焊接操作(框2202),则控制返回到框2202以等待焊接操作。
如果发生焊接操作(框2202),则在框2204处,处理器410从传感器422和/或相机414接收一个或多个传感器值。例如,传感器值可以包括围绕头具20的环境的亮度(例如,照明)值。
在框2206处,处理器410确定传感器值是否指示低光强度条件。在短路(例如,电弧熄灭)和/或在低电流条件期间可能发生低光强度条件。在一些示例中,可以以与自动调光焊接面板确定减少调光效果的条件相似或相同的方式来确定低光强度条件。例如,如果亮度值大于指示存在电弧的阈值亮度值,则处理器410可以确定不存在低光强度条件。
如果传感器值不指示低光强度条件(框2206),则在框2208处,处理器410确定是否已经从焊接装置接收到低光强度条件指示。例如,处理器410可以确定是否已经接收到(例如,从设备12和/或经由通信接口406)电压变量、电流变量和/或指示低光强度条件存在的任何其它信号或数据。低光强度条件的示例指示包括电压变化测量(例如,时间段中的阈值电压降)和/或小于阈值(例如小于14V)的电弧电压测量。在使用受控短路焊接过程的一些示例中,处理器410可以接收识别短路过程的频率和/或受控短路过程的波形的信息。处理器410可以使用频率和/或波形信息来预测在焊接操作期间出现短路条件的时间。
如果尚未接收到短路状态指示(框2208),则在框2210出,处理器410确定是否要发送低光强度请求(例如,在焊接操作中引起短路)。例如,如果在至少阈值时间段内没有捕获图像,则处理器410可以请求低光强度条件以提供捕获图像的机会。在一些其它示例中,可以响应于另一个条件,例如检测焊接操作和/或其它条件中的异常来请求低光强度条件。示例低光强度请求可以被格式化以使得电源和/或送丝器通过例如临时增加送丝速度和/或临时降低焊接电压或焊接电流而引起低光强度条件(例如,小于50安培)以减少来自电弧的光强度。示例焊接设备12可以通过例如通过逆变器输出的电流来短暂地减少焊接电缆中的电流来响应低光强度请求,以使来自焊接电缆的电流分流。电流分流导致焊接电缆电流中的快速反向尖峰,这降低了电弧光的强度,并且能够通过相机414捕获一个或多个图像。如果没有指示低光强度条件存在的数据或通信(框2206-2210),则控制返回到框2202。
如果传感器值指示低光强度条件(框2206),如果已经接收到低光强条件指示(框2208)和/或如果发送低光强度请求(框2210),则在框2212处,处理器基于传感器值、接收的低光强度条件指示和/或低光强度请求,使相机414与低光强度条件同步。例如,处理器410可以基于传感器值确定低光强度条件已经开始和/或当前存在(例如,存在基于亮度传感器值发生的短路,并且应立即捕获图像)。另外或可替代地,处理器410可以基于接收的低光强度指示和/或低光强度请求来预测当前和/或将来的低光强度条件。例如,处理器410可以使用频率和/或波形信息来预测在焊接操作期间出现低光强度条件的时间。
在框2214处,处理器410控制相机414在短路条件的时间周期内捕获一个或多个图像。在一些示例中,处理器410控制诸如发光二极管(LED)或其它光源的照明装置照亮正在捕获图像的区域。当使用照明源时,在一些示例中,当不捕获图像以节省能量时,处理器410关闭照明源。
在框2216处,处理器410验证所捕获的图像以确定图像具有用于观察和/或分析的合适的亮度和/或对比特性。在框2218处,处理器410确定是否已经捕获了可用的图像。如果没有捕获到可用的图像(例如,由于干扰或计算不正确的时间段)(框2218),则控制返回到框2202。
如果已经捕获可用的图像(框2218),则在框2220处,处理器410处理图像以确定焊接操作的特性(例如,如本文所述)。在框2222处,处理器410覆盖图像(例如,使用模拟对象),显示图像(例如,在显示器304上,有或没有模拟对象),存储图像,和/或发送图像,如本文所述。当焊接操作正在进行时,控制返回到框2202以继续在低光强度条件期间捕获图像。
本方法和系统可以在硬件、软件和/或硬件和软件的组合中实现。本方法和/或系统可以以集中的方式在至少一个计算系统中实现,或以分布式方式实现,其中不同的元件分布在多个互连的计算系统中。适用于执行本文描述的方法的任何类型的计算系统或其它器械是适合的。硬件和软件的典型组合可以包括具有程序或其它代码的通用计算系统,当被加载和执行时,它控制计算系统,使得它执行本文描述的方法。另一个典型的实施方式可以包括一个或多个专用集成电路或芯片。一些实施方式可以包括其上存储有可由机器执行的一行或多行代码的非暂时机器可读(例如,计算机可读)介质(例如,闪速存储器、光盘、磁存储盘等),从而使机器执行如本文所述的过程。如本文所使用的,术语“非暂时机器可读介质”被定义为包括所有类型的机器可读存储介质并且排除传播信号。
虽然已经参考某些实施方式描述了本方法和/或系统,但是本领域技术人员将会理解,在不脱离本方法的范围的情况下可以进行各种改变并且可以替换等同物和/或系统。此外,在不脱离其范围的情况下,可以进行许多修改以使特定情况或材料适应本公开的教导。例如,可以组合、分割、重新排列和/或以其它方式修改公开的示例的框和/或部件。因此,本方法和/或系统意图不限于所公开的特定实施方式,而是本方法和/或系统将包括落入所附权利要求的范围内的所有实施方式。
如本文所使用的,术语“电路”和“电路系统”是指物理电子部件(即硬件)以及可以配置硬件的任何软件和/或固件(“代码”),其由硬件执行,或者以其它方式与硬件相关联。如本文所使用的,例如,当执行第一一行或多行代码时,特定处理器和存储器可以包括第一“电路”,并且当执行第二一行或多行代码时可以包括第二“电路”。如本文所使用的,“和/或”是指通过“和/或”连接的列表中的任何一个或多个项目。作为示例,“x和/或y”表示三元素集{(x),(y),(x,y)}中的任何元素。换句话说,“x和/或y”表示“x和y中的一个或两个”。作为另一个示例,“x,y”和/或z“是指七元素组{(x),(y),(z),(x,y),(x,z),z),(x,y,z)}。换句话说,“x,y和/或z”表示“x,y和z中的一个或多个”。如本文所使用的,术语“示例”表示用作非限制性示例、实例或说明。如本文所使用的,术语“比如”和“例如”列出了一个或多个非限制性示例、实例或说明的列表。如本文所使用的,无论电路是否包括必要的硬件和代码(如果需要的话)执行功能,电路是“可操作的”,而不管功能的性能是否被禁用或不被启用(例如,通过用户可配置设置、工厂修改等)。
本方法和/或系统可以在硬件、软件或硬件和软件的组合中实现。本方法和/或系统可以以集中的方式在至少一个计算系统中实现,或以分布式方式实现,其中不同的元素分布在多个互连的计算系统中。适用于执行本文描述的方法的任何类型的计算系统或其它器械是适合的。硬件和软件的典型组合可以是具有程序或其它代码的通用计算系统,当被加载和执行时,它控制计算系统,使得它执行本文描述的方法。另一典型实施方式可以包括专用集成电路或芯片。一些实施方式可以包括其上存储有可由机器执行的一行或多行代码的非暂时机器可读(例如,计算机可读)介质(例如,闪存驱动器、光盘、磁存储盘等),从而使机器执行如本文所述的处理。
虽然已经参考某些实施方式描述了本方法和/或系统,但是本领域技术人员将会理解,在不脱离本方法的范围的情况下可以进行各种改变并且可以替换等同物和/或系统。此外,在不脱离其范围的情况下,可以进行许多修改以使特定情况或材料适应本公开的教导。因此,本方法和/或系统不限于所公开的特定实现。相反,本方法和/或系统将包括落在所附权利要求的范围内的所有实施方式,包括字面上和在等同原则下。

Claims (24)

1.一种焊接培训系统,包括:
显示器;
相机;
与能够执行实际焊接的焊接设备通信的通信装置;以及
焊接头盔,其包括视口并被配置为保持所述相机、所述通信装置和所述显示器,使得当所述焊接头盔由佩戴者佩戴时,所述显示器可由佩戴者观察,所述相机具有通过所述视口的视图,使得所述显示器通过所述视口将所述相机拍摄的所述佩戴者图像显示出来,并且显示基于经由所述通信装置从所述焊接设备接收的信息生成的模拟对象。
2.根据权利要求1所述的焊接培训系统,其中所述通信装置将向焊接设备发送命令以使所述焊接设备在培训或模拟模式中操作。
3.根据权利要求2所述的焊接培训系统,其中所述通信装置将接收识别模拟焊接开始的触发信号,所述显示器响应于接收所述触发信号而显示所述模拟对象。
4.根据权利要求1所述的焊接培训系统,其中所述显示器、所述相机和所述通信装置在集成到所述焊接头盔的智能手机或平板计算机中。
5.根据权利要求4所述的焊接培训系统,其中所述智能手机或平板计算机包括麦克风和处理器,所述处理器被配置为:
识别经由所述麦克风接收的第一音频命令;
开始焊接培训操作,所述焊接培训操作包括经由所述显示器向所述佩戴者显示所述图像和所述模拟对象;
识别经由所述麦克风接收的第二音频命令;以及
结束所述焊接培训操作。
6.根据权利要求1所述的焊接培训系统,进一步包括用于执行向所述佩戴者提供焊接培训的软件的处理器。
7.根据权利要求6所述的焊接培训系统,所述处理器将模拟焊接电弧、模拟焊道或模拟焊接熔池中的至少一个呈现为所述模拟对象。
8.根据权利要求1所述的焊接培训系统,其中所述通信装置将从所述焊接设备接收焊接参数,所述系统进一步包括处理器,用于:
处理所述图像以提取多个焊接条件;以及
基于所述焊接参数和基于所述多个焊接条件呈现所述模拟对象,所述显示器用基于所述图像的位置和视角将所述模拟对象叠加在所述图像上。
9.根据权利要求8所述的焊接培训系统,其中所述焊接条件包括接触焊嘴到工件距离、工件测量厚度、工件嵌合、相对于接缝的焊炬瞄准、焊炬行进角度、焊炬工作角度或焊炬行进速度中的至少一个。
10.根据权利要求8所述的焊接培训系统,其中所述模拟对象包括模拟焊接电弧、模拟焊接熔池、模拟飞溅、模拟烟雾或模拟焊道中的至少一个。
11.根据权利要求10所述的焊接培训系统,进一步包括用于输出模拟电弧声音或模拟气流声音中的至少一种的扬声器。
12.根据权利要求8所述的焊接培训系统,其中所述焊接参数包括电压设定点、电弧长度设定点、电流设定点或送丝速度设定点或焊接程序预设中的至少一个。
13.根据权利要求8所述的焊接培训系统,其中所述处理器将处理所述图像以提取焊接场景的特性,并进一步基于所述特性来呈现所述模拟对象,所述特性包括焊接过程类型、焊炬类型、焊炬条件、焊接消耗类型、焊接接头类型、定位焊接存在、工件表面清洁度、焊接夹具状态或焊接夹钳状态中的至少一个。
14.根据权利要求1所述的焊接培训系统,其中所述通信装置被配置成经由无线通信与所述焊接设备通信。
15.根据权利要求1所述的焊接培训系统,进一步包括处理器,用于:
通过提取和分析所述图像的特征来测量焊接场景的第一特性;
确定所述第一特性和第二特性之间的差异是否对应于不可接受的焊接条件;以及
当所述差异对应于所述不可接受的焊接条件时,经由所述显示器输出指示所述焊接场景具有所述不可接受的焊接条件的警告。
16.根据权利要求1所述的焊接培训系统,进一步包括处理器,用于:
分析所述图像以识别所述图像中的对象以及在所述对象之间的空间关系;
呈现代表所述空间关系的图形;以及
将所述图形叠加在所述显示器上的所述图像上。
17.根据权利要求1所述的焊接培训系统,其中所述通信装置与所述焊接设备通信以检测模拟焊接操作的开始或所述模拟焊接操作的结束,并且所述显示器将响应于所述模拟焊接操作的开始呈现所述模拟对象,或响应于所述模拟焊接操作的结束而移除所述模拟对象。
18.根据权利要求1所述的焊接培训系统,其中所述相机是高动态范围相机,并且所述图像是高动态范围图像。
19.根据权利要求1所述的焊接培训系统,其中所述相机是中动态范围相机,并且所述图像是中动态范围图像。
20.根据权利要求1所述的焊接培训系统,其中所述相机是宽动态范围相机,并且所述图像是宽动态范围图像。
21.根据权利要求1所述的焊接培训系统,其中所述图像包括视频或静止图像中的至少一个。
22.根据权利要求1所述的焊接培训系统,进一步包括处理器,用于:使用距离参考来校准所述图像的距离测量;以及
使用所述校准的距离测量来测量所述图像中呈现的对象的物理特性。
23.根据权利要求1所述的焊接培训系统,其中所述通信装置将所述图像发送到外部计算装置。
24.根据权利要求1所述的焊接培训系统,其中所述显示器将显示覆盖在所述图像上的焊接指令信息。
CN201680026611.0A 2015-03-09 2016-03-04 提供与焊接操作相关联的视觉信息的方法和装置 Active CN107980153B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562130340P 2015-03-09 2015-03-09
US62/130,340 2015-03-09
US201562143243P 2015-04-06 2015-04-06
US62/143,243 2015-04-06
PCT/US2016/020865 WO2016144744A1 (en) 2015-03-09 2016-03-04 Methods and apparatus to provide visual information associated with welding operations

Publications (2)

Publication Number Publication Date
CN107980153A true CN107980153A (zh) 2018-05-01
CN107980153B CN107980153B (zh) 2021-10-22

Family

ID=55642849

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680026611.0A Active CN107980153B (zh) 2015-03-09 2016-03-04 提供与焊接操作相关联的视觉信息的方法和装置

Country Status (4)

Country Link
US (3) US10380911B2 (zh)
EP (1) EP3268949B1 (zh)
CN (1) CN107980153B (zh)
WO (1) WO2016144744A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108766041A (zh) * 2018-05-25 2018-11-06 苏州市职业大学 一种基于ar技术的教学用模拟实验设备及方法
CN109520519A (zh) * 2018-10-17 2019-03-26 安徽立卓智能电网科技有限公司 一种变电站灭火安全路线规划方法
CN110640264A (zh) * 2019-09-29 2020-01-03 佛山耀立电气有限公司 焊接参数设置方法及装置、焊机、焊接系统
CN110826439A (zh) * 2019-10-25 2020-02-21 杭州叙简科技股份有限公司 一种基于深度学习图像处理的电焊施工检测方法
CN111168211A (zh) * 2020-02-24 2020-05-19 夸夫曼(上海)智能科技发展有限公司 智能虚拟焊接实训装置及方法
CN111743691A (zh) * 2020-07-24 2020-10-09 七彩瓢虫(沈阳)创意科技有限公司 一种超声波vr焊接面罩的实现方法
CN111835911A (zh) * 2019-04-15 2020-10-27 林肯环球股份有限公司 使用移动通信装置作为焊接设备和系统的用户界面
CN111988533A (zh) * 2019-05-23 2020-11-24 川田科技株式会社 焊接辅助方法及装置
CN111988519A (zh) * 2019-05-22 2020-11-24 奥托斯维株式会社 一种用于提供高质量图像的焊接引导系统
CN112637514A (zh) * 2019-09-24 2021-04-09 奥托斯维株式会社 焊接信息提供装置
CN114633000A (zh) * 2022-03-23 2022-06-17 上海工程技术大学 一种利用电弧声音辅助焊工在线判断焊缝熔透状态的方法
CN116921817A (zh) * 2023-09-15 2023-10-24 中建安装集团有限公司 自动tig焊电弧聚集度在线监测及智能预警方法

Families Citing this family (136)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009146359A1 (en) 2008-05-28 2009-12-03 Illinois Tool Works Inc. Welding training system
US9026242B2 (en) * 2011-05-19 2015-05-05 Taktia Llc Automatically guided tools
US9101994B2 (en) * 2011-08-10 2015-08-11 Illinois Tool Works Inc. System and device for welding training
US20190240761A1 (en) * 2011-11-07 2019-08-08 Lincoln Global, Inc. Use of mobile communication devices as user interface for welding equipment and systems
EP3964902B1 (en) 2012-04-26 2024-01-03 Shaper Tools, Inc. Systems and methods for performing a task on a material, or locating the position of a device relative to the surface of the material
CA2892974C (en) 2012-11-28 2018-05-22 Vrsim, Inc. Simulator for skill-oriented training
US10930174B2 (en) 2013-05-24 2021-02-23 Lincoln Global, Inc. Systems and methods providing a computerized eyewear device to aid in welding
US10543549B2 (en) 2013-07-16 2020-01-28 Illinois Tool Works Inc. Additive manufacturing system for joining and surface overlay
US10056010B2 (en) 2013-12-03 2018-08-21 Illinois Tool Works Inc. Systems and methods for a weld training system
US10170019B2 (en) 2014-01-07 2019-01-01 Illinois Tool Works Inc. Feedback from a welding torch of a welding system
US10105782B2 (en) 2014-01-07 2018-10-23 Illinois Tool Works Inc. Feedback from a welding torch of a welding system
US9937578B2 (en) 2014-06-27 2018-04-10 Illinois Tool Works Inc. System and method for remote welding training
US10307853B2 (en) 2014-06-27 2019-06-04 Illinois Tool Works Inc. System and method for managing welding data
US9862049B2 (en) 2014-06-27 2018-01-09 Illinois Tool Works Inc. System and method of welding system operator identification
US10665128B2 (en) 2014-06-27 2020-05-26 Illinois Tool Works Inc. System and method of monitoring welding information
US11014183B2 (en) 2014-08-07 2021-05-25 Illinois Tool Works Inc. System and method of marking a welding workpiece
US10446057B2 (en) * 2014-09-19 2019-10-15 Realityworks, Inc. Welding speed sensor
US10643495B2 (en) 2014-09-19 2020-05-05 Realityworks, Inc. Welding speed pacing device
US10210773B2 (en) 2014-11-05 2019-02-19 Illinois Tool Works Inc. System and method for welding torch display
US10402959B2 (en) 2014-11-05 2019-09-03 Illinois Tool Works Inc. System and method of active torch marker control
US10417934B2 (en) 2014-11-05 2019-09-17 Illinois Tool Works Inc. System and method of reviewing weld data
US10204406B2 (en) 2014-11-05 2019-02-12 Illinois Tool Works Inc. System and method of controlling welding system camera exposure and marker illumination
US10373304B2 (en) 2014-11-05 2019-08-06 Illinois Tool Works Inc. System and method of arranging welding device markers
US10490098B2 (en) 2014-11-05 2019-11-26 Illinois Tool Works Inc. System and method of recording multi-run data
US10773329B2 (en) 2015-01-20 2020-09-15 Illinois Tool Works Inc. Multiple input welding vision system
CN107980153B (zh) * 2015-03-09 2021-10-22 伊利诺斯工具制品有限公司 提供与焊接操作相关联的视觉信息的方法和装置
US10026450B2 (en) * 2015-03-31 2018-07-17 Jaguar Land Rover Limited Content processing and distribution system and method
US10427239B2 (en) 2015-04-02 2019-10-01 Illinois Tool Works Inc. Systems and methods for tracking weld training arc parameters
US9924103B2 (en) * 2015-04-09 2018-03-20 The Boeing Company Automated local positioning system calibration using optically readable markers
US10252132B2 (en) 2015-04-15 2019-04-09 Kenith CARSWELL System, and method for improving human response, sensitivity, and performance
US20160331592A1 (en) * 2015-05-11 2016-11-17 Lincoln Global, Inc. Interactive helmet with display of welding parameters
US20160372006A1 (en) * 2015-06-22 2016-12-22 Joachim Berkmanns Methods for welding training
US10657839B2 (en) 2015-08-12 2020-05-19 Illinois Tool Works Inc. Stick welding electrode holders with real-time feedback features
US10593230B2 (en) 2015-08-12 2020-03-17 Illinois Tool Works Inc. Stick welding electrode holder systems and methods
US10438505B2 (en) 2015-08-12 2019-10-08 Illinois Tool Works Welding training system interface
US10373517B2 (en) 2015-08-12 2019-08-06 Illinois Tool Works Inc. Simulation stick welding electrode holder systems and methods
US10974337B2 (en) 2015-08-17 2021-04-13 Illinois Tool Works Inc. Additive manufacturing systems and methods
US10641745B2 (en) 2015-12-31 2020-05-05 VeriPhase, Inc. Method for checking for consistency and quality compliance in an ultrasonic scanning data file
CA3010814A1 (en) 2016-01-08 2017-07-13 Illinois Tool Works Inc. Systems and methods to provide weld training
CA3011154A1 (en) * 2016-01-08 2017-07-13 Illinois Tool Works Inc. Systems and methods to provide weld training
US10839717B2 (en) 2016-01-11 2020-11-17 Illinois Tool Works Inc. Weld training systems to synchronize weld data for presentation
JP6321703B2 (ja) * 2016-03-04 2018-05-09 ファナック株式会社 ワイヤ放電加工機の検査システム
US9918018B2 (en) 2016-04-04 2018-03-13 Illinois Tool Works Inc. Dynamic range enhancement systems and methods for use in welding applications
US10682721B2 (en) 2016-07-14 2020-06-16 Lincoln Global, Inc. Method and system for welding with temperature detector
US10776737B2 (en) * 2016-08-03 2020-09-15 Karl Storz Endoscopy-America, Inc. System and method for generating operational metrics data for a medical care facility
US10747393B2 (en) 2016-10-03 2020-08-18 Lincoln Global, Inc. User interface with real time pictograph representation of parameter settings
TR201614048A2 (tr) * 2016-10-06 2018-04-24 Erhan Ilhan Konukseven Fi̇ber bragg izgara tabanli opti̇k sensörler i̇le kaynak proses kontrol si̇stemi̇
CN106570228B (zh) * 2016-10-20 2019-07-26 中车长春轨道客车股份有限公司 厚壁管对接接头多层焊的toptig焊枪姿态参数取值验证方法
US10913125B2 (en) * 2016-11-07 2021-02-09 Lincoln Global, Inc. Welding system providing visual and audio cues to a welding helmet with a display
EP3326592A1 (de) * 2016-11-23 2018-05-30 optrel Holding AG Schutzkassette
IT201600119157A1 (it) * 2016-11-24 2018-05-24 Taglini Group S R L Sistema indossabile di controllo per il controllo ottico di almeno un prodotto da lavorare o lavorato in un processo industriale e relativo metodo di controllo
US10783207B2 (en) * 2016-11-25 2020-09-22 Sidergas Spa Method for retrieving information about a welding wire, computer-implemented method for retrieving information about a welding wire and system for retrieving information about a welding wire
US11609547B2 (en) * 2016-12-19 2023-03-21 Autodesk, Inc. Gestural control of an industrial robot
EP3574504A1 (en) * 2017-01-24 2019-12-04 Tietronix Software, Inc. System and method for three-dimensional augmented reality guidance for use of medical equipment
KR102572998B1 (ko) * 2017-03-02 2023-08-30 링컨 글로벌, 인크. 헤드 업 디스플레이 및 음성 명령이 지원되는 용접 헬멧
US20180256925A1 (en) * 2017-03-10 2018-09-13 Illinois Tool Works Inc. Method and apparatus for providing power for a device
US20180286285A1 (en) * 2017-03-31 2018-10-04 Cae Inc. Artificial eye system comprising a see-through display
US11276329B2 (en) * 2017-03-31 2022-03-15 Cae Healthcare Canada Inc. Artificial eye system comprising a see-through display
US20180301056A1 (en) * 2017-04-13 2018-10-18 Lincoln Global, Inc. Methods and systems for wireless live video streaming from a welding helmet
WO2018229688A1 (en) 2017-06-15 2018-12-20 3M Innovative Properties Company Vision-protective headgear with automatic darkening filter comprising an array of switchable shutters
US10828716B2 (en) 2017-06-19 2020-11-10 Lincoln Global, Inc. Systems and methods for real time, long distance, remote welding
US10459534B2 (en) * 2017-07-14 2019-10-29 Thirdeye Gen, Inc. System and method for large data augmented reality applications on smartglasses
BR112020004845A2 (pt) * 2017-09-11 2020-12-01 3M Innovative Properties Company interface remota com handshake de tipo específico para equipamento de proteção individual conectado
US11355025B2 (en) * 2017-09-14 2022-06-07 Vrsim, Inc. Simulator for skill-oriented training
JP6954792B2 (ja) * 2017-09-21 2021-10-27 株式会社日立製作所 接合工程ライン監視システム
US10792682B2 (en) 2017-10-02 2020-10-06 Illinois Tool Works Inc. Metal manufacturing systems and methods using mechanical oscillation
JP6926224B2 (ja) * 2017-11-08 2021-08-25 株式会社東芝 技能基盤システム、技能モデル化装置および技能流通方法
US11592536B2 (en) * 2018-01-10 2023-02-28 Sony Semiconductor Solutions Corporation Control of image capture
US11087452B2 (en) * 2018-02-05 2021-08-10 Nec Corporation False alarm reduction system for automatic manufacturing quality control
EP3537412A1 (en) * 2018-03-07 2019-09-11 Seabery North America, S.L. Systems and methods to simulate robotic joining operations
WO2019190722A1 (en) * 2018-03-28 2019-10-03 Pearson Education, Inc. Systems and methods for content management in augmented reality devices and applications
US11538358B2 (en) * 2018-04-23 2022-12-27 Sherman McLeod Method of training for welding through virtual reality
US11120703B2 (en) * 2018-04-23 2021-09-14 Sherman McLeod Method of training for welding through virtual reality
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
JP2020012858A (ja) * 2018-07-13 2020-01-23 株式会社日立製作所 技能訓練装置、および、技能訓練方法
US11403962B2 (en) 2018-08-03 2022-08-02 Illinois Tool Works Inc. System and method for weld training
CN108961963A (zh) * 2018-08-08 2018-12-07 苏州承儒信息科技有限公司 一种用于医学教育系统的虚拟手术训练控制方法
CA3019502C (en) * 2018-10-02 2023-08-22 Northern Centre For Advanced Technology Inc. Fire extinguisher training device
US10639737B1 (en) * 2018-10-19 2020-05-05 Aptiv Technologies Limited Welding system and method
US11883909B2 (en) * 2018-10-31 2024-01-30 Illinois Tool Works Inc. Systems and methods to design part weld processes
US20200147712A1 (en) * 2018-11-02 2020-05-14 Illinois Tool Works Inc. Systems and methods to design part weld processes
CN113195154A (zh) * 2018-12-19 2021-07-30 松下知识产权经营株式会社 焊接系统及使用该焊接系统的工件的焊接方法
CN109813727B (zh) * 2018-12-25 2021-08-03 苏州江奥光电科技有限公司 一种基于深度信息的pcb板焊接缺陷检测方法
US20200249673A1 (en) * 2019-01-31 2020-08-06 National Geospatial-Intelligence Agency Systems and Methods for Obtaining and Using Location Data
US11285557B2 (en) 2019-02-05 2022-03-29 Lincoln Global, Inc. Dual wire welding or additive manufacturing system
EP3696841B1 (en) * 2019-02-14 2021-11-17 ABB S.p.A. Method for guiding installation of internal accessory devices in low voltage switches
US11514816B2 (en) 2019-02-19 2022-11-29 Illinois Tool Works Inc. Adjustable visual effects simulating auto darkening lenses in augmented reality welding systems
US11806814B2 (en) 2019-02-19 2023-11-07 Illinois Tool Works Inc. Welding location and order monitoring in welding systems
US11450233B2 (en) * 2019-02-19 2022-09-20 Illinois Tool Works Inc. Systems for simulating joining operations using mobile devices
US11521512B2 (en) 2019-02-19 2022-12-06 Illinois Tool Works Inc. Systems for simulating joining operations using mobile devices
WO2020204965A1 (en) * 2019-04-04 2020-10-08 VeriPhase, Inc. Method for checking for consistency and quality compliance in an ultrasonic scanning data file
JP7007324B2 (ja) * 2019-04-25 2022-01-24 ファナック株式会社 画像処理装置、画像処理方法、及びロボットシステム
US11883331B2 (en) 2019-06-19 2024-01-30 Lincoln Global, Inc. Arc time recording system for auto-darkening welding helmet
US11776423B2 (en) 2019-07-22 2023-10-03 Illinois Tool Works Inc. Connection boxes for gas tungsten arc welding training systems
US11288978B2 (en) 2019-07-22 2022-03-29 Illinois Tool Works Inc. Gas tungsten arc welding training systems
US20210065140A1 (en) * 2019-08-30 2021-03-04 Illinois Tool Works Inc. System and methods for using drones in dispersed welding environments
KR102304917B1 (ko) 2019-09-20 2021-09-27 주식회사 오토스윙 환경 감지 기능을 구비한 용접 정보 제공 장치
USD932107S1 (en) 2019-10-01 2021-09-28 Lincoln Global, Inc. Auto darkening filter for a welding helmet
WO2021070726A1 (ja) * 2019-10-11 2021-04-15 パナソニックIpマネジメント株式会社 溶接方法、識別符号付与装置および溶接物
CN114555284A (zh) * 2019-10-11 2022-05-27 松下知识产权经营株式会社 标识符管理方法以及读取装置
US10819915B1 (en) 2019-10-17 2020-10-27 Horiba Instruments Incorporated Apparatus and method generating high dynamic range video
US11322037B2 (en) 2019-11-25 2022-05-03 Illinois Tool Works Inc. Weld training simulations using mobile devices, modular workpieces, and simulated welding equipment
US20210158724A1 (en) * 2019-11-25 2021-05-27 William Joshua Becker Weld training simulations using mobile devices, modular workpieces, and simulated welding equipment
US11721231B2 (en) * 2019-11-25 2023-08-08 Illinois Tool Works Inc. Weld training simulations using mobile devices, modular workpieces, and simulated welding equipment
US11529737B2 (en) 2020-01-30 2022-12-20 Raytheon Company System and method for using virtual/augmented reality for interaction with collaborative robots in manufacturing or industrial environment
US11554440B2 (en) 2020-04-14 2023-01-17 Selene Photonics, Inc. Digital display welding mask with HDR imaging
US11856175B2 (en) * 2020-04-14 2023-12-26 Selene Photonics, Inc. Welding mask with light field image capture and display
US11736787B2 (en) * 2020-04-14 2023-08-22 Selene Photonics, Inc. Digital display welding mask with long-exposure image capture
CN111885768B (zh) * 2020-06-28 2021-12-14 华为技术有限公司 调节光源的方法、电子设备和系统
US11407110B2 (en) * 2020-07-17 2022-08-09 Path Robotics, Inc. Real time feedback and dynamic adjustment for welding robots
KR102513312B1 (ko) * 2020-07-30 2023-03-23 주식회사 코앤코시스템 용접 훈련용 용접 가이드 시스템
US20220031515A1 (en) 2020-07-31 2022-02-03 Illinois Tool Works Inc. Smart welding helmet modules with adaptable helmet devices
ES2894549B2 (es) * 2020-08-10 2022-06-22 Seabery Augmented Tech S L Sistema de realidad aumentada o realidad virtual con localizacion activa de herramientas, uso y procedimiento asociado
EP3957427A1 (de) * 2020-08-20 2022-02-23 FRONIUS INTERNATIONAL GmbH Verfahren und vorrichtung zur überwachung einer nichtabschmelzenden schweisselektrode einer automatisierten lichtbogenschweissvorrichtung
US12076822B2 (en) * 2020-09-16 2024-09-03 T Bailey, Inc. Welding tracking and/or motion system, device and/or process
EP3988238B1 (en) * 2020-10-24 2024-08-14 Alexey Malov Welding shield with artificial intelligence-controlled display
US11730629B2 (en) 2020-11-03 2023-08-22 Illinois Tool Works Inc. Smart welding helmets
US20220143730A1 (en) * 2020-11-10 2022-05-12 Illinois Tool Works Inc. Systems and Methods to Control Welding Processes Using Weld Pool Attributes
EP4000569A1 (en) * 2020-11-13 2022-05-25 3M Innovative Properties Company Personal protective device with local voice recognition and method of processing a voice signal therein
US11980962B2 (en) * 2020-11-19 2024-05-14 Preston Busby Energy weld welding calculator and monitoring system and device
RU2759350C1 (ru) * 2021-02-01 2021-11-12 Общество с ограниченной ответственностью "ШТОРМ" Способ электродуговой сварки неповоротных кольцевых швов трубопроводов
WO2022182894A1 (en) 2021-02-24 2022-09-01 Path Robotics Inc. Autonomous welding robots
CN113141346B (zh) * 2021-03-16 2023-04-28 青岛小鸟看看科技有限公司 基于串流的vr一拖多系统及方法
US11676510B2 (en) * 2021-03-23 2023-06-13 Illinois Tool Works Inc. Welding simulation systems with observation devices
US11699359B2 (en) * 2021-08-30 2023-07-11 Illinois Tool Works Inc. Weld training systems with resettable target tool images
EP4209995A4 (en) * 2021-11-23 2023-12-27 Contemporary Amperex Technology Co., Limited IMAGE RECOGNITION METHOD AND APPARATUS AND COMPUTER READABLE STORAGE MEDIUM
JP2023102023A (ja) * 2022-01-11 2023-07-24 株式会社東芝 表示制御装置、表示システム、溶接システム、溶接方法、表示制御方法、プログラム、及び記憶媒体
US11922644B2 (en) 2022-02-11 2024-03-05 Illinois Tool Works Inc. Calibration procedures for helmet based weld tracking systems
WO2023217442A1 (en) * 2022-05-10 2023-11-16 Atlas Copco Industrial Technique Ab Method and control device for displaying a model of an object being processed by a manually operated tool
FR3135637B1 (fr) * 2022-05-17 2024-05-10 Fse Dispositif et procédé pour le contrôle d’un apport de matière en fabrication additive
DE102022206024A1 (de) * 2022-06-14 2023-12-14 Fronius International Gmbh Schweißschulungsanordnung zur Durchführung eines virtuellen Handschweißvorganges
US20240017342A1 (en) 2022-07-18 2024-01-18 Illinois Tool Works Inc. Welding technique monitoring systems using acoustic tracking
WO2024005746A1 (en) * 2022-12-28 2024-01-04 Bursa Uludağ Üni̇versi̇tesi̇ Smart hand welding torch system and method for manual laser welding
KR20240106743A (ko) * 2022-12-29 2024-07-08 (주)토탈소프트뱅크 실 용접 데이터 기반의 전문가 네비게이션 장치
KR102698177B1 (ko) * 2023-04-07 2024-08-23 김학환 지능형 강구조 건설용 드론 제어 시스템 및 그의 제어 방법
TWI837038B (zh) * 2023-07-12 2024-03-21 國立成功大學 創客教育學習辨識個體行為的方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101067905A (zh) * 2007-06-14 2007-11-07 中国石油天然气第一建设公司 焊接模拟操作专用头盔装置
US20100079356A1 (en) * 2008-09-30 2010-04-01 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
CN102165504A (zh) * 2008-08-21 2011-08-24 林肯环球股份有限公司 虚拟现实管焊接仿真器
US20120298640A1 (en) * 2009-07-08 2012-11-29 Edison Welding Institute, Inc. System for characterizing manual welding operations
US20130189658A1 (en) * 2009-07-10 2013-07-25 Carl Peters Systems and methods providing enhanced education and training in a virtual reality environment
CN103687687A (zh) * 2011-05-16 2014-03-26 林肯环球股份有限公司 双光谱数字成像焊接头盔
US20140134580A1 (en) * 2012-11-09 2014-05-15 Illinois Tool Works Inc. System and device for welding training
US20140346158A1 (en) * 2013-05-24 2014-11-27 Lincoln Global, Inc. Systems and methods providing a computerized eyewear device to aid in welding

Family Cites Families (167)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3555239A (en) 1966-11-16 1971-01-12 William J Kerth Welding machine with digital pulse control
GB1250964A (zh) 1968-12-13 1971-10-27
US4021840A (en) 1975-01-24 1977-05-03 General Dynamics Corporation Seam tracking welding system
JPS5913303B2 (ja) 1976-04-16 1984-03-28 株式会社ダイヘン ア−ク溶接速度の適否判別方法
JPS5499754A (en) 1978-01-25 1979-08-06 Hitachi Ltd Method and apparatus for automatic control of arc welding
US4477712A (en) 1982-04-26 1984-10-16 General Electric Company Arc-welding seam-tracking applications employing passive infrared sensors
US4641292A (en) 1983-06-20 1987-02-03 George Tunnell Voice controlled welding system
JPS60247475A (ja) 1984-05-23 1985-12-07 Hitachi Ltd 画像処理による溶接制御方法
US4577796A (en) 1984-10-10 1986-03-25 Kaiser Steel Corporation Method and apparatus for tracking seam welds on pipes and the like
US4707647A (en) 1986-05-19 1987-11-17 Gmf Robotics Corporation Gray scale vision method and system utilizing same
US4812614A (en) 1987-02-26 1989-03-14 Industrial Technology Research Institute Machine vision seam tracking method and apparatus for welding robots
US4733051A (en) 1987-08-25 1988-03-22 Canadian Patents And Development Limited Method and apparatus for controlling root pass weld penetration in open butt joints
US5380978A (en) 1991-07-12 1995-01-10 Pryor; Timothy R. Method and apparatus for assembly of car bodies and other 3-dimensional objects
US5275327A (en) 1992-10-13 1994-01-04 Eg&G Idaho, Inc. Integrated optical sensor
DE9321354U1 (de) 1993-04-24 1997-10-16 Merkle, Wilhelm, 89359 Kötz Arbeitsmaschine
EP0652071A1 (en) 1993-08-12 1995-05-10 Kabushiki Kaisha Kobe Seiko Sho Flux-cored wire for gas shield arc welding with low fume
US5572102A (en) 1995-02-28 1996-11-05 Budd Canada Inc. Method and apparatus for vision control of welding robots
ES2215208T3 (es) 1996-10-10 2004-10-01 Elpatronic Ag Procedimiento y dispositivo para la verificacion optica de una costura de soldadura.
CA2194937A1 (en) 1997-01-13 1998-07-13 John Craig Mobile automated pipeline welding and quality control system
US6122042A (en) 1997-02-07 2000-09-19 Wunderman; Irwin Devices and methods for optically identifying characteristics of material objects
US5923555A (en) 1997-06-02 1999-07-13 Framatome Technologies, Inc. Welding system
GB9724835D0 (en) 1997-11-25 1998-01-21 Univ Manchester Method and apparatus for detecting an object
US6240253B1 (en) 1998-09-14 2001-05-29 Minolta Co., Ltd. Automatic focusing camera
US6864916B1 (en) 1999-06-04 2005-03-08 The Trustees Of Columbia University In The City Of New York Apparatus and method for high dynamic range imaging using spatially varying exposures
US6318713B1 (en) * 1999-08-12 2001-11-20 Zag Industries Ltd. Portable workbench
EP1202832B2 (de) 1999-08-13 2007-01-03 Fronius International GmbH Datenanzeige am schweissschirm
US6242711B1 (en) 1999-12-27 2001-06-05 Accudata, Inc. Arc welding monitoring system
AU2001245575A1 (en) 2000-03-09 2001-09-17 Videoshare, Inc. Sharing a streaming video
US6587186B2 (en) 2000-06-06 2003-07-01 Canesta, Inc. CMOS-compatible three-dimensional image sensing using reduced peak energy
JP2002178148A (ja) 2000-12-15 2002-06-25 Denso Corp アーク溶接における溶け落ち検出方法
US7375304B2 (en) 2001-01-25 2008-05-20 Lincoln Global, Inc. System and method providing automated welding notification
US7761336B1 (en) 2001-04-20 2010-07-20 Lincoln Global, Inc. System and method for managing welding consumables
US6572379B1 (en) * 2001-05-03 2003-06-03 Lincoln Global, Inc. Self instruction welding kit
JP2006502001A (ja) 2002-03-27 2006-01-19 プラクスエア・テクノロジー・インコーポレイテッド 溶接のためのルミネッセンス検知システム
SE0203908D0 (sv) 2002-12-30 2002-12-30 Abb Research Ltd An augmented reality system and method
WO2005002480A1 (en) 2003-07-03 2005-01-13 Lightswitch Safety Systems, Inc. Multi-stage sensor for an auto-darkening lens for use in welding and method
US7278644B2 (en) * 2003-11-12 2007-10-09 Arthur Villarreal Portable workspace for laptop computers
US20050161357A1 (en) * 2003-12-24 2005-07-28 Allan Scott W. Portable tool case and workstation
US7294808B2 (en) 2004-03-15 2007-11-13 Lincoln Global, Inc. Remote wire feeder
US20060055666A1 (en) 2004-09-14 2006-03-16 Chong Tan S Method for controlling illumination employed by a computer pointing peripheral and computer pointing peripheral
DK1812200T3 (da) 2004-10-13 2009-09-07 Dritte Patentportfolio Beteili Indretning til udfärelse af en sammenfäjnings-, separations- eller overfladebehandlingsfremgangsm de, is r en svejsefremgangsm de
US7614011B2 (en) 2004-10-21 2009-11-03 International Business Machines Corporation Apparatus and method for display power saving
US7379163B2 (en) 2005-02-08 2008-05-27 Canesta, Inc. Method and system for automatic gain control of sensors in time-of-flight systems
DE102005009437A1 (de) 2005-03-02 2006-09-07 Kuka Roboter Gmbh Verfahren und Vorrichtung zum Einblenden von AR-Objekten
US8115138B2 (en) 2005-03-15 2012-02-14 Lincoln Global, Inc. Comprehensive identification and designation of welding procedures
US7247814B2 (en) 2005-03-23 2007-07-24 Illinois Tool Works Inc. System and method for data communications over a gas hose in a welding-type application
US8001623B2 (en) 2005-05-26 2011-08-23 Gertsch Jeffrey H Electronic helmet
US9289267B2 (en) 2005-06-14 2016-03-22 Siemens Medical Solutions Usa, Inc. Method and apparatus for minimally invasive surgery using endoscopes
AT502283B1 (de) 2005-07-15 2007-05-15 Fronius Int Gmbh Schweissverfahren und schweisssystem mit bestimmung der position des schweissbrenners
US20070046807A1 (en) 2005-08-23 2007-03-01 Eastman Kodak Company Capturing images under varying lighting conditions
US7534005B1 (en) 2006-01-04 2009-05-19 Michael Buckman Welding helmet
RU2393950C2 (ru) 2006-02-23 2010-07-10 Самсунг Хеви Инд. Ко., Лтд. Устройство весовой балансировки труб и способ их соединения
US20080083351A1 (en) * 2006-10-04 2008-04-10 Lippert Charles E Portable desk for vehicles
JP4218723B2 (ja) 2006-10-19 2009-02-04 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
US7926118B2 (en) 2006-12-27 2011-04-19 Illinois Tool Works Inc. Voice control welding/cutting helmet functions and settings
US20080198235A1 (en) 2007-02-16 2008-08-21 Shou-Lung Chen High dynamic range image recorder
JP2008260055A (ja) 2007-04-16 2008-10-30 Fujikura Ltd 溶接観察装置
US8525287B2 (en) 2007-04-18 2013-09-03 Invisage Technologies, Inc. Materials, systems and methods for optoelectronic devices
US8605008B1 (en) 2007-05-04 2013-12-10 Apple Inc. Head-mounted display
WO2009070707A2 (en) 2007-11-28 2009-06-04 Frank's International, Inc. Methods and apparatus for forming tubular strings
WO2009111499A2 (en) 2008-03-03 2009-09-11 Videoiq, Inc. Dynamic object classification
WO2009111670A1 (en) 2008-03-06 2009-09-11 Ev3 Endovascular, Inc. Image enhancement and application functionality for medical and other uses
US8502866B2 (en) 2008-03-14 2013-08-06 Illinois Tool Works Inc. Video recording device for a welder's helmet
US8808164B2 (en) 2008-03-28 2014-08-19 Intuitive Surgical Operations, Inc. Controlling a robotic surgical tool with a display monitor
US7962967B2 (en) 2008-05-09 2011-06-21 Illinois Tool Works Inc. Weld characteristic communication system for a welding mask
WO2009146359A1 (en) 2008-05-28 2009-12-03 Illinois Tool Works Inc. Welding training system
US8566353B2 (en) 2008-06-03 2013-10-22 Google Inc. Web-based system for collaborative generation of interactive videos
AT507021B1 (de) * 2008-07-04 2010-04-15 Fronius Int Gmbh Vorrichtung zur simulation eines schweissprozesses
US20100036625A1 (en) 2008-08-07 2010-02-11 Landis+Gyr, Inc. Temperature Profiling in an Electricity Meter
US8851896B2 (en) * 2008-08-21 2014-10-07 Lincoln Global, Inc. Virtual reality GTAW and pipe welding simulator and setup
US9330575B2 (en) 2008-08-21 2016-05-03 Lincoln Global, Inc. Tablet-based welding simulator
CN103119512A (zh) 2008-11-02 2013-05-22 大卫·乔姆 近眼式显示系统和装置
US20100223706A1 (en) 2009-03-03 2010-09-09 Illinois Tool Works Inc. Welding helmet audio communication systems and methods with bone conduction transducers
US8274013B2 (en) 2009-03-09 2012-09-25 Lincoln Global, Inc. System for tracking and analyzing welding activity
JP4807474B2 (ja) 2009-06-19 2011-11-02 パナソニック株式会社 消耗電極式アーク溶接方法および消耗電極式アーク溶接装置
US9773429B2 (en) 2009-07-08 2017-09-26 Lincoln Global, Inc. System and method for manual welder training
US9011154B2 (en) * 2009-07-10 2015-04-21 Lincoln Global, Inc. Virtual welding system
AT508696B1 (de) 2009-09-11 2015-06-15 Fronius Int Gmbh Überwachungsmodul zur überwachung eines prozesses mit einem lichtbogen
US20150209887A1 (en) 2009-10-13 2015-07-30 Lincoln Global, Inc. Welding helmet with heads up display
US8569655B2 (en) 2009-10-13 2013-10-29 Lincoln Global, Inc. Welding helmet with integral user interface
JP5466484B2 (ja) 2009-11-06 2014-04-09 株式会社神戸製鋼所 アーク溶接システム、シングルアーク溶接システムおよびタンデムアーク溶接システム
DE112010004379T5 (de) 2009-11-13 2012-11-29 Steven Donald Edelson Überwachungs- und Kamerasystem und Verfahren
FR2954090B1 (fr) 2009-12-22 2012-08-31 Commissariat Energie Atomique Lunettes numeriques de protection oculaire a traitement de signal
US8964298B2 (en) 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
US20140063055A1 (en) 2010-02-28 2014-03-06 Osterhout Group, Inc. Ar glasses specific user interface and control interface based on a connected external device type
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US20110220616A1 (en) 2010-03-10 2011-09-15 Illinois Tool Works Inc. Welding device with integral user interface
US20110220619A1 (en) 2010-03-10 2011-09-15 Illinois Tool Works Inc. Positional monitoring systems and methods for welding devices
US20110227934A1 (en) 2010-03-19 2011-09-22 Microsoft Corporation Architecture for Volume Rendering
KR101038569B1 (ko) 2010-07-05 2011-06-02 주식회사 유디엠텍 용접 모니터링 시스템 및 그 방법
US9993891B2 (en) 2010-07-14 2018-06-12 Illinois Tool Works Inc. Welding parameter control via welder motion or position monitoring
WO2012055824A1 (en) 2010-10-26 2012-05-03 Bae Systems Plc Display assembly, in particular a head-mounted display
ES2767882T3 (es) 2010-12-13 2020-06-18 Lincoln Global Inc Sistema de aprendizaje de soldeo
CA2725719A1 (en) 2010-12-16 2012-06-16 Steve Mann Sensory aid to help a user of light-procing or sound-producing process sense aspects of the process or the environment around the process
US20120180180A1 (en) 2010-12-16 2012-07-19 Mann Steve Seeing aid or other sensory aid or interface for activities such as electric arc welding
US9545687B2 (en) 2010-12-17 2017-01-17 Hobart Brothers Company Spool gun adapter
AT510886B1 (de) 2011-01-10 2012-10-15 Fronius Int Gmbh Verfahren zum einlernen/prüfen eines bewegungsablaufs eines schweissroboters, schweissroboter und steuerung dazu
CN102579189A (zh) 2011-01-12 2012-07-18 玛斯克光电科技股份有限公司 电焊滤镜装置及其控制方法
CA2769358C (en) 2011-03-08 2016-06-07 Research In Motion Limited Quantum dot image sensor with dummy pixels used for intensity calculations
JP5730179B2 (ja) 2011-03-08 2015-06-03 株式会社神戸製鋼所 多関節型ロボットの制御装置,制御方法及び制御プログラム
JP5582073B2 (ja) 2011-03-11 2014-09-03 セイコーエプソン株式会社 印刷データ生成装置、印刷データ生成方法および印刷データ生成プログラム
US11554439B2 (en) 2011-03-25 2023-01-17 Illinois Tool Works Inc. Method for setting welding parameters
KR101201483B1 (ko) 2011-05-17 2012-11-14 김동근 용접용 마스크
EP2709787A4 (en) 2011-05-31 2015-05-20 Technical & Automation Help Corp SYSTEM AND METHOD FOR HIGH-SPEED COATING OF METALS
KR20140094501A (ko) 2011-07-08 2014-07-30 웰도봇 리미티드 용접시 수동 심 추종을 위한 장치 및 방법 그리고 용접 보조 장치
US9101994B2 (en) 2011-08-10 2015-08-11 Illinois Tool Works Inc. System and device for welding training
US9323325B2 (en) 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
EP2752001A4 (en) 2011-08-30 2015-04-15 Nokia Corp APPARATUS, METHOD AND COMPUTER PROGRAM FOR VIDEO ENCODING AND DECODING
DE102011053798A1 (de) 2011-09-20 2013-03-21 Dritte Patentportfolio Beteiligungsgesellschaft Mbh & Co.Kg Verfahren zur Bestimmung einer Lageänderung eines Werkzeuges sowie das Werkzeug und die Werkzeugsteuerung
US9389677B2 (en) 2011-10-24 2016-07-12 Kenleigh C. Hobby Smart helmet
JP5338890B2 (ja) 2011-12-15 2013-11-13 Jfeスチール株式会社 レーザ溶接の溶接位置検出装置および溶接位置検出方法
CN103170767B (zh) 2011-12-20 2015-01-21 徐州工程学院 焊接机器人控制方法
US9573215B2 (en) 2012-02-10 2017-02-21 Illinois Tool Works Inc. Sound-based weld travel speed sensing system and method
US9566192B2 (en) 2012-05-04 2017-02-14 Illinois Tool Works Inc. Welding helmet for detecting arc data
US9116666B2 (en) 2012-06-01 2015-08-25 Microsoft Technology Licensing, Llc Gesture based region identification for holograms
US10384289B2 (en) 2012-06-08 2019-08-20 Illinois Tool Works Inc. Welding wire feeder bus control system and method
US9505130B2 (en) 2012-07-13 2016-11-29 General Electric Company System and method for performing remote welding operations on an apparatus
US8990964B2 (en) 2012-07-21 2015-03-31 David R. Anderson Welding helmet
US20140092015A1 (en) 2012-09-29 2014-04-03 Zhaohui Xing Method and apparatus for manipulating a graphical user interface using camera
US9583014B2 (en) 2012-11-09 2017-02-28 Illinois Tool Works Inc. System and device for welding training
US9081210B2 (en) 2012-12-12 2015-07-14 Microsoft Technology Licensing, Llc Head worn device having temple arms to provide long axis compression
US9335027B2 (en) 2013-01-02 2016-05-10 Massachusetts Institute Of Technology Methods and apparatus for transparent display using scattering nanoparticles
US10065260B2 (en) 2013-01-03 2018-09-04 Illinois Tool Works Inc. System and method for controlling an arc welding process
US9720505B2 (en) 2013-01-03 2017-08-01 Meta Company Extramissive spatial imaging digital eye glass apparatuses, methods and systems for virtual or augmediated vision, manipulation, creation, or interaction with objects, materials, or other entities
US9445079B2 (en) 2013-02-21 2016-09-13 Infineon Technologies Ag Calibration of a 3D camera
US9527153B2 (en) 2013-03-14 2016-12-27 Lincoln Global, Inc. Camera and wire feed solution for orbital welder system
US9672757B2 (en) * 2013-03-15 2017-06-06 Illinois Tool Works Inc. Multi-mode software and method for a welding training system
US9666100B2 (en) * 2013-03-15 2017-05-30 Illinois Tool Works Inc. Calibration devices for a welding training system
US9728103B2 (en) 2013-03-15 2017-08-08 Illinois Tool Works Inc. Data storage and analysis for a welding training system
US9583023B2 (en) * 2013-03-15 2017-02-28 Illinois Tool Works Inc. Welding torch for a welding training system
US9713852B2 (en) * 2013-03-15 2017-07-25 Illinois Tool Works Inc. Welding training systems and devices
US20140320529A1 (en) 2013-04-26 2014-10-30 Palo Alto Research Center Incorporated View steering in a combined virtual augmented reality system
US9235051B2 (en) 2013-06-18 2016-01-12 Microsoft Technology Licensing, Llc Multi-space connected virtual data objects
US20150009316A1 (en) 2013-07-02 2015-01-08 Aaron Baldwin Live Camera Feed Welding Helmet
DE102013217126B4 (de) 2013-08-28 2015-09-03 Trumpf Laser- Und Systemtechnik Gmbh Verfahren zum Feststellen von Abweichungen einer Ist-Lage eines Laserbearbeitungskopfes von einer Soll-Lage, Laserbearbeitungsmaschine und Computerprogrammprodukt
US20150072323A1 (en) 2013-09-11 2015-03-12 Lincoln Global, Inc. Learning management system for a real-time simulated virtual reality welding training environment
US10083627B2 (en) 2013-11-05 2018-09-25 Lincoln Global, Inc. Virtual reality and real welding training system and method
US10056010B2 (en) 2013-12-03 2018-08-21 Illinois Tool Works Inc. Systems and methods for a weld training system
US9751149B2 (en) 2014-01-07 2017-09-05 Illinois Tool Works Inc. Welding stand for a welding system
US9244539B2 (en) 2014-01-07 2016-01-26 Microsoft Technology Licensing, Llc Target positioning with gaze tracking
US10105782B2 (en) 2014-01-07 2018-10-23 Illinois Tool Works Inc. Feedback from a welding torch of a welding system
US9724788B2 (en) 2014-01-07 2017-08-08 Illinois Tool Works Inc. Electrical assemblies for a welding system
US9589481B2 (en) 2014-01-07 2017-03-07 Illinois Tool Works Inc. Welding software for detection and control of devices and for analysis of data
US10170019B2 (en) 2014-01-07 2019-01-01 Illinois Tool Works Inc. Feedback from a welding torch of a welding system
US9757819B2 (en) 2014-01-07 2017-09-12 Illinois Tool Works Inc. Calibration tool and method for a welding system
US9836987B2 (en) 2014-02-14 2017-12-05 Lincoln Global, Inc. Virtual reality pipe welding simulator and setup
US20150248845A1 (en) 2014-02-28 2015-09-03 Lincoln Global, Inc. Portable virtual welding system
US9485435B2 (en) 2014-04-22 2016-11-01 Shih-Chieh Huang Device for synthesizing high dynamic range image based on per-pixel exposure mapping and method thereof
US10335883B2 (en) * 2014-06-05 2019-07-02 Illinois Tool Works Inc. Gravity-based weld travel speed sensing system and method
CN104599314A (zh) 2014-06-12 2015-05-06 深圳奥比中光科技有限公司 三维模型重建方法与系统
CN204013703U (zh) * 2014-06-20 2014-12-10 李文松 一种用于手机的立体图像浏览装置
US10665128B2 (en) 2014-06-27 2020-05-26 Illinois Tool Works Inc. System and method of monitoring welding information
US9937578B2 (en) 2014-06-27 2018-04-10 Illinois Tool Works Inc. System and method for remote welding training
US9862049B2 (en) 2014-06-27 2018-01-09 Illinois Tool Works Inc. System and method of welding system operator identification
US8992226B1 (en) 2014-07-15 2015-03-31 Lincoln Global, Inc. Unicoupon for virtual reality welding simulator
US9865089B2 (en) 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
US9875665B2 (en) * 2014-08-18 2018-01-23 Illinois Tool Works Inc. Weld training system and method
US10123598B2 (en) * 2014-09-12 2018-11-13 Evangelos Achillopoulos Portable work surface system for carry-on cases
US10643495B2 (en) 2014-09-19 2020-05-05 Realityworks, Inc. Welding speed pacing device
US10201868B2 (en) * 2014-09-30 2019-02-12 Illinois Tool Works Inc. Systems and methods for gesture control of a welding system
CN104384765B (zh) 2014-10-14 2016-04-27 江苏湃锐自动化科技有限公司 基于三维模型与机器视觉的自动焊接方法
US10032388B2 (en) * 2014-12-05 2018-07-24 Illinois Tool Works Inc. Augmented and mediated reality welding helmet systems
CN107980153B (zh) * 2015-03-09 2021-10-22 伊利诺斯工具制品有限公司 提供与焊接操作相关联的视觉信息的方法和装置
US9977242B2 (en) 2015-03-26 2018-05-22 Illinois Tool Works Inc. Control of mediated reality welding system based on lighting conditions
US9666160B2 (en) 2015-03-26 2017-05-30 Illinois Tool Works Inc. Control of mediated reality welding system based on lighting conditions
JP6422185B2 (ja) 2015-04-22 2018-11-14 株式会社ダイヘン 交流tigアーク溶接電源及び交流tigアーク溶接装置
US9972215B2 (en) 2015-08-18 2018-05-15 Lincoln Global, Inc. Augmented reality interface for weld sequencing

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101067905A (zh) * 2007-06-14 2007-11-07 中国石油天然气第一建设公司 焊接模拟操作专用头盔装置
CN102165504A (zh) * 2008-08-21 2011-08-24 林肯环球股份有限公司 虚拟现实管焊接仿真器
US20100079356A1 (en) * 2008-09-30 2010-04-01 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US20120298640A1 (en) * 2009-07-08 2012-11-29 Edison Welding Institute, Inc. System for characterizing manual welding operations
US20130189658A1 (en) * 2009-07-10 2013-07-25 Carl Peters Systems and methods providing enhanced education and training in a virtual reality environment
CN103687687A (zh) * 2011-05-16 2014-03-26 林肯环球股份有限公司 双光谱数字成像焊接头盔
US20140134580A1 (en) * 2012-11-09 2014-05-15 Illinois Tool Works Inc. System and device for welding training
US20140346158A1 (en) * 2013-05-24 2014-11-27 Lincoln Global, Inc. Systems and methods providing a computerized eyewear device to aid in welding

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108766041A (zh) * 2018-05-25 2018-11-06 苏州市职业大学 一种基于ar技术的教学用模拟实验设备及方法
CN109520519A (zh) * 2018-10-17 2019-03-26 安徽立卓智能电网科技有限公司 一种变电站灭火安全路线规划方法
CN109520519B (zh) * 2018-10-17 2022-03-25 安徽立卓智能电网科技有限公司 一种变电站灭火安全路线规划方法
CN111835911A (zh) * 2019-04-15 2020-10-27 林肯环球股份有限公司 使用移动通信装置作为焊接设备和系统的用户界面
CN111988519A (zh) * 2019-05-22 2020-11-24 奥托斯维株式会社 一种用于提供高质量图像的焊接引导系统
CN111988519B (zh) * 2019-05-22 2022-10-14 奥托斯维株式会社 一种用于提供高质量图像的焊接引导系统
CN111988533B (zh) * 2019-05-23 2022-07-22 川田科技株式会社 焊接辅助方法及装置
CN111988533A (zh) * 2019-05-23 2020-11-24 川田科技株式会社 焊接辅助方法及装置
CN112637514B (zh) * 2019-09-24 2023-01-20 奥托斯维株式会社 焊接信息提供装置
CN112637514A (zh) * 2019-09-24 2021-04-09 奥托斯维株式会社 焊接信息提供装置
US12064834B2 (en) 2019-09-24 2024-08-20 Otos Wing.Co., Ltd. Welding information providing device
CN110640264B (zh) * 2019-09-29 2022-07-22 佛山耀立电气有限公司 焊接参数设置方法及装置、焊机、焊接系统
CN110640264A (zh) * 2019-09-29 2020-01-03 佛山耀立电气有限公司 焊接参数设置方法及装置、焊机、焊接系统
CN110826439A (zh) * 2019-10-25 2020-02-21 杭州叙简科技股份有限公司 一种基于深度学习图像处理的电焊施工检测方法
CN111168211A (zh) * 2020-02-24 2020-05-19 夸夫曼(上海)智能科技发展有限公司 智能虚拟焊接实训装置及方法
CN111743691A (zh) * 2020-07-24 2020-10-09 七彩瓢虫(沈阳)创意科技有限公司 一种超声波vr焊接面罩的实现方法
CN114633000A (zh) * 2022-03-23 2022-06-17 上海工程技术大学 一种利用电弧声音辅助焊工在线判断焊缝熔透状态的方法
CN114633000B (zh) * 2022-03-23 2023-05-05 上海工程技术大学 一种利用电弧声音辅助焊工在线判断焊缝熔透状态的方法
CN116921817A (zh) * 2023-09-15 2023-10-24 中建安装集团有限公司 自动tig焊电弧聚集度在线监测及智能预警方法
CN116921817B (zh) * 2023-09-15 2023-12-15 中建安装集团有限公司 自动tig焊电弧聚集度在线监测及智能预警方法

Also Published As

Publication number Publication date
US20230222938A1 (en) 2023-07-13
EP3268949B1 (en) 2021-05-26
CN107980153B (zh) 2021-10-22
EP3268949A1 (en) 2018-01-17
US10380911B2 (en) 2019-08-13
WO2016144744A1 (en) 2016-09-15
US11545045B2 (en) 2023-01-03
US11862035B2 (en) 2024-01-02
US20160267806A1 (en) 2016-09-15
US20190362646A1 (en) 2019-11-28

Similar Documents

Publication Publication Date Title
US11862035B2 (en) Methods and apparatus to provide visual information associated with welding operations
US11524368B2 (en) Augmented vision system with active welder guidance
US11140939B2 (en) Sensor assisted head mounted displays for welding
US12008915B2 (en) Weld training systems to synchronize weld data for presentation
US11865648B2 (en) Multiple input welding vision system
US20160125653A1 (en) Stereoscopic helmet display
CN107809986A (zh) 焊接视觉系统中图像捕获和显示的用户配置
US20160250706A1 (en) Welding system providing remote storage of video weld data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant