CN111702306B - 用于焊接机器视觉的飞行时间相机 - Google Patents

用于焊接机器视觉的飞行时间相机 Download PDF

Info

Publication number
CN111702306B
CN111702306B CN202010429617.0A CN202010429617A CN111702306B CN 111702306 B CN111702306 B CN 111702306B CN 202010429617 A CN202010429617 A CN 202010429617A CN 111702306 B CN111702306 B CN 111702306B
Authority
CN
China
Prior art keywords
welding
vision
machine
tof
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010429617.0A
Other languages
English (en)
Other versions
CN111702306A (zh
Inventor
克里斯托弗·徐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Illinois Tool Works Inc
Original Assignee
Illinois Tool Works Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Illinois Tool Works Inc filed Critical Illinois Tool Works Inc
Publication of CN111702306A publication Critical patent/CN111702306A/zh
Application granted granted Critical
Publication of CN111702306B publication Critical patent/CN111702306B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
    • B23K31/02—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to soldering or welding
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/32—Accessories
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/04—Eye-masks ; Devices to be worn on the face, not intended for looking through; Eye-pads for sunbathing
    • A61F9/06—Masks, shields or hoods for welders
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00—Working by laser beam, e.g. welding, cutting or boring
    • B23K26/02—Positioning or observing the workpiece, e.g. with respect to the point of impact; Aligning, aiming or focusing the laser beam
    • B23K26/03—Observing, e.g. monitoring, the workpiece
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00—Working by laser beam, e.g. welding, cutting or boring
    • B23K26/02—Positioning or observing the workpiece, e.g. with respect to the point of impact; Aligning, aiming or focusing the laser beam
    • B23K26/04—Automatically aligning, aiming or focusing the laser beam, e.g. using the back-scattered light
    • B23K26/044—Seam tracking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K37/00—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/095—Monitoring or automatic control of welding parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/12—Automatic feeding or moving of electrodes or work for spot or seam welding or cutting
    • B23K9/127—Means for tracking lines during arc welding or cutting

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • Plasma & Fusion (AREA)
  • Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Vascular Medicine (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种机器视觉辅助的焊接系统包括焊接设备；可操作用于产生焊接场景的三维深度图的飞行时间(ToF)相机；可操作用于从所述3D深度图提取焊接信息的数字图像处理电路系统；以及可操作用于基于所述提取的焊接信息控制所述焊接设备的功能的电路系统。所述焊接设备可以包括，例如，在焊接操作期间形成电弧的电弧焊接设备，以及所述ToF相机的光源，该光源可以发光，所述光的光谱包括以第一波长为中心的峰，其中选择所述第一波长，以使得所述峰的功率至少为比所述第一波长的源于所述电弧的光的功率高的阈值量。

Description

用于焊接机器视觉的飞行时间相机
本申请是申请日为2016年6月2日、国际申请号为PCT/US2016/035473、国家申请号为201680035976.X、发明名称为“用于焊接机器视觉的飞行时间相机”的发明专利申请的分案申请。
背景技术
焊接操作员和配备有传统光学相机的焊接机器人在恶劣的电弧焊接环境下存在视觉模糊的情况。焊接电弧与周围环境的强烈光强对比度使得难于以良好的清晰度看到焊缝、在焊缝内的电极放置、焊炬和行程角度、液体熔池的形状和位置，以及完工焊缝的大小和位置。某些焊丝、气体和焊接工艺的过多烟和飞溅物使该问题更加严重。
激光扫描器克服了电弧亮度和烟阻塞，但却苦于高成本和有限的视野，且通常被用于焊缝寻找和跟踪应用。
发明内容
本发明提供了用于焊接机器视觉的飞行时间相机的方法和系统，其基本上如附图中的至少一个所示和/或如结合附图中的至少一个所述。
附图简要说明
图1A示出利用飞行时间(ToF)成像对制作工作间场景的监控。
图1B示出使用飞行时间相机的深度测量。
图2示出ToF相机的示例实施方案。
图3A示出使用一个或多个ToF相机对手动焊接场景的监控。
图3B示出使用一个或多个ToF相机对机器人焊接场景的监控。
图4为示出使用ToF相机来监控和管理焊接工件变形的示例过程的流程图。
图5示出使用由监控制作间的一个或多个ToF相机收集的空间数据进行的焊接排序控制。
图6示出使用ToF相机以用于适应性多道焊接。
图7示出在ToF相机和非ToF相机之间的光学组件的共享。
具体实施方式
图1A示出了利用飞行时间(ToF)成像对制作工作间场景(包括焊接和焊接前和焊接后活动，以及其他非焊接制作活动，诸如切割、加热、硬焊、感应加热、软焊等)的监控。示出了从各种距离和角度监控焊接场景的多个ToF相机102a至102d。ToF相机102a至102d产生3D空间数据(例如，“点云”)并经有线和/或无线网络将该数据传送至数字信号处理电路系统106。焊接系统包括焊接设备，焊接设备可以包括例如，焊接电源、焊丝送丝器、焊接气体流量调节器、焊炬、用于定位待焊接的工件的焊接夹具、自动化焊接机器人、焊接可穿戴物(例如，电子头戴件、腕带、包等)、用于监控焊接过程的计算机工作站、计算机系统，该计算机系统除了存储例如焊接工艺规程、CAD图形/数据、工作订单、关于焊接操作员的信息等之外还用于存储/记录源于ToF相机102a至102d的焊接数据。
ToF相机102a和102e被安装在靠近焊缝处(例如，被整合至焊工头盔中，至焊工的衣服或可穿戴物诸如手套中，至焊炬或焊接工具中，被整合在机器人臂上的机器人的末端执行器中，被安装至夹持工件24a和24b的夹具，至工件24a或24b本身，或至焊矩44)以产生焊缝和焊缝附近区域的3D图。对于整合到焊接头盔中的ToF相机，诸如102e来说，头盔可以具有支持电路系统以预处理深度图像图、压缩图像并将图像无线传输至焊接设备。ToF相机102b、102c、102d被安装在更远的距离处(例如，如果在室内，则安装在天花板上，或如果在室外，则安装在灯具或建筑结构上)，以及在各种角度上以整体地产生在工作区域中的物体的图。这样的图可以用于跟踪工件、焊接操作员(活动)、焊接设备、焊接耗材等。因此，对于手动焊接大型挖掘机的挖斗110的工人的所示示例来说，可以产生挖斗110的3D图并将其用于确保在挖斗上的焊缝108没有缺陷，按正确的顺序完成等。
现在参考图1B，示出了ToF相机102，该相机代表ToF相机102a至102e中的每一个。光源154(例如，激光器)用主动调制的光或光脉冲(由线110表示)照亮焊接场景(由3D表面160表示)。制作工作间的3D表面160发出的反射光112是经检测器156进行接收的。ToF相机102的信号处理电路系统152随后测量在照明光110和反射光112之间的相移158。相移158取决于光的飞行时间，且因此电路系统152能够将其转换成用于图像的每个点的3D空间信息。以这种方式，ToF相机102可以立刻捕获整个场景。
ToF相机在低光照和明亮光条件下都可以运行良好，这有助于当存在焊接电弧时查看场景。由于深度测量是从ToF的相移中获得，因此与在使用结构光时的情况相比，在电弧和周围环境之间的强度对比对测量的影响较小。ToF相机可能涉及较低的实施复杂度，提供较快的响应时间(较高的帧速)，为紧凑的、成本有效的，没有移动部分且无需对透射光诸如在扫描光、结构光和/或在电弧焊接环境中可能起作用的其他这种类型的3D测量相机中的透射光进行整形和/或扫描。
ToF相机成像器可以具有CMOS像素阵列，其被设计为响应于照明光源的光谱，而照明光源的光谱可能不同于焊接电弧的光谱峰(忽略低于在ToF相机成像器测量的光源光谱峰的量大于某个确定的阈值量的峰)，从而能够几乎完全地阻挡电弧辐射和发射(或成像器不响应于此)，从而实现了大大改进的信噪比。例如，光源可以是LED或激光二极管。例如，研究已显示，在纯氩气GTAW焊接中，10％CO2和90％氩气混合的GMAW焊接和5％O2和95％氩气的钢焊接中，除了可见光谱中的峰之外，电弧的近红外光谱还在914nm附近显示有峰。因此，在这个示例中，如果ToF相机的照明激光被设置为在980nm波长(比电弧光谱中的914nm峰更长的波长)或替代地，在850nm(比电弧光谱中的914nm峰更短的波长)具有单个峰，以使得从ToF光源接收的功率是比成像器的通带中的从电弧光接收的功率高某个阈值量，系统则可以有效地阻挡由电弧发射的可见和近红外电弧光谱且具有对焊接场景的可靠3D映射。
使用反射光的另一个好处是只有固态物体而非气态物体诸如电弧等离子体能有效地反射光。电弧物体不反射照明光，以及固态物体，例如焊丝(在熔融前后)、飞行中的熔融金属、飞溅球、接触尖端、接头、熔池表面和焊缝等。因此，电弧对于ToF相机来说通常是不可见的。然而，电弧光确实提供了可能远高于ToF照明光源功率的照明功率水平。这种问题的一个示例解决方案是使用非整合型ToF传感器，该传感器不随时间整合光且使用近红外检测器(诸如InGaAs)来捕获反射的短激光脉冲。可以通过使场景的电弧所在区域中的激光功率适应地增加来改进深度分辨率，其中强度信息被用作置信度量度以用成像处理算法，诸如卡尔曼滤波器来提高精确度。
用ToF相机监控在制作间中的活动在各种方式中都可能是有益的。例如，经ToF相机捕获的数据能够用于监控增值活动(例如，焊接、切割、研磨等)和/或非增值活动(例如，检测由工人走来走去以拿起工具、放下工具、固定工具、等待材料到达和离开、等待其他职工，诸如电工将其焊接设备接通电源或叉车操作员移动WIP(半制品)等导致的低效率)。通过使用3D空间数据对这些活动进行跟踪和整理可以有助于制造商使制作操作“线性化”或流线化，减少MOH，改进吞吐量、质量、生产能力、安全性和人体工程学。
在一个示例实施方案中，系统还可以包括一个或多个非ToF相机130，其中非ToF相机可以进行操作以捕获，例如可见光谱和/或红外线的2D或3D(对于立体相机而言)图像。数字信号处理电路系统106可以进行操作以使用源于ToF相机102的3D空间数据来补充由非ToF相机130捕获的图像。例如，可以使用ToF数据和可见光谱图像的组合来产生增强现实用户界面，其中从ToF 3D图获得的场景理解可以被叠加至高动态范围的可见光谱图像上。作为另一个示例，可以使用ToF数据和IR图像的组合来产生3D图，其具有色彩映射以指示温度。在一个示例实施方案中，非ToF相机和ToF相机可以共享如下面参考图7所述的光学元件(照明器，诸如216c(未在图7中示出)可以与共享的光学元件相邻)。
图2示出ToF相机的示例实施方案。示例ToF相机102包括ToF图像传感器216A、模拟前端216B、照明器216C、ToF控制器216D和通信接口206。
ToF图像传感器216A可以包括，例如可寻址CMOS像素阵列，其中调整每种像素材料以响应于特定光学波长。可以选择波长以匹配由照明器216C发射的波长且其不同于由焊接电弧发射的波长。
模拟前端216B可以包括，例如采样和保持电路和高速模数转换器(ADC)的阵列以用于由ToF图像传感器216A输出的数据的模数转换和序列化。
照明器216C可以包括，例如发光二极管(LED)、激光二极管和/或其它光源。
ToF控制器216D可操作用于控制像素扫描，计算每个像素的深度测量并执行解混叠、去噪、频率调谐和温度补偿。ToF控制器216D可以是，例如控制和同步216A、216B和216C的操作的状态机。在一个示例实施方案中，控制器216D可以获取源于AFE 216B的序列化的空间数据成为3D点的集合，每个点被称为体素，从而形成深度图。ToF控制器216D可以将深度图渲染成称为点云的3D空间且可以通过被称为表面重建的过程将点云转换成网格模型。ToF控制器216D可以将空间数据(例如，网格模型或点云)传输到数据处理电路系统206(例如，FPGA、CPLD或SoC，诸如赛灵思公司(Xilinx)的Zync)进行3D点云的数字图像处理。作为ToF相机102的示例实施方案，源于德州仪器(Texas Instrument)的3芯片组解决方案能够用于实施图2。其可以包括TOF成像传感器(OPT81x0)、模拟前端(VSP5324)和TOF控制器(OPT91xx)。源于TI、SoftKinetic、Point-Cloud Library和OpenCV的软件能够用于ToF相机图像处理。其他实施方案，诸如使用源于英飞凌(Infineon)的3D深度感测电子器件也是可能的。
图3A示出了由ToF相机监控的示例焊接场景。ToF相机102a和102b从多个距离和角度捕获焊接场景。由相机102a和102b中的一个相机捕获的空间数据被中继到资源302(例如，单个计算装置、边缘装置或组联网的计算装置)。在另一个示例实施方案中，用于分析空间数据的电路系统可以被整合至ToF相机102a和/或102b，或可以在ToF相机102a和/或102b中执行某种低复杂度的处理以及可以在资源302中执行更高级的处理。
资源302可操作用于处理空间数据以识别和/或跟踪在焊接场景中的各种物体，且基于在空间数据中所检测到的物体采取适当的动作。对于物体跟踪而言，资源302可以使用已知信息来对被遮蔽物体的位置进行建模/预测。这可以包括，例如，在视野中的各种物理性物体(例如，工件、焊缝、焊炬、电极、熔池等)的最后一次看到的位置和速度，用于视野中的各种物理性物体的机械/CAD数据，用于各种物理性物体的化学或组成数据，焊接设备设置和/或输出(例如，电压、电流、气体速度等)。预测物理性物体的位置还可以包括对障碍物诸如烟、飞溅物、电弧亮度等的位置进行建模/预测。
除了解析被遮蔽物体外，焊接场景的先验知识(例如，在工厂的特定“制作间”中执行的焊接操作的知识，在特定制作间中可供使用的焊接设备的知识，被授权在特定的制作间中工作的焊接操作员的知识等)可以总体上有助于“场景理解”。与源于一个或多个ToF相机102的空间数据一起，资源302能够基于外生和/或先验知识具有更全面的场景分析。例如，概率图模型(PGM)能够用于破译场景中的物体及其行为，而不是仅仅依赖于源于ToF相机的空间数据。例如，资源302可以被配置成认定源于焊丝一端下方的电弧且以高速向外飞溅的光条纹可能是飞溅球。作为另一个示例，资源302可以具有关于在接头中存在的平头焊的存在(以及可能的位置)的信息且可以在其焊缝跟踪算法中考虑该信息(例如，用于引导手动焊接操作员18和/或控制焊接机器人，诸如在图3B中所示的)。作为另一个示例，资源302可以被配置为具有对物理能力和/或参数的预定限制(例如，实际上，焊炬44不能超过某个速度来物理行进等)。作为另一个示例，资源302可以存储与各种焊接工艺/参数相关联的声学特征(例如，长电弧可以发出具有第一组频率、幅度等的声音；短电弧可以发出具有第二组频率、幅度等的声音；以及理想的电弧可以发出具有第三组频率、幅度等的声音)。这样的多维、多变量的先验知识可以被共同地用于图像分割、3D物体重建以及场景解释。PGM可以采用像贝叶斯网络和马尔可夫随机场的方法或离散的数据结构来编码和操纵在多维空间中的概率分布。
基于空间数据的处理结果，资源302可以，例如为焊接操作员产生警报；产生控制信号以用于控制焊接场景的装置，诸如焊接设备12(例如，电源、送丝器、保护气阀等)，以及ToF相机102a和102b(例如，聚焦、摇摄、俯仰等)；和/或发送警报、控制信号和/或数据至远程位置(例如，至网络存储器，至远程监控站等)。对操作员的警报可以，例如经资源302的音频和/或视频接口输出和/或被通信至可穿戴装置，诸如操作员18的头盔20。
在所示的示例实施方案中，第一ToF相机102a被定位成以良好的精确度捕获工件的相对窄的视野，诸如在单个焊接接头内的焊炬移动，且相机102b被定位成用于“鸟瞰图”以跟踪较大的物体，诸如在整个工件中的多个焊接接头。以这种方式，ToF相机的不同角度和/或距离可以提供更少的“盲点”和/或更高的分辨率，其中这样的分辨率可能是有价值的。源于两个相机102a和102b的数据可以单独使用和/或可以进行组合以渲染焊接场景的单个且更完整的映射。在其他示例实施方案中，可以使用不同数量和/或不同位置的ToF相机。
资源302可以，例如，处理空间数据以识别正被焊接的工件24a和24b，以确定工件是否正确地位于测试夹具304中，以识别正在使用的设备(例如，哪个焊炬44和哪个电源12以及哪个可消耗性电极，诸如52)等。部件或工件识别可以帮助消除焊接错误，且能够用于自动焊接程序的产生和/或先前产生的焊接程序的选择。夹具识别可以用于手动焊接中以确保操作员按适当的顺序执行焊接(例如，用于管理工件的变形，如下面参考图4所述的)。可以使用焊接工具识别来确保适当的工具被用于在特定位置上的特定焊接。资源302可以，例如，处理空间数据以识别焊接操作员18。例如，ToF相机102a和/或102b可以按足够的分辨率捕获场景，以使得能够根据由ToF相机输出的空间数据来执行面积识别。数据可以，例如依照被授权的操作员的面部的空间图的数据库进行比较。作为另一个示例，每个焊接操作员可以被赋予具有独特形状的标签或可以基于源于ToF相机的空间数据而更容易识别的某个其他物理性物体。一旦识别了操作员18，他或她的焊接凭证，诸如WPQ(焊工技术鉴定)就可以从数据库检索出来(例如，用于质量控制)。资源302可以，例如，处理空间数据以识别正使用的焊接耗材。例如，假定制造车间具有两种用于生产的焊丝，035焊丝和045焊丝。035焊丝可以具有矩形标签，而045具有圆形标签。至少一个ToF相机被定位成看到焊丝52上的标签且能够区分矩形标签与圆形标签，从而识别正被使用的焊丝52。能够使用类似的方法来识别其他耗材，诸如保护气气瓶54。一般而言，图3A中的鸟瞰相机102b可以捕获在整个焊接场景中的焊接关键材料和物体(包括合适的耗材52)并依照规定的焊接工艺规程(WPS)对物体进行视觉检查，检查焊接操作员的技术鉴定记录(WPQ)并在允许继续进行焊接之前标出不合规的地方。与焊接材料、物体和操作员ID的条形码扫描相比较，ToF相机可以减少人员交互或劳动以确保符合WPS/WPQ。
资源302可以，例如，处理空间数据以检测24a和24b的正确的几何特性(大小、形状、厚度)并确定是否在对工件进行焊接之前将正确的工件加载在焊接夹具304中。在装配线中，该检测对于确保在允许执行当前步骤之前在先的工作站在工作流程中对工件正确地执行制作工艺来说是很重要的。
资源302可以，例如，处理空间数据以在允许对24a和24b进行焊接之前检测24a和24b的配合状况以及检测其是否正确地被组装在一起。
资源302可以，例如，处理空间数据以帮助机器人“找到”焊缝或焊接的起点，其中配合和/或部分变形可能导致焊接位置的空间变化。
资源302可以，例如，处理空间数据以特别地从被安装在俯视焊炬和人类操作员移动的固定位置中的ToF相机测量焊炬44的行进速度、工作角度、行进角度和焊接位置。可能的情况是，焊炬44可以包含红外反射器306a，其反射与ToF相机的照明波长相匹配的波长。焊炬能够用于生产中的焊接或焊炬可能是用于焊接操作员训练的训练工具。除了捕获焊炬的运动参数之外(或代替它)，ToF相机102a和/或102b还可以捕获丰富的操作员技术和灵巧度，诸如她/他握住焊炬44和电缆14的方式以及她/他是如何移动手臂、手指、背部、头部、肘部或脚部的。在焊接夹具上具有和不具有IR反射器306c的情况下，被安装至头盔20的ToF相机102可以能够使用固定的焊接夹具304来计算至固定夹具304和工件24a和24b的焊炬移动参数，诸如焊炬角度、行进角度和行进速度。这允许在，例如，360度管道焊接中进行焊炬运动跟踪，其中可以通过头盔的有利位置，而不是围绕管道的一排固定相机来最方便地获得至焊炬44的视线。在一个示例中，ToF相机102a和/或102b可以被配置成具有不同的波长和不同的IR反射器(诸如在焊炬44上的306a、在操作员的衣服上的306b、以及在焊接夹具上的306c)，且可以具有用于不同工具或活动的不同的匹配波长，以提高信噪比并降低图像处理复杂度。例如，相机102a可以具有成像器，其被调谐至980nm以跟踪具有980nm反射器306a的焊炬44的位置和移动。相机102b可以具有成像器，其被调谐到985nm以跟踪在操作员18的衣服上的985nm反射器306b的位置和移动以跟踪在工作间内的操作员。在其他情况下，可能存在额外的相机102和反射器306。例如，相机102c(未在图3A中示出)可以具有成像器，其被调谐到990nm以跟踪在用于在工作间中进行研磨操作的研磨器(未在图3A中示出)上的990nm反射器的位置和移动。一般而言，可以跟踪所有的车间场所移动，诸如人员、制作的部件、半制品(WIP)、手工工具、自动化的工具或机器人、焊接耗材等。通过跟踪在制作间内的工具和材料的人员交互，由ToF相机捕获的数据能够被用于1)使人员交互或处理或非增值活动，诸如来回走动最小化；2)设计或结合“线性化”技术以改进工作流程；3)改进安全性和人体工程学；4)观察和防止错误或功亏一篑或潜在危险；5)改进周期时间、制造效率和生产力；6)训练工人。
资源302可以，例如，处理空间数据以检测焊接夹具304的状况(例如，在焊接前工件24a和24b被压住，其是否处于良好的顺序中以及是否接合了所有夹具)。
资源302可以，例如，处理至工件24a和24b之间的平头焊的空间数据且判断其是否确实被焊接(未经检测)且在焊接前是否处于良好的顺序中。此外，在焊接过程期间，如果电弧正在越过之前焊接的平头焊，则可以使用源于ToF相机的空间数据对焊接设备进行自动前馈控制以使焊接参数或焊炬位置/取向适应于在平头上越过。
资源302可以，例如，处理空间数据以在焊接之前检测焊接耗材的充分供给，例如，留在线轴52上的足够的焊丝，以及在料斗(hopper)中的或向下流动的焊剂足以覆盖子电弧焊炬以进行子电弧焊接(未示出)。
资源302可以，例如，处理空间数据以在焊接之前检测焊炬44是否弯曲，例如，由于机器人碰撞。资源302可以，例如，处理空间数据以在机器人的活动焊接周期期间机器人相对于其周围环境移动中保持警觉且自动采取行动(例如，关闭或重新路由机器人)以防止将要发生的碰撞。
资源302可以，例如，处理空间数据以检测焊炬44的喷嘴、焊炬44的接触尖端和/或焊接夹具304是否已收集了太多的飞溅物。资源302可以，例如，处理空间数据以检测MIG焊丝内衬是否弯曲或破裂，或气体软管是否被挤压，或电缆14是否磨损或裂开。在检测到这些或任何其他不良状况中的任一个之后，资源302可以立即自动产生警报和/或采取行动(例如，闭锁焊炬44的触发器)以防止事故、损坏等。
资源302可以，例如，处理空间数据以检测不良的物理焊接接地电缆连接、大小、布置和实践以避免电弧偏吹、电弧干扰和电弧不稳定性。
资源302可以，例如，处理空间数据以检测工件24a和/或24b的厚度并自动控制焊接设备以配置与由ToF相机102看到的工件厚度相称的焊接设备(例如，从程序数据库中选择焊接程序)。
资源302可以，例如，处理空间数据以检测工件上的接头类型(例如，圆角、凹槽、平接等)，并在被存储在焊接设备/机器人中的焊接数据库中自动选择与由ToF相机102看到的接头类型相称的焊接程序。
资源302可以，例如，处理空间数据以检测焊炬(例如，1F、2F、3F、1G、2G、3G、4G、5G、PA、PB、PC、PD、PE、PF、PG)的焊接位置并自动选择与由ToF相机102看到的焊接位置相称的焊接程序。替代地，焊接位置以及焊炬角度、行进角度、行进速度测量可以用于适应地将焊接参数调整为焊接进程，例如，在全位置管道焊接中。
资源302可以，例如，处理空间数据以检测手势并使用手势作为用户界面来控制焊接参数或选择焊接程序或焊接排序系统，诸如Miller Insight CenterPoint或通常与焊接系统进行交互。
资源302可以，例如，处理空间数据以将深度图馈送到机器学习(ML)算法，诸如用于监督学习中的焊接质量检查和预防性维护以及用于无监督学习中的异常检测的神经网络。
资源302可以，例如，处理空间数据以检测正使用的适当的安全预防措施。例如，资源302可操作用于分析空间数据以检测操作员18是否正佩戴合适的安全设备(例如，个人防护设备，诸如头盔20、安全眼镜或头盔40、手套308和鞋类310)的合规性，以及适当的支架是否在位，灭火器是否在其指定的地点等。
资源302可以，例如，处理空间数据以测量实际焊接长度和宽度，且对整个工件共同进行这种测量。例如，可以检测和记录下漏焊、偏离接缝的焊接、尺寸过小的焊缝和尺寸过大的焊缝。在这个方面，与扫描光、结构光和/或除了局部扫描焊接且没有足够宽的视角/视野的其他技术相比，位于适当位置的ToF相机能够查看，例如，整个工件和夹具，测量焊接长度和宽度，计算焊接数量，识别完成焊接的位置，识别待执行的焊接的位置等。资源302随后可以可操作用于比较这种测量CAD图、工作规范等(例如，用于质量控制)。
资源302可以，例如，处理空间数据以执行焊接质量的目视检查。例如，除了重大问题，诸如漏焊之外，其可以用于检测可观察到的缺陷，诸如烧穿、未熔合、表面孔隙、表面裂纹、严重咬边、严重飞溅物。
资源302可以，例如，处理空间数据以测量总的工件变形。
资源302可以，例如，处理空间数据以在焊接期间测量熔池大小。然后，可以使用熔池的大小来适应地控制焊接设备以控制熔透和防止烧穿和/或缺陷。资源302可以，例如，处理空间数据以在手动焊接和自动化焊接中的焊接期间测量和控制配合和熔透。可能的情况是，可以看到在熔池前方的间隙开口用于自动的前馈控制以减少热量并避免烧穿；或看到在固化熔池中的孔用于反馈控制以接合编织或其他工具以减少热量或散发出热量。
资源302可以，例如，处理空间数据以监控焊接操作员18的动作。例如，如果焊接操作员进行移动或采取指示她/他正尝试执行失序焊接的动作，资源302可以向操作员18产生警报和/或发送信号以禁用焊炬44，从而能够避免在错误顺序中的焊接的人为错误。
资源302可以，例如，处理空间数据以跟踪由焊接操作员或者在焊接操作员的控制下的机器人(例如，使用示教盒)示出的示教点以记录/产生焊接程序，其能够随后在不需要手动指导的情况下由机器人进行实施。
图3B示出使用一个或多个ToF相机对机器人焊接场景进行的监控。如在图3B中所示，机器人焊工502正焊接工件504的接缝506。机器人焊工502是由基于源自ToF相机102的空间数据引导机器人焊工502的资源302进行控制的。定位相机102，以捕获在电弧周围的区域的具有足够高分辨率的空间数据，以使得资源302能够可靠地根据空间数据检测接缝506并引导机器人焊工502。机器人为自动化装置的一个示例。自动化装置可以是硬自动化装置、软自动化装置或灵活的自动化装置。
在另一个示例中，工件504是要由机器人502进行修复的一种独特工件，且不存在用于修复在之前焊接的接缝506中的缺陷的机器人程序。根据由相机102捕获的ToF数据产生504的3D图，相机102和/或资源302处理该图以识别缺陷并为机器人502制作定制的专用程序以适应地修补该缺陷。配备ToF相机的机器人焊接单元允许机器人502基于在机器人之前加载的定制工件的ToF分析来适应地进行定制加工。
焊接程序定制的一个特定示例是多道焊接和多道包覆。即，可以使用ToF相机来执行适应性多道焊接。由于实际的焊道形状和厚度可能会发生变化，源于之前焊道的实际焊道堆积可以由ToF相机进行捕获并与图指定的完工焊缝的几何形状进行比较。例如，参考图6，当完成焊道602、604和606时，ToF相机102可以捕获堆积的3D图，且适应性填充算法可以使用捕获的3D图来为剩余的焊道做规划，诸如，其用于填充剩余空间的位置和大小。在这个示例中，算法为剩余的焊道608、610和612做规划。当，例如，焊道602、604和606较小时，则可以使焊道608、610和612更大以进行补偿。
在另一个示例中，机器人焊工502可以不被安装在固定的基座上，而是自主的移动机器人，诸如由田纳西州的机器人技术公司(RTT)制造的机器人，其不具有用于避免人员接触的外围围栏或安全装置。ToF相机可以被安装在这种机器人上，该机器人在非结构化的工作环境，诸如造船厂中进行操作以确保靠近的人类工人的安全性。
图4为示出用于使用ToF相机来监控和管理焊接工件变形的示例过程的流程图。在方框402中，使用用于工件和焊接工艺的有限元热力学模型来模拟在焊接期间工件的变形并确定要用于控制(例如，最小化)工件的变形的参数(例如，焊接设备的热输入设置，要对工件执行的各种焊接的顺序等)。在方框404中，一个或多个ToF相机被定位成在焊接期间从一个或多个角度捕获工件。在方框406中，ToF相机在焊接期间捕获工件的空间图，并使用空间数据来测量工件的变形。与扫描或结构光或其他扫描技术相比，使用ToF相机可以使得能够捕获工件的全部或至少很大部分，这可以使得能够进行变形测量。在方框408中，从由ToF相机捕获的空间数据提取各种参数(实际测量的变形，其已完成焊接等)。然后，工艺返回至方框402，其中使用更新的信息(即，提取的参数)重新运行模拟。以这种方式，可以在焊接过程期间改进焊接排序、焊接设备设置和/或影响变形的其他因素。焊接参数和模拟的结果也可以用于改进用于未来模拟的模型。
图5示出使用由监控制作间的一个或多个ToF相机收集的空间数据的焊接排序控制。图5示出使用由监控制作间的一个或多个ToF相机收集的空间数据的焊接排序控制。在图5中，工件510为具有12个边缘焊接的盒子，其是按顺序焊接的以避免工件102的变形。当焊工完成焊接502时，ToF相机连续地捕获和更新工件510的3D图，以确定哪些焊接已经完成，哪些正在进行中，以及接下来应该执行哪些。对接下来应该执行哪个焊接的确定可以，例如，基于如在3D图上测量的工件510的历史数据和/或当前变形。替代地，对下个焊接的确定是基于根据制作图或规范所规划的焊接顺序。然后，可以使用音频和/或视觉警报(例如，发送给操作员的头盔)来引导操作员至下一个焊接。在一个示例实施方案中，如果操作员进行指示她/他正尝试执行失序焊接的移动、设备准备等，这可以根据制作间的3D图进行检测，且可以发送信号(例如，由ToF相机或资源，诸如302发送)以禁用焊炬的触发器，以使得能够避免在错误顺序中的焊接的人为错误。
现在参考图7，示出了一个示例实施方案，其中ToF相机102和非ToF相机(例如，可见光谱和/或红外线相机)710共享光学元件，以使得两个相机的成像器同时被暴露于相同的图像。光学元件包括透镜710和分束器712，以使得光束702被透镜710聚焦到分束器712上。光束702的第一部分由分束器712进行反射，以作为光束706到达非ToF相机710。光束702的第二部分通过分束器712，以作为光束706到达ToF相机102。
根据本公开的示例实施方案，机器视觉辅助的焊接系统包括焊接设备(例如，焊炬144、设备12、气瓶54、夹具304、机器人504等)、可操作用于产生焊接场景的三维(3D)深度图的第一飞行时间(ToF)相机(例如，102a)、可操作用于从3D深度图提取焊接信息的数字图像处理电路系统(例如，206和/或资源302的电路系统)以及可操作用于基于所提取的焊接信息控制焊接设备的功能的电路系统(例如，资源302的电路系统)。该焊接系统可以包括图像传感器(例如，216A)，其包括多个像素，其中的每一个像素可操作用于将入射在其上面的光能转换成电信号；以及电路系统(例如，216D和/或206)，其可操作用于为像素中的每一个像素测量使光从光源(例如，216C)行进至焊接场景并返回至像素中的一个所需的时间。焊接设备可以包括，例如，在焊接操作期间形成电弧的电弧焊接设备，且第一ToF相机的光源(例如，216C)可以发光，其光谱包括以第一波长为中心的峰，其中选择第一波长，以使得峰的功率(如在从焊接场景反射出之后以及在第一ToF相机中的任何滤光之后由第一ToF相机的成像器的像素中的至少一个测量的)至少为比源于在第一波长的电弧的光的功率(如在第一ToF相机中的任何滤光之后由在第一ToF相机的成像器的像素中的至少一个像素测量的)高的阈值量(即，足够的信噪比，其中源于光源的功率是信号，且源于电弧(和其他环境光)的功率是噪声)。为了提取焊接信息，数字图像处理可操作用于使用源于除了第一ToF相机之外的来源的数据来执行概率图建模以解释3D深度图。该系统可以包括第二ToF相机，其中第一ToF相机和第二ToF相机在聚焦场、安装位置、所使用的光的波长和所查看目标中的一者或多者上有所不同。
所提取的焊接信息可以表征在焊接场景中的人和机器中的一者或两者的活动。该活动可以包括下列中的一者或多者：焊接操作、焊接前操作(例如，接头准备以及将工件加载至焊接夹具中)以及焊接后操作(例如，从夹具卸载工件以及消除焊接飞溅物和熔渣)。该功能可以包括活动跟踪、基于跟踪的活动的周期时间改进以及基于跟踪的活动的工作流程流线型化。该功能可以包括表征在制作间中的人员受伤的风险(例如，机器人伤害人员的风险，由于不良人体工程学而导致人员受伤的风险等)。
所提取的焊接信息可以包括对下列中的一者或多者的识别：焊接设备、焊接耗材和焊接操作员，且该功能可以包括下列中的一者或多者：验证符合焊接工艺规程(WPS)、焊工技术鉴定(WPQ)以及产生警报以用于预防错误。
所提取的焊接信息可以识别要在焊接场景中的工件上进行的焊接序列，且该功能可以包括下列中的一者或两者：经焊接设备的用户界面指示在该序列中的下一个焊接的位置；以及产生警报并触发闭锁以防止错误的焊接序列。
所提取的焊接信息可以包括在焊接场景中的工件的接头配合状况，且该功能可以包括基于配合状况对焊接设备使用的焊接参数(例如，电流、电压、焊丝速度、接触尖端的位置、电极类型、填充材料的类型等)适应性变化。
所提取的焊接信息可以包括实际的接缝位置，且该功能可以包括引导焊接设备的机器人以确保焊接工具的中心点沿着该接缝。
所提取的焊接信息可以指示焊接设备的维护状况，且该功能可以包括下列中的一者或两者：预防性维护服务和基于状况的维护服务跟踪和产生警报。
所提取的焊接信息可以指示焊接耗材的剩余存量，且该功能可以包括产生警报以补充焊接耗材的供给。
所提取的焊接信息可以指示在焊接场景中的焊接工件内的标识和接头位置，且该功能可以包括基于焊接工件内的标识和接头位置自动选择要用于焊接该工件的焊接程序。
所提取的焊接信息可以指示由焊接场景中的工人做出的手势，且该功能可以包括基于手势来控制焊接设备。
该功能可以包括获取用于机器学习和预测分析的焊接场景的3D深度数据。
所提取的焊接信息可以包括下列中的一者或多者：焊缝的存在或缺乏、焊缝大小、焊缝长度、焊缝位置、工件变形和焊缝外观，且该功能可以包括对焊接质量的焊接后的视觉检查。
所提取的焊接信息可以是在电弧焊接过程期间形成的熔池的表面振荡的频率和/或幅度，且该功能可以包括控制电流、电压、接触尖端到工作的距离、行进速度、焊丝速度和/或基于表面振荡的其他电弧焊接参数，以便控制焊接的熔透并防止烧穿。
该功能可以包括显示信息(例如，在计算机显示器和/或在焊工的头戴件内部安装的显示器上)，且该功能可以通过基于所提取的焊接信息来调整显示器的屏幕上的图形和/或特征(例如，对比度、颜色、数字变焦/裁剪等)进行控制。
如本文所使用的，术语“电路”和“电路系统”是指物理电子组件(即，硬件)和任何软件和/或固件(“代码”)，其可以配置硬件，由硬件执行和/或以其他方式与硬件相关联。如本文所使用的，例如，特定的处理器和存储器在执行第一种一行或多行代码时可以包括第一“电路”而在执行第二种一行或多行代码时可以包括第二“电路”。如本文所使用的，“和/或”表示由“和/或”连接的在列表中的项目中的任一者或多者。作为一个示例，“x和/或y”表示三元素集合{(x),(y),(x,y)}中的任何元素。换句话说，“x和/或y”表示“x和y中的一者或两者”。作为另一个示例，“x，y和/或z”表示七元素集合{(x),(y),(z),(x,y),(x,z),(y,z),(x,y,z)}中的任何元素。换句话说，“x，y和/或z”表示“x，y和z中的一者或多者”。如本文所使用的，术语“示例性”表示用作非限制性示例、实例或说明。如本文所使用的，术语“诸如”和“例如”列出了一个或多个非限制性示例、实例或说明的列表。如本文所使用的，电路系统“可操作”用于每当电路包括要执行功能的必要硬件和代码(如果任何硬件和代码是必要的话)时执行该功能，而不管是禁用还是未启用该功能的执行(例如，通过用户可配置的设置、工厂修整等进行)。
本公开的方法和/或系统可以用硬件、软件或硬件和软件的组合来实现。本公开的方法和/或系统可以在至少一个计算系统中以集中式方式实现，或者以分布式方式实现，其中不同的元件遍布在几个互连的计算系统上。适应于实施本文所述的方法的任何种类的计算系统或其他装置是合适的。硬件和软件的典型组合可以是具有程序或其他代码的通用计算系统，该程序或其他代码在被加载和执行时，控制计算系统，以使得其实施本文所述的方法。另一个典型的实施方案可以包括专用集成电路或芯片。一些实施方案可以包括非临时性机器可读(例如，计算机可读)介质(例如，FLASH驱动器、光盘、磁存储盘等)，已在其上存储了可由机器执行的一行或多行代码，从而使机器执行如本文所述的方法。
虽然已经参考某些实施方案描述了本发明的方法和/或系统，但是本领域的技术人员将理解，在不脱离本发明的方法和/或系统的范围的情况下，可以进行各种改变且可以替换等同物。另外，在不脱离其范围的情况下，可以做出许多修改以使特定的情况或材料适应本公开的教导。因此，本发明的方法和/或系统旨在不限于所公开的特定实施方案，而是本发明的方法和/或系统将包括落在所附权利要求的范围内的所有实施方案。

Claims (20)

1.一种机器视觉辅助的焊接系统，包括：
第一飞行时间(ToF)相机，所述第一飞行时间(ToF)相机被配置成生成第一视野的三维(3D)深度图；
第二相机，所述第二相机被配置成捕获第二视野的图像，所述第二视野至少部分地与所述第一视野重合；
数字图像处理电路，所述数字图像处理电路被配置成：
从所述三维(3D)深度图中识别所述第二视野的焊接场景的至少一个方面；以及
基于所述至少一个方面生成增强现实的用户界面；
显示器，所述显示器被配置成显示增强现实的视图，所述增强现实的视图表示所述第二视野和所述增强现实的用户界面。
2.根据权利要求1所述的机器视觉辅助的焊接系统，其中所述数字图像处理电路被配置成从所述三维(3D)深度图中跟踪所述焊接场景中的物体。
3.根据权利要求2所述的机器视觉辅助的焊接系统，其中所述数字图像处理电路被配置成使用以下中的至少一项来跟踪所述物体：所述物体的最后一次看到的位置和速度、所述物体的机械数据、所述物体的化学数据、所述物体的组成数据、焊接设备设置、或焊接设备输出。
4.根据权利要求1所述的机器视觉辅助的焊接系统，其中所述第一飞行时间(ToF)相机和所述第二相机共享光学元件，从而使得所述第一视野和所述第二视野完全重合。
5.根据权利要求1所述的机器视觉辅助的焊接系统，其中所述相机为红外相机，并且所述数字图像处理电路被配置成生成具有色彩映射以指示温度的图像。
6.根据权利要求1所述的机器视觉辅助的焊接系统，进一步包括电路，所述电路被配置成基于所述至少一个方面来控制焊接设备的功能。
7.根据权利要求6所述的机器视觉辅助的焊接系统，其中：
所述至少一个方面包括所述焊接场景中的人和机器中的一者或两者的活动；以及
所述功能包括活动跟踪、周期时间改进以及工作流程流线型化。
8.根据权利要求7所述的机器视觉辅助的焊接系统，其中所述活动包括下列中的一个或多个：焊接操作、焊接前操作和焊接后操作。
9.根据权利要求6所述的机器视觉辅助的焊接系统，其中：
所述焊接设备包括被配置成在焊接操作期间形成电弧的弧焊设备；以及
所述第一飞行时间(ToF)相机的光源被配置成发射光，所述光的光谱包括以第一波长为中心的峰，其中选择所述第一波长，以使得在从所述焊接场景反射出之后由所述第一飞行时间(ToF)相机的成像器的特定像素测量的所述峰的功率至少比由所述第一飞行时间(ToF)相机的所述成像器的所述特定像素测量的源于在所述第一波长的所述电弧的光的功率高一个阈值量。
10.根据权利要求6所述的机器视觉辅助的焊接系统，其中：
所述至少一个方面包括焊接设备、焊接耗材和焊接操作员中的一者或多者的识别；以及
所述功能包括下列中的一者或多者：验证符合焊接工艺规程(WPS)、焊工技术鉴定(WPQ)、焊接工艺评定报告(PQR)以及产生警报以用于预防错误。
11.根据权利要求6所述的机器视觉辅助的焊接系统，其中：
所述至少一个方面识别在所述焊接场景中的工件上进行的焊接序列；以及
所述功能包括下列中的一者或两者：
经由所述焊接设备的用户界面指示在所述序列中的下一个焊接的位置；以及
产生警报和触发闭锁以防止错误焊接序列中的一者或两者。
12.根据权利要求6所述的机器视觉辅助的焊接系统，其中：
所述至少一个方面包括熔池的表面振荡的频率或幅度中的至少一者；以及
所述功能包括基于所述表面振荡的所述频率或所述幅度中的至少一者来控制所述焊接设备。
13.根据权利要求6所述的机器视觉辅助的焊接系统，其中：
所述至少一个方面包括在所述焊接场景中的工件的接头配合状况；以及
所述功能包括基于所述接头配合状况来适应性调整所述焊接设备使用的焊接参数。
14.根据权利要求6所述的机器视觉辅助的焊接系统，其中：
所述至少一个方面包括实际的接缝位置；以及
所述功能包括引导所述焊接设备的机器人以确保焊接工具的中心点跟随所述接缝。
15.根据权利要求6所述的机器视觉辅助的焊接系统，其中：
所述至少一个方面指示所述焊接设备的维护状况；以及
所述功能包括下列中的一者或两者：
预防性维护服务；以及
基于状况的维护服务跟踪和产生警报。
16.根据权利要求6所述的机器视觉辅助的焊接系统，其中：
所述至少一个方面指示焊接耗材的剩余存量；以及
所述功能包括产生警报以补充所述焊接耗材的供给。
17.根据权利要求6所述的机器视觉辅助的焊接系统，其中：
所述至少一个方面指示在所述焊接场景中的焊接工件的标识和位置；以及
所述功能包括基于所述焊接工件的所述标识和所述位置自动选择要用于焊接所述工件的焊接程序。
18.根据权利要求1所述的机器视觉辅助的焊接系统，进一步包括第二飞行时间(ToF)相机，其中所述第一飞行时间(ToF)相机和所述第二飞行时间(ToF)相机在聚焦场、安装位置、所使用的光的波长和所查看目标中的一者或多者上有所不同。
19.根据权利要求1所述的机器视觉辅助的焊接系统，其中所述数字图像处理电路使用源于除了所述第一飞行时间(ToF)相机之外的来源的数据来解释所述三维(3D)深度图。
20.根据权利要求1所述的机器视觉辅助的焊接系统，其中所述第二相机被配置成捕获可见光谱图像。
CN202010429617.0A 2015-06-24 2016-06-02 用于焊接机器视觉的飞行时间相机 Active CN111702306B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US14/749,057 US10363632B2 (en) 2015-06-24 2015-06-24 Time of flight camera for welding machine vision
US14/749,057 2015-06-24
CN201680035976.XA CN107810080B (zh) 2015-06-24 2016-06-02 用于焊接机器视觉的飞行时间相机
PCT/US2016/035473 WO2016209583A1 (en) 2015-06-24 2016-06-02 Time of flight camera for welding machine vision

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201680035976.XA Division CN107810080B (zh) 2015-06-24 2016-06-02 用于焊接机器视觉的飞行时间相机

Publications (2)

Publication Number Publication Date
CN111702306A CN111702306A (zh) 2020-09-25
CN111702306B true CN111702306B (zh) 2022-06-17

Family

ID=56134636

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201680035976.XA Expired - Fee Related CN107810080B (zh) 2015-06-24 2016-06-02 用于焊接机器视觉的飞行时间相机
CN202010429617.0A Active CN111702306B (zh) 2015-06-24 2016-06-02 用于焊接机器视觉的飞行时间相机

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201680035976.XA Expired - Fee Related CN107810080B (zh) 2015-06-24 2016-06-02 用于焊接机器视觉的飞行时间相机

Country Status (4)

Country Link
US (2) US10363632B2 (zh)
EP (1) EP3313602B1 (zh)
CN (2) CN107810080B (zh)
WO (1) WO2016209583A1 (zh)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10712529B2 (en) 2013-03-13 2020-07-14 Cognex Corporation Lens assembly with integrated feedback loop for focus adjustment
US11002854B2 (en) 2013-03-13 2021-05-11 Cognex Corporation Lens assembly with integrated feedback loop and time-of-flight sensor
US10773329B2 (en) 2015-01-20 2020-09-15 Illinois Tool Works Inc. Multiple input welding vision system
US10363632B2 (en) * 2015-06-24 2019-07-30 Illinois Tool Works Inc. Time of flight camera for welding machine vision
JP2017054337A (ja) * 2015-09-10 2017-03-16 ソニー株式会社 画像処理装置および方法
US10525596B2 (en) * 2016-02-11 2020-01-07 Darryl Hammock Teleoperated robot for flood-welding operations
GB201614989D0 (en) * 2016-09-05 2016-10-19 Rolls Royce Plc Welding process
WO2018085797A1 (en) 2016-11-04 2018-05-11 Aquifi, Inc. System and method for portable active 3d scanning
DE102017201730B4 (de) 2017-02-03 2024-03-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Schweißen und Schweißvorrichtung
US10845778B2 (en) * 2017-03-30 2020-11-24 Lincoln Global, Inc. Workpiece positioner and welding sequencer
WO2018208791A1 (en) * 2017-05-08 2018-11-15 Aquifi, Inc. Systems and methods for inspection and defect detection using 3-d scanning
DE102017120801A1 (de) * 2017-09-08 2019-03-14 IBAK Helmut Hunger GmbH & Co. KG. Kameraeinheit zur topographischen Vermessung von Hohlraumsystemen
US11179793B2 (en) * 2017-09-12 2021-11-23 Autodesk, Inc. Automated edge welding based on edge recognition using separate positioning and welding robots
WO2019090274A1 (en) 2017-11-03 2019-05-09 Drishti Technologies, Inc. Workspace actor selection systems and methods
TWI659279B (zh) 2018-02-02 2019-05-11 國立清華大學 基於擴充實境的加工規劃設備
CN111683779A (zh) * 2018-02-08 2020-09-18 诺瓦克技术公司 用于管道焊接中的接缝跟踪的系统和方法
EP3744461B1 (en) * 2018-02-26 2024-05-08 Hitachi, Ltd. Weld operation measurement system
US11162241B2 (en) * 2018-03-27 2021-11-02 Deere & Company Controlling mobile machines with a robotic attachment
US11267069B2 (en) 2018-04-06 2022-03-08 The Esab Group Inc. Recognition of components for welding and cutting torches
US10625359B2 (en) 2018-04-06 2020-04-21 The Esab Group Inc. Automatic identification of components for welding and cutting torches
WO2019204395A1 (en) * 2018-04-17 2019-10-24 Marchand Stacey Leighton Augmented reality spatial guidance and procedure control system
CA3139074A1 (en) * 2018-05-04 2019-11-07 Aquifi, Inc. Systems and methods for three-dimensional data acquisition and processing under timing constraints
JP7131958B2 (ja) * 2018-05-09 2022-09-06 高砂熱学工業株式会社 通知装置、情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
CN108983723B (zh) * 2018-07-27 2021-11-23 常州伟泰科技股份有限公司 一种现场施工工艺智能管理控制方法及管理系统
US11375124B2 (en) * 2019-02-25 2022-06-28 Advanced Semiconductor Engineering, Inc. Optical measurement equipment and method for measuring warpage of a workpiece
CN109903279B (zh) * 2019-02-25 2022-11-18 北京深度奇点科技有限公司 焊缝运动轨迹的自动示教方法和装置
CN109765267A (zh) * 2019-03-18 2019-05-17 朱清 一种主动便携式焊缝智能检测仪
US11311958B1 (en) * 2019-05-13 2022-04-26 Airgas, Inc. Digital welding and cutting efficiency analysis, process evaluation and response feedback system for process optimization
CN111988533B (zh) * 2019-05-23 2022-07-22 川田科技株式会社 焊接辅助方法及装置
US11122257B2 (en) * 2019-05-23 2021-09-14 Sri International HDR image capture and display system for enhanced real-time welding visualization and assistance
CN110548988A (zh) * 2019-09-23 2019-12-10 航天工程装备（苏州）有限公司 一种基于视觉技术的焊缝轨迹自动识别装置和方法
US20210318673A1 (en) * 2020-04-08 2021-10-14 BWXT Advanced Technologies LLC In-Situ Inspection Method Based on Digital Data Model of Weld
US11826908B2 (en) * 2020-04-27 2023-11-28 Scalable Robotics Inc. Process agnostic robot teaching using 3D scans
US20230201973A1 (en) * 2020-05-25 2023-06-29 Inrotech A/S System and method for automatic detection of welding tasks
JP2022054435A (ja) * 2020-09-25 2022-04-06 日立建機株式会社 溶接計測システムおよび溶接計測方法
WO2022117207A1 (de) * 2020-12-04 2022-06-09 Lessmueller Lasertechnik Gmbh Verfahren, vorrichtung und bearbeitungssystem zum überwachen eines bearbeitungsprozesses eines werkstücks mittels eines hochenergetischen bearbeitungsstrahls
CN112809130B (zh) * 2020-12-31 2022-04-19 鹏城实验室 一种智能焊缝检测和轨迹规划方法及系统
CN112894231B (zh) * 2021-01-14 2023-04-07 柳州工学院 一种基于焊接机器人的柔性工装平台
WO2022169743A1 (en) * 2021-02-02 2022-08-11 Magna International Inc. Weld quality inspection system
CN113768692B (zh) * 2021-09-08 2024-02-02 武汉威和光电股份有限公司 一种基于光敏调节工作参数的焊接面罩及其调节方法
CN114378411A (zh) * 2022-02-14 2022-04-22 上海威特力焊接设备制造股份有限公司 一种新型交流氩弧焊机
CN115592309A (zh) * 2022-10-26 2023-01-13 重庆川仪自动化股份有限公司（Cn） 一种焊接方法、装置、设备及介质
CN115661137B (zh) * 2022-12-12 2023-12-22 宁德时代新能源科技股份有限公司 检测装置、检测方法、终端设备及计算机可读存储介质
KR102592027B1 (ko) * 2023-05-31 2023-10-23 김수 지지부가 구비된 용접장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5380978A (en) * 1991-07-12 1995-01-10 Pryor; Timothy R. Method and apparatus for assembly of car bodies and other 3-dimensional objects
CN1957374A (zh) * 2005-03-02 2007-05-02 库卡罗伯特有限公司 确定与ar－物体光学重叠的方法和装置
CN103687687A (zh) * 2011-05-16 2014-03-26 林肯环球股份有限公司 双光谱数字成像焊接头盔
CN104384765A (zh) * 2014-10-14 2015-03-04 江苏湃锐自动化科技有限公司 基于三维模型与机器视觉的自动焊接方法及焊接装置
CN104599314A (zh) * 2014-06-12 2015-05-06 深圳奥比中光科技有限公司 三维模型重建方法与系统

Family Cites Families (168)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3555239A (en) 1966-11-16 1971-01-12 William J Kerth Welding machine with digital pulse control
GB1250964A (zh) 1968-12-13 1971-10-27
US4021840A (en) 1975-01-24 1977-05-03 General Dynamics Corporation Seam tracking welding system
JPS5913303B2 (ja) 1976-04-16 1984-03-28 株式会社ダイヘン ア−ク溶接速度の適否判別方法
JPS5499754A (en) 1978-01-25 1979-08-06 Hitachi Ltd Method and apparatus for automatic control of arc welding
US4477712A (en) 1982-04-26 1984-10-16 General Electric Company Arc-welding seam-tracking applications employing passive infrared sensors
US4641292A (en) 1983-06-20 1987-02-03 George Tunnell Voice controlled welding system
JPS60247475A (ja) 1984-05-23 1985-12-07 Hitachi Ltd 画像処理による溶接制御方法
US4577796A (en) 1984-10-10 1986-03-25 Kaiser Steel Corporation Method and apparatus for tracking seam welds on pipes and the like
US4707647A (en) 1986-05-19 1987-11-17 Gmf Robotics Corporation Gray scale vision method and system utilizing same
US4812614A (en) 1987-02-26 1989-03-14 Industrial Technology Research Institute Machine vision seam tracking method and apparatus for welding robots
US4733051A (en) 1987-08-25 1988-03-22 Canadian Patents And Development Limited Method and apparatus for controlling root pass weld penetration in open butt joints
US5275327A (en) 1992-10-13 1994-01-04 Eg&G Idaho, Inc. Integrated optical sensor
DE9321354U1 (de) 1993-04-24 1997-10-16 Merkle, Wilhelm, 89359 Kötz Arbeitsmaschine
EP0652071A1 (en) 1993-08-12 1995-05-10 Kabushiki Kaisha Kobe Seiko Sho Flux-cored wire for gas shield arc welding with low fume
US5572102A (en) 1995-02-28 1996-11-05 Budd Canada Inc. Method and apparatus for vision control of welding robots
PT836093E (pt) 1996-10-10 2004-06-30 Elpatronic Ag Processo e dispositivo para a verificacao optica de costuras de soldadura
CA2194937A1 (en) 1997-01-13 1998-07-13 John Craig Mobile automated pipeline welding and quality control system
US6122042A (en) 1997-02-07 2000-09-19 Wunderman; Irwin Devices and methods for optically identifying characteristics of material objects
US5923555A (en) 1997-06-02 1999-07-13 Framatome Technologies, Inc. Welding system
GB9724835D0 (en) 1997-11-25 1998-01-21 Univ Manchester Method and apparatus for detecting an object
US6240253B1 (en) 1998-09-14 2001-05-29 Minolta Co., Ltd. Automatic focusing camera
US6864916B1 (en) 1999-06-04 2005-03-08 The Trustees Of Columbia University In The City Of New York Apparatus and method for high dynamic range imaging using spatially varying exposures
US6318713B1 (en) 1999-08-12 2001-11-20 Zag Industries Ltd. Portable workbench
AU6670800A (en) 1999-08-13 2001-03-13 Fronius Schweissmaschinen Produktion Gmbh & Co. Kg Data display on a welding screen
US6242711B1 (en) 1999-12-27 2001-06-05 Accudata, Inc. Arc welding monitoring system
AU2001245575A1 (en) 2000-03-09 2001-09-17 Videoshare, Inc. Sharing a streaming video
US6587186B2 (en) 2000-06-06 2003-07-01 Canesta, Inc. CMOS-compatible three-dimensional image sensing using reduced peak energy
JP2002178148A (ja) 2000-12-15 2002-06-25 Denso Corp アーク溶接における溶け落ち検出方法
US7375304B2 (en) 2001-01-25 2008-05-20 Lincoln Global, Inc. System and method providing automated welding notification
US7761336B1 (en) * 2001-04-20 2010-07-20 Lincoln Global, Inc. System and method for managing welding consumables
US6572379B1 (en) 2001-05-03 2003-06-03 Lincoln Global, Inc. Self instruction welding kit
JP2006502001A (ja) 2002-03-27 2006-01-19 プラクスエア・テクノロジー・インコーポレイテッド 溶接のためのルミネッセンス検知システム
SE0203908D0 (sv) 2002-12-30 2002-12-30 Abb Research Ltd An augmented reality system and method
WO2005002480A1 (en) 2003-07-03 2005-01-13 Lightswitch Safety Systems, Inc. Multi-stage sensor for an auto-darkening lens for use in welding and method
US7278644B2 (en) 2003-11-12 2007-10-09 Arthur Villarreal Portable workspace for laptop computers
CN1914008A (zh) 2003-12-24 2007-02-14 麦克斯泰克制造公司 便携式工具箱和工作站
US7294808B2 (en) 2004-03-15 2007-11-13 Lincoln Global, Inc. Remote wire feeder
US20060055666A1 (en) 2004-09-14 2006-03-16 Chong Tan S Method for controlling illumination employed by a computer pointing peripheral and computer pointing peripheral
WO2006042572A1 (de) 2004-10-13 2006-04-27 Erdogan Karakas Vorrichtung zur ausführung eines füge-, trenn- oder oberflächenbehanlungsverfahrens, insbesondere eines schweissverfahrens
US7614011B2 (en) 2004-10-21 2009-11-03 International Business Machines Corporation Apparatus and method for display power saving
US7379163B2 (en) * 2005-02-08 2008-05-27 Canesta, Inc. Method and system for automatic gain control of sensors in time-of-flight systems
US8115138B2 (en) 2005-03-15 2012-02-14 Lincoln Global, Inc. Comprehensive identification and designation of welding procedures
US7247814B2 (en) 2005-03-23 2007-07-24 Illinois Tool Works Inc. System and method for data communications over a gas hose in a welding-type application
US8001623B2 (en) 2005-05-26 2011-08-23 Gertsch Jeffrey H Electronic helmet
US9289267B2 (en) 2005-06-14 2016-03-22 Siemens Medical Solutions Usa, Inc. Method and apparatus for minimally invasive surgery using endoscopes
AT502283B1 (de) 2005-07-15 2007-05-15 Fronius Int Gmbh Schweissverfahren und schweisssystem mit bestimmung der position des schweissbrenners
US20070046807A1 (en) 2005-08-23 2007-03-01 Eastman Kodak Company Capturing images under varying lighting conditions
US7906746B2 (en) * 2005-11-30 2011-03-15 General Electric Company Laser shock peening system with time-of-flight monitoring
US7534005B1 (en) 2006-01-04 2009-05-19 Michael Buckman Welding helmet
EP1986813B1 (en) 2006-02-23 2014-01-01 Samsung Heavy Ind. Co., Ltd. Weight balancer and pipe joining method
US20080083351A1 (en) 2006-10-04 2008-04-10 Lippert Charles E Portable desk for vehicles
JP4218723B2 (ja) 2006-10-19 2009-02-04 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
US7926118B2 (en) 2006-12-27 2011-04-19 Illinois Tool Works Inc. Voice control welding/cutting helmet functions and settings
US20080198235A1 (en) 2007-02-16 2008-08-21 Shou-Lung Chen High dynamic range image recorder
JP2008260055A (ja) 2007-04-16 2008-10-30 Fujikura Ltd 溶接観察装置
US8525287B2 (en) 2007-04-18 2013-09-03 Invisage Technologies, Inc. Materials, systems and methods for optoelectronic devices
US8605008B1 (en) 2007-05-04 2013-12-10 Apple Inc. Head-mounted display
CN101067905A (zh) 2007-06-14 2007-11-07 中国石油天然气第一建设公司 焊接模拟操作专用头盔装置
CA2706955A1 (en) 2007-11-28 2009-06-04 Frank's International, Inc. Methods and apparatus for forming tubular strings
US8224029B2 (en) 2008-03-03 2012-07-17 Videoiq, Inc. Object matching for tracking, indexing, and search
WO2009111670A1 (en) 2008-03-06 2009-09-11 Ev3 Endovascular, Inc. Image enhancement and application functionality for medical and other uses
US8502866B2 (en) 2008-03-14 2013-08-06 Illinois Tool Works Inc. Video recording device for a welder's helmet
US8808164B2 (en) 2008-03-28 2014-08-19 Intuitive Surgical Operations, Inc. Controlling a robotic surgical tool with a display monitor
US7962967B2 (en) 2008-05-09 2011-06-21 Illinois Tool Works Inc. Weld characteristic communication system for a welding mask
US9352411B2 (en) 2008-05-28 2016-05-31 Illinois Tool Works Inc. Welding training system
US8566353B2 (en) 2008-06-03 2013-10-22 Google Inc. Web-based system for collaborative generation of interactive videos
AT507021B1 (de) 2008-07-04 2010-04-15 Fronius Int Gmbh Vorrichtung zur simulation eines schweissprozesses
US20100036625A1 (en) 2008-08-07 2010-02-11 Landis+Gyr, Inc. Temperature Profiling in an Electricity Meter
US8851896B2 (en) 2008-08-21 2014-10-07 Lincoln Global, Inc. Virtual reality GTAW and pipe welding simulator and setup
US8915740B2 (en) 2008-08-21 2014-12-23 Lincoln Global, Inc. Virtual reality pipe welding simulator
US9280913B2 (en) 2009-07-10 2016-03-08 Lincoln Global, Inc. Systems and methods providing enhanced education and training in a virtual reality environment
US9330575B2 (en) 2008-08-21 2016-05-03 Lincoln Global, Inc. Tablet-based welding simulator
US8957835B2 (en) 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
EP2486450B1 (en) 2008-11-02 2021-05-19 David Chaum Near to eye display system and appliance
US20100223706A1 (en) 2009-03-03 2010-09-09 Illinois Tool Works Inc. Welding helmet audio communication systems and methods with bone conduction transducers
US8274013B2 (en) 2009-03-09 2012-09-25 Lincoln Global, Inc. System for tracking and analyzing welding activity
US8513568B2 (en) 2009-06-19 2013-08-20 Panasonic Corporation Consumable electrode arc welding method and consumable electrode arc welding device
US9230449B2 (en) 2009-07-08 2016-01-05 Lincoln Global, Inc. Welding training system
US9773429B2 (en) 2009-07-08 2017-09-26 Lincoln Global, Inc. System and method for manual welder training
US9221117B2 (en) 2009-07-08 2015-12-29 Lincoln Global, Inc. System for characterizing manual welding operations
US9011154B2 (en) 2009-07-10 2015-04-21 Lincoln Global, Inc. Virtual welding system
US10748447B2 (en) 2013-05-24 2020-08-18 Lincoln Global, Inc. Systems and methods providing a computerized eyewear device to aid in welding
AT508696B1 (de) 2009-09-11 2015-06-15 Fronius Int Gmbh Überwachungsmodul zur überwachung eines prozesses mit einem lichtbogen
US20150209887A1 (en) 2009-10-13 2015-07-30 Lincoln Global, Inc. Welding helmet with heads up display
US8569655B2 (en) 2009-10-13 2013-10-29 Lincoln Global, Inc. Welding helmet with integral user interface
JP5466484B2 (ja) 2009-11-06 2014-04-09 株式会社神戸製鋼所 アーク溶接システム、シングルアーク溶接システムおよびタンデムアーク溶接システム
WO2011059502A1 (en) 2009-11-13 2011-05-19 Steven Donald Edelson Monitoring and camera system and method
FR2954090B1 (fr) 2009-12-22 2012-08-31 Commissariat Energie Atomique Lunettes numeriques de protection oculaire a traitement de signal
US20140063055A1 (en) 2010-02-28 2014-03-06 Osterhout Group, Inc. Ar glasses specific user interface and control interface based on a connected external device type
US8964298B2 (en) 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US20110220619A1 (en) 2010-03-10 2011-09-15 Illinois Tool Works Inc. Positional monitoring systems and methods for welding devices
US20110220616A1 (en) 2010-03-10 2011-09-15 Illinois Tool Works Inc. Welding device with integral user interface
US20110227934A1 (en) 2010-03-19 2011-09-22 Microsoft Corporation Architecture for Volume Rendering
KR101038569B1 (ko) * 2010-07-05 2011-06-02 주식회사 유디엠텍 용접 모니터링 시스템 및 그 방법
US9993891B2 (en) 2010-07-14 2018-06-12 Illinois Tool Works Inc. Welding parameter control via welder motion or position monitoring
WO2012055824A1 (en) 2010-10-26 2012-05-03 Bae Systems Plc Display assembly, in particular a head-mounted display
CA2725719A1 (en) 2010-12-16 2012-06-16 Steve Mann Sensory aid to help a user of light-procing or sound-producing process sense aspects of the process or the environment around the process
US20120180180A1 (en) 2010-12-16 2012-07-19 Mann Steve Seeing aid or other sensory aid or interface for activities such as electric arc welding
US9545687B2 (en) 2010-12-17 2017-01-17 Hobart Brothers Company Spool gun adapter
AT510886B1 (de) 2011-01-10 2012-10-15 Fronius Int Gmbh Verfahren zum einlernen/prüfen eines bewegungsablaufs eines schweissroboters, schweissroboter und steuerung dazu
CN102579189A (zh) 2011-01-12 2012-07-18 玛斯克光电科技股份有限公司 电焊滤镜装置及其控制方法
CA2769358C (en) 2011-03-08 2016-06-07 Research In Motion Limited Quantum dot image sensor with dummy pixels used for intensity calculations
JP5730179B2 (ja) * 2011-03-08 2015-06-03 株式会社神戸製鋼所 多関節型ロボットの制御装置，制御方法及び制御プログラム
WO2012135066A1 (en) 2011-03-25 2012-10-04 Illinois Tool Works Inc. Welding systems with means for adjust and displaying ranges of parameters setting the latter; method of setting such welding parameters
KR101201483B1 (ko) 2011-05-17 2012-11-14 김동근 용접용 마스크
BR112013033953A2 (pt) * 2011-05-31 2017-12-12 Technical & Automation Help Corp sistema e método para revestimento em alta velocidade de metais
CN103648703A (zh) 2011-07-08 2014-03-19 焊接机器人公司 用于在焊接期间手工焊缝跟踪的系统和方法以及焊接辅助系统
US9101994B2 (en) 2011-08-10 2015-08-11 Illinois Tool Works Inc. System and device for welding training
RU2583040C2 (ru) 2011-08-30 2016-05-10 Нокиа Текнолоджиз Ой Устройство, способ и компьютерная программа для кодирования и декодирования видеосигналов
US9323325B2 (en) 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
DE102011053798A1 (de) 2011-09-20 2013-03-21 Dritte Patentportfolio Beteiligungsgesellschaft Mbh & Co.Kg Verfahren zur Bestimmung einer Lageänderung eines Werkzeuges sowie das Werkzeug und die Werkzeugsteuerung
US9389677B2 (en) 2011-10-24 2016-07-12 Kenleigh C. Hobby Smart helmet
JP5338890B2 (ja) * 2011-12-15 2013-11-13 Ｊｆｅスチール株式会社 レーザ溶接の溶接位置検出装置および溶接位置検出方法
CN103170767B (zh) 2011-12-20 2015-01-21 徐州工程学院 焊接机器人控制方法
US9573215B2 (en) 2012-02-10 2017-02-21 Illinois Tool Works Inc. Sound-based weld travel speed sensing system and method
US9566192B2 (en) 2012-05-04 2017-02-14 Illinois Tool Works Inc. Welding helmet for detecting arc data
US9116666B2 (en) 2012-06-01 2015-08-25 Microsoft Technology Licensing, Llc Gesture based region identification for holograms
US10384289B2 (en) 2012-06-08 2019-08-20 Illinois Tool Works Inc. Welding wire feeder bus control system and method
US9505130B2 (en) 2012-07-13 2016-11-29 General Electric Company System and method for performing remote welding operations on an apparatus
US8990964B2 (en) 2012-07-21 2015-03-31 David R. Anderson Welding helmet
US20140092015A1 (en) 2012-09-29 2014-04-03 Zhaohui Xing Method and apparatus for manipulating a graphical user interface using camera
US9368045B2 (en) 2012-11-09 2016-06-14 Illinois Tool Works Inc. System and device for welding training
US9583014B2 (en) 2012-11-09 2017-02-28 Illinois Tool Works Inc. System and device for welding training
US9081210B2 (en) 2012-12-12 2015-07-14 Microsoft Technology Licensing, Llc Head worn device having temple arms to provide long axis compression
US9335027B2 (en) 2013-01-02 2016-05-10 Massachusetts Institute Of Technology Methods and apparatus for transparent display using scattering nanoparticles
AU2014204252B2 (en) 2013-01-03 2017-12-14 Meta View, Inc. Extramissive spatial imaging digital eye glass for virtual or augmediated vision
US10065260B2 (en) 2013-01-03 2018-09-04 Illinois Tool Works Inc. System and method for controlling an arc welding process
US9445079B2 (en) * 2013-02-21 2016-09-13 Infineon Technologies Ag Calibration of a 3D camera
US9527153B2 (en) 2013-03-14 2016-12-27 Lincoln Global, Inc. Camera and wire feed solution for orbital welder system
US9666100B2 (en) 2013-03-15 2017-05-30 Illinois Tool Works Inc. Calibration devices for a welding training system
US9583023B2 (en) 2013-03-15 2017-02-28 Illinois Tool Works Inc. Welding torch for a welding training system
US9672757B2 (en) 2013-03-15 2017-06-06 Illinois Tool Works Inc. Multi-mode software and method for a welding training system
US9728103B2 (en) 2013-03-15 2017-08-08 Illinois Tool Works Inc. Data storage and analysis for a welding training system
US9713852B2 (en) 2013-03-15 2017-07-25 Illinois Tool Works Inc. Welding training systems and devices
US20140320529A1 (en) 2013-04-26 2014-10-30 Palo Alto Research Center Incorporated View steering in a combined virtual augmented reality system
US9235051B2 (en) 2013-06-18 2016-01-12 Microsoft Technology Licensing, Llc Multi-space connected virtual data objects
US20150009316A1 (en) 2013-07-02 2015-01-08 Aaron Baldwin Live Camera Feed Welding Helmet
DE102013217126B4 (de) * 2013-08-28 2015-09-03 Trumpf Laser- Und Systemtechnik Gmbh Verfahren zum Feststellen von Abweichungen einer Ist-Lage eines Laserbearbeitungskopfes von einer Soll-Lage, Laserbearbeitungsmaschine und Computerprogrammprodukt
US20150072323A1 (en) 2013-09-11 2015-03-12 Lincoln Global, Inc. Learning management system for a real-time simulated virtual reality welding training environment
US10083627B2 (en) 2013-11-05 2018-09-25 Lincoln Global, Inc. Virtual reality and real welding training system and method
US10056010B2 (en) 2013-12-03 2018-08-21 Illinois Tool Works Inc. Systems and methods for a weld training system
US10105782B2 (en) 2014-01-07 2018-10-23 Illinois Tool Works Inc. Feedback from a welding torch of a welding system
US9751149B2 (en) 2014-01-07 2017-09-05 Illinois Tool Works Inc. Welding stand for a welding system
US9244539B2 (en) 2014-01-07 2016-01-26 Microsoft Technology Licensing, Llc Target positioning with gaze tracking
US9589481B2 (en) 2014-01-07 2017-03-07 Illinois Tool Works Inc. Welding software for detection and control of devices and for analysis of data
US9724788B2 (en) 2014-01-07 2017-08-08 Illinois Tool Works Inc. Electrical assemblies for a welding system
US9757819B2 (en) 2014-01-07 2017-09-12 Illinois Tool Works Inc. Calibration tool and method for a welding system
US10170019B2 (en) 2014-01-07 2019-01-01 Illinois Tool Works Inc. Feedback from a welding torch of a welding system
US9836987B2 (en) 2014-02-14 2017-12-05 Lincoln Global, Inc. Virtual reality pipe welding simulator and setup
US20150248845A1 (en) 2014-02-28 2015-09-03 Lincoln Global, Inc. Portable virtual welding system
US9485435B2 (en) 2014-04-22 2016-11-01 Shih-Chieh Huang Device for synthesizing high dynamic range image based on per-pixel exposure mapping and method thereof
US10335883B2 (en) 2014-06-05 2019-07-02 Illinois Tool Works Inc. Gravity-based weld travel speed sensing system and method
CN204013703U (zh) 2014-06-20 2014-12-10 李文松 一种用于手机的立体图像浏览装置
US9937578B2 (en) 2014-06-27 2018-04-10 Illinois Tool Works Inc. System and method for remote welding training
US9862049B2 (en) 2014-06-27 2018-01-09 Illinois Tool Works Inc. System and method of welding system operator identification
US10665128B2 (en) 2014-06-27 2020-05-26 Illinois Tool Works Inc. System and method of monitoring welding information
US8992226B1 (en) 2014-07-15 2015-03-31 Lincoln Global, Inc. Unicoupon for virtual reality welding simulator
US9865089B2 (en) 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
US9875665B2 (en) 2014-08-18 2018-01-23 Illinois Tool Works Inc. Weld training system and method
US10123598B2 (en) 2014-09-12 2018-11-13 Evangelos Achillopoulos Portable work surface system for carry-on cases
WO2016044680A1 (en) 2014-09-19 2016-03-24 Realityworks, Inc. Welding speed pacing device
US9666160B2 (en) 2015-03-26 2017-05-30 Illinois Tool Works Inc. Control of mediated reality welding system based on lighting conditions
JP6422185B2 (ja) 2015-04-22 2018-11-14 株式会社ダイヘン 交流ｔｉｇアーク溶接電源及び交流ｔｉｇアーク溶接装置
US10363632B2 (en) * 2015-06-24 2019-07-30 Illinois Tool Works Inc. Time of flight camera for welding machine vision
US9972215B2 (en) 2015-08-18 2018-05-15 Lincoln Global, Inc. Augmented reality interface for weld sequencing
US10839717B2 (en) * 2016-01-11 2020-11-17 Illinois Tool Works Inc. Weld training systems to synchronize weld data for presentation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5380978A (en) * 1991-07-12 1995-01-10 Pryor; Timothy R. Method and apparatus for assembly of car bodies and other 3-dimensional objects
CN1957374A (zh) * 2005-03-02 2007-05-02 库卡罗伯特有限公司 确定与ar－物体光学重叠的方法和装置
CN103687687A (zh) * 2011-05-16 2014-03-26 林肯环球股份有限公司 双光谱数字成像焊接头盔
CN104599314A (zh) * 2014-06-12 2015-05-06 深圳奥比中光科技有限公司 三维模型重建方法与系统
CN104384765A (zh) * 2014-10-14 2015-03-04 江苏湃锐自动化科技有限公司 基于三维模型与机器视觉的自动焊接方法及焊接装置

Also Published As

Publication number Publication date
US11679452B2 (en) 2023-06-20
WO2016209583A1 (en) 2016-12-29
US20160375524A1 (en) 2016-12-29
US10363632B2 (en) 2019-07-30
EP3313602B1 (en) 2021-12-22
EP3313602A1 (en) 2018-05-02
CN111702306A (zh) 2020-09-25
CN107810080B (zh) 2020-06-16
US20200055148A1 (en) 2020-02-20
CN107810080A (zh) 2018-03-16

Similar Documents

Publication Publication Date Title
CN111702306B (zh) 用于焊接机器视觉的飞行时间相机
US11862035B2 (en) Methods and apparatus to provide visual information associated with welding operations
US11524368B2 (en) Augmented vision system with active welder guidance
US11140939B2 (en) Sensor assisted head mounted displays for welding
CA2973245C (en) Synchronized image capture for welding machine vision
US20160214198A1 (en) Manual Tool Tracking and Guidance With Inertial Measurement Unit
EP3247525B1 (en) Manual tool tracking and guidance with inertial measurement unit
CN103231162A (zh) 机器人焊接质量视觉检测装置及其检测方法
JPH0582524B2 (zh)
CN106346498A (zh) 位置测量系统
EP4044155A1 (en) Weld tracking systems
CA3187857A1 (en) Calibration procedures for helmet-based weld tracking systems
Caggiano et al. 3D digital reconfiguration of an automated welding system for a railway manufacturing application
Kumar et al. Development of an autonomous vision sensor-actuator-based circumferential seam path tracker welding machine/device for LPG cylinders
RS et al. Advancements in Technology Enabling Intelligent Welding Systems: A Comprehensive Review

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant