CN113192374A - 用于焊接的传感器辅助头戴式显示器 - Google Patents

Abstract

公开了用于焊接的传感器辅助头戴式显示器。所公开的示例性头戴式装置包括光学传感器、增强现实控制器、图形处理单元和半透明显示器。光学传感器收集焊接环境的图像。增强现实控制器确定要在视野中展示的模拟对象、在视野中的位置，以及所述模拟对象在视野中的视角。图形处理单元基于所述视角呈现所述模拟对象，以表示在视野中和在焊接环境中存在的模拟对象。显示器基于所述位置展示在视野内所呈现的模拟对象。当所述显示器展示所呈现的模拟对象时，可以通过显示器和透镜观察到焊接环境的至少一部分。

Description

用于焊接的传感器辅助头戴式显示器

本申请是申请日为2016年3月4日、国际申请号为PCT/US2016/020861、国家申请号为201680025968.7、发明名称为“用于焊接的传感器辅助头戴式显示器”的发明专利申请的分案申请。

相关申请

本专利要求于2015年3月6日提交的美国临时专利申请序列号62/129,149和2015年3月9日提交的美国临时专利申请序列号62/130,316的优先权。美国临时专利申请序列号62/129,149和美国临时专利申请序列号62/130,316的全部内容通过引用并入本文。

背景技术

焊接操作者在恶劣的电弧焊接环境中视线变得模糊。焊弧和周围环境的尖锐的光线强度对比度使得以良好的清晰度看到焊缝、焊缝内的电极放置、焊炬和行进角度、液体焊接熔池形状和位置，以及完工的焊缝的大小和位置变得困难。对于某些焊丝、气体和焊接工艺的过量的烟雾和飞溅情况，问题变得更复杂。另外，焊接行业缺乏技术熟练的操作者，并且需要有效的操作者机动技能训练，无论是在模拟环境中还是在具有真实生产焊件的工作中。还希望提供所需工具运动行为和焊接结果的实时信息、指令、过程反馈和动画，以帮助焊接操作者进行焊接生产。希望使技术和/或经验不足的焊接操作者能够作出通过质量检验的焊接。

通过这些方法与在本公开的之后部分参照附图中提出的本发明方法和系统的一些方面的比较，对于本领域技术人员而言，常规焊接方法的其它局限性和缺点将变得显而易见。

发明内容

提供了用于介导现实焊接用户接口的方法和系统，其基本上如至少一个附图所示和/或结合至少一个附图所描述的，如在权利要求书中更全面阐述的。

描述了关于用可透视的或透明的显示器实现增强现实或混合现实的方法和系统，所述显示器将计算机生成的图形与人眼直接观察到的真实焊接场景相混合。

附图说明

图1示出了可操作以在焊接操作之前、期间和之后呈现3D增强现实图像的用于焊接的光学头戴式显示器(OHMD)的示例性操作。

图2A、图2B和图2C示出了用于焊接的图1的OHMD的示例性电路。

图3是表示可由一个或多个处理器执行以实现图1、图2A和/或图2B的用于焊接的OHMD的示例性机器可读指令的流程图。

图4A描绘了在焊接操作期间通过增强现实焊接用户接口的示例性视图。

图4B描绘了在焊接操作期间通过增强现实焊接用户接口的另一个示例性视图。

图4C示出了另一示例性用户接口，其中注视跟踪装置确定场景中正在被注视的物理对象或注视位置并且使用所确定的位置或对象在显示器中提供所注视的区域的缩放视图。

图4D示出了另一个示例性用户接口，其中模拟对象(例如，在焊接和/或切割操作中使用的一束或多束激光)被显示在图2A、图2B和/或图2C的头戴式显示器上。

图5描绘了通过增强现实焊接用户接口的示例性焊接顺序控制视图。

图6描绘了使用增强现实焊接用户接口的处于不同位置的焊接操作者之间的协作。

图7示出了当在试样上练习时使用增强现实用户接口改善焊接情况的真实案例。

图8示出了使用增强现实用户接口控制焊接机器人。

图9是表示可由一个或多个处理器执行以实现图1、图2A、图2B和/或图2C的OHMD来增强焊接环境的视图的示例性机器可读指令的流程图。

图10是表示可由一个或多个处理器执行以实现图1、图2A、图2B和/或图2C的头戴式装置来利用虚拟对象增强焊接训练的示例性机器可读指令的流程图。

图11A和图11B示出了根据本公开的方面的示例性接口，其显示覆盖在与所述接口相对应的视野内的真实场景上的模拟对象。

图12A示出了根据本公开的方面的示例性头戴式系统，其包括常规焊接头盔和可由操作者佩戴在焊接头盔下方的单独的头戴式显示器。

图12B示出了包括示例性焊接头盔的另一个示例性头戴式系统，所述示例性焊接头盔具观看口，所述观看口的尺寸被设计成适应由操作者佩戴在焊接头盔下方的头戴式显示器。

具体实施方式

本公开的某些实施例的方面增强了人类焊工以改善的视觉对现实的感知。本公开的某些实施例的方面提供了对自动变暗透镜系统的替代和/或改进，尽管所述自动变暗透镜系统保护眼睛免受强烈的电弧，但是它们也使周围变暗，使得操作者难以看到工件、周围环境等等。本公开的某些实施例的方面改善了焊接操作者的视觉，而没有用虚拟现实(VR)技术来完全替代它，相对于生物学上直接观看，虚拟现实(VR)技术可能引起VR病症(诸如模拟病症和运动病症)，以及来自其它图像数字化效果(诸如空间分辨率、2D显示、实时事件的时间延迟、颜色深度、视差和混叠)的保真度丧失。本公开的某些实施例的方面展示了虚拟/全息3D对象与所看到的物理/真实对象的结合，所述虚拟/全息3D对象空间上锁定到真实对象，而不是简单的2D数据覆盖。

如本文所使用的，术语全息图和/或全息是指具有3D成像效果(诸如具有全息干涉图案的计算机生成的图像内容)，并且不一定需要使用衍射和/或干涉进行激光投影的立体显示。例如，3D全息图像可以由双投影仪系统产生，其中两个层叠的投影仪以佩戴者的可调节的瞳孔间距设置。

本公开的某些实施例的方面利用全息图像处理和显示系统以专门使用图像处理和显示系统的应用编程接口来增强焊接操作者用户接口。本公开的某些实施例的方面提供更好的训练、服务、指令甚至远程焊接。

本公开的某些实施例的方面提供了用户接口，所述用户接口包括增强现实用户接口，所述增强现实用户接口可操作以呈现包括物理/真实对象和全息图的混合的场景，其中全息图在存在运动、障碍物和/或类似物的情况下跟踪真实对象。

本公开的某些实施例的方面提供了一种人类焊工用户接口，其包括以下各项中的一个或多个：全息近眼显示器(例如，微透镜阵列的光场显示器等)，以及能量效率高的FOV深度相机、头部跟踪传感器、注视跟踪传感器，以及用于处理来自相机和各种传感器的数据以执行例如空间映射、姿势识别、可佩戴用户接口以及语音和话音识别的一个或多个处理器(例如，中央处理单元、图形处理单元和全息处理单元)。

本公开的某些实施例的方面包括可操作以在几何形状和尺寸上绘制3D焊接场景的渡越时间(ToF)深度相机、近眼显示器，以及可操作以向焊接操作者呈现混合的物理和虚拟视图的相关光学器件和电路。

本公开的某些实施例的方面包括增强现实计算装置，其从ToF深度相机或激光扫描仪或结构光或物理对象的立体视觉映射获取输入并且将虚拟3D对象、全息图和/或注释固定到真实对象的物理位置上，不管佩戴者(头部或眼睛)和/或物理对象的运动如何。

如下所述，所公开的实例包括生成虚拟对象并向焊接操作者显示虚拟对象。虚拟对象可被生成并且显示在头戴式装置上，以便特别是：1)增强焊接场景中真实对象的清晰度(例如，通过显示实际对象的清晰虚拟轮廓、虚拟障碍物移除、透过烟雾观看等)；2)提供关于所需的焊接工具方位和/或焊接工具运动的指令作为实时指导和/或辅导工具；3)在使用要制造的真实焊件的练习焊接期间和/或在操作者训练期间模拟焊弧、焊接熔池和/或焊道；4)在实际的现场焊接期间，将所需的虚拟焊池、虚拟焊丝、虚拟非消耗电极和/或焊池标记叠加或投影在真实焊接场景上，以指导操作者调节焊炬位置、焊丝位置和/或行进速度；5)叠加基本上不透明的电弧对象来调暗或降低所选物理对象(诸如电弧)的亮度；6)跟踪学生操作者目光以达到训练目的并且注释焊接场景以吸引学生的注意力；7)测量并且显示物理对象的关键尺寸(例如熔池大小、接触末端到焊接点的距离(CTWD)、电弧长度)；8)为了确定几何尺寸和公差(GD&T)，虚拟地将部件装配到正在焊接的焊件上；9)在焊接实践期间在实际环境中在测试试样上用虚拟制造部件进行模拟焊接；和/或10)模拟焊接场景以便操作者在该焊接场景处经由远程焊接装置进行焊接。尽管下面公开了虚拟对象的实例以实现这些目的中的一个或多个，但是可以另外或可选地使用其它虚拟对象。

所公开的示例性头戴式装置包括光学和非光学传感器、增强现实控制器、图形处理器和显示器。光学传感器收集焊接环境(诸如工厂内的焊接单元或室外构造或设施中的焊接区域)的第一图像。基于焊接环境的第一图像和与焊接环境相对应的焊接指令，增强现实控制器确定要在视野中展示的模拟对象、模拟对象在视野中的位置，以及模拟对象在视野中的注视自适应视角。模拟对象表示在视野中和在焊接环境中存在的对象。图形处理器生成表示模拟对象的第二图像，其中第二图像包括处于所述位置并且具有由增强现实控制器确定的视角的模拟对象，并且第二图像覆盖在视野上。所述显示器在视野中展示第二图像。当显示器展示第二图像时，可以通过显示器观察到焊接环境的至少一部分。

所公开的示例性方法包括利用处理器从存储器装置访问与在焊接环境中要执行的焊接相对应的焊接指令。所述示例性方法还包括利用所述处理器基于来自附接到头戴式装置的光学传感器的第一输入生成焊接环境的第一图像。所述示例性方法还包括利用所述处理器基于焊接指令(诸如焊接程序规范或WPS)和透过头戴式装置的显示器装置的视野计算模拟对象在焊接环境内的位置，以及利用所述处理器基于所述焊接指令和所述视野计算模拟对象的视角。所述示例性方法还包括利用所述处理器生成模拟对象的第二图像以利用模拟对象的视图来补充视野，第二图像的生成是使用所述位置和视角来确定的，并且在显示器装置上显示模拟对象的第二图像。

所公开的焊接接口装置包括光学传感器、增强现实控制器、图形处理单元和半透明显示器。光学传感器收集焊接环境的图像。增强现实控制器基于焊接环境的图像和与焊接环境中的焊接操作相对应的第一指令确定要在视野中展示的模拟对象、模拟对象在视野中的位置，以及模拟对象在视野中的视角。图形处理单元基于所述视角呈现模拟对象，以表示在视野中和在焊接环境中展示的模拟对象。半透明显示器基于由增强现实控制器确定的位置展示视野内的呈现的模拟对象，其中当显示器展示所呈现的模拟对象时，可以通过半透明显示器观察到焊接环境的至少一部分。

一些示例性焊接用户接口装置还包括用于容纳光学传感器和显示器的主体。一些示例性焊接用户接口装置还包括附接到主体的透镜，其中所述透镜降低在焊接环境中出现的光的强度。在一些实例中，透镜被布置成当佩戴者佩戴焊接用户接口装置时向焊接用户接口装置的佩戴者提供视野，并且所述显示器是被定位在透镜与焊接用户接口装置(当它由佩戴者佩戴时)的佩戴者之间的近眼显示器。在一些实例中，所述主体是焊接操作者个人防护设备、安全帽、护目镜或防护面罩中的至少一个。

一些示例性焊接用户接口装置还包括主体，其中光学传感器、图形处理单元和显示器附接到所述主体上，并且所述主体的尺寸被设计成当由佩戴者佩戴时使佩戴者能够进一步佩戴焊接头盔。在一些实例中，当对焊接环境中存在的第二对象的观察在视野中变得模糊时，增强现实控制器呈现模拟对象的视图。

在一些实例中，增强现实控制器基于正在执行的当前焊接和指定的焊接顺序生成模拟对象以识别要执行的下一焊接。在一些实例中，光学传感器包括被配置为减轻电弧辐射波长下的辐射的滤光器。一些示例性焊接用户接口装置还包括用于输出在电弧辐射光谱之外的第二波长下的第二辐射的照明器，其中光学传感器包括用于收集第二波长下的第三信号以生成图像的渡越时间传感器，并且所述滤光器包括用于减轻除了第二波长之外的波长下的光的带通滤光器。

在一些实例中，图形处理单元包括全息处理单元。在一些实例中，模拟对象包括焊接熔池、完工焊道、电极、电弧、激光路径、保护气体路径、粉末路径、焊接工具、焊道、焊接接头、焊接夹具、焊件或焊接后要装配或组装到焊件上的零件中的至少一者。在一些实例中，模拟对象包括电弧，图形处理单元用于将模拟对象呈现为至少部分不透明，并且所述位置与其中存在焊接环境中的实际电弧的视野的一部分相对应。在一些这样的实例中，显示器显示所呈现的模拟对象，以降低来自焊接用户接口装置的佩戴者可观察到的实际电弧的光的强度。

在一些实例中，图形处理单元呈现视野的一部分的缩放视图，并且增强现实控制器基于图像或来自注视跟踪器的输入中的至少一个确定视野的一部分。在一些实例中，增强现实控制器将视野的一部分的缩放视图的位置确定为视野的一角。

在一些示例性焊接用户接口装置中，光学传感器收集焊接环境的第三图像，增强现实控制器基于焊接环境的第三图像更新模拟对象的位置和视角，并且图形处理单元基于增强现实控制器对位置和视角的更新呈现模拟对象。一些示例性焊接用户接口装置还包括用于响应于识别与第一指令的偏差来传送禁用命令的通信控制器，其中所述禁用命令使得焊炬、焊接电源或送丝机中的至少一个被禁用。在一些实例中，增强现实控制器用于确定正在执行的焊接的状态并且将所述状态与第一指令进行比较，其中所述增强现实控制器基于所述比较确定模拟对象的位置和视角。

在一些实例中，光学传感器包括三维激光扫描仪、结构光传感器、渡越时间相机和/或立体视觉相机，并且第一图像是三维深度图。一些示例性焊接用户接口装置还包括用于接收表示正在执行的焊接的数据的通信接口，其中图形处理单元呈现表示所述数据的图形并且显示器用于展示所述图形。在一些实例中，图形处理单元包括全息处理器。

在一些实例中，增强现实控制器包括第一协处理器，并且图形处理单元包括第二协处理器。一些示例性焊接用户接口装置还包括用于提供与视野相对应的运动信息或方位信息中的至少一个的惯性测量单元，其中增强现实控制器基于所述运动信息或方位信息中的至少一个确定模拟对象的位置或模拟对象的视角中的至少一个。

在一些实例中，第一指令与要执行的焊接操作相对应，并且增强现实控制器基于分析图像来确定焊接环境中的第一物理对象的视图至少部分被阻挡，图形处理单元用于呈现所述模拟对象以使其至少包括所述第一物理对象的被阻挡部分。在一些实例中，第一指令与视野中存在的电弧相对应，并且增强现实控制器基于降低焊接环境的可见性的电弧确定所述模拟对象为电极、焊炬、焊接熔池、焊道或待焊接的焊缝中的至少一个。

在一些实例中，第一指令与在当前焊接操作完成之后要执行的随后的焊接操作的一部分相对应，并且增强现实控制器确定模拟对象以与工件上随后的焊接操作的位置相对应。在一些实例中，第一指令与第二焊接环境中的物理对象相对应，第一指令包括所述物理对象在第二焊接环境中的第二位置和第二视角，并且增强现实控制器基于第二位置确定所述位置以及基于第二视角确定所述视角。

在一些实例中，第一指令与工件的模拟环境相对应，并且增强现实控制器确定模拟对象表示模拟环境中的对象。在一些这样的实例中，所述对象是焊接环境中的物理对象或焊接环境中的全息对象。在一些实例中，第一指令与切割程序相对应，并且增强现实控制器确定模拟对象是模拟激光包络、模拟气体包络或模拟切割轮廓中的至少一个。

用于增强焊接环境的视图的所公开的示例性方法包括访问与在焊接环境中要执行的焊接操作相对应的第一指令、使用附接到头戴式装置的光学传感器生成焊接环境的图像，以及基于第一指令和通过头戴式装置的半透明显示装置的视野计算模拟对象在焊接环境内的位置。模拟对象表示在视野中和在焊接环境中虚拟存在的对象。示例性方法还包括基于第一指令和视野计算模拟对象的视角、呈现模拟对象以利用模拟对象的视图来补充视野。所述呈现基于所述位置和所述视角。所述示例性方法还包括在半透明显示器装置上显示所呈现的模拟对象，使得当显示所呈现的模拟对象时，可以通过显示器装置观看到焊接环境的至少一部分。

一些示例性方法还包括接收焊接参数并且在显示器装置上显示焊接参数。一些示例性方法还包括基于来自光学传感器的图像确定视野的变化以及基于视野的变化计算模拟对象在焊接环境内的第二视角。模拟对象在焊接环境内的位置是恒定不变的。一些示例性方法还包括呈现与所述位置和第二视角相对应的模拟对象以生成模拟对象的第二呈现，并且在半透明显示器装置上显示模拟对象的第二呈现。

一些示例性方法还包括基于来自光学传感器的图像确定视野的变化、基于视野的变化计算模拟对象在焊接环境内的第二视角、基于第一指令计算模拟对象在焊接环境内的第二位置、呈现与第二位置和第二视角相对应的模拟对象以生成模拟对象的第二呈现，以及在半透明显示器装置上显示模拟对象的第二呈现。在一些实例中，生成焊接环境的图像包括将渡越时间数据转换为图像。

图1示出了用于焊接的头戴式系统20的示例性操作，所述用于焊接的头戴式系统20可操作以在焊接操作之前、期间和之后呈现3D全息图像。图示出佩戴头戴式系统20的人员108、物理(即实际)焊炬112、物理工件102、虚拟焊炬104和虚拟对象114。在示例性实现方式中，头戴式系统20可包括具有保护外壳111和光学头戴式显示器109(OHMD)的单个集成单元。在另一个示例性实现方式中，OHMD 109可以与焊接头盔结合使用和/或集成到焊接头盔中，所述焊接头盔具有外壳111和自动变暗透镜107和单独的OHMD 109，所述单独的OHMD109可以安装到外壳111上且安装到透镜107之上(或之下)。在各种示例性实现方式中，头戴式系统20可以包括头盔、面罩、护目镜、眼镜、具有眼睛保护的安全帽、头盔附件、面罩附件、护目镜附件等等中的一种或多种的任何组合。

图1所示的情境可以是例如在佩戴者108使用焊炬112焊接工件102之前。在这种情境下，头戴式系统20(例如，经由OHMD 109)可以例如展示虚拟焊炬104的教学/训练全息图像或视频，所述虚拟焊炬104以焊接设备操作者要焊接工件102的方式焊接工件102。图像或视频可以例如基于用于工件102的计算机辅助设计(CAD)模型、工件上的完成的焊缝(未示出)、用于工件102的焊接工作指令，和/或从本地和/或远程(例如，在联网服务器上、在云数据中心等)存储器检索到的关于工作的其它数据。例如，全息图像或视频可以示出虚拟焊炬104，该虚拟焊炬104沿着箭头106所示的方向通过工件，并且在其行程中在沿着焊缝的各个点处具有适当的参数(例如，行进角度、工作角度、行进速度、接触末端到工作点的距离，和/或指向或焊丝布置)。在该预焊接教学情境中，虚拟对象114可以例如提供关于要执行的焊接的附加信息。例如，对象114可以提供文字指令，该文字指令描述由虚拟焊炬104正在执行的动作和/或提供建议、警告、夹具接合、预热、表面清洁和定位焊接提醒、由工作在类似的工件上的焊接设备操作者先前记录的笔记等。作为另一个实例，对象114可以包括在类似工件上执行的先前焊接的实际照片。虚拟对象114可以提供控件，佩戴者108可以与所述控件虚拟地交互以控制她/他看到的内容。例如，所述对象可以是快进、倒退、暂停、播放等控件，所述佩戴者108可以与这些控件虚拟地交互(通过姿势识别、可佩戴用户接口、语音识别、物理控制等等)以控制虚拟焊接操作的回放。当执行虚拟焊接时，虚拟对象114可以例如提供虚拟焊炬的焊接参数(诸如焊炬角度、速度、指向等)和/或焊接设备设置(例如，电压、电流强度、焊丝速度)的图形表示(例如，图表、仪表等)。

作为另一个实例，图1所示的情境可以是在工件102已被焊接之后。在这种情境下，头戴式系统20可以展示在工件102上执行的焊接操作的记录。这使得佩戴者108(可以是执行焊接的焊接设备操作者或教练、检查者等)能够审查焊接操作，以便例如检验可能的质量问题。虚拟对象114可以例如提供关于所执行的焊接的附加信息。例如，对象114可以提供描述正确完成的焊接和那些没有正确完成的焊接的各方面的文字。作为另一个实例，对象114可以包括完成的焊接的实际照片(例如，去除了电弧和/或其它障碍物，使得佩戴者108可以清楚地看到例如在焊接期间在焊接熔池中发生的情况)。虚拟对象114可以提供控件，佩戴者108可以与所述控件虚拟地交互以控制她/他看到的内容。例如，所述对象可以是快进、倒退、暂停、播放等控件，佩戴者108可以与这些控件虚拟地交互(通过姿势识别、语音识别、可佩戴用户接口、物理控制等等)以控制所记录的焊接操作的回放。虚拟对象114可以例如提供焊接参数(诸如焊炬角度、速度、指向等)和/或焊接设备设置(例如，电压、电流强度、焊丝速度)的图形表示(例如，图表、仪表等)，它们在时间上与所述记录的回放同步。以这种方式，佩戴者120可以例如虚拟地触摸完成的焊道的一部分，以使得视频寻求到记录点，在该记录点处正是所触摸的焊道部分被铺设的时间并且使虚拟对象114显示在所触摸的焊道部分被铺设时存在的设备设置、焊炬参数等。可选地，虚拟对象可以是相对于工件102在适当方位(例如，工作角度和行进角度)且在适当位置以实现期望的结果的3D虚拟焊炬，这不同于所记录的焊炬运动。期望的和实际的虚拟焊炬在回放中以动画方式一起绘制在真实焊缝上，从而对比差异或间隙以便改进。

在另一个示例性情境下，在工件102的焊接期间，虚拟焊炬104和对象114可以被呈现并且展示给佩戴者。例如，虚拟焊炬104可以在焊接操作期间提供焊接参数(诸如焊炬角度、速度、指向等)的引导，使得佩戴者108的目标是随着焊接进行使真实焊炬112保持与虚拟焊炬104三维对准。作为另一个实例，虚拟对象114可以在焊接操作期间展示实时视觉反馈，诸如实际的焊炬角度、焊炬速度、接触末端到工作点的距离、焊接设备设置等。如下所讨论的，头戴式系统20可以提供叠加在真实对象上的重要对象的轮廓或线框模型，使得当电弧存在或由于观看角度而物理上被阻碍时佩戴者108可以在远离电弧处同时看到电弧/熔池和工件102的各个点，所述电弧/熔池和工件102的各个点通常通过自动变暗透镜而变得太暗。

参照图2A，示出了头戴式系统20的一个示例性实现方式。在所述示例性实现方式中，头戴式系统20包括电路，所述电路包括：一个或多个光学传感器216(例如，相机)、近眼显示器222、机电用户接口部件207、天线202、通信端口204、通信接口206、用户接口驱动器208、增强现实控制器210、扬声器驱动器电路212、扬声器213、图形处理单元(GPU)和/或全息处理单元(HPU)218、显示器驱动器电路220、电源224、可选用的自动变暗透镜226、用于头部跟踪的传感器228(诸如惯性测量单元(IMU)传感器)和通信控制器230。头戴式系统20还包括主体或外壳232，光学传感器216(诸如面向外的3D深度相机(例如，ToF或结构光)、面向外的光学相机和面向内的注视跟踪装置)、近眼显示器222、作为全息投影仪的支持近眼显示的光学部件、机电用户接口部件207、天线202、通信端口204、通信接口206、用户接口驱动器208、增强现实控制器210、扬声器驱动器电路212、扬声器213、图形处理单元(GPU)和/或全息处理单元(HPU)218、显示器驱动器电路220、电源224、可选用的自动变暗透镜226、IMU传感器228和/或通信控制器230可以附接或安装到所述主体或外壳232上。

天线202可以是适用于频率、功率电平等的任何类型的天线，其用于头戴式系统20与其它装置(诸如无线接入点(WAP)、焊接设备、无线基站、电话、计算机等)之间的射频(RF)无线通信(例如，Wi-Fi、WiFi热点或MiFi、蓝牙、蓝牙低能、Zigbee、NFC、蜂窝网络、PAN/WPAN、BAN等等)。

通信端口204可以包括例如以太网端口、USB端口、HDMI端口、光纤通信端口、FireWire端口、现场总线端口、光纤端口和/或用于与有线线缆或光缆接口连接的任何其它合适的端口，头戴式系统20经由这些端口可以与其它装置(诸如焊接设备、无线基站、电话、计算机等)通信。

通信接口电路206可操作以将增强现实控制器210与天线202和端口204进行接口连接，以实现发送和接收操作。对于发送操作，通信接口206从增强现实控制器210接收数据，并且根据通信接口206使用的协议对数据进行分组并且将所述数据转换为物理层信号。待发送的数据可以包括例如用于控制焊炬112的控制信号。对于接收操作，通信接口206经由天线202或端口204接收物理层信号，从接收到的物理层信号恢复(解调、解码等)数据，并且将数据提供给增强现实控制器210。所接收的数据可以包括命令设置和/或例如由设备12和/或其它传感器测量的实际焊接过程信号和反馈(例如，电压、电流强度、焊丝速度设置和/或测量、功率、热输入，和/或在焊接过程控制状态机中的逻辑状态)。到通信接口206的输出信号可以包括例如用于控制设备12的设置的信号。这样的信号可以基于来自GPU 218和/或用户接口驱动器208的信号来生成。来自通信接口206的信号包括例如命令设置和/或实际焊接过程信号的指示(例如，经由天线202接收的)。

机电用户接口部件208可以包括例如响应于用户输入生成电信号的一个或多个触摸屏元件、扬声器、麦克风、物理按钮等。如下所述，用户与头戴式系统20交互可以另外或可选地通过由相机216捕获的姿势来实现并且通过由GPU 218执行的图像处理算法进行检测。

用户接口驱动器电路208调节(例如，去抖动、过滤、数字化等)来自用户接口部件208的信号以便传送到增强现实控制器210。

增强现实控制器210处理来自通信接口206、用户接口驱动器208和GPU 218的数据，并且生成要输出到扬声器驱动器电路212、GPU 218和通信接口206的控制和/或数据信号。增强现实控制器210可以执行存储在存储器211中的指令和/或从存储器211读取和写入数据。存储器211可以包括任何类型的易失性和/或非易失性机器可读存储装置(例如，随机存取存储器、只读存储器、硬盘、闪存存储器等)。在一些实例中，增强现实控制器210诸如在片上系统(SoC)实现方式中包括存储器211、GPU 218、传感器228和/或用户接口驱动器208。

在一些实例中，增强现实控制器210加载或访问与焊接环境相对应和/或与要执行或要模拟的焊接相对应的焊接指令(例如，来自存储器211、来自通信接口206等)。增强现实控制器210还从一个或多个光学传感器(诸如相机216)接收一个或多个图像。增强现实控制器210确定要透过自动变暗透镜226在视野中展示的一个或多个模拟对象。例如，模拟对象可以包括焊池、完工焊道、焊丝、电弧、焊接接头、焊接夹具、焊件、在焊接后要组装的部件、在焊后加工中要去除的材料，和/或任何其它所需的对象或处理。示例性焊接指令指示焊接的期望位置、工件在焊接环境中的位置，和/或描述要执行的焊接的任何其它信息。使用下游的焊后操作中的虚拟部件的虚拟组件可有助于在半成品焊件上进行几何尺寸和公差(GD&T)检查，从而检验公差累积和/或失真的影响。基于焊接指令和接收到的图像，所述示例性增强现实控制器210确定模拟对象在视野中的位置并且确定模拟对象在视野中的视角。

扬声器驱动器电路212调节(例如，转换为模拟、放大等)来自增强现实控制器210的信号以便输出到一个或多个扬声器213。扬声器213可以使用空间声音来模拟从场景中的特定位置(例如从虚拟焊接电弧)发出的声音。

电源224可以包括：例如电池，用于通过AC和/或DC电源对电池充电的电路，以及用于将来自电池的能量调节/传送到头戴式系统20的另一个电路的电路。

在示例性实现方式中，相机可以是基于渡越时间或ToF深度或距离测量的相机，这种相机利用主动调制光源(诸如激光或光脉冲)照亮场景，并且针对图像的每个点测量照明与反射之间的相移和/或相机与被摄体之间的光信号的渡越时间。在这种类型的相机中，一次捕获整个场景。在另一个示例性实现方式中，相机216可以是3D激光扫描仪或结构光，其可以用于扫描对象并且产生经常用于物理部件/零件的逆向工程的3D绘图或模型。又一个示例性实现方式是两个相机，它们间隔开以利用更复杂的图像处理和可能更慢的帧速率提供立体视觉和深度感知。ToF相机在微光和强光条件下(有助于观看焊接电弧)可能表现良好，可能涉及较低的实施复杂度，提供更快的响应时间(更高的帧速率)，是紧凑的、节约成本的，并且没有活动零件。然而，结构光可以提供比ToF相机更高的空间分辨率和/或深度精度。相机216可以提供例如亚毫米深度精度和160fps(或更高)帧速率。由于深度测量值是从ToF的相移中提取的，所以与使用结构光时相比，电弧与周围环境之间的强度对比可能对测量的影响更小。在一些实例中，相机216被配置有减少电弧光波长(或光谱)下的光的滤光器。

ToF相机成像器可以具有CMOS像素阵列，其被设计成响应于照明光源的光谱，使得电弧光和放射物可以被显著地衰减(或不被成像器响应)，从而实现大大改善的信噪比。例如，光源可以是LED或激光二极管。例如，研究表明，在纯氩气GTAW焊接中，10％CO₂、90％氩气混合的GMAW焊接并且5％O₂、95％氩气的钢焊接中，电弧的近红外光谱显示914nm左右的峰值强度。因此，如果将照明激光设定为980nm波长，因此具有比峰值电弧强度波长更长的波长，或设定在850nm，因此具有比峰值电弧强度波长更短的波长，则所述系统可以有效地阻挡可见的和近红外电弧光谱并且具有可靠的焊接场景的3D映射。使用反射光的另一个好处是固体对象反射光，但气体介质(诸如电弧等离子体)不反射光。电弧对象不反射照明光，不像固体对象，比如焊接焊丝(熔融前后)、飞行中的熔融金属、飞溅球、接触末端、接头、焊池表面和焊缝等。因此，电弧对于深度感测TOF相机几乎是不可见的。然而，电弧光确实提供了照明的功率电平，可能远远高于ToF照明光源的功率。使用不随着时间变化整合光并且使用近红外检测器(诸如InGaAs)来捕获反射的短激光脉冲的非整合型ToF传感器是该问题的一个示例性解决方案。可以通过自适应地在场景中出现电弧的各区域中增加激光功率来提高深度分辨率，其中强度信息用作置信度度量，以利用成像处理算法(诸如卡尔曼滤波器)来提高精度。

图形处理单元(GPU)218是处理像素和/或其它图像数据的图形处理器。在图2A的实例中，图像处理包括处理来自相机216的像素数据和生成像素数据用于经由驱动器220输出到近眼显示器222。虽然GPU 218在示例性实现方式中执行全息处理，但在另一个实现方式中可以存在与GPU218结合工作的专用全息处理单元(HPU)。

示例性增强现实控制器210和GPU 218可以使用单独的和分立的处理器、协处理器和/或相同的处理器来实现。在图2A的实例中，增强现实控制器210和GPU 218安装在头戴式系统20的主体232中。在其它实例中，增强现实控制器210和/或GPU 218在头戴式系统20的主体232的外部并且经由通信接口206(例如，经由端口204和有线连接，和/或经由天线202和无线连接)与安装到头戴式系统20的主体232的部件通信。

在一些实例中，增强现实控制器210确定正在执行的焊接的状态(例如，经由传感器228，经由通信接口206接收的通信数据和/或经由相机216)，并且将所述状态与焊接指令进行比较。增强现实控制器210基于所述比较确定模拟对象的位置和视角。

处理来自相机216的像素数据可以包括例如分析像素数据以检测头戴式系统20的佩戴者的姿势、位置等。这可包括例如将佩戴者的姿势/位置与所呈现的全息对象的虚拟位置相关联，以检测佩戴者何时与这些用户接口对象交互。佩戴者正在与全息对象交互的确定可以例如导致到增强现实控制器210的信号，使得可以对所述交互进行适当的响应。

生成用于输出到显示器驱动器220的像素数据可以包括例如呈现从存储器211中检索到的图像数据(3D CAD模型，包括文字、图形、静态照片，和/或视频)以产生3D全息对象。例如，在呈现期间可以使用周围环境的确定的位置信息，使得全息图像对佩戴者而言看起来在周围环境中的特定位置上或特定位置中，具有背景知晓适应性。

近眼显示器222可以包括例如近眼光场显示器、反射式微显示器、数字微镜器件、虚拟视网膜显示器、硅上液晶(LCoS)显示器、全息显示器、单LCoS相全息显示器、铁电LCoS显示器、透射型/背部发光/前部发光/半透射半反射型液晶显示器(LCD)、有机发光二极管(OLED)显示器、光调制器、微透镜阵列、数字光处理显示器(DLP)、干涉式调制器显示器(IMOD)、场发射显示器(FED)、可从Microvision购得的PicoP显示器、包含电致变色材料(诸如氧化钨)的显示器、包含悬浮颗粒的显示器、电子纸显示器、具有蓝宝石基板的显示器和/或可操作以将电信号转换成由头戴式系统20的佩戴者可观看到并且叠加在真实世界的视图上的的光信号的任何其它合适类型的显示器。在2015年8月4日发布的美国专利号9,097,891中描述了可用于实现近眼显示器222的示例性近眼显示装置。美国专利号9,097,891的全部内容通过引用并入本文。在示例性实现方式中，近眼显示器222允许佩戴者直接看到具有叠加在视图上的光电重建全息图像的周围物理环境(这可以被称为“增强现实”)。基于来自深度相机的3D测量，将虚拟对象混合在真实场景的适当位置和方位中。

自动变暗透镜226包括透镜(例如，夹在玻璃和偏光器之间、具有基于由增强现实控制器210和/或由光电二极管传感器228提供的控制信号而变化的透明度的单个单元LCD)。以这种方式，当存在焊弧时，透镜可以变暗以保护佩戴者的眼睛，并且当不存在焊弧时，透镜可以变亮，从而使得佩戴者能够看到他/她的周围环境。光电二极管可以被布线成直接控制近眼显示器222和/或经由增强现实控制器210和/或GPU 218控制近眼显示器222以在近眼显示器222中产生自动变暗效果，而不是依靠自动变暗透镜226进行变暗。虽然可以控制显示器222以使其具有226的自动变暗效果以实现观看目的，但仍然需要226来保护暴露的皮肤免受电弧暴露物的影响，例如阻挡紫外线和红外线和强烈的弧光的涂层。以上提及的一些显示技术(诸如包含电致变色材料的显示器)可以用于产生作为全息显示的一部分的自动变暗效果，而不需要如本段所述的额外的物理自动变暗透镜226。

封装图2A的部件202-232的一个示例性方式是将部件202-232集成在一个头盔内(例如，包括图1的外壳111的头戴式系统20)。封装图2A的部件202-232的另一个示例性方式是独立地封装部件202-232的不同组。例如，自动变暗透镜226可以包括在焊接头盔中，并且其余部件202-224、228、230可以被封装到第二可佩戴装置中。也可以使用可选的封装。如果例如增强现实/全息可佩戴装置针对焊接以外的应用而制造成大体积的，则独立地封装部件202-232的组可提供成本优势。

传感器228可以包括例如电荷耦合器件、黑色硅传感器、IR传感器、声学传感器、感应传感器、运动传感器、光学传感器、不透明度传感器、接近传感器、电感式传感器、涡流传感器、无源红外接近传感器、雷达、电容式位移传感器、霍尔效应传感器、磁传感器、GPS传感器、热成像传感器、热电偶、热敏电阻、光电传感器、超声波传感器、红外激光传感器、惯性运动传感器、MEMS内部运动传感器、超声波3D运动传感器、加速度计、倾斜计、力传感器、压电传感器、旋转编码器、线性编码器、化学传感器、臭氧传感器、烟雾传感器、热传感器、磁力计、二氧化碳探测器、一氧化碳探测器、氧传感器、葡萄糖传感器、烟雾探测器、金属探测器、雨量传感器、高度计、活动传感器、对象探测器、标记探测器、激光测距仪、声纳、电容传感器、心率传感器，以及RF/微功率脉冲无线电(MIR)传感器。图2A的示例性传感器228包括IMU传感器228a和注视跟踪器228b。例如，传感器228可操作以跟踪佩戴头戴式系统20的焊接操作者的头部运动和姿势(通过IMU传感器228a)以及眼睛运动和位置(通过注视跟踪装置)。示例性注视跟踪器228b包含光发射器(例如，一个或多个红外(IR)LED)、接收器(例如，图像传感器)以及用于数据处理的电子器件和软件。注视跟踪器228b可以采用LED灯来照亮眼睛并且采用传感器来检测离开每个眼睛瞳孔的角膜的光反射。注视跟踪器228b可以包括逐帧地捕获眼睛位置和运动的面向内的相机和/或具有嵌入式反射镜和/或磁性传感器的专用隐形眼镜。除了注视跟踪之外，所述软件可以包含来自IMU传感器228a的用于头部运动的输入以及来自瞳孔传感器的用于取得由佩戴者的眼睛观察到的关于物理场景位置的更好的精度的输入。来自IMU传感器228a和注视跟踪器228b的输入的组合提高了显示器中虚拟对象的位置的计算精度，使得虚拟对象在混合介质环境中与直接观察到的物理对象相关。例如，当头部运动时，或者当眼睛瞳孔运动时，虚拟对象在显示器中被重新呈现并且重新定位，从而保持虚拟对象和物理对象的关系。在2016年1月26日发布的美国专利号9,244,539中描述了可以用于实现图2A的注视跟踪器228b和增强现实控制器210的示例性注视跟踪器和注视跟踪方法。美国专利号9,244,539的全部内容通过引用并入本文。

示例性通信控制器230响应于增强现实控制器210识别与焊接指令的偏差来禁用焊炬。例如，如果增强现实控制器210生成用于显示的模拟对象，该模拟对象指示将在焊接环境中的第一位置处要执行的下一焊接，并且(经由传感器228和/或相机216)检测到焊接操作者正在将焊炬指向不同的位置，则示例性增强现实控制器210可以向通信控制器230发出信号以禁用焊炬。作为响应，通信控制器230生成适当的命令以禁用焊炬并且经由通信接口206发送所述命令(例如，至焊炬的电力供应器)。在一些实例中，通信控制器230用作到电力供应器的接口机制而不直接控制焊炬。所述命令在焊炬的电力供应器处被接收并且由其实现以禁用所述焊炬。

在一些实例中，被描绘为头戴式系统20的一部分的电路可以位于头戴式系统20、设备12、计算机30和/或电气和/或通信地耦接到头戴式系统20的任何其它装置的任何组合中。例如，GPU 218或其一些部分可以位于计算机30或设备12中，在所述计算机30或设备12中可以使用额外的电源，使得GPU 218可以执行更加密集的处理而不会过快地耗干OHMD的电池。

图2B是使用图1的用于焊接的ToF相机的OHMD的示例性电路，其中详细介绍了ToF的驱动电路。ToF控制器电路216D经由模拟前端216B控制光脉冲照明器216C和3D ToF传感器或CMOS像素阵列216A。ToF控制器电路216D可以是例如同步216A、216B和216C的操作的状态机。控制器电路216D可以控制像素扫描、计算每个像素的深度测量，并且执行解混叠、去噪、频率调谐和温度补偿。3D ToF传感器216A可以是例如可寻址CMOS像素阵列，其中每个像素材料被调节以响应于特定光波长，例如850nm-870nm，以匹配850nm照明光源(例如，照明器216C)。示例性照明器216C输出与弧光波长不同的波长的光(辐射)。模拟前端(AFE)216B可以是采样/保持和高速模数转换器(ADC)的阵列，用于模数转换和数据的串行化。控制器216D可以从AFE 216B获取串行化的深度数据到3D点的集合，每个点称为体素，由此形成深度图。Tof控制器216D可以将深度图呈现到称为点云的3D空间内，并且可以通过称为表面重建的过程将点云转换为网格模型。ToF控制器216D可以将网格模型或点云发送到增强现实控制器210。示例性TOF传感器216A包括滤光器(例如，带通滤光器)，其允许得到与照明器输出相对应的波长并且减轻弧光波长的辐射。

随着头戴式系统20的佩戴者移动或改变视角，示例性头戴式系统20更新在近眼显示器222上展示的图像。例如，光学传感器(例如，相机216、ToF控制器216D)可以收集焊接环境的附加图像，所述附加图像由增强现实控制器210使用来更新模拟对象的位置和视角。然后，图形处理器218和/或全息处理器218基于增强现实控制器210对位置和/或方位的更新来更新模拟图像(例如，模拟对象在视野内的视图)，并且近眼显示器222显示所述更新的图像以产生增强现实的效果(例如，背景知晓和/或感觉知晓呈现，和/或模拟对象在环境上的布置和/或覆盖)。

在一些实例中，通信接口206接收需要焊炬的操作者在焊接过程中取得的一个或多个焊接参数，诸如行进速度、焊炬角度和行进角度、焊接熔深、焊接宽度、焊道形状、电弧长度、热输入。示例性增强现实控制器210可以接收实际焊接过程信号和/或反馈，并且经由近眼显示器222将信号与模拟对象一起展示给操作者。在一些实例中，增强现实控制器210将命令参数与实际反馈和过程信号(例如，命令参数的值范围，诸如电弧长度范围、热输入、金属沉积等)比较并且展示与命令参数相比较的实际焊接过程信号。例如，增强现实控制器210可以生成表示参数的可接受和/或不可接受的范围的状态条，并且包括表示状态条内的参数的当前状态的指示器。

在图2B中，来自传感器228的模拟输出信号通过模数转换器(ADC)229转换成数字信号。然后，所述数字信号可以由增强现实控制器210处理。在其它实例中可以包括ADC229，和/或示例性头戴式系统20可以使用附加的ADC。

图2C示出了图1的头戴式系统20的另一个示例性实现方式。在一些实例中，全部或部分的增强现实计算可以由经由通信接口206与头戴式系统20通信的计算装置234或服务器来实现。示例性头戴式系统20可以经由专用有线或无线连接、通信网络和/或任何其它通信方法与计算装置234通信。在一些实例中，头戴式系统20与计算装置234之间的通信需要最小带宽和/或最大延迟。

在这样的实例中，在头戴式系统20处收集的传感器和/或图像数据由增强现实控制器210发送到外部计算装置234中的第二(例如，更强大的)增强现实控制器236。增强现实控制器236可以执行虚拟对象的生成和/或呈现(例如，定位和/或定向)，并且将虚拟对象信息返回到增强现实控制器210，以经由GPU 218和近眼显示器222进行最终呈现和显示。在图2C的实例中，增强现实控制器210可以执行与图像和/或传感器数据的收集和传输相关的任务。

尽管参照图2A、图2B和/或图2C描述了头戴件20的示例性实现方式，但是也可以使用其它实现方式。例如，示例性天线202、示例性端口204、示例性通信接口206、示例性用户接口部件207、示例性用户接口驱动器208、示例性增强现实控制器210、示例性存储器211、示例性扬声器驱动器212、示例性扬声器213、示例性相机216、示例性GPU 218、示例性近眼显示器222、示例性电源224、示例性透镜226、示例性传感器228、示例性通信控制器230中的任何一个可以使用硬件、软件、固件和/或硬件、软件和/或固件的任何组合来实现。例如，示例性天线202、示例性端口204、示例性通信接口206、示例性用户接口部件207、示例性用户接口驱动器208、示例性增强现实控制器210、示例性存储器211、示例性扬声器驱动器212、示例性扬声器213、示例性相机216、示例性GPU 218、示例性近眼显示器222、示例性电源224、示例性透镜226、示例性传感器228、示例性通信控制器230可以使用一个或多个集成电路和/或分立电路(诸如通用处理器、专用处理器(例如，数字信号处理器)、可编程逻辑器件)来实现。此外，实现方式可以包括将部件和/或功能组合到单个集成电路封装件内和/或将部件和/或功能分割到多个集成电路封装件内。

图3是表示可由一个或多个处理器执行以实现图1、图2A和/或图2B的头戴式系统20的示例性机器可读指令300的流程图。指令300在方框302中开始，在方框302中，佩戴者108戴上增强现实焊接头戴式系统20并将其通电。

在方框304中，佩戴者108选择头戴式系统20的操作模式。例如，菜单可以由头戴式系统20投影在操作者面前以选择或输入操作者标识符、工作标识符、WPS、焊接过程和/或指定(例如，经由姿势控制对虚拟控件的虚拟操纵，或触摸所投影的虚拟按钮或旋钮和/或从网络可访问的数据库下载)电弧长度、热输入、沉积和/或焊接尺寸要求。例如，可以存在预焊接操作模式，其中头戴式系统20为要执行的焊接提供增强现实指令并且提供焊接之前的准备步骤和检查表；可以存在焊接中操作模式，其中头戴式系统20在实际焊接期间为焊接操作者提供增强现实指导；以及可以存在焊后操作模式，其中头戴式系统20提供用于检验完成的焊接操作和其它焊后操作指导的增强现实接口。

在方框306中，从存储器检索数据以根据所选择的操作模式呈现全息内容。该数据可以包括：例如用于呈现全息对象(诸如焊炬104和对象114)的3D CAD模型或文件或描述；可以为了全息观看而呈现的包含针对完成的焊接操作的先前捕获的图像的文件，计算机辅助设计文件；包含在先前的焊接操作期间捕获的数据(例如，焊炬参数、焊接设备输出/设置等)的文件；等等。

在方框308中，头戴式系统20周围的物理环境由从相机216捕获的图像和/或由传感器228收集的数据确定。这可以包括例如确定工件102和/或焊炬112相对于佩戴者108的视野的位置。

在方框310中，在方框306中检索到的数据和关于在方框308中确定的物理环境的信息可以用于呈现3D全息内容并且将所述内容与物理环境一起展示(例如，覆盖在“增强现实”系统中直接/被动视图上)。

图4A描绘了在焊接环境400中在焊接操作期间通过增强现实焊接用户接口401看到的的示例性视图。图4A所示的是实际工件102，其中示例性全息对象被呈现为其位置锚定到工件102上或相对于工件102设置。图4A所示的对象包括完成的焊道402、焊接熔池404、未来焊道406、焊丝凸出部分408、焊炬410和焊缝412。

完成的焊道402、焊接熔池404、焊丝凸出部分408、焊炬410和焊缝412中的每一个可以是基于所跟踪的对象位置、头部运动、CAD模型、WPS、传感器数据等的物理对象或对象的全息呈现。例如，物理焊炬410处于物理环境中，并且焊炬的全息呈现411覆盖在用户接口401中。当烟雾、飞溅物、电弧眩光和/或其它障碍物阻止焊接操作者看到实际对象(或其部分)时或者在烟雾、飞溅、电弧眩光和/或其它障碍物阻止焊接操作者看到实际对象(或其部分)的视图的区域中，任何特定对象可以由全息呈现完全或部分地表示。被遮蔽的物理对象的全息版本的呈现可以包括使用关于被遮蔽的场景的已知信息(以某种概率)来预测所述对象的当前位置。以这种方式，全息图像“显露”物理对象，好像操作者对它/它们的视线没有被阻碍。

未来焊道406可以是示出预测的完工焊道(例如，基于跟踪的当前位置、角度、运动等)和/或期望的焊道(即，如果所有相关参数和设置在整个焊接操作持续期间都保持在公差范围内，则将铺设的焊道)的全息呈现。如果焊接熔池404(实际的或全息/预测的)与未来的焊接位置未对准或具有与未来的期望焊接不同的尺寸和/或位置，则提示焊接操作者改变他/她的焊丝指向或改变他/她的焊接速度以与未来焊接尺寸的期望结果相匹配。在一个实例中，表示WPS(或设定点)中所需的焊接尺寸的虚拟焊池可以投影到实际的物理焊池上。虚拟焊池可以大于或小于物理焊池，这为操作者提供加速或减速的线索，从而使得实际物理焊池尺寸与虚拟焊池的尺寸相匹配。在另一个实例中，如果通过分析从相机216获得的第一图像，增强现实控制器210检测到物理焊接熔池404前面的足够大的间隙，则增强现实控制器210经由GPU 218呈现锯齿形符号，并且经由近眼显示器将所述符号投影在物理焊接熔池404正前方以提示操作者使焊炬迂回前进、跨过间隙并且防止焊穿缺陷。在一些情况下，将文字或符号注释到真实场景，以指示操作者改变焊接参数(例如，接触末端到工作点的距离、行进速度、焊炬角度等)。音频指令也可以通过头戴式系统20给出。在示例性实现方式中，可以预设公差阈值，使得如果观察到场景的对象的实际或预测位置背离模型，则可以发出视觉或音频警报。另外或可选地，未来焊道406可以是显示期望的完工焊道的全息呈现。也就是说，如果在焊接操作的整个持续时间内所有相关参数和设置保持在公差范围内则将被铺设的焊道。这可以作为执行焊接的操作者的指导。

图4A的示例性增强现实焊接用户接口还包括在焊接期间向操作者展示实际焊接过程信号的参数状态条414。示例性状态条414包括参数下限416、参数上限418，以及当前参数状态指示器420。图2A和/或2B的示例性头戴式系统20随着测量的参数改变而更新参数状态条414，并且更新状态指示器420在状态条414上的位置。

用于建模/预测被遮蔽对象的位置的已知信息可以包括例如：在视野中的各种物理对象(例如，工件、焊缝、焊炬、电极、焊接熔池等)的最后看到的位置和速度、视野中的各种物理对象的机械/CAD模型，以及各种物理对象的化学和其它材料数据、焊接设备设置和/或输出(例如，电压、电流、气体速度等)。预测物理对象的位置还可以包括建模/预测障碍物(诸如烟雾、飞溅物、电弧亮度等)的位置。

除了解析被遮蔽对象之外，焊接操作、焊接环境、焊接设备、焊接操作者等的先验知识通常可以帮助“场景理解”。这样的知识可以包括通过GD&T信息与焊件或完工组件一起装配的其它部件的基于模型的定义(MBD)和实际尺寸，并基于正被焊接的特定焊件自适应地和动态地调整命令焊接参数和焊接参数的公差窗口。结合相机图像，系统可以基于先验知识进行更全面的场景分析。例如，可以使用概率图形模型(PGM)来解释对象及其在场景中的行为，而不是单独依靠图像或视频。例如，所述系统可以被配置为识别源自焊丝端部下方的电弧并且高速向外散射的光条纹可能是飞溅物球。作为另一个实例，所述系统可以具有关于存在于焊接点中的临时焊点的存在(以及可能的位置)的信息，并且可以在其焊缝跟踪算法中考虑该信息。作为又一个实例，所述系统可以被配置有物理能力和/或参数的预定限制(例如，焊炬在实践中不能高于某一速度地物理行进等)。作为又一个实例，所述系统可以存储与各种焊接过程/参数相关联的声学特性(例如，长电弧可以发出具有第一组频率、振幅等的声音；短电弧可以发出具有第二组频率、振幅等的声音；以及理想电弧可以发出具有第三组频率、振幅等的声音)。这种多维多变量先验知识可以集中用于图像分割、3D对象重建和场景解释。PGM可以采用诸如贝叶斯网络和马尔可夫随机场之类的方法或离散数据结构来编码和操纵多维空间中的概率分布。

图4B描绘了在焊接操作期间通过增强现实焊接用户接口看到的另一个示例性视图。该视图是真实焊接场景和叠加在真实场景上的3D虚拟对象或全息图的混合。在所示的实例中，3D虚拟对象是真实对象的“轮廓”或线框模型，换句话说，是真实对象的未填充或透明的3D模型。具体地，示出的是焊炬450、工件462、焊道454、焊接熔池456和焊缝458的虚拟轮廓或线框模型，其中全息图中的虚线表示在真实场景中物理上被阻挡但可以从虚拟场景中观看到的虚拟对象(或对象的一部分)。例如，焊接熔池的一部分456B被真实焊炬物理地阻挡视线，因此用虚线表示，而熔池的一部分456A在操作者的视线范围内，因此用实线表示。类似地，焊缝的一部分458B被真实焊炬物理地阻挡视线，因此用虚线表示，而熔池的一部分458A在操作者的视线范围内，因此用实线表示。同样地，工件462的边缘的一部分452B被物理地阻挡视线，因此用虚线表示，而熔池的一部分452A在操作者的视线范围内，因此用实线表示。以相同的方式，焊丝460的可见部分可以用实线表示，而焊丝的被遮蔽部分可以用虚线表示。虽然实线和虚线用于对比视图中的对象与其视图被遮蔽的对象，但是这也可以以其它方式(例如，不同的线条厚度、颜色、静态线与闪光线等)来实现。这样做的好处是，观察者/操作者可以看穿烟雾、飞溅物和物理对象障碍物，并且更好地看到焊接场景。可选地，在全息图中可以仅显示被遮蔽的场景(虚线)，可观察对象的实线不被注释出。

再次参照图4B，一个实施例是训练操作者使用真实的焊炬、真实的工件、真实的焊接夹具和真实的焊接电源来练习焊接，而没有真实的焊弧。相反，头戴式系统20在操作者面前向操作者显示模拟电弧、模拟焊池和覆盖到真实工件上的模拟焊接。换句话说，焊炬450、焊丝460、工件462和焊缝458A都是真实的，但是焊接熔池456和焊接电弧是虚拟的或模拟的(图4B中未示出虚拟电弧)。在一些这样的示例性训练操作中，当焊接设备以模拟模式操作时，操作者可以配置焊接设备(例如，用于焊接电流的电源)，就像操作者将要执行真实焊接一样。来自所述设备的焊接参数在增强现实控制器210处被接收以提供关于如何基于所选择的焊接参数呈现虚拟电弧和焊接的信息。当操作者扳动焊炬上的扳机时，扳机经由通信接口206和端口204向增强现实控制器210发送增强现实(AR)电弧启动信号，而不是接通电力供应器输出和进给焊丝。

响应于接收到增强现实电弧启动信号，增强现实控制器210呈现虚拟电弧、虚拟焊接熔池456和虚拟焊道454并且将它们投影到近眼显示器222，使得虚拟对象混合到真实场景中以创造出现场电弧焊接的视觉错觉或模拟。然而，在实际场景中没有实际的电弧、没有焊接熔池，也没有焊丝进给。

示例性扬声器213输出合成双耳音效的电弧声，以模拟从场景中的虚拟电弧的位置产生的声音。扬声器213输出的音调基于所选择的焊接过程、所选择的保护气体、电弧长度和/或焊接电压供应器上编程的电压设置(短路、脉冲、CV等)而改变。当操作者改变接触末端到工作点的距离、焊炬角度和/或行进速度时，增强现实控制器210基于“第一图像”或深度图测量和/或增强现实控制器210对焊接场景的解释来相应地调节虚拟对象和双耳声。同样地，如果操作者改变工作中的焊接设备上的机器设置，则增强现实控制器210调节呈现的虚拟对象和/或双耳声。响应于焊接操作者释放扳机，焊接设备向增强现实控制器210发送AR电弧停止信号。响应于电弧停止信号，增强现实控制器210更新虚拟对象以在近眼显示器222上显示的全息图中去除电弧对象和熔池对象456，但保持焊道对象454。在一些实例中，增强现实控制器210生成虚拟焊接的概要数据(例如，总体热输入、平均行进速度、焊接分数等)的视觉显示，以经由近眼显示器222显示。

从操作者/观看者的视角来看，虚拟对象在空间上锚定(或“粘合”或“固定”)到真实对象的位置和方位，而不管观看者的头部和/或眼睛的运动或物理对象的运动如何。可以使用3D深度测距相机(例如ToF)来实现虚拟对象锚定，用于映射出真实对象的场景，并且通过使用头部跟踪IMU和/或注视跟踪装置来检测观看者正在看物理环境中的哪里和/或哪些物理对象。然而，焊接电弧对于实现锚固具有重大难题。例如，利用双相机捕获可见光谱的立体视觉可能因电弧而盲化，从而使场景的周围对象/部分变得模糊。ToF相机映射通过利用远离电弧光谱峰值的单一波长的相干激光照亮场景以及利用具有滤光器的成像传感器来捕获反射光来克服这个问题，所述滤光器仅接收激光波长并且拒绝其它波长，诸如来自强烈电弧的波长。

再次参照图4B，在一些实例中，虚拟电弧对象464可以被呈现并且覆盖在物理电弧对象上。虚拟电弧对象464可被呈现为稠密不透明的并且用于使物理电弧对象变得暗淡或阻挡物理电弧对象以改善周围区域的可视性。阻挡实际电弧的虚拟电弧对象464可以被重新定位以与来自IMU运动跟踪/注视跟踪输入的头部和/或眼睛运动相匹配。显示器可以包括用于变暗效果的电致发光材料或悬浮颗粒。虚拟电弧对象464的不透明性可能使物理电弧对象的边缘淡出，以解决电弧对象坐标的不精确性。

参照图4C，在一些实例中，注视跟踪装置确定场景400中正在注视的物理对象或注视位置，并且使用确定的位置或对象在显示器中提供注视区域的缩放视图466。当观看者移动头部/眼睛时，缩放目标也将自动移动以与新的注视区域匹配。缩放视图466例如在小工件的精细焊接和/或高精度应用中是有用的。在一些实例中，增强现实控制器210基于用户输入(诸如姿势识别、点头或摇头、眼睑边缘图案和/或语音识别)激活、去激活和/或重新定位缩放视图466。

再次参照图4B，在一些实例中，注视跟踪装置可以提供在焊工训练中观看者注意力的洞悉。手动焊接全部是关于手眼协调。经验丰富的操作者可以选择性对于焊缝跟踪将注意力放在焊接点、对于焊接尺寸和渗透性将注意力放在熔池、对于焊丝的布置将注意力放在焊丝相对于焊缝的位置、对于潮湿性将注意力放在焊趾，等等。没有经验的操作者或学生操作者可能不会在正确的时间将注意力放在正确的地方，并且可能会遭受被称为“非注意视盲”的心理影响。观看者的目光反馈可能会提供观看者心理盲点的代替。在一个实例中，当观看者没有看向焊接指导者所要求的对象(例如焊趾)时，虚拟对象或标记可以注释所需对象以吸引观看者的注意力，或者可以提供语音指令以使操作者将注意力放在所需对象上。在另一个实例中，当观看者随着焊接点变得太大而没有看着对象(例如焊接熔池)时，可以将较小尺寸的虚拟焊接熔池覆盖在大的物理熔池上，并且可以向学生发出语音指令以在移动焊炬时收敛一些行进速度，从而使得可以铺设较小的熔池/焊接。

图4D示出了另一个示例性用户接口468，其中模拟对象(例如，在焊接和/或切割操作中使用的一个或多个激光)显示在图2A、图2B和/或图2C的头戴式显示器上。

在激光焊接、激光GMAW混合焊接、激光熔覆和激光切割中，相对于要处理的零件/焊件和/或关于在3D加性制造、熔覆或表面处理应用中的粉末/焊丝传送而言，激光聚焦位置、焦距和/或激光包络的形状的知识可能会影响结果操作的质量。常规系统使用低功率可见激光以显示用于对准目的的指示。然而，常规对准方法可能缺乏足够的精确性来指示焦点(例如，由于对准激光器的粗略固定的光斑尺寸)、焦深和/或激光包络。

图2A-2C的示例性头戴式系统20示出了在焊接环境中作为全息图示出的对象的示例性焦点470和示例性激光包络472。示例性接口468还示出了焊道402和工件102。另外或可选地，焦点470和激光包络472可以在头戴式系统20外部的计算机监视器上显示为呈现的3D图像。

当使用头戴式系统20时，示例性头戴式系统20可以设置有过滤掉特定材料加工激光的波长的眼睛保护透镜(例如，代替自动变暗透镜226)。头戴式系统20投影模拟激光输出的虚拟对象，诸如焦点470和激光包络472。示例性虚拟对象470、472可以在对机器人进行编程以便进行焊接、熔覆和/或切割时有助于激光的对准。当激光具有不可见波长(例如，对于固态激光为800-1064纳米，对于CO₂气体激光为10.6微米)时，虚拟对象470、472提供虚拟激光图像来展示实际焊接期间激光的位置。对于用于激光粉末过程或焊丝沉积过程，虚拟对象470、472也可以示出激光包络和/或气体包络。

在一些实例中，图2A和/或图2B的增强现实控制器210确定正在执行的焊接的状态并且将所述状态与焊接指令进行比较。例如，增强现实控制器210可以确定操作者正在按指令中定义的焊接顺序执行特定的焊接。基于所确定的状态，增强现实控制器210确定模拟对象的位置和视角。图5描绘了通过增强现实焊接用户接口看到的示例性焊接顺序控制视图。在图5中，工件是具有12个边缘焊缝的箱体，所述12个边缘焊缝将按顺序焊接以避免工件102的变形。当焊工完成焊缝502时，从人类操作者的角度看被固定或锚定到工件102的焊缝504(接下来待焊接的)的闪烁的全息图被显示出来以提醒操作者使他的身体和他的焊炬朝向焊缝504位置移动。扬声器213可以输出空间音效(诸如来自焊缝504的声音提示)以引起操作者的注意。在示例性实现方式中，如果人类焊工采取指示她/他正试图执行错误顺序焊接的动作，则头戴式系统20可以发送信号以禁用焊炬的扳机(例如，经由通信控制器230)，从而可以避免以错误顺序进行焊接的人为错误。在一些实例中，头戴式系统20允许操作者无视通信控制器230。头戴式系统20可要求操作者在重新启动焊炬的扳机之前确认所述无视和不同的焊接顺序是有意为之的。

图6描绘了使用增强现实焊接用户接口的位于不同位置的焊接操作者之间的协作。在图6中，头戴式系统20中的高视野(FOV)深度相机(经由连接606和610以及网络608)将由操作者108看到的场景的真实图像转发到远程操作者或指导者或服务提供者或监督者602，即“助手”。助手602可以与操作者108聊天，以例如指导操作者108如何执行各种焊接任务。

作为一个实例，助手602可以看到由操作者108看到的工件102的全息呈现604，并且操作者602可以看到由助手602握住的焊炬的全息呈现612。例如，为了示出操作者108如何握住焊炬并且对工件102进行焊接，助手602可以利用真实的焊炬614沿着虚拟工件604执行模拟焊接。虚拟焊炬612可以跟踪真实焊炬614的运动。因此，操作者108可以看到虚拟焊炬612沿着真实工件102执行模拟焊接。当助手602执行模拟焊接时，可以将全息焊道投影到工件102上。类似地，当助手602执行模拟焊接时，可以产生文字和/或图形注释(例如，响应于助手602所输入的命令)并且将其投影到操作者108的视图上。

在另一个实例中，操作者108难以用在他/她手中的真实焊炬的接触末端(未标示出)向回燃烧的电弧来进行焊接。助手602可以例如指导操作者/用户更换接触末端，并且将接触末端的3D绘制全息图投影到操作者所握住的焊炬的真实场景上。作为另一个实例，操作者108可以报告(对着他/她的头戴式系统20的麦克风讲述)孔隙问题，以及通过姿势指向他的气体输送系统。助手将解说(例如，使用姿势、语音、触摸板、键盘等，助手可以使操作者看到的虚拟对象的显示和虚拟对象的后续操纵)操作者真实场景中的真实气体软管连接，以及呼叫操作者检查气体软管是否泄漏。可选地，具有潜在泄漏点的整个气体输送的3D模型全息图将与指示器和文字一起叠加在真实场景上以供操作者查看和检查。

在另一个示例性实现方式中，远程助手602可以不佩戴头戴式系统20，而是可以仅在屏幕上查看2D图像，并且能够使用任何合适的输入装置(姿势、语音、鼠标、键盘、多个语音、多个姿势等)控制展示给操作者108的全息图像。在另一个示例性实现方式中，远程助手可以不是人，而可以是具有高处理能力、人工智能等等的远程计算机。

图7示出了在试样上练习时使用图2A和/或图2B的示例头戴式系统20实现改善焊接情况的现实性的增强现实用户接口。在图7中，操作者108在测试焊接样本702(也称为测试试样)面前握住由可操作电源和送丝机供电的可操作焊炬700。然而，在混合现实中，实际焊件或完工组件(例如，船体零件)704的3D绘图/模型的全息图叠加在测试试样702和可操作焊枪700上。全息图叠加在环境中使得操作者能够在未来的焊接环境和分配给她/他的实际焊件中执行模拟焊接，同时在模拟环境中在低成本试样上练习。使用图7的示例性增强现实用户接口使操作者能够在她/他在真实的结构(例如，船、汽车、核能船、喷气发动机)上实际焊接之前熟悉该任务。这样的示例性模拟是有价值的，因为其减少了可能非常昂贵或不可能校正和/或重做(例如，昂贵的工件，仅能够尝试一次焊接的工件等)的焊接情况中的错误的风险。难以修复的焊接情况的实例包括修复大型结构和/或在非常昂贵(其中报废或故障成本非常高昂)的材料上进行焊接。

另外或可选地，图2A和/或图2B的示例性头戴式系统20模拟任何焊接问题的效果，诸如模拟焊接期间突然的气体截止，以及用都是孔(因为气体缺失)的不良焊接的全息图替换实际焊接的视图(其可能已经以可接受的结果正确完成)。在其它实例中，图2A和/或图2B的示例性头戴式系统20模拟当焊接实际焊件时操作者将遇到的物理障碍物。例如，可以模拟墙壁、盲点、拐角等。例如，在墙壁或其它物理障碍物的情况下，所述系统可以检测物理对象(例如焊炬、软管、操作者身体的一部分)是否侵入到在实际焊件中将被物理结构占据的空间中，并且如果检测到这种情况，则触发警告、停止模拟等等。

图8示出了使用增强现实用户接口来控制焊接机器人810。机器人810上的相机捕获工件814的3D图像并且将图像转发到操作者108的OHMD 816，所述OHMD 816投影工件814的全息表示812。图8的示例性OHMD 816可以使用图2A和/或图2B的头戴式系统20来实现。人类操作者108握住焊炬808并且模仿在全息工件812上执行焊接。他的焊炬定位和运动由ToF相机和其它传感器跟踪，并且被转发到机器人810以通过机器人执行相同的焊接。在示例性实现方式中，机器人实时跟踪操作者108的运动。在另一个实现方式中，焊炬808的人类焊工运动可以被记录并且转录到机器人，所述机器人是离线地编程而不是实时编程。例如机器人在水下、在高海拔地区或在危险环境(例如，利用钚燃料反应堆中或在火星的辐射)下进行焊接的情况下，可以使用这种技术。因此，机器人810是人类操作者108的化身，其中机器人810可能处于危险环境中，并且人类操作者108可能舒适地在实验室中。

图9是表示可由一个或多个处理器执行以实现图1、图2A和/或图2B的系统20以增强焊接环境的视图的示例性机器可读指令900的流程图。示例性指令900可由图9的增强现实控制器210和/或图形处理器218执行以实现一种增强焊接环境的视图的方法或过程。

在方框902，增强现实控制器210从存储器211访问焊接指令，其中焊接指令与在焊接环境中要执行的焊接相对应。例如，焊接指令可以在执行指令900之前被接收和/或被存储在存储器211中。

在方框904，增强现实控制器210基于来自附接到头戴式装置的光学传感器的输入生成焊接环境的第一图像。例如，增强现实控制器210可以从图2A和/或图2B的相机216和/或ToF处理器216D接收图像数据。在一些实例中，来自光学传感器的输入是渡越时间数据，并且焊接环境的第一图像的生成包括将渡越时间数据转换为第一图像，执行分割、特征提取、表面拟合、分类、对象识别、3D场景重建和/或尺寸测量。

在方框906，增强现实控制器210基于焊接指令和通过头戴式装置的透镜(例如，自动变暗透镜226)看到的视野计算焊接环境内的一个或多个模拟对象的位置。

在方框908，增强现实控制器210基于焊接指令和视野计算模拟对象的视角。

在方框910，图形处理器218生成模拟对象的第二图像以利用模拟对象的视图来增强视野。例如，图形处理器218使用由增强现实控制器210计算的位置和视角生成第二图像。

在方框912，近眼显示器222显示模拟对象的第二图像。例如，近眼显示器222可以显示模拟对象，使得它们阻塞焊接环境的一些部分，以给予操作者模拟对象存在于焊接环境中的印象，同时给予操作者观看焊接环境的非阻塞部分的能力。

在方框914，增强现实控制器210确定是否已经接收到任何焊接参数。

如果已经接收到一个或多个焊接参数(方框914)，则在方框916，近眼显示器222显示所述焊接参数。在一些实例中，增强现实控制器210将焊接参数转换为视觉显示，诸如与所需范围的焊接参数的视觉比较，并且经由近眼显示器222展示所述视觉显示。

在显示焊接参数(方框916)之后，或者如果没有接收到焊接参数(方框914)，则在方框918，增强现实控制器210确定是否要用模拟对象的新的位置和/或视角更新所述显示。如果要更新所述显示(例如，由于头戴式显示器的佩戴者的运动)(方框918)，则控制返回到方框904以生成另一个图像。例如，增强现实控制器210可以基于来自光学传感器216的第二输入生成焊接环境的第二图像、确定视野的变化、基于视野的变化计算模拟对象在焊接环境内的第二视角(其中模拟对象在焊接环境内的位置可以是恒定不变的和/或可以移动的)。示例性图形处理器218可以生成与所述位置和第二视角相对应的模拟对象的第三图像。近眼显示器222可以显示模拟对象的第二图像。

图10是表示可由一个或多个处理器执行以实现图1、图2A和/或2B的系统20来利用虚拟对象增强焊接训练的示例性机器可读指令1000的流程图。

在方框1002，增强现实控制器210从存储器211访问焊接指令。例如，在执行指令900之前，指令可以被接收和/或被存储在存储器211中。在方框1004，增强现实控制器210确定焊接指令是否与训练模式相对应。例如，焊接指令可以识别要在没有实际焊弧的情况下执行的训练焊接或练习焊接。响应于将焊接电源置于模拟模式中，可以从焊接电源接收到焊接指令。

在方框1006，增强现实控制器210经由通信接口206(例如，从焊接电源)接收焊接参数。例如，增强现实控制器210可以接收由焊接操作者为训练焊接设置的电压、电流和/或工艺类型。在方框1008，增强现实控制器210分析由相机216拍摄的工件的图像以根据焊接参数确定在工件上执行焊接指令。例如，增强现实控制器210可以使用可从工件的图像观察到的任何特征来生成和/或应用与所选择的焊接参数相对应的焊接模型。

在方框1010，增强现实控制器210确定焊接参数是否有任何变化。例如，焊接操作者可以在训练焊接之前(或经由由系统20呈现的虚拟控件)调整电力供应器处的一个或多个焊接参数。如果焊接参数有任何变化(方框1010)，则增强现实控制器210将控制返回到方框1006以接收新的焊接参数。

如果焊接参数尚未有任何变化(方框1010)，则在方框1012，增强现实控制器210确定焊炬的扳机是否被扳动。例如，当焊接操作者扳动扳机时，增强现实控制器210可以经由通信接口206从电源接收扳机扳动指示。如果尚未有扳机扳动(方框1012)，则控制返回到方框1010以监测焊接参数的变化。

如果已有扳机扳动(方框1012)，则在方框1014，增强现实控制器210基于焊接操作者的动作监测模拟焊接数据。模拟焊接数据可以从焊接电源接收和/或经由对来自相机216的图像的分析和/或对来自传感器228的数据的分析来识别。

在方框1016，增强现实控制器210和GPU/HPU 218基于监测模拟焊接数据生成并且显示虚拟焊弧、虚拟焊接熔池和虚拟焊道。方框1016可以使用例如图9的方框904-018来实现，其中模拟对象是虚拟焊弧、虚拟焊接熔池和虚拟焊道。

在方框1018，增强现实控制器210确定扳机是否已被松开。例如，当焊接操作者松开扳机以停止模拟焊接时，增强现实控制器210可以经由通信接口206从电源接收扳机松开指示。如果尚未有扳机松开(方框1018)，则控制返回方框1014以继续监测模拟焊接。

当扳机已被松开时(方框1018)，增强现实控制器210和GPU/HPU 218结束虚拟对象的显示(方框1020)。在方框1022，增强现实控制器210和GPU/HPU 218生成并且显示来自先前训练焊接的焊接数据，以供焊接操作者和/或焊接操作者的监督者或训练者查看。

在显示焊接数据(方框1022)之后，或者如果焊接指令与训练模式不对应(方框1004)，则图10的示例性指令1000结束。

图11A示出了示例性接口1100，其显示覆盖在与接口1100相对应的视野1114内的真实场景1112上的模拟对象1102、1104、1106、1108、1110。示例性接口1100可以在焊接训练会话期间展示，其中在真实场景1112中将不会生成实际的焊弧，而是将经由显示器来显示焊弧、焊接熔池和所得到的焊接的外观。

实际场景1112包括工件102和工作台1116，所述工件102和工作台1116可由操作者通过接口1100观看。实际场景1112还包括焊炬410。图2A-2C的增强现实控制器210使用焊炬410在场景1112中的位置(例如，通过处理焊接场景1112的图像确定的)来定位模拟对象1102-1110，所述模拟对象1102-1110包括模拟焊道1102、焊炬410的轮廓1104、模拟焊接熔池1106、模拟电极焊丝1108和模拟电弧1110。

在利用焊接电弧进行实际焊接操作(例如，利用电弧的训练和/或实际焊接操作)期间，模拟对象1102-1110中的一个或多个可以用真实场景1112中的实际对象替换。

图11B示出了另一个示例性接口1120，其显示覆盖在对应于接口1120的视野1114内的真实场景1112上的示例性图形1122-1138以便经由用户输入进行用户选择。示例性图形1122-1138可以是例如由增强现实控制器210生成并且经由近眼显示器222展示的菜单项，从而看上去好像是图形1122-1138存在于场景1112那样。然而，图形1122-1138可以被生成为更简单的覆盖图形，而不是看上去存在于场景1112中。示例性图形1122-1138可以由用户经由用户接口部件207(诸如姿势识别和/或语音命令)来选择。如图11B所示，用户可以使用用户的手1140来模拟推动图形1122-1138中的一个或多个。用户接收关于图形1122-1138相对于用户的手1140的位置的视觉反馈，并且增强现实控制器210基于用户模拟推动图形1122-1138来识别图形1122-1138的选择，就像所选择的图形1122-1138是物理按钮一样。

示例性“查看下一焊接的信息”图形1122使增强现实控制器210显示(例如，覆盖)要执行的焊接的焊接信息，诸如所需的设备(例如，可消耗的信息、诸如MIG、TIG等的焊接过程信息、电压、电流、行进速度等)。示例性“模拟下一焊接”图形1124使增强现实控制器210使用焊接的行进速度、电弧长度和/或其它特性来说明下一焊接以便操作者进行观察。在一些实例中，焊接的模拟包括跟踪用户的焊炬的运动并且向用户提供反馈。

示例性“装配要焊接的部件”图形1126使示例性增强现实控制器210生成要装配在一起的焊接部件的模拟和/或动画，并且在一些实例中，生成要执行的焊接的模拟。示例性“开始焊接”图形1128使增强现实控制器210进入焊接模式，其中增强现实控制器210在焊接操作期间在接口1100的视野中显示一个或多个模拟对象。本文详细描述了这样的模拟对象的实例。

示例性“覆盖电弧”图形1130使增强现实控制器210在焊接场景中的实际电弧的位置处跟踪并且生成模拟电弧对象。在一些实例中，覆盖的电弧阻挡用户对实际电弧的观看，这提供对用户的眼睛的部分或完全的保护以免受到弧光影响，同时允许用户查看电弧的位置。示例性“覆盖焊接熔池”图形1132使增强现实控制器210生成并且显示模拟的焊接熔池。示例性“覆盖缩放视图”图形1134使示例性增强现实控制器210生成并且显示视野1114的一个方面(或者在某些情况下，不在视野中)的缩放视图。例如，增强现实控制器210可以提供如上参照图4C所述的焊接熔池的缩放视图。

示例性“过滤电弧”图形1136使增强现实控制器210使用例如近眼显示器222和/或由增强现实控制器210控制的另一个滤光器来过滤来自电弧的光。示例性“覆盖焊接数据”图形1138使增强现实控制器210生成焊接数据(例如焊接电压、焊接电流、电弧长度，和/或行进速度)的图形以在焊接期间用于显示给用户。

用户可以选择或取消选择示例性图形1130-1138，并且增强现实控制器210使用图形1130-1138的状态确定增强现实控制器210将生成哪些模拟对象用于显示。如图11B所示，图形1130、1132、1136和1138被选择，而图形1134被取消选择。可以使用这些图形1122-1138的不同的展示和/或操控。

图12A示出了示例性头戴式系统1200，其包括常规的焊接头盔1202和可由操作者佩带在焊接头盔1202下方的单独的头戴式显示器1204。示例性头戴式显示器1204可以是设置了眼镜式或面罩型形状因数的图2A、图2B和/或图2C的头戴式系统20。在2015年2月24日发布的美国专利号8,964,298中描述了可用于实现头戴式显示器1204的实例。美国专利号8,964,298的全部内容通过引用并入本文。头戴式显示器1204被配置为在穿上焊接头盔1202之前由用户戴上。在图12A的实例中，焊接头盔可以提供光防护特征，诸如被动或主动变暗面罩。

图12B示出了包括示例性焊接头盔1208的另一个示例性头戴式系统1206，所述示例性焊接头盔1208具有观看口，所述观看口的尺寸被设计成将由操作者佩戴的头戴式显示器1204装配在焊接头盔1208下方。在图12B的实例中，焊接头盔1208具有观看口1210，所述观看口1210的尺寸被设计成允许头戴式显示器1204通过观看口1210被看到。观看口1210不暴露操作者脸部的任何其它部分。在图12B的实例中，头戴式显示器1204可以为头戴式显示器1204所覆盖的用户脸部的部分提供光防护特征。

如本文所使用的，术语“电路”是指物理电子部件(即，硬件)以及可以配置硬件、可由硬件执行和/或以其它方式与硬件相关联的任何软件和/或固件(“代码”)。如本文所使用的，例如，当执行第一个一行或多行代码时，特定处理器和存储器可以包括第一“电路”，并且当执行第二个一行或多行代码时可以包括第二“电路”。如本文所使用的，“和/或”是指通过“和/或”连接的列表中的项目中的任何一个或多个。作为实例，“x和/或y”是指三元素集{(x)，(y)，(x，y)}中的任何一个元素。换句话说，“x和/或y”是指“x和y中的一个或两个”。作为另一个实例，“x、y和/或z”是指七元素集{(x)，(y)，(z)，(x，y)，(x，z)，(y，z)，(x，y，z)}中的任何一个元素。换句话说，“x、y和/或z”是指“x、y和z中的一个或多个”。如本文所使用的，术语“示例性”是指用作非限制性实例、例子或说明。如本文所使用的，术语“例如”列出了一个或多个非限制性实例、例子或说明的列表。如本文所使用的，电路是“可操作的”以执行功能，无论何时电路包括必要的硬件和代码(如果需要的话)以执行所述功能，而不管功能的执行是否被禁用或不被启用(例如，通过用户可配置的设置、工厂调整等)。

本发明方法和/或系统可以以硬件、软件或硬件和软件的组合实现。本发明方法和/或系统可以以集中式方式在至少一个计算系统、处理器和/或其它逻辑电路中实现，或者以其中不同的元件分布在多个互连的计算系统、处理器和/或其它逻辑电路中的分布式方式实现。适用于执行本文所描述的方法的任何类型的计算系统或其它设备是适合的。硬件和软件的典型组合可以是具有程序或其它代码的通用计算系统，当所述程序或其它代码被加载和执行时，其控制计算系统，使得它执行本文所描述的方法。另一个典型的实现方式可以包括专用集成电路或芯片，诸如现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)或复杂可编程逻辑器件(CPLD)和/或片上系统SoC)。一些实现方式可以包括其上存储有可由机器执行的一行或多行代码的非暂时性机器可读(例如，计算机可读)介质(例如，闪存存储器、光盘、磁存储盘等)，从而使机器执行如本文所述的过程。如本文所使用的，术语“非暂时性计算机可读介质”被定义为包括所有类型的计算机可读存储介质并且排除传播信号。

虽然已经参照某些实现方式描述了本发明方法和/或系统，但是本领域技术人员将会理解，可以在不脱离本发明方法和/或系统的范围的情况下，进行各种改变并且可以替换等同方案。另外，在不脱离其范围的情况下，可以进行许多修改以使特定情况或材料适应本公开的教导。因此，本发明方法和/或系统不限于所公开的特定实现方式。相反，本发明方法和/或系统将包括在字面上和在等同方案的教示下落在所附权利要求书的范围内的所有实现方式。

Claims (20)

1.一种焊接接口装置，包括：

光学传感器，所述光学传感器用于收集焊接环境的图像；

增强现实控制器，所述增强现实控制器被配置为：

接收与焊接训练操作相对应的第一指令；

分析由所述光学传感器收集的所述焊接环境的第一图像；

基于所述第一指令和所述第一图像生成焊接模型；

开始模拟焊接操作；以及

基于所述焊接模型监测模拟焊接数据；

图形处理单元，所述图形处理单元被配置为基于所监测的模拟焊接数据生成至少一个模拟对象；以及

半透明显示器，所述半透明显示器用于展示所呈现的模拟对象，当所述显示器展示所呈现的模拟对象时，可以通过所述半透明显示器观察到所述焊接环境的至少一部分。

2.根据权利要求1所述的焊接接口装置，进一步包括主体，所述光学传感器、所述图形处理单元和所述显示器附接到所述主体，所述主体的尺寸被设计成当由佩戴者佩戴时使所述佩戴者能够进一步将焊接头盔佩戴在所述主体之外，所述焊接头盔具有观看口。

3.根据权利要求1所述的焊接接口装置，其中所述图形处理单元包括全息处理器。

4.根据权利要求1所述的焊接接口装置，其中所述增强现实控制器包括第一协处理器，并且所述图形处理单元包括第二协处理器。

5.根据权利要求1所述的焊接接口装置，其中所述至少一个模拟对象是虚拟焊接熔池、虚拟焊道或虚拟焊接电弧中的一个。

6.根据权利要求1所述的焊接接口装置，其中所述显示器是近眼显示器。

7.根据权利要求1所述的焊接接口装置，其中所述图形处理单元被配置为生成虚拟焊接电弧、虚拟焊接熔池和虚拟焊道，并且所述半透明显示器被配置为展示所述虚拟焊接电弧、所述虚拟焊接熔池和所述虚拟焊道。

8.根据权利要求1所述的焊接接口装置，进一步包括通信接口，其中所述增强现实控制器被配置为通过所述通信接口从焊接型电源接收所述第一指令。

9.根据权利要求1所述的焊接接口装置，进一步包括通信接口，其中所述模拟焊接数据部分基于通过所述通信接口从焊接型电源接收的信息被监测。

10.根据权利要求1所述的焊接接口装置，其中所述模拟焊接数据部分基于由所述光学传感器捕获的所述焊接环境的附加图像被监测。

11.根据权利要求1所述的焊接接口装置，进一步包括通信接口，其中所述增强现实控制器被配置为基于指示扳机被扳动的、通过所述通信接口接收的第一信号而开始所述模拟焊接操作。

12.根据权利要求11所述的焊接接口装置，其中所述增强现实控制器被配置为基于指示所述扳机被释放的、通过所述通信接口接收的第二信号结束所述模拟焊接操作。

13.根据权利要求1所述的焊接接口装置，其中所述半透明显示器被配置为在所述模拟焊接操作时显示所监测的模拟焊接数据。

14.根据权利要求1所述的焊接接口装置，其中所述半透明显示器被配置为在所述模拟焊接操作结束之后显示所监测的模拟焊接数据。

15.根据权利要求1所述的焊接接口装置，其中所述光学传感器、所述增强现实控制器、所述图形处理单元和所述显示器被集成到焊接头盔中。

16.根据权利要求1所述的焊接接口装置，还包括附接到所述主体的透镜，所述透镜用于降低在所述焊接环境中出现的光的强度，所述透镜被布置成当所述焊接接口装置由佩戴者佩戴时向所述焊接接口装置的所述佩戴者提供视野，当所述焊接接口装置被所述佩戴者佩戴时，所述显示器是位于所述透镜与所述焊接接口装置的所述佩戴者之间的近眼显示器。

17.根据权利要求1所述的焊接接口装置，还包括通信控制器，所述通信控制器用于响应于识别与所述第一指令的偏差来传送禁用命令。

18.根据权利要求1所述的焊接接口装置，还包括惯性测量单元，所述惯性测量单元用于提供运动信息或方位信息中的至少一个，所述增强现实控制器用于基于所述运动信息或所述方位信息中的至少一个确定所述模拟对象的位置。

19.根据权利要求1所述的焊接接口装置，其中所述图形处理单元被配置为将所述模拟对象生成为三维立体图像。

20.根据权利要求1所述的焊接接口装置，其中所述光学传感器包括：

照明器，所述照明器用于输出在电弧辐射光谱之外的第一波长下的辐射；

渡越时间传感器，所述渡越时间传感器用于收集所述第一波长下的所述焊接环境的所述图像；以及

带通滤光器，所述带通滤光器用于减轻除了所述第一波长之外的波长下的光。

Images