CN110831720B - 具有基于照明条件对介导现实焊接系统的控制的头戴式装置 - Google Patents
具有基于照明条件对介导现实焊接系统的控制的头戴式装置 Download PDFInfo
- Publication number
- CN110831720B CN110831720B CN201880042009.5A CN201880042009A CN110831720B CN 110831720 B CN110831720 B CN 110831720B CN 201880042009 A CN201880042009 A CN 201880042009A CN 110831720 B CN110831720 B CN 110831720B
- Authority
- CN
- China
- Prior art keywords
- pixel data
- welding
- circuitry
- headset
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K9/00—Arc welding or cutting
- B23K9/32—Accessories
- B23K9/321—Protecting means
- B23K9/322—Head protecting means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
- A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
- A61F9/04—Eye-masks ; Devices to be worn on the face, not intended for looking through; Eye-pads for sunbathing
- A61F9/06—Masks, shields or hoods for welders
- A61F9/065—Masks, shields or hoods for welders use of particular optical filters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K9/00—Arc welding or cutting
- B23K9/095—Monitoring or automatic control of welding parameters
- B23K9/0953—Monitoring or automatic control of welding parameters using computing means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K9/00—Arc welding or cutting
- B23K9/095—Monitoring or automatic control of welding parameters
- B23K9/0956—Monitoring or automatic control of welding parameters using sensing means, e.g. optical
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K9/00—Arc welding or cutting
- B23K9/16—Arc welding or cutting making use of shielding gas
- B23K9/173—Arc welding or cutting making use of shielding gas and of a consumable electrode
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0613—The adjustment depending on the type of the information to be displayed
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/066—Adjustment of display parameters for control of contrast
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
- G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Plasma & Fusion (AREA)
- Mechanical Engineering (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- Heart & Thoracic Surgery (AREA)
- Vascular Medicine (AREA)
- General Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Studio Devices (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
一种实例头戴式装置(20),包括相机、显示装置、焊接检测电路系统和像素数据处理电路系统。相机产生来自头戴式装置的视野的第一像素数据。显示装置基于由相机捕捉的第一像素数据而向头戴式装置的佩戴者显示第二像素数据。焊接检测电路系统确定焊接电弧是否存在并产生指示该确定结果的控制信号。像素数据处理电路系统处理由相机捕捉的第一像素数据以产生第二像素数据以供显示在显示装置上,其中基于所述控制信号而从多种模式中选择所述像素数据处理电路系统的操作模式。
Description
相关申请
本国际申请要求主张2017年4月26日提交的题为“Control of Mediated RealityWelding System Based on Lighting Conditions”的美国专利申请No.15/497,908的部分延续申请的优先权。美国专利申请号15/497,908的全文通过援引并入本文中。
背景技术
焊接是已在所有行业中变得越来越普遍的工艺。虽然这些工艺在某些情形下可自动化,但手动焊接操作仍然存在大量应用,其中手动焊接操作的成功极其依赖于操作员在保护其视力的同时观察其工作的能力。
发明内容
提供用于基于照明条件而对介导现实焊接系统进行控制的方法和系统,实质上如附图中的至少一幅所图示和/或结合附图中的至少一幅所描述,如权利要求书中更全面地阐述。
附图说明
图1示出根据本公开的一些方面的示范性电弧焊接系统。
图2示出根据本公开的一些方面的实例焊接头具。
图3A示出图2的焊接头具的实例电路系统。
图3B示出图2的焊接头具的实例电路系统。
图3C示出图2的焊接头具的实例电路系统。
图4示出图2的焊接头具的实例光学部件。
图5是图示用于在图2的头具中控制像素数据处理的实例过程的流程图。
图6A和图6B是用于基于光强度的检测而控制像素数据处理的实例电路系统的框图。
具体实施方式
如本文所使用,术语“电路”和“电路系统”表示实体电子部件(即,硬件)以及任何软件和/或固件(“代码”),所述软件和/或固件可配置硬件、由硬件执行和/或以其它方式与硬件相关联。如本文所使用,例如,特定的处理器和存储器在执行第一一行或更多行代码时可以包括第一“电路”,并且在执行第二一行或更多行代码时可以包括第二“电路”。如本文所利用,“和/或”表示由“和/或”连接的列表中的任何一个或更多个项目。作为实例,“x和/或y”表示三元素集合{(x),(y),(x,y)}中的任一元素。换句话说,“x和/或y”表示“x和y中的一者或两者”。作为另一实例,“x、y和/或z”表示七元素集合{(x),(y),(z),(x,y),(x,z),(y,z),(x,y,z)}中的任一元素。换句话说,“x、y和/或z”表示“x、y和z中的一者或更多者”。如本文所利用,术语“示范性”表示充当非限制性实例、例子或示例。如本文所利用,术语“例如”和“比如”列出一个或更多个非限制性实例、例子或示例的列表。如本文所利用,只要电路系统包括执行功能所需的硬件和代码(如果需要的话),该电路系统便是“可操作”以执行所述功能,而不管所述功能的执行是否(例如,通过用户可配置的设定、工厂微调等)被停用或未被启用。
所公开的实例头戴式装置包括:相机,以产生来自头戴式装置的视野的第一像素数据;显示装置,以基于由相机捕捉的第一像素数据向头戴式装置的佩戴者显示第二像素数据;焊接检测电路系统,以确定焊接电弧是否存在并产生指示确定结果的控制信号;以及像素数据处理电路系统,以处理由相机捕捉的第一像素数据而产生第二像素数据以供显示在显示装置上,其中所述像素数据处理电路系统的操作模式是基于所述控制信号而从多种模式中选择的。
一些实例头戴式装置还包括接收器电路以接收通信,其中焊接检测电路系统基于所述通信来确定焊接电弧是否存在。在一些实例中,焊接检测电路系统检测与焊接电弧相关联的电磁场并基于所述电磁场来确定焊接电弧是否存在。
在一些实例中,焊接检测电路系统接收表示焊接电流流过焊炬的信号并基于所述信号来确定焊接电弧是否存在。在一些这样的实例中,基于由所述信号指示的焊接电流电平而选择像素数据处理电路系统的操作模式。在一些这样的实例中,所述信号包括来自焊接型电力供应器、送丝机或焊接型焊炬中的至少一者的通信。
一些实例头戴式装置还包括麦克风以接收音频信号,其中处理第一像素数据或像素数据处理电路系统的操作模式中的至少一者是基于所述音频信号。在一些实例中,焊接检测电路系统基于接收到指示焊接电弧是否存在的信号而确定焊接电弧是否存在。在一些实例中,焊接检测电路系统从温度传感器、加速度计、触摸传感器、姿态传感器中对应的一个或多个接收一个或多个信号,并基于所述一个或多个信号而确定焊接电弧是否存在。在一些实例中,显示装置将第二像素数据叠加在真实视图上以便为显示装置的佩戴者产生增强现实视图。
所公开的实例头戴式装置包括:显示装置,以向头戴式装置的佩戴者显示像素数据;焊接检测电路系统,以确定焊接电弧是否存在并产生指示确定结果的控制信号;以及像素数据处理电路系统,以基于所述控制信号而产生像素数据以供显示在显示装置上而提供增强现实显示。
在一些实例中,基于所述控制信号而从多种模式中选择像素数据处理电路系统的操作模式。在一些实例中,基于所述控制信号,来自一组预定对象的一个或多个对象被像素数据处理电路系统渲染以输出到显示装置上。在一些实例中,显示装置显示像素数据以使在像素数据中定义的像素通过显示装置而叠加到真实视图上。在一些这样的实例中,显示装置显示像素数据以使显示装置的至少一部分是透明的,其中显示装置的所述部分对应于像素数据中的未经定义的像素或像素数据中被定义为透明的像素。
一些实例头戴式装置还包括接收器电路以接收通信,其中焊接检测电路系统基于所述通信来确定焊接电弧是否存在。在一些实例中,焊接检测电路系统检测与焊接电弧相关联的电磁场并基于所述电磁场而确定焊接电弧是否存在。
在一些实例中,焊接检测电路系统接收表示焊接电流流过焊炬的信号并基于所述信号来确定焊接电弧是否存在。一些实例头戴式装置还包括麦克风以接收音频信号,其中处理像素数据或像素数据处理电路系统的操作模式中的至少一者是基于所述音频信号。在一些实例中,焊接检测电路系统从温度传感器、加速度计、触摸传感器或姿态传感器中对应的一个或多个接收一个或多个信号,并基于所述一个或多个信号而确定焊接电弧是否存在。
参照图1,示出实例焊接系统10,其中操作员18正戴着焊接头具20并使用焊炬27来焊接工件24,电力或燃料由设备12经由导管14而递送到焊炬27。设备12可包括电源或燃料源、任选地,惰性保护气体源,并且在焊丝/填料将被自动提供的情况下,还包含送丝机。图1的焊接系统10可被配置成通过任何已知技术而形成焊接接头,所述已知技术包含:火焰焊接技术,例如,氧-燃料焊接;以及电力焊接技术,例如,保护金属极电弧焊(即,焊条焊接)、金属惰性气体焊接(MIG)、钨极惰性气体焊接(TIG)以及电阻焊接。
任选地,在任何实施例中,焊接设备12可以是电弧焊接设备,所述电弧焊接设备将直流电(DC)或交流电(AC)提供到焊炬27的可消耗性或非消耗性电极。电极将电流递送到工件24上的焊接点。在焊接系统10中,操作员18通过操纵焊炬27并触发电流流动的开始和停止来控制电极的位置和操作。当电流正在流动时,电弧26在电极与工件24之间产生。导管14和电极因此递送足以在电极与工件之间产生电弧26的电流和电压。电弧26在电极与工件24之间的焊接点处局部地使工件24以及供应到焊接接头的焊丝或焊条(在可消耗性电极的状况下,是电极,或在非消耗性电极的状况下,是独立的焊丝或焊条)熔化,因此在金属冷却时形成焊接接头。
图2示出根据本公开的一些方面的实例焊接头具。实例头具20是头盔,头盔包括壳体206,电路系统200安装在壳体206中或安装到壳体206,电路系统的实例细节示出在图3A到图3C中。在其它实施方案中,电路系统200中的一些或全部可以不在头具中,而是可以在例如焊炬、焊接电力供应器、焊工围裙、焊工手套和/或任何其它焊接相关的配件中。
在图3A到图3C中,电路系统200包括用户接口控件314、用户接口驱动器电路系统308、控制电路310、扬声器驱动器电路系统312、扬声器328、相机316a和316b、图形处理单元(GPU)318、显示器驱动器电路系统320以及显示器326。在其它实施例中,并非头盔,头具可以是例如面罩、眼镜、护目镜、面罩的附件、眼镜的附件、护目镜的附件或类似装置。
用户接口控件314可包括例如可操作以响应于用户输入而产生电信号的一个或更多个触摸屏元件、麦克风、物理按钮和/或诸如此类。例如,用户接口控件314可包括安装在显示器326的背面上(即,头盔20的外侧上)的电容性、电感性或电阻性触摸屏传感器,所述触摸屏传感器可使头盔20的佩戴者能够与在显示器326的正面上(即,头盔20的内侧上)所显示的用户图形互动。
用户接口驱动器电路系统308可操作以适应性调节(例如,放大、数字化等)来自用户接口部件314的信号,以便将其输送到控制电路310。
控制电路系统310可操作以处理来自用户接口驱动器308、GPU 318和光传感器324(图3A)或相机316a和316b(图3C)中的一者或两者的信号。来自用户接口驱动器308的信号可例如提供命令以便于设定各种用户偏好(例如,显示器设定(例如,亮度、对比度、饱和度、锐度、伽玛值等)以及音频输出设定(例如,语言、音量等))。来自GPU 318的信号可包括例如从被CPU处理的像素数据提取的信息、GPU 318的当前设定/状态等,和/或类似物。来自相机316a和316b(图3C)的信号可包括例如从被相机捕捉的像素数据提取的信息、相机316的当前设定/状态等,和/或类似物。
控制电路310也可操作以产生数据和/或控制信号以供输出到扬声器驱动器312、GPU 318以及相机316a和316b(图3A和图3C)。供向扬声器驱动器312的信号可包括例如经由扬声器328而输出的音频数据、用于调整输出音频的设定(例如,音量)的控制信号,和/或类似物。供向GPU 318的信号可包括例如控制信号,以选择和/或配置像素数据处理算法以供对来自相机316a和316b的像素数据执行。供向相机316的信号可包括例如控制信号,以选择和/或配置相机316的快门速度、光圈数、白平衡和/或其它设定。
扬声器驱动器电路系统312可操作以适应性调节(例如,转换为模拟、放大等)来自控制电路系统310的信号以供输出到用户接口部件208的一个或更多个扬声器。
相机316a和316b可操作以捕捉例如红外波长、光波长和/或紫外波长的电磁波。相机316a和316b中的每一个可例如包括光学子系统以及两组的一个或更多个图像传感器(例如,针对单色,两组图像传感器,每组一个图像传感器,或针对RGB,两组图像传感器,每组三个图像传感器)。两组光学器件可被布置成捕捉立体像素数据,以使得显示器326上呈现的所得图像对头具20的佩戴者而言似乎如同由其眼睛直接观看一般。
图3C示出可由控制电路310使用以确定焊接电弧是否存在的额外数据源。在图3C的实例中,电路系统200可包括下面列出的一个或多个:接收器电路系统300、电流传感器332、场传感器334、麦克风336和/或一个或多个传感器338,例如温度传感器、加速度计、触摸传感器和/或姿态传感器。作为经由相机316a或316b和/或经由光传感器324(图3b)而检测焊接电弧的替代方案,实例控制电路310从接收器电路系统330、电流传感器332、场传感器334、麦克风336和/或一个或多个传感器338接收一个或多个信号并基于所接收的信号来确定焊接电弧是否存在。
接收器电路系统330接收通信或其它信号,其指示焊接电流是否正在流过焊炬。信号或通信可接收自例如外部电流传感器、焊炬触发器、送丝机和/或能够检测或测量焊接电路中的电流的任何其它装置。当在接收器电路系统330处接收到信号或通信时,控制电路310基于所述通信而确定焊接电弧是否存在。
电流传感器332可将信号提供至控制电路310,该信号表示焊接电流流过焊炬。基于所述信号,控制电路310根据所述信号确定焊接电弧是否存在。在一些实例中,基于由从电流传感器332输出的信号指示的焊接电流电平来选择像素数据处理电路系统的操作模式。所述信号可包括来自焊接型电力供应器、送丝机或焊接型焊炬中的至少一者的通信。可基于由所述信号指示的焊接电流电平来选择操作模式。
场传感器334检测与焊接电弧相关联的电磁场。例如,场传感器334可耦接到天线以识别与焊接电弧对应的一个或多个感兴趣频率。控制电路310可基于由场传感器334检测到的电磁场和/或电磁场的频率分量来确定焊接电弧是否存在。
麦克风336接收音频信号。焊接与可识别的声音相关联。控制电路310和/或GPU318可处理像素数据和/或基于对音频信号的处理来选择操作模式。
控制电路310可从一个或多个传感器338接收一个或多个信号。例如,控制电路310可从温度传感器接收信号(例如工件附近的红外温度)、从加速度计接收信号(例如焊炬取向和/或焊炬运动信息)、从触摸传感器接收信号(例如握住焊炬和/或触摸焊炬触发器)和/或从姿态传感器接收信号(例如识别与操作者焊接相关联的姿态)。控制电路310基于来自一个或多个传感器的一个或多个信号来确定焊接电弧是否存在。
简单地参照图4,示出相机316的实例实施方案。图4所示的相机316的实例实施方案包括透镜410、分束器412、图像传感器408a和408b、控制电路系统414以及输入/输出电路系统416。图像传感器408a和408b包括例如CMOS或CCD图像传感器,所述CMOS或CCD图像传感器可操作以将光学信号转换为数字像素数据并将像素数据输出到输入/输出电路416。输入/输出电路416可根据在相机316与GPU 318之间达成的协议而串行或并行地输出像素数据。控制电路系统414可操作以产生信号以便于配置/控制图像传感器408a和408b以及I/O电路416的操作。控制电路414可以是可操作以基于例如从光传感器324和/或控制电路310接收的其它控制信号而产生这些控制信号。
在操作中,光束402通过透镜410而聚焦到分束器412上。光束402的第一部分由分束器412反射以作为光束406到达图像传感器408a。光束402的第二部分穿过分束器412以作为光束404到达图像传感器408b。图像传感器408a和408b同时捕捉(即,其相应快门在重叠的时间期间打开)同一图像的相应帧,但是以不同设定(例如,不同快门速度)进行捕捉。像素数据流接着被输出到I/O电路416,所述I/O电路416转而将像素数据流中继到GPU 318。GPU 318可接着组合两个像素流,以例如取得图像,所述图像具有比可由图像传感器408a和408b中的任一个单独取得的图像的对比度更好的对比度。所示出的实例是单色实施方案,这是因为对于光束404只有一个图像传感器并且对于光束406只有一个图像传感器。在实例彩色实施方案中,光束404可进一步分束并在途中穿过选色滤光片到达多个图像传感器408b,并且光束406可进一步分束并在途中穿过选色滤光片到达多个图像传感器408a。
在另一实例实施方案中,可在每个相机316仅具有单个图像传感器408(或针对彩色,具有一组图像传感器408)的情况下取得足够对比度。这可例如通过高动态范围图像传感器来实现,或简单地因以下事实所致:相对较低的动态范围在一些应用中是足够的(例如,在增强现实应用中,其中像素数据叠置在真实视图上,而不是介导现实,其中观察者所看到的所有事物都是经过处理的图像)。
同样,在一些实例实施方案中,可能不需要立体视觉,并且因此,可仅使用单个相机316。
返回到图3A到图3C,光传感器324(图3A和图3B)包括电路系统,该电路系统可操作以测量入射在头具20上的光的强度。光传感器324可包括例如光电二极管或无源红外(IR)传感器以及相关联的驱动电子器件(例如,放大器、缓冲器、逻辑电路等)。所测量的强度(例如,以坎德拉为单位而测量)可用于确定焊接电弧何时被启动。在实例实施方案中,可存在多个光传感器324,所述多个光传感器324感测来自多个方向的光强度。例如,第一传感器324可感测入射在头具20的正面上的光(可以是从焊接电弧直接入射在头具20上的光)的强度,并且第二传感器可感测入射在头具20的背面(背面可被遮蔽而不受来自焊接电弧的直接光的影响)上的光的强度。来自各种光传感器324的不同读数可用于确定关于照明环境的信息,所述信息可转而用于控制像素数据处理算法,所述像素数据处理算法用于处理来自相机316a和316b的像素数据以在显示器326上呈现。
图形处理单元(GPU)318可操作以从相机316a和316b接收输入像素数据并处理所述输入像素数据。GPU 318对像素数据的处理可从像素数据提取信息,并且将此信息输送到控制电路310。GPU 318对像素数据的处理可导致产生输出像素数据以输送到显示器驱动器320。在实例实施方案中,从GPU 318输出到显示器驱动器320(并最终输出到显示器326)的像素数据可为头具20的佩戴者提供介导现实视图。在此种视图中,佩戴者体验显示器326上所呈现的视频,如同其正在透过镜片观看一样,但是图像通过屏幕上的显示而被增强和/或补充。增强(例如,调整对比度、亮度、饱和度、锐度、伽玛值等)可使头盔20的佩戴者能够看到其无法简单地通过镜片(例如,通过对比度控制)看到的事物。屏幕上的显示可包括文字、图形等,所述文字、图形等被叠加在视频上以例如提供从控制电路310接收的设备设定的可视化和/或根据像素数据的分析而确定的信息的可视化。在另一实例实施方案中,从GPU318输出的像素数据可叠加在透过透明或半透明的镜片(例如,常规焊接头具上存在的自动变光镜片)而看到的真实视图上。此种叠加信息可包括文字、图形等,所述文字、图形等叠加在视频上以例如提供从控制电路310接收的设备设定的可视化和/或根据像素数据的分析而确定的信息的可视化。
在实例实施方案中,GPU 318对像素数据的处理可包括对像素数据处理算法的实施,所述像素数据处理算法例如确定将来自多个相机316的多个输入像素数据流组合以形成单个输出像素数据流的方式。GPU 318所执行的像素数据处理算法的配置可包括例如参数配置,其确定:在组合之前流的特性(例如,亮度、颜色、对比度、锐度、伽玛值等);组合的流的特性(例如,亮度、颜色、对比度、锐度、伽玛值等);和/或在多个流的加权组合期间对来自多个流中的每一个流的像素数据要施加的权重。在使用输入像素流的加权组合的实例实施方案中,可例如逐个像素地、逐组像素地、逐帧地、逐组帧地或以它们的某种组合来施加权重。作为一个实例,考虑两个输入像素流的三帧的加权组合,其中权重0、1用于第一帧,权重0.5、0.5用于第二帧,并且权重1、0用于第三帧。在此实例中,所组合的流的第一帧是第二输入流的第一帧,所组合的流的第二帧是两个输入流的第二帧的平均值,并且所组合的流的第三帧是第一输入流的第三帧。作为另一实例,考虑两个输入像素流的三个像素的加权组合,其中权重0、1用于第一像素,权重0.5、0.5用于第二像素,并且权重1、0用于第三像素。在此实例中,所组合的流的第一像素是第二输入流的第一像素,所组合的流的第二像素是两个输入流的第二像素的平均值,并且所组合的流的第三像素是第一输入流的第三像素。
如上所述,在其它实施方案中,可能不需要立体视觉,并且因此,单个相机316可能就足够。并且,在一些实施方案中,可通过单个(单组)图像传感器得到足够对比度,并且可能不需要组合明像素流和暗像素流来提高对比度。作为实例,在需要仅在存在焊接电弧(如光传感器324所指示)时捕捉像素数据的情况下,则系统可仅使用具有单个图像传感器(或针对彩色,单组图像传感器)的单个相机316,所述图像传感器被配置成在存在电弧的情况下捕捉像素数据。
在其它实例实施方案中,可根本不存在相机316。这可包含例如增强现实应用,其中仅包括预定对象(例如,图形、文字、除头具20之外的装置所捕捉的图像等)的像素数据被渲染以输出到显示器306上。哪些对象被渲染和/或那些对象的特性(例如,颜色、位置等)可基于光传感器指示电弧存在与否来改变。在一些实例中,显示器306将渲染的对象的像素数据叠加在真实视图上以便为显示器306的佩戴者创建增强现实视图。
显示器驱动器电路系统320可操作以产生对显示器326的控制信号(例如,偏移和定时信号),并处理(例如,层级控制同步化、打包、格式化等)来自GPU 318的像素数据以输送到显示器326。
显示器326可包括例如两个(在使用立体观察的实施方案中)LCD、LED、OLED、电子墨水和/或任何其它适当类型的面板,它们可操作以将像素数据电信号转换为头盔20的佩戴者可观看到的光学信号。
在操作中,在一对帧的捕捉期间入射在相机316a和316b上的光的强度的确定可用于配置执行两帧的组合的像素数据处理算法,和/或可用于配置相机316a和316b的设定以用于下一对帧的捕捉。
在图3A和图3B的实例实施方案中,光强度是由一个或更多个光传感器324测量。每一光传感器可包括例如对可见光谱中的波长敏感的光电二极管或无源IR传感器。来自光传感器324的测量值可接着用于配置相机316a和316b的像素数据捕捉设定(例如,快门速度、光圈数、白平衡等)。作为附加或替代,可使用来自光传感器324的测量值来选择和/或配置由GPU 318对所捕捉的像素数据执行的像素数据处理算法。在图3A的实例实施方案中,测量值可输送到控制电路310,所述控制电路310可接着执行对相机316a和316b和/或GPU 318的配置。在图3B的实例实施方案中,来自光传感器324的测量值可直接输送到相机316a和316b和/或GPU
318,所述相机316a和316b和/或GPU 318可接着使用测量值来对其自身进行配置。
在图3C的实例实施方案中,光强度的测量值是基于相机316a和316b所捕捉的像素数据而产生,而不是使用与图像传感器408a和408b不同的光传感器324而产生。例如,每一相机可计算多组像素帧和/或多组帧的平均照度。所计算的照度值可接着被输送到控制电路310和/或GPU 318,所述控制电路310和/或GPU 318可接着配置相机316a和316b的设定,和/或配置用于组合来自两个图像传感器的像素数据的像素数据处理算法。相机316a和316b还可在反馈回路中使用所计算的照度值以配置相机316a和316b的设定(例如,电子和/或机械快门、和/或相机316a和316b中的某一其它电子、机械或机电操作或系统的定时和/或速度)。
现参照图5来描述图3A到图3D所示的各种实施方案的操作。
在框502中,由相机316a和316b捕捉两个帧。相机316a和316b同步化以使得两个帧是同时(在可接受的定时容差内)捕捉的。两个帧是通过不同设定来捕捉的,以使得两个帧提供所捕捉的信息的多样性。例如,图像传感器416a可使用较慢快门速度和/或较低光圈数(并且在本文中被称为“明图像传感器”),并且图像传感器416b可使用较快快门速度和/或较高光圈数(并且在本文中被称为“暗图像传感器”)。作为实例,对于在焊接电弧极亮时捕捉的帧,明图像传感器可过度曝光,而暗图像传感器提供一种图像,所述图像为头具20的佩戴者提供足够对比度以清楚地看到焊接熔池、电弧、焊接金属、工作区和焊接接头周围环境,以使得所述佩戴者可进行高质量焊接。继续此实例,对于在焊接电弧不存在时捕捉的帧,暗图像传感器可曝光不足,而明图像传感器提供一种图像,所述图像为头具20的佩戴者提供足够对比度以清楚地看到焊接熔池、电弧、焊接金属、工作区和焊接接头周围环境,以使得所述佩戴者可进行高质量焊接。
在框504中,经由直接测量或间接测量来确定在一对帧的捕捉期间入射在相机316a和316b上的光强度。直接测量可包括例如一个或更多个光传感器324(图3A和图3B)和/或图像传感器408a和408b所进行的测量。间接测量的实例是使用电弧监视工具以测量从焊炬204递送到工件24的电流强度,并接着基于所测量的电流强度、焊炬的类型、工件的类型(例如,金属的类型)等而计算光照度。
在框506中,将框504中所测量的光强度与所确定的阈值进行比较。该阈值可以是固定的或可以是动态的。阈值呈动态的实例是,阈值经由一个或更多个反馈回路被适应性调整(例如,基于在先前捕捉的帧期间测量的光强度)。阈值呈动态的另一实例是,阈值可基于来自用户接口控件314的输入来配置(例如,用户可基于其偏好来调整阈值)。在实例实施方案中,阈值被设定成以便上述比较在焊接电弧启动时捕捉的帧与焊接电弧不存在时捕捉的帧之间进行区分。如果框504中所测量的光强度高于阈值,那么所述过程进行到框508。
在框508中,GPU 318使用第一一个或更多个算法和/或第一一个或更多个参数值而处理来自相机316a和316b的像素数据的帧。所述一个或更多个算法可选自可供GPU 318使用的较大组的算法,和/或所述第一一个或更多个参数值可选自较大组的可能值。以此方式,算法和/或因此使用的参数值是基于框506的比较结果来确定的。
在框512中,所处理的像素数据从GPU 318输出到显示器驱动器320。
返回到框506,如果框504中所测量的光强度不高于阈值,那么所述过程进行到框510。
在框510中,GPU 318使用第二一个或更多个算法和/或第二一个或更多个参数值而处理来自相机316a和316b的像素数据的帧。所述一个或更多个算法可选自可供GPU 318使用的较大组的算法,和/或所述第一一个或更多个参数值可选自较大组的可能值。以此方式,算法和/或因此使用的参数值是基于框506的比较的结果来确定的。
在实例实施方案中,框508对应于简单地选择来自相机316a和316b的两个帧中的一个并舍弃两个帧中的另一个,并且框510对应于组合两个帧以形成新组合的帧(例如,所组合的帧具有比两个原始帧中的任一个高的对比度)。
在实例实施方案中,框508对应于在两个帧的组合期间将第一组像素后处理参数值(例如,用于调整亮度、颜色、对比度、饱和度、伽玛值等)应用到两个帧,并且框510对应于在两个帧的组合期间将第二组像素后处理参数值应用到两个帧。
图6A和图6B是用于基于光强度的检测而控制像素处理的实例电路系统的框图。图6A和图6B所示的是像素数据处理电路系统602和光强度检测电路系统604。像素数据处理电路系统602可包括例如GPU 318的电路系统、相机316的电路系统、显示器驱动器电路系统320和/或显示器326的电路系统。光强度检测电路系统604可包括例如光传感器324、GPU318的电路系统和/或相机316的电路系统。在图6B的实施方案中,光强度检测电路系统604还处理像素数据,并且在此种实施方案中,可被视为像素数据处理电路系统。
在图6A中,光强度检测电路系统604直接捕捉入射在光强度检测电路系统604上的光,并且根据某函数、逻辑运算等而基于光的强度来设定控制信号605的值。例如,在图6A中,光强度检测电路系统604可包括光电二极管或无源IR传感器,其安装在头具20的外侧,面向焊接电弧的可能方向。光检测电路系统604可例如将入射在光检测电路系统604上的光(例如,经由任何适当电路系统,例如,ADC、比较器等)转换为指示电弧焊接存在或不存在的1位信号605。作为另一实例,信号605可以是能够表示额外决策层级的模拟信号或多位数字信号(2位,针对电弧明确不存在、电弧可能不存在、电弧可能存在,以及电弧明确存在;当然,存在大量其它可能性)。像素数据处理电路系统602接收信号605,并响应于信号605的状态而配置像素数据处理电路602对像素数据执行的操作。例如,当信号605低而指示电弧不存在时,像素数据处理电路系统可按第一方式处理像素流(例如,使用第一组加权系数以组合两个像素流),并且当信号605高而指示电弧存在时,像素数据处理电路系统可按第二方式处理像素流(例如,使用第二组加权系数以组合两个像素流)。
图6B类似于图6A,但具有从像素数据本身确定强度的光强度检测电路系统604。例如,光强度检测电路系统604可比较像素值(例如,逐像素地、逐像素群地,或诸如此类)以确定在当前正处理的像素的捕捉期间电弧是否存在。
在例如图6B实施方案中,光检测电路系统604可足够快,以使得光检测电路系统604能够作出决策并配置信号605,而不需要将像素数据缓冲过长时间以致于引入明显滞后。就这来说,在一些情形下,电路系统604可以在单个像素时钟循环内能够产生决策并且配置信号605,因此无需对像素数据流的任何额外缓冲。
根据本公开的实例实施方案,系统(例如,包括头具20和设备12中的一者或两者的焊接系统)包括光强度检测电路系统(例如,604)和多模式电路系统(例如,308、312、314、316、318、320、324中的任何一个或更多个,并且可支持多种操作模式)。光强度检测电路系统可操作以基于光强度检测电路系统所捕捉的入射光的强度而确定焊接电弧是否存在,并且产生指示该确定的结果的控制信号(例如,605)。多模式电路系统的操作模式可基于控制信号而选自多种模式。光强度检测电路系统可包括例如无源红外传感器、光电二极管和/或相机的电路系统。多模式电路系统可包括像素数据处理电路系统(GPU 318的电路系统、相机316的电路系统、显示器驱动器电路系统320和/或显示器326的电路系统)。像素数据处理电路系统可包括例如相机的电路系统、专用图形处理单元(例如,318)和/或通用处理单元。多种模式中的第一种可使用第一曝光值,并且多种模式中的第二种使用第二曝光值。多种模式中的第一种可在像素数据的加权组合期间使用第一组权重,并且多种模式中的第二种可在像素数据的所述加权组合期间使用第二组权重。当像素数据处理电路系统处于多种模式中的第一种时,可停用由像素数据处理电路系统执行的特定像素处理操作,并且当像素数据处理电路系统处于多种模式中的第二种时,可启用由像素数据处理电路系统执行的特定像素处理操作。当像素数据处理电路系统处于多种模式中的第一种时,可停用系统对图像数据的记录,并且当像素数据处理电路系统处于多种模式中的第二种时,可启用系统对图像数据的记录。光强度检测电路系统可以可操作以逐像素地和/或逐像素群地更新控制信号。用于将反馈提供给佩戴者的多模式电路系统的控制模式的其它实例包括:在头具的LED的开、关和闪光模式之间选择;以及在经由头具的扬声器而播放的不同声音之间选择。
虽然在本公开中出于说明的目的而使用在曝光值方面不同地配置的两个相机的实例,但两个图像传感器的配置不需要在曝光值方面不同或不需要仅在曝光值方面不同。例如,第一相机可被配置成具有第一快门定时(即,何时触发此相机进行捕捉),并且第二相机可被配置成具有第二快门定时。在此种实施方案中,例如,到达相机的图像传感器的光的量可周期性地变化,并且两个相机可针对变化的光的不同阶段而同步化。虽然在本公开中出于说明的目的而时常参照此实例实施方案,但两种配置不需要在曝光值方面不同或不需要仅在曝光值方面不同。例如,第一配置可对应于第一快门定时(即,何时触发捕捉),并且第二配置可对应于第二快门定时。在此种实施方案中,例如,两个图像传感器可与外部光源同步。
本发明的方法和/或系统可在硬件、软件或硬件与软件的组合中实现。本发明的方法和/或系统可用集中方式实现在至少一个计算系统中,或用分散方式实现,其中不同部件分布在若干互连的计算系统各处。适应于执行本文所述的方法的任何种类的计算系统或其它设备都是合适的。硬件和软件的典型组合可以是具有程序或其它代码的通用计算系统,所述程序或其它代码在被加载和执行时控制计算系统以使得所述计算系统执行本文所述的方法。另一典型实施方案可包括专用集成电路或芯片。一些实施方案可包括非暂时性机器可读(例如,计算机可读)介质(例如,闪存驱动器、光盘、磁性存储盘或诸如此类),其上存储有可由机器执行的一行或更多行代码以使该机器执行如本文所述的过程。
虽然已参照某些实施方案来描述本发明的方法和/或系统,但本领域的技术人员应理解,可进行各种改变,并且可替代等同物,而不偏离本发明的方法和/或系统的范围。此外,可进行许多修改以使特定情形或材料适应于本公开的教示,而不偏离本公开的范围。因此,本发明的方法和/或系统意在不限于所公开的特定实施方案,而是本发明的方法和/或系统将包含落入随附权利要求书的范围内的所有实施方案。
Claims (23)
1.一种头戴式装置,包括:
接收器电路,所述接收器电路被配置成接收通信;
相机,所述相机被配置成产生来自所述头戴式装置的视野的第一像素数据;
显示装置,以基于由所述相机捕捉的所述第一像素数据而向所述头戴式装置的佩戴者显示第二像素数据;
焊接检测电路系统,所述焊接检测电路系统被配置成:
基于所述通信来确定焊接电弧是否存在;并且
产生指示所述确定的结果的控制信号;以及
像素数据处理电路系统,所述像素数据处理电路系统被配置成处理由所述相机捕捉的所述第一像素数据以产生所述第二像素数据以供显示在所述显示装置上,其中所述像素数据处理电路系统的操作模式是基于所述控制信号而从多种模式中选择的。
2.如权利要求1所述的头戴式装置,其中所述焊接检测电路系统被配置成:
检测与所述焊接电弧相关联的电磁场;并且
基于所述电磁场来确定所述焊接电弧是否存在。
3.如权利要求1所述的头戴式装置,包括:
场传感器,所述场传感器联接到天线,并被配置成检测与焊接电弧相关联的电磁场;
其中所述焊接检测电路系统被配置成:
基于所述电磁场确定所述焊接电弧是否存在;并且
产生指示所述确定的结果的控制信号。
4.如权利要求1所述的头戴式装置,其中所述焊接检测电路系统被配置成接收表示焊接电流流过焊炬的信号并基于所述信号来确定所述焊接电弧是否存在。
5.如权利要求1所述的头戴式装置,其中所述焊接检测电路系统被配置成:
接收表示焊接电流流过焊炬的信号;
基于所述信号来确定焊接电弧是否存在;并且
产生指示所述确定的结果的控制信号。
6.如权利要求4所述的头戴式装置,其中基于由所述信号指示的焊接电流电平而选择所述像素数据处理电路系统的所述操作模式。
7.如权利要求4所述的头戴式装置,其中所述信号包括来自焊接型电力供应器、送丝机或焊接型焊炬中的至少一者的通信。
8.如权利要求1所述的头戴式装置,还包括麦克风以接收音频信号,处理所述第一像素数据或所述像素数据处理电路系统的所述操作模式中的至少一者是基于所述音频信号。
9.如权利要求1所述的头戴式装置,其中所述焊接检测电路系统被配置成基于接收指示所述焊接电弧是否存在的信号而确定所述焊接电弧是否存在。
10.如权利要求1所述的头戴式装置,其中所述焊接检测电路系统被配置成:
从温度传感器、加速度计、触摸传感器、姿态传感器中对应的一个或多个接收一个或多个信号,并
基于所述一个或多个信号而确定所述焊接电弧是否存在。
11.如权利要求1所述的头戴式装置,
其中所述焊接检测电路系统被配置成:
从温度传感器、加速度计、触摸传感器、姿态传感器中对应的一个或多个接收一个或多个信号;
基于所述一个或多个信号而确定焊接电弧是否存在;并且
产生指示所述确定的结果的控制信号。
12.如权利要求1所述的头戴式装置,其中所述显示装置被配置成将所述第二像素数据叠加在真实视图上以便为所述显示装置的所述佩戴者产生增强现实视图。
13.一种头戴式装置,包括:
显示装置,以向所述头戴式装置的佩戴者显示像素数据;
焊接检测电路系统,所述焊接检测电路系统被配置成:
确定焊接电弧是否存在;并
产生指示所述确定的结果的控制信号;以及
像素数据处理电路系统,所述像素数据处理电路系统被配置成基于所述控制信号而产生所述像素数据以供显示在所述显示装置上,从而提供增强现实显示,其中所述头戴式装置还包括被配置成接收通信的接收器电路,所述焊接检测电路系统配置成基于所述通信来确定所述焊接电弧是否存在。
14.如权利要求13所述的头戴式装置,其中基于所述控制信号而从多种模式选择所述像素数据处理电路系统的操作模式。
15.如权利要求13所述的头戴式装置,其中所述像素数据处理电路系统基于所述控制信号而将来自一组预定对象的一个或多个对象渲染以输出到所述显示装置上。
16.如权利要求13所述的头戴式装置,其中所述显示装置被配置成显示所述像素数据,以使在所述像素数据中定义的像素通过所述显示装置而叠加在真实视图上。
17.如权利要求16所述的头戴式装置,其中所述显示装置被配置成显示所述像素数据以使所述显示装置的至少一部分是透明的,所述显示装置的所述部分对应于所述像素数据中的未经定义的像素或所述像素数据中被定义为透明的像素。
18.如权利要求13所述的头戴式装置,其中所述焊接检测电路系统被配置成:
检测与所述焊接电弧相关联的电磁场;并
基于所述电磁场而确定所述焊接电弧是否存在。
19.如权利要求13所述的头戴式装置,其中所述焊接检测电路系统被配置成接收表示焊接电流流过焊炬的信号并基于所述信号来确定所述焊接电弧是否存在。
20.如权利要求13所述的头戴式装置,还包括麦克风以接收音频信号,处理所述像素数据或所述像素数据处理电路系统的操作模式中的至少一者是基于所述音频信号。
21.如权利要求13所述的头戴式装置,其中所述焊接检测电路系统被配置成:
从温度传感器、加速度计、触摸传感器或姿态传感器中对应的一个或多个接收一个或多个信号,并
基于所述一个或多个信号而确定所述焊接电弧是否存在。
22.一种头戴式装置,包括权利要求1-12中的任一项技术特征或技术特征的任意组合。
23.一种头戴式装置,包括权利要求13-21中的任一项技术特征或技术特征的任意组合。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/497,908 | 2017-04-26 | ||
US15/497,908 US9977242B2 (en) | 2015-03-26 | 2017-04-26 | Control of mediated reality welding system based on lighting conditions |
PCT/US2018/028261 WO2018200299A1 (en) | 2017-04-26 | 2018-04-19 | Head-worn device with control of mediated reality welding system based on lighting conditions |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110831720A CN110831720A (zh) | 2020-02-21 |
CN110831720B true CN110831720B (zh) | 2022-02-25 |
Family
ID=62117006
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880042009.5A Active CN110831720B (zh) | 2017-04-26 | 2018-04-19 | 具有基于照明条件对介导现实焊接系统的控制的头戴式装置 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP3615256B1 (zh) |
CN (1) | CN110831720B (zh) |
WO (1) | WO2018200299A1 (zh) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5913303B2 (ja) * | 1976-04-16 | 1984-03-28 | 株式会社ダイヘン | ア−ク溶接速度の適否判別方法 |
AU6670800A (en) * | 1999-08-13 | 2001-03-13 | Fronius Schweissmaschinen Produktion Gmbh & Co. Kg | Data display on a welding screen |
US7926118B2 (en) * | 2006-12-27 | 2011-04-19 | Illinois Tool Works Inc. | Voice control welding/cutting helmet functions and settings |
US9993891B2 (en) * | 2010-07-14 | 2018-06-12 | Illinois Tool Works Inc. | Welding parameter control via welder motion or position monitoring |
US10643495B2 (en) * | 2014-09-19 | 2020-05-05 | Realityworks, Inc. | Welding speed pacing device |
US9666160B2 (en) * | 2015-03-26 | 2017-05-30 | Illinois Tool Works Inc. | Control of mediated reality welding system based on lighting conditions |
JP6422185B2 (ja) * | 2015-04-22 | 2018-11-14 | 株式会社ダイヘン | 交流tigアーク溶接電源及び交流tigアーク溶接装置 |
-
2018
- 2018-04-19 WO PCT/US2018/028261 patent/WO2018200299A1/en unknown
- 2018-04-19 CN CN201880042009.5A patent/CN110831720B/zh active Active
- 2018-04-19 EP EP18723158.4A patent/EP3615256B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2018200299A1 (en) | 2018-11-01 |
EP3615256A1 (en) | 2020-03-04 |
CN110831720A (zh) | 2020-02-21 |
EP3615256B1 (en) | 2022-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10725299B2 (en) | Control of mediated reality welding system based on lighting conditions | |
CN107810081B (zh) | 焊接头具及用于在焊接头具中控制像素数据处理的方法 | |
US10531011B2 (en) | Dynamic range enhancement systems and methods for use in welding applications | |
US11524368B2 (en) | Augmented vision system with active welder guidance | |
US11865648B2 (en) | Multiple input welding vision system | |
EP3247523B1 (en) | Weld output control by a welding vision system | |
EP3247522B1 (en) | User configuration of image capture and display in a welding vision system | |
CN110831720B (zh) | 具有基于照明条件对介导现实焊接系统的控制的头戴式装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |