CN111988533A - 焊接辅助方法及装置 - Google Patents

焊接辅助方法及装置 Download PDF

Info

Publication number
CN111988533A
CN111988533A CN202010441583.7A CN202010441583A CN111988533A CN 111988533 A CN111988533 A CN 111988533A CN 202010441583 A CN202010441583 A CN 202010441583A CN 111988533 A CN111988533 A CN 111988533A
Authority
CN
China
Prior art keywords
welding
image
eye
environment
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010441583.7A
Other languages
English (en)
Other versions
CN111988533B (zh
Inventor
金平德之
山冈千春
津山忠久
布施直彦
本摩敦
大卫·贝伦茨
迈克尔·皮亚琴蒂诺
霍伊森·戴尔·瓦尔
张超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chuantian Technology Co ltd
Original Assignee
Chuantian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/421,022 external-priority patent/US11122257B2/en
Application filed by Chuantian Technology Co ltd filed Critical Chuantian Technology Co ltd
Publication of CN111988533A publication Critical patent/CN111988533A/zh
Application granted granted Critical
Publication of CN111988533B publication Critical patent/CN111988533B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/04Eye-masks ; Devices to be worn on the face, not intended for looking through; Eye-pads for sunbathing
    • A61F9/06Masks, shields or hoods for welders
    • A61F9/065Masks, shields or hoods for welders use of particular optical filters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/75Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Abstract

提供一种用于提升焊接可视化的焊接辅助方法及装置。该焊接辅助方法包括如下步骤:使用至少一个分束器,将来自焊接环境的入射光分割成具有不同光度的至少第一光路以及第二光路。使用相应的摄像传感器来获得具有不同光度的分割后的光的多个图像。对来自相应的摄像传感器的多个图像进行融合,从而生成左眼用融合图像以及右眼用融合图像。将左眼用融合图像显示在用户的左眼的位置的显示器上,将右眼用融合图像显示在该用户的右眼的位置的显示器上,从而提供了关于焊接环境的无视差的高动态范围显示。

Description

焊接辅助方法及装置
技术领域
本发明总体上涉及一种焊接辅助方法及装置,更具体而言,涉及一种针对焊接环境而用于提升实时焊接可视化和辅助的焊接辅助方法及装置。
背景技术
迄今为止,许多焊接过程都是通过手工操作来进行的。然而,在制造业及建筑业等与焊接有关的产业中,经验丰富且熟练的焊工的短缺已日益显著。究其原因,像过去那样的由指导者对焊工进行的培训需要很长时间,并且引退的劳动人口急剧增加,可以视为是这种经验丰富且熟练的焊工短缺的原因。
全自动化或机器人的措施是应对经验丰富且熟练的焊工短缺的一种方法。然而,自动化的设备或机器人型设备的费用可能比较高,设备的设定和分解可能变得复杂,因此效率可能会降低。此外,还存在自动化设备或机器人型设备不适合的领域。
在当前的一些被设计成进行焊接辅助的系统中,使用滤光镜来提供例如焊接环境的具有各种动态范围的多个图像,但是,滤光镜并不那么耐用,或者并不那么准确,有可能很早发生损耗,因此需要频繁更换。此外,在这些系统以及其他的系统中,为了生成例如焊接环境的具有宽广动态范围的图像/视频,由相机捕获的多个图像仅被简单地合成。然而,如果只是简单地合成多个相机图像,则可能丢失每个图像中的细节。例如,在2018年3月13日发布的针对比森(Beeson)发明的美国专利第9918018号中,公开了一种用于焊接应用中使用的显示器的动态范围增强方法及系统,其使用滤光镜来提供例如焊接环境的具有各种动态范围的多个图像,并且在该专利中,仅仅公开了合成由各种相机捕获的多个图像以生成具有宽广动态范围的图像/视频。在美国专利第9918018号的发明中存在如上所述的缺陷。
发明内容
在本说明书中公开了用于提升实时焊接可视化和辅助的焊接辅助方法、装置以及系统的实施方式。
在本发明的一些实施方式中,用于提升焊接环境中的实时焊接可视化的装置包括分束器。该分束器将来自焊接环境的入射光分割成具有不同光度的至少第一光路以及第二光路。该至少第一光路以及第二光路分别包括相应的摄像传感器。该装置还包括控制部。该控制部接收来自该至少第一光路以及第二光路中的该相应的摄像传感器的多个图像,将该多个图像融合,从而生成左眼用融合图像以及右眼用融合图像。该装置还包括显示器组件。该显示器组件在该装置的用户的左眼的位置显示该左眼用融合图像,在该装置的用户的右眼的位置显示该右眼用融合图像。
在本发明的一些实施方式中,该装置还可以包括左眼用摄像组件以及右眼用摄像组件。该左眼用摄像组件以及该右眼用摄像组件分别包括至少一个分束器。该至少一个分束器将来自该焊接环境的入射光分割成具有不同光度的至少第一光路以及第二光路。该至少第一光路以及第二光路分别包括相应的摄像传感器。在该左眼用摄像组件中捕获的多个图像被融合并显示在该装置的用户的左眼的位置,在该右眼用摄像组件中捕获的多个图像被融合并显示在该装置的用户的右眼的位置,从而提供该焊接环境的三维显示。
在本发明的一些实施方式中,用于提升焊接环境中的实时焊接可视化的方法,包括如下步骤:在可佩带焊接装置中,使用至少一个分束器,将来自该焊接环境的入射光分割成具有不同光度的至少第一光路以及第二光路;在该至少第一光路以及第二光路的每个光路中,使用摄像传感器获得相应的分割后的光的多个图像;对左眼用摄像组件以及右眼用摄像组件的来自该至少第一光路以及第二光路的该相应的摄像传感器的多个图像进行融合,从而生成左眼用融合图像以及右眼用融合图像;以及在该可佩带焊接装置的用户的左眼的位置的显示器上显示该左眼用融合图像,在该可佩带焊接装置的该用户的右眼的位置的显示器上显示该右眼用融合图像。
在本发明的一些实施方式中,该方法还包括如下步骤:使用各个左眼用摄像组件以及右眼用摄像组件中的至少一个分束器,将来自该焊接环境的入射光分割成具有不同光度的至少第一光路以及第二光路;以及将在该左眼用摄像组件中捕获的多个图像融合并显示在该装置的用户的左眼的位置,将在该右眼用摄像组件中捕获的多个图像融合并显示在该用户的右眼的位置,从而提供焊接环境的三维显示。
在本发明的一些实施方式中,用于提升焊接环境中的实时焊接可视化及辅助的方法包括使用分束器将入射光分割成第一光路和第二光路的步骤。该第一光路具有被分割的光的一小部分光,该第二光路具有被分割的光的大部分光。该方法还包括如下步骤:在该第一光路中,使用高f值镜头,对来自该分束器的该分割的光的该一小部分光进行会聚;使用中灰密度滤光镜,对来自高f值镜头的该会聚的光进行滤光;以及使用第一相机,获得来自该中灰密度滤光镜的该滤光后的光的多个图像。在一些实施方式中,该方法还包括如下步骤:在该第二光路中,使用低f值镜头,对来自该分束器的该分割的光的该大部分光的进行会聚;以及使用第二相机,获得来自该低f值镜头的该光的多个图像。该方法还包括如下步骤:对来自该第一相机的图像和来自该第二相机的图像进行融合;以及将该融合后的图像中的至少一部分显示为左眼用表示图像以及右眼用表示图像。
下面描述本发明的其他实施方式以及进一步的实施方式。
为了可以详细地理解关于本发明的上述特征,将通过参照实施方式,来对如上所述的简要概述的本发明进行更详细地说明。附图中示出了一些实施方式。然而,应注意,附图仅例示了本发明的代表性实施方式,因此,不应解释为对本发明的范围进行限定,本发明也可适用于同样有效的其他实施方式。
通过以下结合附图所理解的本发明的详细说明,本发明的上述及其他目的、特征、方面以及优点将显而易见。
附图说明
图1A是示出本发明的第一实施方式的用于提升实时焊接可视化和辅助的先进的(advanced)焊接面罩/安全帽系统的框图(high level blockdiagram,高级框图)。
图1B是示出本发明的第二实施方式的用于提升具有三维摄像能力的实时焊接可视化和辅助的先进的焊接面罩/安全帽系统的框图。
图2是示出本发明的一实施方式的图1的先进的焊接面罩/安全帽系统的面罩/安全帽的内部的示意图。
图3是示出本发明的一实施方式的适于在图1的焊接面罩/安全帽系统中使用的摄像组件的示意图。
图4是示出本发明的一实施方式的描绘出由先进的焊接面罩/安全帽系统捕获的焊接环境的图像的图。
图5A是示出本发明的一实施方式的包括例如在焊接面罩/安全帽系统的左眼用摄像组件及右眼用摄像组件中的至少一者的第一光路中由第一摄像传感器捕获的焊接火花的焊接环境的源图像的图。
图5B是示出本发明的一实施方式的从图5A的源图像生成的二值化饱和掩膜的图。
图6是示出本发明的一实施方式的用于容纳控制部的带组件(Beltassembly)和用于向控制单元供给电力的电池的示意图。
图7是示出本发明的一实施方式的适合于在图1A及图1B的焊接面罩/安全帽系统中使用的控制部的框图。
图8是示出本发明的一实施方式的用于提升实时焊接可视化的方法的流程图。
图9是示出本发明的立体/三维实施方式的用于提升实时焊接可视化的方法900的流程图。
具体实施方式
为了易于理解,尽可能使用相同的参考编号(附图标记)来表示图中共同的同一元件。附图未按照比例尺绘制,存在为了清楚起见而简化的情况。一实施方式的元件及特征也可以有利地结合在没有进一步描述的其他实施方式中。
本发明的实施方式总体上涉及一种用于提升实时焊接可视化和辅助的方法、装置以及系统。本发明的概念能够以各种变更例以及替代形态来实施,这些具体实施方式在附图中以例示的方式示出,并将在下面进行详细描述。应当理解,并非旨在将本发明的概念限定于所公开的特定形态。相反,旨在包括与本发明及所附权利要求的范围一致的所有变更例、等同例以及替代例。例如,本发明的实施方式主要描述了关于在特定的焊接环境中具有特有的构成元件的特有的焊接面罩/安全帽系统,但是这种教导不应被视为是限定性的。在本发明的概念的范围内,实际上在任何焊接环境中并且实际上在任何焊接面罩/安全帽内都能够实现本发明的实施方式。
本发明的实施方式,提供一种包括与一个或多个传感器一体化的焊接面罩/安全帽的焊接面罩/安全帽系统,所述传感器包括但不限于相机、声学麦克风、红外传感器、热感相机、加速计以及GPS装置。此外,焊接面罩/安全帽可以包括通信单元,并且可以从一个或多个外部传感器接收数据。在各种实施方式中,传感器信息可以显示在可一体化在焊接面罩/安全帽内的屏幕上,并且在一些实施方式中,可以一体化在焊接面罩/安全帽的护目镜部分内。
在本发明的各种实施方式中,在焊接安全帽/面罩系统中,来自焊接环境的入射光被分割成具有各种光度的至少2个光路(即多个光路)。在至少2个光路的每一个光路中,各种光度的光被相应的摄像传感器捕获,从而生成具有不同曝光度的焊接环境的图像/视频流。即,在一些实施方式中,使用具有不同光度的不同光路获得焊接环境的多个图像帧。能够通过使用分束器(Beam splitter)、使用不同的f值镜头、或者在一些光路中或所有光路中配置不同的中灰密度滤光镜(Neutral Density Filter),使各个光路中的光度产生差异,来获得焊接环境中的暗场景的细节以及明亮场景的细节。在一些需要立体视频的实施方式中,在各个左眼用摄像组件以及右眼用摄像组件中,来自焊接环境的入射光被分割成具有各种光度的至少2个光路(即多个光路)。在各个左眼用摄像组件以及右眼用摄像组件中的至少2个光路的每一个光路中,具有各种光度的光被相应的摄像传感器捕获,从而生成具有不同曝光度的焊接环境的图像/视频流。
有利地,本发明的焊接安全帽/面罩系统的架构,能够同时获得焊接环境的多个图像帧,但是,通过分束器、f值镜头中的至少一者,或者通过中灰密度滤光镜,使每个帧的光度产生差异。本发明,这样的构成元件以控制由各个摄像传感器获得的光能的量的方式来实现。
此外,或者可替代地,在一些实施方式中,至少一个摄像传感器可以构成为,为了以不同的光度获得多个图像,以不同的帧率获得焊接环境的多个图像。例如,在一些实施方式中,至少一个摄像传感器可以构成为,以更高的帧率获得焊接环境的多个图像。在一些实施方式中,摄像传感器能够以显示速率的2倍以上的速率运行,每个图像帧可以由各种曝光时间构成,因此,能够依次获得需要高曝光时间的暗场景以及需要低曝光时间的明亮场景。在这样的实施方式中,多个图像帧不同时被捕获,但是这些图像帧是以显示速率的至少2倍以上的速率被获取的,因此在焊接系统中可以忽略空间差异。
与具有包括各个左眼用摄像组件以及右眼用摄像组件的立体/三维功能的实施方式相关的由至少2个光路或至少4个光路的摄像传感器捕获的相应的图像,例如通过控制部的处理器被融合,从而成为融合了焊接环境的左眼用图像以及右眼用图像。融合了焊接环境的左眼用图像以及右眼用图像,包括关于焊接环境的各种曝光图像/视频流中的每个曝光图像/视频流的细节。融合后的左眼用图像显示在左眼用显示器上,以呈现给本发明的安全帽/面罩系统的用户的左眼。融合后的右眼用图像显示在右眼用显示器上,以呈现给本发明的安全帽/面罩系统的用户的右眼。
在一些实施方式中,来自焊接环境的光被至少一个对应的分束器分割成具有不同光度的至少2个光路。在一些其他的实施方式中,来自焊接环境的光被2个以上对应的分束器分割成具有不同光度的多个光路。各个光路中的被分割的光可以被定向为垂直于各个光路中的相应的摄像传感器。有利地,本发明的焊接面罩安全帽/面罩系统的架构,具体而言,分束器、具有不同光度的多个光路以及各个光路所对应的摄像传感器的配置,提供了不产生视差的高动态范围可视化以及视频采集系统。此外,在一些实施方式中,本发明的焊接面罩安全帽/面罩系统的架构,具体而言,有利地,左眼用摄像组件及右眼用摄像组件的相应的摄像传感器,通过提供单独的左眼用图像以及右眼用图像,来提供焊接环境的三维显示,从而使深度感觉最佳化。
本发明的一些实施方式,还对本发明的先进的焊接面罩/安全帽系统(Advancedwelding mask/helmet system)的用户提供焊接辅助。即,在一些实施方式中,为了辅助焊工实施焊接,信息及图像可以至少以显示器上呈现的音声和图像的形式,呈现给本发明的先进的焊接面罩/安全帽系统的用户。
图1A是示出本发明的一实施方式的先进的焊接面罩/安全帽系统100的框图。图1的先进的焊接面罩/安全帽系统100例示性地包括焊接面罩/安全帽120以及控制部130。图1的焊接面罩/安全帽120例示性地包括摄像组件122以及可选的传感器126。图1还示出了远程的焊接站140,该远程的焊接站140包括用于执行焊接动作的焊接机器及附件。在图1A中,示出先进的焊接面罩/安全帽系统100包括单个传感器126(例如可选的传感器),并且示出可选的传感器126安装在焊接面罩/安全帽120上,但是在本发明的其他实施方式中,焊接面罩/安全帽系统(在下面进一步详细描述)可以包括2个以上的传感器。在该情况下,一些传感器可以安装在焊接面罩/安全帽120上,其他的传感器可以包括单独的构成元件。
图1B示出了本发明的第二立体/三维实施方式的先进的焊接面罩/安全帽系统100的框图。图1B的先进的焊接面罩/安全帽系统160例示性地包括焊接面罩/安全帽120以及控制部130。图1B的焊接面罩/安全帽120例示性地包括左眼用摄像组件172、右眼用摄像组件174以及可选的传感器186。图1B还示出了远程的焊接站140,该焊接站140包括用于执行焊接动作的焊接机器及附件。在图1B中,示出先进的焊接面罩/安全帽系统160包括单个传感器186(例如,可选的传感器),示出可选的传感器186安装在焊接面罩/安全帽120上,但是在本发明的其他实施方式中,焊接面罩/安全帽系统(在下面进一步详细描述)可以包括2个以上的传感器。在该情况下,一些传感器可以安装在焊接面罩/安全帽120上,其他的传感器可以包括单独的构成元件。
图2是示出本发明的一实施方式的图1A及图1B的先进的焊接面罩/安全帽系统100/160的面罩/安全帽120的内侧的示意图。如图2所示,面罩/安全帽120可以在内部包括显示器150,该显示器150用于向面罩/安全帽120的用户显示图像、视频流以及数据和信息。在图2的实施方式中,面罩/安全帽120的显示器150包括安装在面罩/安全帽120的内部的头戴式显示器(head mounted display:HMD)150。在一些实施方式中,HMD150包括可调整的显示定位,以满足用户对HMD150的左侧显示器与右侧显示器之间的距离和倾斜的要求。如图2所示,面罩/安全帽120的显示器150可以包括位于用户的左眼的位置的第一显示单元(例如显示器)151以及位于用户的右眼的位置的第二显示单元(例如显示器)152。
图3是示出本发明的一实施方式的适于在图1A的焊接面罩/安全帽系统100以及图1B的焊接面罩/安全帽系统160中用作摄像组件122或者在立体/三维实施方式中用作左眼用摄像组件172和右眼用摄像组件174的摄像组件300的示意图。图3的摄像组件300例示性地包括第一相机镜头305、第二相机镜头310、分束器315、可选的滤光镜320、第一相机350以及第二相机360(例示性地,印刷电路基板相机)。
在图3的摄像组件300的实施方式中,来自焊接环境的入射光被分束器315例示性地分割成2个光路。图3的实施方式的分束器315例示性地包括分束器。分束器将入射光分割成包括大部分光的第一光路311和包括小部分光的第二光路312。例如,在图3的实施方式的摄像组件300中,分束器315可以是反射60%并透射40%的分束器。即,在图3的摄像组件300的实施方式中,入射光的40%在分束器315内穿过并沿着第一光路311前进至第一相机镜头305,入射光的60%被反射到右侧从而沿着第二光路312到达第二相机镜头310。因此,在图3的摄像组件300中,2个光路311及312分别具有不同的光度(light level)。
在图3的摄像组件300的实施方式中,第一相机镜头305例示性地为高f值镜头,例示性地包括f/6镜头,第二相机镜头310例示性地为低f值相机镜头,例示性地包括f/2镜头。在图3的实施方式中,f/6的第一相机镜头305从分束器315接收并会聚40%的透射光,f/2的第二相机镜头310从分束器315接收并会聚60%的反射光。在图3的实施方式中,不同f值的第一相机镜头305和第二相机镜头310还区分2个光路311及312中的光度。
在图3的摄像组件300的实施方式中,在第一光路311中,由高f值的第一相机镜头305会聚的40%的光,能够被可选的滤光镜320(例示性地,中灰密度滤光镜)进行滤光。在图3的实施方式中,可选的滤光镜320进一步使2个光路311及312中的光度拉开差距。
在图3的摄像组件300的实施方式中,由可选的滤光镜320滤光后的会聚光的40%被第一相机350捕获并摄像,由第二相机镜头310会聚后的光的60%由第二相机360捕获并摄像,从而生成具有2个不同光度的焊接环境的图像/视频流。
例如,在图3的摄像组件300中,第一相机350收集比第二相机360少得多的光。这是因为,分束器315仅使入射光的40%透射到第一相机350,并且可选的滤光镜320(例示性地,1.2ND滤光镜)仅能够使约9%的光到达第一相机350。此外,在图3的摄像组件300中,收集应朝向第一相机350的光的第一相机镜头305,例示性地为f/6镜头,并且接收在图3的摄像组件300中例示为f/2镜头的第二相机镜头310的约8分之1的光。
图3的摄像组件300的实施方式例示性地包括分束器、低f值镜头、高f值镜头以及滤光镜,所述分束器将来自焊接环境的入射光分割成2个光路,即,分割成包括分割后的大部分光的第一光路311和包括分割后的小部分光的第二光路312,但是,所例示的实施方式不应被视为限定性的。图3的摄像组件300旨在示出至少一个摄像组件的实施方式,其中,该至少一个摄像组件包括一个以上的分束器。该一个以上的分束器为了提供没有视差的高动态范围视频采集系统,该高动态范围视频采集系统能够在几个实施方式中同时获得明亮场景细节以及暗场景细节并具有2个相应的曝光度的焊接环境的图像/视频流,该一个以上的分束器将入射光分割成具有各种光度的至少2个光路。在本发明的其他实施方式中,能够由一个以上的分束器将来自焊接环境的入射光分割成具有不同光度的多个光路,最终,生成本发明的具有多个相应曝光度的焊接环境的图像/视频流,从而在一些实施方式中,明亮的光度的场景细节、暗的光度的场景细节以及中间的光度的场景细节都能够同时获得。
此外,或者可替代地,如上所述,在本发明的一些实施方式中,至少一个摄像传感器(例如相机)可以构成为,以更高的帧率获得焊接环境的多个图像。在这样的实施方式中,摄像传感器能够以显示速率的2倍以上的速率运行,每个图像帧可以由不同的曝光时间构成,因此,能够获得需要高曝光时间的暗场景以及需要低曝光时间的明亮场景。在这样的实施方式中,能够在各种曝光时间下以多倍的帧率获得焊接环境的多个图像,从而能够获得具有非常暗的场景与非常明亮的场景之间的光度的焊接环境的场景。
根据上述的实施方式,在图3的摄像组件300等本发明的各摄像组件中,由2个摄像传感器(例如,相机350以及相机360)捕获的视频流被传递到控制部130。在控制部130中,使用融合技术将视频流合成为左眼用图像/视频流以及右眼用图像/视频流。在本发明的一些实施方式中,实现了由位于加利福尼亚州(California)的门罗帕克(Menlo Park)的斯坦福国际研究院(SRI International)的用于融合4个视频流的拉普拉斯金字塔融合(Laplacian Pyramid Fusion)技术。拉普拉斯金字塔融合技术,是转让给斯坦福国际研究院的以《基于对比度归一化的多尺度多相机适应融合(MULTI-SCALE MULTI-CAMERAADAPTIVE FUSION WITH CONTRAST NORMALIZATION)》为标题的美国专利第8411938号的主题,其在本说明书中通过引用的方式并入文本。
在一些实施方式中,作为结果,通过融合后的视频流,能够保留最初的4个单独的视频流中的所有细节,并在计算机监视器或头戴式显示器等显示器上显示8位输出流。即,在融合后的输出中保留例如焊接电弧及该焊接电弧附近的物体的极亮的细节、例如焊接环境背景这样的极暗的细节、以及具有中间明光度的图像。
例如,图4描绘了本发明的一实施方式的由先进的焊接面罩/安全帽系统捕获的焊接环境的图像。在图4的实施方式中,在由本发明的一实施方式的先进的焊接面罩/安全帽系统捕获的图像中,显然,焊枪406、焊丝404、电弧(焊接电弧)402、熔池(焊接熔池)408、火花(焊接火花)410、刚凝固的焊接的白热的焊珠412、焊接后不再白热的冷却后的焊珠414、焊接样品416以及焊接环境的背景418,全部都能够在HMD150等显示器上同时被目视识别,并能够被本发明的先进的焊接面罩/安全帽系统的用户目视识别。
在一些实施方式中,图像融合过程首先将各源图像分解成称为图像的金字塔的多空间多波段图像。金字塔中的每个图像对应于窄波段。图像融合,实施在所有源图像之间针对每个像素以及每个波段选择最佳特征的选择规则。局部选择,基于显著的特征的强度、来自源图像的像素的可靠性。例如,当源图像中的区域饱和或充满噪声时,该区域中的像素的可靠性变为零,然后,当在每个波段所对应的位置选择特征时,不选择与饱和度及噪声有关的像素。选择过程针对每个波段输出一个图像,从而为每个波段维持最佳特征。因此,这些经波段化的图像形成融合的金字塔。最后,为了将融合的金字塔恢复为单个融合的图像,根据参照分解,来执行相反的过程。该融合的图像包括来自每个源图像的最佳有效的局部结构。
再参照图1B~图3,在本发明的一些立体/三维实施方式中,左眼用摄像组件122的输出流被显示在图1的先进的焊接面罩/安全帽系统100的焊接面罩/安全帽120的HMD150上,从而能够由焊接面罩/安全帽120的用户的左眼目视识别左眼用摄像组件122的输出流。同样地,在本发明的一些实施方式中,右眼用摄像组件(未图示)的输出流被显示在图1的先进的焊接面罩/安全帽系统100的焊接面罩/安全帽120的HMD150上,从而能够由焊接面罩/安全帽120的用户的右眼目视识别右眼用摄像组件的输出流。在本发明的一些替代实施方式中,焊接面罩/安全帽120的显示器包括单个显示器,其在适当的位置显示流(Stream),以使得用户能够用眼睛适当地识别到。在本发明的一些其他实施方式中,焊接面罩/安全帽120的显示器包括针对用户的每只眼睛的专用显示器。
通过专门捕获和分配图像/视频流以显示给本发明的焊接面罩/安全帽120的用户的特定的眼睛,其结果,为用户实现了准确的立体(例如3D)可视化。为了维持实际的深度(进深)感觉,在本发明的一些实施方式中,左眼用摄像组件172以及右眼用摄像组件174,以使其位置关系接近人类焊工的眼球的间隔的方式,物理性地安装并定向在图1B的焊接面罩/安全帽系统160的焊接面罩/安全帽120上。
在本发明的焊接面罩/安全帽系统的一些实施方式中,在焊接期间,具体而言,在产生焊接电弧的期间,在图3的摄像组件300等的各个摄像组件中,焊接环境的多个图像经由分束器315、高f值的第一相机镜头305以及滤光镜320而被第一相机350获取。更一般地,在极亮的期间,使用如下特定光路中的成分(Components)来获取焊接环境的图像/视频流,该特定光路中的成分的光强度比包括最高光强度的光路中的成分的光强度低得多。相反地,在相对较暗的期间,具体而言,在没有产生焊接电弧的期间,焊接环境的图像经由分束器315而被第二相机360获取。更一般地,在暗的期间,使用如下特定光路中的成分来获取图像/视频流,该特定光路中的成分的光强度比包括最低光强度的光路中的成分的光强度高得多。
本发明的图1A的焊接面罩/安全帽系统100和图1B的焊接面罩/安全帽系统160的架构,具体而言,摄像组件300的分束器315以及第一相机350和第二相机360的配置,提供了一种用于焊接环境的无视差的高动态范围视频采集系统。
此外,有利地,通过本发明的实施方式的图1A的焊接面罩/安全帽系统100以及图1B的焊接面罩/安全帽系统160的架构,用户在焊接环境中的极亮的期间以及极暗的期间这两种情况下,能够持续佩戴焊接面罩/安全帽系统100/160的焊接面罩/安全帽120,且能够看到焊接环境的清晰图像。更具体而言,再参照图1至图3,在本发明的一些实施方式中,图1A的焊接面罩/安全帽系统100和图1B的焊接面罩/安全帽系统160,可以包括能够安装在焊接面罩/安全帽120上的光传感器126/186。在一些实施方式中,光传感器126/186检测焊接环境中的明亮的期间(即,产生焊接电弧时),并将表示焊接环境中存在明亮的信号传递至控制部130。在一些其他的实施方式中,可选的光传感器126/186检测焊接环境中的暗的期间(即,不产生焊接电弧时),并将表示焊接环境中存在黑暗的信号传递至控制部130。
当从光传感器126/186接收信号时,控制部130基于接收到的信号,判断应该在焊接面罩/安全帽120的显示器上显示从哪个摄像传感器(例如,第一相机350或第二相机360)捕获的图像/视频流。例如,如上所述,在一些实施方式中,在焊接环境中的极亮的期间,控制部130根据从可选的光传感器接收到的信号,将由第一相机350捕获的视频流显示在针对用户的每只眼睛眼的焊接面罩/安全帽120的显示器上。相反地,如上所述,在一些实施方式中,在焊接环境中的极暗的期间,控制部130根据从可选的光传感器接收到的信号,将由第二相机360捕获的视频流显示在针对用户的每只眼睛的焊接面罩/安全帽120的显示器上。
可替代地,或者在此基础上,在本发明的一些实施方式中,对于由第一相机350和第二相机360中的至少一个相机捕获的信号,例如,通过由控制部130判断应该在焊接面罩/安全帽120的显示器上显示从哪个相机(例如,第一相机350或第二相机360)捕获的视频流来实现。例如,在从4个相机中的任一个相机(例如,第一相机350及第二相机360)捕获的视频流表示焊接环境中存在明亮的情况下,对4个相机分别捕获的视频流进行访问的控制部130,将由(收集较少的光的)第一相机350捕获的视频流显示在与用户的每只眼睛对应的焊接面罩/安全帽120的显示器上。相反地,在4个相机(例如,第一相机350及第二相机360)捕获的视频流表示焊接环境中存在黑暗的情况下,控制部130将由第二相机360捕获的视频流显示在针对用户的每只眼睛的焊接面罩/安全帽120的显示器上。
在本发明的一些实施方式中,例如,能够使因电弧焊接而在焊接环境中产生的火花不在视频流中显示。更具体而言,对于由相机(例如,第一相机350及第二相机360)中的一个相机捕获的一个图像或多个图像中的明亮的火花,例如,在对捕获的视频流进行处理时,能够由控制部130来进行识别。在控制部130中,能够将多个图像中包括火花的部分(例如像素)从图像中除去。例如,在本发明的一些实施方式中,能够除去包括火花的相机像素的信号,并且能够用来自周围像素/相邻像素的信号的平均值来替换这些除去的信号。
例如,图5A及图5B描绘了本发明的一实施方式的火花除去过程。图5A示出了在本发明的焊接面罩/安全帽系统的第一光路中,例如,由第一摄像传感器捕获的包括焊接火花的焊接环境的第一源图像。在图5A及图5B的实施方式中,图5B所示的二值化饱和掩膜是从图5A的源图像生成的。接着,从面罩图像检测出各个火花,计算每个火花的面积。基于预定的阈值大小值,从二值化饱和掩膜中排除与焊接环境的背景以及焊枪前端的熔融部对应的源图像中的饱和区域。接着,确定火花附近的值。例如,在一些实施方式中,根据2个成分的面罩图像中的形态动作,放大了每个火花的轮廓。积累沿着图像中的火花的轮廓的值,计算每个火花的平均轮廓值。接着,将每个火花的像素值替换为计算出的平均值。
在本发明的一些实施方式中,摄像传感器(例如,第一相机350及第二相机360)中的至少一个摄像传感器包括至少一个近红外(near infrared:NIR)相机。在这样的实施方式中,本发明的焊接面罩/安全帽系统即使在焊接环境充满烟的情况下,也能够提供焊接环境的清晰图像。
再参照图1A及图1B,在本发明的一些实施方式中,焊接面罩/安全帽系统100/160的可选的传感器126/186可以包括低分辨率的红外相机或热传感器等的至少一个温度传感器。即,在焊接时进行检测的特别重要的参数,不仅是实际熔解的部分的温度,还包括周围的材料中的热分布。在包括用于检测温度的至少一个红外相机126/186或热传感器的焊接面罩/安全帽系统100/160的实施方式中,至少一个红外相机或热传感器126/186还能够检测焊接环境中的实际熔融的部分的温度以及周围的材料中的热分布。由至少一个红外相机或热传感器126/186收集的数据被传送至控制部130。控制部130能够将温度数据以任意形态显示在焊接面罩/安全帽120的HMD150上。例如,在一些实施方式中,对于温度数据,能够通过层级区分图(Heatmap)或上述的任意组合,对表示焊接及周边区域的图像中所示的各种温度范围进行各种着色,从而作为数值数据显示在图中。
在一些实施方式中,温度信息可以显示在焊接环境的图像或视频流的显示器上的专用部分上,或者,显示在焊接环境的图像或视频流的显示器的外侧。
在本发明的一些实施方式中,可选的传感器126/186,可以包括相机、声学麦克风、红外传感器、热感相机、加速计以及GPS装置中的至少一者,这些传感器用于向控制部130提供分别应作为如下用途使用的信息,该用途是指:使可选的传感器126/186与任一传感器相关联,对至少在本说明书中描述的本发明的焊接面罩/安全帽系统的用户提供信息从而提供焊接辅助。
在本发明的各种实施方式中,图1A及图1B的焊接面罩/安全帽系统100/160的控制部130,能够使用户例如经由焊接站140而与焊接面罩/安全帽系统100及焊接环境进行交互。例如,在一些简单的实施方式中,控制部130能够经由HMD150向用户呈现与焊接环境及焊接站140有关的信息的显示。例如,在一些实施方式中,能够使用一体式的热传感器或外部的热传感器,来监测焊接的物体的温度,并且控制部130例如为了能够决定变更焊接顺序或参数的方法以实现所期望的焊接,当热图像重叠在焊接环境的视频流图像上时,控制部130能够将这样的信息显示在HMD150上。例如,焊工能够根据焊接的物体的温度来调整在特定部位的休止时间。对于能够显示给焊工看且能够由焊工来调整的其他焊接参数,可以包括焊丝的输送速度、焊丝的位置、焊枪的位置、与焊枪相关联的电源的电流或电压等,但是不限定于这些。
在本发明的一些实施方式中,控制部130能够通过与焊接站140进行通信来决定焊接环境的参数,该焊接环境的参数用于,例如经由HMD150至少向焊接面罩/安全帽系统100/160的用户显示这样的参数。在一些实施方式中,控制部130能够通过USB或HDMI(注册商标)等有线连接来与焊接站140进行通信,或者,可替代地,或在此基础上,控制部130能够通过Bluetooth(注册商标)或Wi-Fi等无线连接与焊接站140进行通信。当在例如HMD150上显示焊接参数等这样的信息时,焊工能够决定变更焊接顺序或参数的方法,以能够实现所期望的焊接。
在本发明的一些实施方式中,由相机(例如,第一相机350及第二相机360)中的至少一个相机捕获的焊接过程的图像/视频流,例如能够由控制部130记录在控制部130的存储器或外部存储器中。能够在控制部130中通过分析焊接的记录图像来判断焊接的质量。例如,在一些实施方式中,能够在控制部130将所记录的焊接过程及/或完成的焊接部的图像与保存的表示恰当焊接过程或完成的焊接部应该是什么样的图像进行比较。与焊接质量有关的数据,能够用于各种目的,包括但不限于机器学习、提供与焊接质量有关的反馈以及报告,或者,能够用于根据需要重新焊接。能够在本发明的实施方式的焊接面罩/安全帽系统的显示器上,向用户提供针对焊接质量提供的反馈。用户能够使用这样的反馈来变更焊接顺序或参数,以实现所期望的焊接。
在图1A的焊接面罩/安全帽系统100以及图1B的焊接面罩/安全帽系统160等焊接面罩/安全帽系统的一些实施方式中,增强现实(Augmented Reality)能够用于辅助改善焊工/用户实施的焊接。例如,在焊接顺序开始之前,控制部130能够以使焊工能够目视识别的方式,在例如HMD150上显示焊接应按照该顺序实施的路径(Path)。能够例如由控制部130或其他控制部,基于关于焊接的几何形状的知识、所包含的材料的材质特性、针对这种焊接的路径而存储的知识以及从以前的同样的焊接所获得的知识,来计算用于焊接的路径。
在焊接期间,能够在待焊接的焊接环境的图像/视频流的区域,向焊工/用户显示所决定的路径。焊工焊接的视频流能够由控制部130来监测,以判断焊工在焊接过程中是否遵照所决定的路径进行焊接。在判断为与预先计算的路径之间存在偏差的情况下,能够在例如HMD150上以视觉刺激的形式向焊工发出警告。
在本发明的一些实施方式中,图1A的焊接面罩/安全帽系统100以及图1B的焊接面罩/安全帽系统160还能够包括用于至少容纳控制部130的组件以及用于向控制部130供给电力的电源。例如,图6是示出本发明的一实施方式的用于容纳控制部130的带组件(beltassembly)600和用于向控制部供给电力的电池610的示意图。图6的带组件600包括用于保持电池610的隔室(Compartment)620以及用于通过紧固件(未图示)将控制部130安装于带组件600的紧固孔(例示性地,4个紧固孔,均用630表示)。图6的带组件600还包括带槽(Beltslot)(例示性地,4个带槽,均用640表示),该带槽用于将带(未图示)固定于带组件600,从而使焊工能够用带(未图示)将带组件600固定在例如焊工的腰上。
图7示出了本发明的一实施方式的适合于在图1A的焊接面罩/安全帽系统100以及图1B的焊接面罩/安全帽系统160中使用的控制部130的框图。在一些实施方式中,控制部130能够构成为,在各种实施方式中将本发明的方法实现为处理器可执行的程序指令722(例如,可由处理器710执行的程序指令)。
在图7的实施方式中,控制部130包括经由输入输出(input/output:I/O)接口730而与系统存储器720连接的一个以上的处理器710a~710n。控制部130还包括与I/O接口730连接的网络接口740以及诸如光标控制设备760、键盘770以及显示器780等的一个以上的输入输出设备750。在各种实施方式中,构成元件皆可用于系统接收上述的用户输入。在各种实施方式中,能够创建用户界面并将其显示在显示器780上。在一些情况下,能够设想,能够使用控制部130的单个实例来实现一些实施方式,而在其他实施方式中,能够使多个这样的系统或者构成控制部130的多个节点构成为,承载(host)各种实施方式中不同部分或实例。例如,在一实施方式中,一些元件能够由控制部130中的与实现其他元件的节点不同的一个以上的节点来实现。在另一示例中,多个节点能够以分散的形态来实现控制部130。
在各种实施方式中,控制部130可以是各种类型的设备中的任一种设备,包括但不限于:个人计算机系统(Personal computer system)、台式计算机(Desktop computer)、膝上型计算机(Laptop)、笔记本电脑(Notebook)、平板电脑(tablet)或上网本计算机(Netbook computer)、主计算机系统(Mainframe computer system)、手持式计算机(Handheld computer)、工作站(Workstation)、网络计算机(Network computer)、相机、机顶盒(Set top box,)、移动设备(Mobile device)、消费类设备(Consumer device)、电子游戏机(Video game console)、手持式视频游戏设备(Handheld video game device)、应用服务器(Application server)、存储装置、乃至交换机(Switch)、调制解调器、路由器等外围设备、或者通用的任意类型的计算设备(Computing device)或电子设备。
在各种实施方式中,控制部130可以是包括一个处理器710的单处理器系统、或者包括一些(例如2个、4个、8个或其他合适的数量)处理器710的多处理器系统。处理器710可以是能够执行指令的任何合适的处理器。例如,在各种实施方式中,处理器710可以是实现各种指令集架构(Instruction set architecture:ISA)中的任一种的通用或嵌入式处理器。在多处理器系统中,通常,每个处理器710可以但不一定要实现相同的ISA。
系统存储器720能够构成为,存储可由处理器710访问的程序指令722及/或数据732。在各种实施方式中,系统存储器720能够使用静态随机存取存储器(static random-access memory:SRAM)、同步动态RAM(synchronous dynamic RAM:SDRAM)、非易失性/闪存型存储器、或者其他任意类型的存储器等的任意的合适的存储器技术来实现。在图示的实施方式中,实现上述实施方式的元件中的任一元件的程序指令及数据能够被存储在系统存储器720内中。在其他实施方式中,能够在各种类型的计算机可访问的介质上、或者在与系统存储器720或控制部130分开的同样的介质上,接收、发送或存储程序指令及/或数据。
在一实施方式中,I/O接口730能够构成为,调整处理器710、系统存储器720、以及包括网络接口740或输入输出设备750等的其他外围接口的设备中的任一外围设备之间的I/O流量。在一些实施方式中,I/O接口730能够执行所需的任何协议、时序或其他数据转换,以将来自一个构成元件(例如系统存储器720)的数据信号转换为适合于另一构成元件(例如处理器710)使用的格式。在一些实施方式中,I/O接口730例如能够支持,对经由外围设备互连(peripheral component interconnect:PCI)总线标准或通用串行总线(universalserial bus:USB)标准的变形例等的各种类型的外围总线而安装的设备。在一些实施方式中,I/O接口730的功能例如能够被分割为北桥及南桥等2个以上的单独的构成元件。另外,在一些实施方式中,连接到系统存储器720的接口等I/O接口730的功能中的一些或全部功能,能够直接并入处理器710。
网络接口740能够构成为,能够使数据在控制部130与连接到一个以上的外部系统等网络(例如网络790)的其他设备之间、或者在控制部130的节点之间进行交换。在各种实施方式中,网络790能够包括一个以上的网络,包括但不限于局域网(local area network:LAN)(例如,以太网(注册商标)或企业网络)、广域网(wide area network:WAN)(例如,因特网)、无线数据网络、一些其他的电子数据网络、或者这些网络中的某些网络的组合。在各种实施方式中,网络接口740能够支持经由任意合适的类型的以太网网络等有线或无线的一般数据网络来进行通信,例如,支持经由数字光纤通信网络、经由光纤通道SAN等储存区域网路、或者经由其他任意合适的类型的网络及/或协议来进行通信。
在一些实施方式中,输入输出设备750能够包括一个以上的显示器端子、键盘、小键盘(keypads)、触控板、扫描设备、语音识别设备或光学识别设备、或者适合于由一个以上的计算机系统输入或访问数据的任意的其他设备。多个输入输出设备750能够位于控制部130中,或者也能够分布在控制部130的各种节点上。在一些实施方式中,同样的输入输出设备能够与控制部130分开,并且能够经由网络接口740等,通过有线连接或无线连接而与控制部130的一个以上的节点进行交互。
在一些实施方式中,所例示的控制部130还能够实现(以下所描述的)图8和图9的流程图所示的方法等的上述方法和动作中的任一者。在其他实施方式中,能够包括各种元件和数据。
本领域技术人员能够认识到,控制部130仅仅是例示性的,而并非旨在限定实施方式的范围。尤其,计算机系统及设备还能够包括:能够执行包括计算机、网络设备、因特网工具(Internet appliance)、PDA、无线电话、传呼机等在内的各种实施方式所示的功能的硬件或软件的任何组合。控制部130还能够与未例示的其他设备连接,或者取而代之,能够作为独立型的系统进行动作。此外,在一些实施方式中,由所例示的构成元件提供的功能,能够集成在更少的构成元件中,或者能够分散在追加的构成元件中。同样地,在一些实施方式中,有可能不提供所例示的构成元件中的一些功能,及/或能够使用其他追加的功能。
在本发明的一些实施方式中,用户界面能够由控制部130提供,该用户界面使用户能够至少与控制部130进行交互并且控制焊接环境的参数。在一些实施方式中,用户界面能够实现为,在图1A的先进的焊接面罩/安全帽系统100以及图1B的先进的焊接面罩/安全帽系统160等本发明的先进的焊接面罩/安全帽系统的显示器上呈现的菜单形式的应用程序,并且,至少控制部130的一个以上的输入输出设备能够用于在本发明的先进的焊接面罩/安全帽系统的用户与用户界面之间提供交互。在一些实施方式中,至少用于容纳控制部130的组件,例如图6的带组件600,以及用于向控制部130供给电力的电源的按钮或其他控制设备能够实现为,在本发明的先进的焊接面罩/安全帽系统的用户与用户界面之间提供交互。
图8是示出本发明的一实施方式的用于提升实时焊接可视化的方法800的流程图。方法800从步骤802开始,在步骤802中,在本发明的实施方式的先进的焊接面罩/安全帽系统等可佩带的焊接装置中,使用分束器将焊接环境中的入射光分割成具有不同光度的至少第一光路以及第二光路。方法800能够前进到步骤804。
在804中,使用相应的摄像传感器,获得各个第一光路以及第二光路中的各自被分割的光的多个图像。方法800能够前进到806。
在806中,至少对分别来自第一光路以及第二光路的相应的摄像传感器的多个图像进行融合,从而生成左眼用融合图像以及右眼用融合图像。方法800能够前进到步骤808。
在808中,将左眼用融合图像显示在可佩带焊接装置的用户的左眼的位置,将右眼用融合图像显示在可佩带焊接装置的用户的右眼的位置,由此,提供焊接环境的高动态范围显示,从而使深度感觉最佳化。方法800能够结束。
在一些实施方式中,方法800能够包括如下步骤:在810中,根据表示检测到的焊接环境中的光度的信号,来判断应显示来自哪个摄像传感器的图像。
在一些实施方式中,方法800能够包括如下步骤:在步骤812中,显示信息和图像中的至少一者,所述信息和图像用于辅助可佩带焊接装置的用户在焊接环境实施焊接。在该情况下,信息至少包括焊接环境的焊接参数,该焊接环境的焊接参数包括焊接环境中的至少一个温度、焊丝的输送速度、焊丝的位置、焊枪的位置、与焊枪相关联的电源的电流或电压、休止时间中的至少一者。进而,图像包括增强现实图像,该增强现实图像包括重叠在焊接环境的图像上的热图像以及重叠在焊接环境的图像上的路径中的至少一者,其中,焊接是按照该路径来执行的。
在一些实施方式中,方法800能够包括如下步骤:使用至少上述过程将火花从焊接环境的至少一个图像中除去。
在一些实施方式中,方法800能够包括如下步骤:与焊接站进行通信,以至少决定焊接环境的动作参数。
在一些实施方式中,方法800能够包括如下步骤:记录由摄像传感器捕获的焊接过程。在该情况下,记录的焊接过程能够用于训练(training)。
在一些实施方式中,方法800能够包括如下步骤:对由摄像传感器捕获的焊接过程的图像进行评价,并向用户提供关于焊接质量的反馈。
在一些实施方式中,方法800能够包括如下步骤:以使得以各种帧率获得焊接环境的多个图像的方式构成摄像传感器,以生成具有各种曝光量的焊接环境的多个图像。
图9示出了本发明的立体/三维实施方式的用于提升实时焊接可视化的方法900的流程图。方法900从步骤902开始。在步骤902中,分别在左眼用摄像组件及右眼用摄像组件中,使用分束器,将来自焊接环境的入射光分割成具有不同光度的至少第一光路以及第二光路。方法900能够前进到步骤904。
在步骤904中,至少在第一光路以及第二光路中的每个光路中,使用相应的摄像传感器,来获得在各个光路中的各自被分割的光的多个图像。方法900能够前进到步骤906。
在906中,对来自左眼用摄像组件及右眼用摄像组件的至少第一光路以及第二光路各自相应的摄像传感器的多个图像进行融合,从而生成左眼用融合图像以及右眼用融合图像。方法900能够前进到步骤908。
在步骤908中,在可佩带焊接装置的用户的左眼的位置显示左眼用融合图像,在可佩带焊接装置的用户的右眼的位置显示右眼用融合图像,从而提供焊接环境的高动态范围三维显示,由此,使深度感觉最佳化。方法900能够结束。
本领域技术人员还将认识到,尽管例示了各种项目(Item)在使用期间被存储在存储器内或寄存器(Storage)上,但是出于存储器管理以及数据保全性的目的,这些操作数据或其一部分能够在存储器与其他存储装置之间进行交换。可替代地,在其他实施方式中,软件组件中的一些或全部能够在另一设备上的存储器中执行,并且能够经由相互计算机通信与例示的计算机系统进行通信。系统构成元件或数据结构中的一些或全部也能够(例如作为指令或结构化数据)存储在计算机可访问介质或便携式物品上,以便由适当的驱动器(上文提到了其各种示例)读取。在一些实施方式中,存储在与控制部130分开的计算机可访问介质上的指令,能够经由通过网络及/或无线链路等通信介质传递的传输介质、或者经由电信号、电磁信号或数字信号等传输信号,传递至控制部130。各种实施方式还能够包括,在计算机可访问介质上或者经由通信介质,接收、发送或存储根据上述说明实现的指令及/或数据。通常,计算机可访问介质能够包括如下介质等,即,包括:寄存器介质或存储器介质,例如磁盘或DVD/CD-ROM等磁性介质或光学介质;易失性介质或非易失性介质,例如RAM(例如,SDRAM、DDR、RDRAM、SRAM等);以及ROM。
本说明书中所描述的方法能够在各种实施方式中以软件、硬件或它们的组合来实现。此外,能够变更方法的顺序,能够对各种元件进行追加、重新整理、组合、省略、或者变更。本说明书中所描述的所有示例以非限定性的形态呈现。对于受益于本公开的本领域技术人员来说,显而易见地,能够进行各种变形和变更。已经在特定的实施方式的上下文中描述了根据实施方式的实现例。这些实施方式旨在作为例示性的实施方式,而并非用作限定。能够实现许多变形例、变更例、追加例以及改善例。因此,能够为在本说明书中作为单个示例描述的构成元件提供多个示例。各种构成元件之间、各种动作之间以及各种数据存储之间的边界在某种程度上是任意的,并且在特定的具体结构的上下文中例示了特定的动作。能够预见功能的其他分配,并且能够落在所附权利要求的范围内。在例示性结构中被示出为独立构成元件的结构及功能能够实现为结构或构成元件的组合。这些示例以及其他变形例、变更例、追加例以及改善例能够落在所附权利要求的范围中所规定的实施方式的范围内。
在上述的描述中,已经描述了许多具体细节、示例以及情形,以使得能够更充分地理解本公开。然而,将认识到,即使没有这样的具体细节,也能够实施本公开的实施方式。进而,提供这样的示例及情形是为了进行举例说明,并且并非旨在以任何形式限定本公开。本领域技术人员应当能够利用所描述的说明来实现适当的功能,而无需进行不适当的实验。
在说明书中被参照为“实施方式”等的情况下,这表示尽管上述实施方式能够包括特定的特征、结构或特性,但所有的实施方式不一定包括特定的特征、结构或特性。这样的语句不一定指参照相同的实施方式。进而,在结合一实施方式描述了特定的特征、结构或特性的情况下,则无论是否明确示出,都影响与其他实施方式关联的这种特征、结构或特性,这被认为在本领域技术人员的知识范围内。
根据本公开的实施方式能够由硬件、固件、软件或者它们的任意组合来实现。实施方式还能够被实现为,使用一个以上的机械可读取介质存储的指令,该指令能够由一个以上的处理器读取并执行。机械可读取介质能够包括用于以机器(例如,在控制部或一个以上的控制部上执行的「虚拟机器」)可读取的形式存储或发送信息的任何机械装置。例如,机械可读取介质还能够包括易失性存储器或非易失性存储器的任何合适的形态。
本说明书中规定的模块、数据结构等是为了易于说明而规定的,且并非旨在暗示需要任何特定的实现例的细节。例如,上述的模块及/或数据结构的任一者皆能够根据特定的设计或实现例的需要,而组合于或分割为计算机代码或数据的子模块、子过程或者其他单元。
在附图中,为了易于说明,能够示出示意性元件的具体配置或顺序。然而,这样的元件的具体顺序或配置并非旨在暗示在所有实施方式中需要特定的顺序、处理的定序或过程的分离。通常,用于表示指令块或模块的示意性元件能够使用机械可读取的指令的任意合适的形态来实现,并且每个这样的指令能够使用任何合适的编程语言、程序库、应用程序编程接口(application-programming interface:API)及/或其他软件开发工具或框架来实现。同样地,用于表示数据或信息的示意性元件能够是使用任意合适的电子配置或数据结构来实现。进而,元件之间的一些连接、关系或者关联有可能在附图中被简化或未进行图示,以避免使公开不明确。
本公开应当被视为例示性的,而不应被视为对特征进行限定,并且期望保护落入本公开的指导方针(Guideline)的范围内的全部变更例和变形例。
本发明的实施方式包括用于提升焊接环境中的实时焊接可视化的装置。该装置包括分束器。该分束器将来自焊接环境的入射光分割成具有不同光度的至少第一光路及第二光路。该至少第一光路及第二光路分别包括相应的摄像传感器。该装置还包括控制部。该控制部接收来自该至少第一光路及第二光路中的每个相应的摄像传感器的多个图像,将该多个图像融合,从而生成左眼用融合图像及右眼用融合图像。该装置还包括显示器组件。该显示器组件在装置的用户的左眼的位置显示左眼用融合图像,在装置的用户的右眼的位置显示右眼用融合图像。
该装置还能够包括左眼用摄像组件以及右眼用摄像组件。各个左眼用摄像组件以及右眼用摄像组件包括至少一个分束器。至少一个分束器将来自焊接环境的入射光分割成具有不同光度的至少第一光路以及第二光路。该至少第一光路以及第二光路分别包括相应的摄像传感器。在该左眼用摄像组件中捕获的多个图像被融合并显示在该装置的用户的左眼的位置,在该右眼用摄像组件中捕获的多个图像被融合并显示在该装置的用户的右眼的位置,从而提供焊接环境的三维显示。
在一些实施方式中,该装置能够包括用于检测焊接环境中的光度的至少一个光电传感器,控制部基于从至少一个光电传感器和至少一个摄像传感器中的至少一个传感器接收的信号,判断应该显示来自哪个摄像传感器的图像。所接收的信号表示检测到的焊接环境中的光度。
此外,或者可替代地,在一些实施方式中,该装置还能够包括用于检测焊接环境中的温度的至少一个温度传感器。在这样的实施方式等中,控制部根据从至少一个温度传感器传递的表示检测到的焊接环境中的温度的信号,在显示器组件上显示表示检测到的焊接环境中的温度的消息。
在一些实施方式中,在该装置中,焊接环境的显示包括:同时显示进行中的焊接的电弧、焊丝、焊枪的前端、刚焊接的熔融金属的熔池、刚凝固的焊接的白热的焊珠、冷却后不再白热的焊接的焊珠、应该焊接的样品的区域以及包围焊接区域的背景区域的多个图像。同时显示包括:进行中的焊接的电弧、焊丝、焊枪的前端、刚焊接的熔融金属的熔池、刚凝固的焊接的白热的焊珠、冷却后不再白热的焊接的焊珠、应该焊接的样品的区域以及包围焊接区域的背景区域的多个图像分别显示的所有细节。
此外,或者可替代地,在一些实施方式中,在该装置中,控制部在显示器组件上显示用于辅助焊接实施的信息。在这样的实施方式等中,用于辅助焊接实施的信息包括由控制部生成的图像以及焊接环境的焊接参数中的至少一者。
可替代地,或者此外,在该装置中,控制部能够包括用于记录焊接环境中的焊接过程的存储器。进而,在一些实施方式中,本发明的装置能够包括用于能够对存在烟的焊接环境进行摄像的至少一个近红外摄像传感器。
在至少一些实施方式中,该装置的至少2个光路的摄像传感器包括印刷电路基板相机。可替代地,或者此外,为了进一步区分至少第一光路与第二光路之间的光度,该装置能够在至少第一光路以及第二光路中的至少一个光路中,包括中灰密度滤光镜以及相机镜头中的至少一者。
本发明的实施方式包括用于提升焊接环境中的实时焊接可视化的方法。该方法包括如下步骤:在可佩带焊接装置中,使用至少一个分束器,将来自该焊接环境的入射光分割成具有不同光度的至少第一光路以及第二光路;在该至少第一光路以及第二光路的每个光路中,使用摄像传感器获得相应的分割后的光的多个图像;对来自左眼用摄像组件以及右眼用摄像组件的该至少第一光路以及第二光路的相应的摄像传感器的多个图像进行融合,从而生成左眼用融合图像以及右眼用融合图像;以及在该可佩带焊接装置的用户的左眼的位置的显示器上显示该左眼用融合图像,在该可佩带焊接装置的该用户的右眼的位置的显示器上显示该右眼用融合图像。
可替代地,或者此外,在一些实施方式中,使用各个左眼用摄像组件以及右眼用摄像组件中的至少一个分束器,将来自焊接环境的入射光分割成具有不同光度的至少第一光路以及第二光路。将在该左眼用摄像组件中捕获的多个图像融合并显示在该装置的用户的左眼的位置,将在该右眼用摄像组件中捕获的多个图像融合并显示在该用户的右眼的位置,从而提供焊接环境的三维显示。
在一些实施方式中,该方法还包括如下步骤:根据表示检测到的该焊接环境中的光度的信号,判断应该显示来自哪个摄像传感器的图像。
在一些实施方式中,该方法还包括如下步骤:显示用于辅助可佩带焊接装置的用户在焊接环境中实施焊接的信息以及图像中的至少一者。在该情况下,信息至少包括焊接环境的焊接参数,该焊接环境的焊接参数包括焊接环境中的至少一个温度、焊丝的输送速度、焊丝的位置、焊枪的位置、与焊枪相关联的电源的电流或电压、休止时间中的至少一者。进而,图像包括增强现实图像,该增强现实图像包括重叠在焊接环境的图像上的热图像以及重叠在焊接环境的图像上的路径中的至少一者,其中,焊接是按照该路径来执行的。
若本发明的一些实施方式,则该方法能够包括如下步骤:将火花从该焊接环境的至少一个图像中除去,并且可替代地,或者此外,能够包括如下步骤:与焊接站进行通信,以至少决定焊接环境的动作参数。
在一些实施方式中,为了培训或其他目的,该方法能够包括如下步骤:记录由摄像传感器捕获的焊接过程。在这样的实施方式以及其他实施方式中,该方法能够包括如下步骤:对由摄像传感器捕获的焊接过程的多个图像进行评价,并向用户提供关于焊接质量的反馈。
在本发明的一些实施方式中,该方法能够包括如下步骤:以各种帧率获得焊接环境的多个图像的方式构成摄像传感器,以生成具有各种曝光量的焊接环境的多个图像。
本发明的实施方式,包括用于提升焊接环境中的实时焊接可视化及辅助的方法。该方法包括使用分束器将入射光分割成第一光路和第二光路的步骤,该第一光路包括被分割的光的一小部分光,该第二光路包括被分割的光的大部分光。该方法还包括如下步骤:在第一光路中,使用高f值镜头,对来自该分束器分割的光的一小部分光进行会聚;使用中灰密度滤光镜,对来自高f值镜头会聚的光进行滤光;以及使用第一相机,获得来自中灰密度滤光镜滤光后的光的多个图像。在一些实施方式中,该方法还包括如下步骤:在第二光路中,使用低f值镜头,对来自该分束器分割的光的大部分光的进行会聚;使用第二相机,获得来自低f值镜头的光的多个图像;对来自第一相机的图像和来自第二相机的图像进行融合;以及将融合后的图像中的至少一部分显示为左眼用表示图像以及右眼用表示图像。
可替代地,用于提升焊接环境中的实时焊接可视化及辅助的方法,包括如下步骤:在各个左眼用摄像组件以及右眼用摄像组件中,使用分束器将入射光分割成第一光路和第二光路;该第一光路包括被分割的光的一小部分光,该第二光路包括被分割的光的大部分光。该方法还包括如下步骤:在该第一光路中,使用高f值镜头,对来自分束器分割的光的一小部分光进行会聚;使用中灰密度滤光镜,对来自高f值镜头会聚的光进行滤光;以及使用第一相机,获得来自中灰密度滤光镜滤光后的光的多个图像。在一些实施方式中,该方法还包括如下步骤:在该第二光路中,使用低f值镜头,对来自该分束器分割的光的大部分光的进行会聚;以及使用第二相机,获得来自低f值镜头的光的多个图像。该方法还包括如下步骤:对左眼用摄像组件以及右眼用摄像组件的来自第一相机的图像和来自第二相机的图像进行融合;以及将该融合后的图像中的至少一部分显示为左眼用表示图像以及右眼用表示图像。
尽管对本发明的实施方式进行了说明,但是应当认为本公开的实施方式在所有方面都是例示性的,而不是限制性的。本发明的范围由权利要求的范围示出,并且旨在包括与权利要求的范围等同的含义和范围内的所有变更。

Claims (20)

1.一种焊接辅助装置,用于提升焊接环境中的实时焊接可视化效果,其特征在于,具有:
分束器,至少将来自所述焊接环境的入射光分割成具有不同光度的至少第一光路以及第二光路,所述至少第一光路以及第二光路各自包括摄像传感器,
控制部,从所述至少第一光路以及第二光路中各自的所述摄像传感器接收多个图像,将所述多个图像进行融合,来生成左眼用融合图像以及右眼用融合图像,
显示器组件,在所述焊接辅助装置的用户的左眼的位置显示所述左眼用融合图像,在所述焊接辅助装置的所述用户的右眼的位置显示所述右眼用融合图像。
2.根据权利要求1所述的焊接辅助装置,其特征在于,
还具有左眼用摄像组件以及右眼用摄像组件,
所述左眼用摄像组件以及所述右眼用摄像组件各自包括至少一个所述分束器,
在所述左眼用摄像组件中捕获的多个图像,被融合并显示在所述焊接辅助装置的所述用户的所述左眼的所述位置,在所述右眼用摄像组件中捕获的多个图像,被融合并显示在所述焊接辅助装置的所述用户的所述右眼的所述位置,从而提供所述焊接环境的三维显示。
3.根据权利要求1所述的焊接辅助装置,其特征在于,
还具有至少一个光电传感器,其用于检测所述焊接环境中的光度,
所述控制部,基于从所述至少一个光电传感器以及所述摄像传感器中的至少一个接收的信号,判断应该显示来自哪个摄像传感器的图像,所述信号表示检测到的所述焊接环境中的光度。
4.根据权利要求1所述的焊接辅助装置,其特征在于,
还具有至少一个温度传感器,其用于检测所述焊接环境中的温度。
5.根据权利要求4所述的焊接辅助装置,其特征在于,
所述控制部,根据从所述至少一个温度传感器传递来的表示检测到的所述焊接环境中的温度的信号,在所述显示器组件上显示表示检测到的所述焊接环境中的温度的消息。
6.根据权利要求1所述的焊接辅助装置,其特征在于,
显示所述焊接环境的所述多个图像是指,针对如下内容同时显示多个图像,这些内容包括:进行中的焊接的电弧、焊丝、焊枪、刚刚焊接的熔融金属的熔池、刚刚凝固的焊接的白热的焊珠、冷却后不再白热的焊接的焊珠、应该焊接的样品的区域以及包围焊接区域的背景区域;
所述同时显示,包括如下显示如下内容的图像的全部细节,这些内容包括:进行中的焊接的所述电弧、所述焊丝、所述焊枪的前端、刚刚焊接的熔融金属的所述熔池、刚刚凝固的所述焊接的所述白热的焊珠、冷却后不再白热的所述焊接的所述焊珠、应该焊接的所述样品的所述区域、包围所述焊接区域的所述背景区域。
7.根据权利要求1所述的焊接辅助装置,其特征在于,
所述控制部,在所述显示器组件上显示用于辅助焊接实施的信息。
8.根据权利要求7所述的焊接辅助装置,其特征在于,
用于辅助焊接实施的所述信息包括,由所述控制部生成的图像以及所述焊接环境的焊接参数中的至少一者。
9.根据权利要求1所述的焊接辅助装置,其特征在于,
所述控制部,具有用于记录所述焊接环境中的焊接过程的存储器。
10.根据权利要求1所述的焊接辅助装置,其特征在于,
还具有至少一个近红外摄像传感器,其用于能够对存在烟的所述焊接环境进行摄像。
11.根据权利要求1所述的焊接辅助装置,其特征在于,
所述摄像传感器包括印刷电路基板照相机。
12.根据权利要求1所述的焊接辅助装置,其特征在于,
为了使所述至少第一光路以及第二光路之间的光度产生差异,在所述至少第一光路以及第二光路中的至少一个光路中,还具有中灰密度滤光镜以及相机镜头中的至少一者。
13.一种焊接辅助方法,用于提升焊接环境中的实时焊接可视化效果,其特征在于,
在可佩带焊接焊接辅助装置中,执行如下步骤:
光路分割步骤,使用至少一个分束器,将来自所述焊接环境的入射光分割成具有不同光度的至少第一光路以及第二光路;
图像取得步骤,在所述至少第一光路以及第二光路中的每个光路中,使用摄像传感器,获得各个分割后的光的多个图像;
图像生成步骤,对来自所述至少第一光路以及第二光路各自的所述摄像传感器的所述多个图像进行融合,来生成左眼用融合图像以及右眼用融合图像;以及
图像显示步骤,在所述可佩带焊接焊接辅助装置的用户的左眼的位置的显示器上显示所述左眼用融合图像,在所述可佩带焊接焊接辅助装置的所述用户的右眼的位置的显示器上显示所述右眼用融合图像。
14.根据权利要求13所述的焊接辅助方法,其特征在于,
分别在左眼用摄像组件以及右眼用摄像组件中,执行所述光路分割步骤、所述图像取得步骤、所述图像生成步骤以及所述图像显示步骤。
15.根据权利要求13所述的焊接辅助方法,其特征在于,还包括如下步骤:
根据表示检测到的所述焊接环境中的光度的信号,判断应该显示来自哪个摄像传感器的图像。
16.根据权利要求13所述的焊接辅助方法,其特征在于,还包括如下步骤:
显示用于辅助所述可佩带焊接焊接辅助装置的所述用户在所述焊接环境中实施焊接的信息以及图像中的至少一者,
所述信息至少包括所述焊接环境的焊接参数,所述焊接环境的焊接参数包括所述焊接环境中的至少一个温度、焊丝的输送速度、焊丝的位置、焊枪的位置、与所述焊枪相关联的电源的电流或电压、休止时间中的至少一者,
所述图像包括增强现实图像,所述增强现实图像包括重叠在所述焊接环境的图像上的热图像以及重叠在所述焊接环境的图像上的路径中的至少一者,其中,焊接是按照该路径来执行的。
17.根据权利要求13所述的焊接辅助方法,其特征在于,还包括如下步骤:
将火花从所述焊接环境的至少一个图像中除去。
18.根据权利要求13所述的焊接辅助方法,其特征在于,还包括如下步骤:
与焊接站进行通信,以至少决定所述焊接环境的动作参数。
19.根据权利要求13所述的焊接辅助方法,其特征在于,还包括如下步骤:
对由所述摄像传感器捕获的焊接过程的多个图像进行评价,并向用户提供关于焊接质量的反馈。
20.根据权利要求13所述的焊接辅助方法,其特征在于,还包括如下步骤:
为了生成具有各种曝光量的所述焊接环境的多个图像,以利用各种帧率获得所述焊接环境的多个图像的方式构成所述摄像传感器。
CN202010441583.7A 2019-05-23 2020-05-22 焊接辅助方法及装置 Active CN111988533B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US16/421,022 US11122257B2 (en) 2019-05-23 2019-05-23 HDR image capture and display system for enhanced real-time welding visualization and assistance
US16/421,022 2019-05-23
JP2019-142413 2019-08-01
JP2019142413A JP6793791B2 (ja) 2019-05-23 2019-08-01 リアルタイム溶接可視化および支援を向上させるためのhdr画像取込みおよび表示システム

Publications (2)

Publication Number Publication Date
CN111988533A true CN111988533A (zh) 2020-11-24
CN111988533B CN111988533B (zh) 2022-07-22

Family

ID=73442222

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010441583.7A Active CN111988533B (zh) 2019-05-23 2020-05-22 焊接辅助方法及装置

Country Status (1)

Country Link
CN (1) CN111988533B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1892808A (zh) * 2005-07-05 2007-01-10 三星Sdi株式会社 立体图像显示设备
CN102668577A (zh) * 2009-11-27 2012-09-12 松下电器产业株式会社 影像信号处理装置以及影像信号处理方法
US20120299923A1 (en) * 2011-05-24 2012-11-29 Koichi Takahashi Binocular image display apparatus
US20160260261A1 (en) * 2015-03-06 2016-09-08 Illinois Tool Works Inc. Sensor assisted head mounted displays for welding
US20160375524A1 (en) * 2015-06-24 2016-12-29 Illinois Tool Works Inc. Time of flight camera for welding machine vision
CN106940149A (zh) * 2017-03-30 2017-07-11 林星森 一种应用于vr场景下的武器瞄准系统的图层融合方法
CN107079135A (zh) * 2016-01-29 2017-08-18 深圳市大疆创新科技有限公司 视频数据传输方法、系统、设备和拍摄装置
US20170289424A1 (en) * 2016-04-04 2017-10-05 Illinois Tool Works Inc. Dynamic range enhancement systems and methods for use in welding applications
CN107462994A (zh) * 2017-09-04 2017-12-12 浙江大学 沉浸式虚拟现实头戴显示装置和沉浸式虚拟现实显示方法
CN107518879A (zh) * 2017-10-11 2017-12-29 北京数字精准医疗科技有限公司 一种荧光成像装置及方法
CN107810633A (zh) * 2015-09-10 2018-03-16 谷歌有限责任公司 立体渲染系统
CN207148430U (zh) * 2017-07-31 2018-03-27 方良 一种头戴式2d显示设备
CN107980153A (zh) * 2015-03-09 2018-05-01 伊利诺斯工具制品有限公司 提供与焊接操作相关联的视觉信息的方法和器械
CN108712643A (zh) * 2018-04-27 2018-10-26 苏州新光维医疗科技有限公司 二维图像转换成三维图像的方法、装置及三维成像系统

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1892808A (zh) * 2005-07-05 2007-01-10 三星Sdi株式会社 立体图像显示设备
CN102668577A (zh) * 2009-11-27 2012-09-12 松下电器产业株式会社 影像信号处理装置以及影像信号处理方法
US20120299923A1 (en) * 2011-05-24 2012-11-29 Koichi Takahashi Binocular image display apparatus
US20160260261A1 (en) * 2015-03-06 2016-09-08 Illinois Tool Works Inc. Sensor assisted head mounted displays for welding
CN107980153A (zh) * 2015-03-09 2018-05-01 伊利诺斯工具制品有限公司 提供与焊接操作相关联的视觉信息的方法和器械
US20160375524A1 (en) * 2015-06-24 2016-12-29 Illinois Tool Works Inc. Time of flight camera for welding machine vision
CN107810633A (zh) * 2015-09-10 2018-03-16 谷歌有限责任公司 立体渲染系统
CN107079135A (zh) * 2016-01-29 2017-08-18 深圳市大疆创新科技有限公司 视频数据传输方法、系统、设备和拍摄装置
CN107440834A (zh) * 2016-04-04 2017-12-08 伊利诺斯工具制品有限公司 用于在焊接应用中使用的动态范围增强系统和方法
US20170289424A1 (en) * 2016-04-04 2017-10-05 Illinois Tool Works Inc. Dynamic range enhancement systems and methods for use in welding applications
CN106940149A (zh) * 2017-03-30 2017-07-11 林星森 一种应用于vr场景下的武器瞄准系统的图层融合方法
CN207148430U (zh) * 2017-07-31 2018-03-27 方良 一种头戴式2d显示设备
CN107462994A (zh) * 2017-09-04 2017-12-12 浙江大学 沉浸式虚拟现实头戴显示装置和沉浸式虚拟现实显示方法
CN107518879A (zh) * 2017-10-11 2017-12-29 北京数字精准医疗科技有限公司 一种荧光成像装置及方法
CN108712643A (zh) * 2018-04-27 2018-10-26 苏州新光维医疗科技有限公司 二维图像转换成三维图像的方法、装置及三维成像系统

Also Published As

Publication number Publication date
CN111988533B (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
JP6793791B2 (ja) リアルタイム溶接可視化および支援を向上させるためのhdr画像取込みおよび表示システム
US9036072B2 (en) Image processing apparatus and image processing method
US20170308266A1 (en) Image display apparatus and image display method
US9073138B2 (en) Dual-spectrum digital imaging welding helmet
CN107680069B (zh) 一种图像处理方法、装置和终端设备
KR102048411B1 (ko) 웨어러블 장치 및 이의 영상 처리 방법
US11839721B2 (en) Information processing apparatus, information processing method, and storage medium
JP2018527649A (ja) 仮想画像生成システムにおけるテキストをより効率的に表示するための技法
US20240029342A1 (en) Method and data processing system for synthesizing images
CN109035147B (zh) 图像处理方法及装置、电子装置、存储介质和计算机设备
CN108156369A (zh) 图像处理方法和装置
CN111787354A (zh) 一种视频生成方法及其装置
CN106488181A (zh) 显示控制装置以及显示控制方法
CN109981983B (zh) 增强现实图像处理方法、装置、电子设备和存储介质
CN114930798A (zh) 拍摄对象切换方法及装置、图像处理方法及装置
CN102891954A (zh) 电子照相机
JP2009171428A (ja) デジタルカメラ装置および電子ズームの制御方法およびプログラム
CN111988533B (zh) 焊接辅助方法及装置
US11627303B2 (en) System and method for corrected video-see-through for head mounted displays
JP2022120681A (ja) 画像処理装置および画像処理方法
CN104735436A (zh) 单摄像头立体成像方法及电子设备
CN108898650B (zh) 人形素材创建方法及相关装置
JP6526749B2 (ja) 眼鏡ケース切削ラインデータ作成方法および眼鏡ケース切削ラインデータ作成装置
KR101314687B1 (ko) 시선 경로 제공장치 및 시선 경로 제공방법
US20220337744A1 (en) Camera system utilizing auxiliary image sensors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant