CN115916452A - 基于焊接数字数据模型的原位检查方法 - Google Patents

基于焊接数字数据模型的原位检查方法 Download PDF

Info

Publication number
CN115916452A
CN115916452A CN202180041241.9A CN202180041241A CN115916452A CN 115916452 A CN115916452 A CN 115916452A CN 202180041241 A CN202180041241 A CN 202180041241A CN 115916452 A CN115916452 A CN 115916452A
Authority
CN
China
Prior art keywords
weld
images
welding
quality
welding process
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180041241.9A
Other languages
English (en)
Inventor
R·S·基钦
M·P·莱瓦瑟
R·S·瓦克利
R·皮沃瓦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bowoite Advanced Technology Co ltd
Original Assignee
Bowoite Advanced Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bowoite Advanced Technology Co ltd filed Critical Bowoite Advanced Technology Co ltd
Publication of CN115916452A publication Critical patent/CN115916452A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
    • B23K31/006—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to using of neural networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
    • B23K31/12—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to investigating the properties, e.g. the weldability, of materials
    • B23K31/125—Weld quality monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G05B13/042—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a parameter or coefficient is automatically adjusted to optimise the performance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G05B13/048—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators using a predictor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32193—Ann, neural base quality management
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32194—Quality prediction
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32368—Quality control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37217—Inspect solder joint, machined part, workpiece, welding result
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40532—Ann for vision processing
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45104—Lasrobot, welding robot
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45135—Welding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Manufacturing & Machinery (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Robotics (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Arc Welding In General (AREA)
  • Welding Or Cutting Using Electron Beams (AREA)
  • Laser Beam Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种原位检查焊接质量的方法。所述方法获得正在进行的焊接过程的多个序列图像，并且基于所述多个序列图像和/或一个或多个焊接过程控制参数生成多维数据输入。参数可以包括：（i）保护气体流速、温度和压力；（ii）电压、安培数、焊丝进给速率和温度（如果适用）；（iii）零件预热/道间温度；和（iv）零件与焊炬的相对速度）。所述方法通过对多维数据输入应用一个或多个计算机视觉技术来生成缺陷概率和分析信息。所述分析信息包括对正在进行的焊接过程的质量特征的预测洞察。然后，所述方法基于分析信息和多个序列图像生成一个或多个焊态区域的三维可视化。所述三维可视化显示用于虚拟检查和/或确定焊接质量的质量特征。

Description

基于焊接数字数据模型的原位检查方法
技术领域
所公开的实施方式一般涉及焊接，并且更具体地涉及用于基于原位传感器捕获和数字机器/深度学习模型检查焊接的系统、方法和用户接口。
背景技术
焊接对制造企业和整个经济具有重大影响。焊接技术的进步（例如，机器人焊接）提供了成本效率和一致性。焊接质量对系统的安全性和完整性有重要意义。安全性关键系统（诸如核压力容器）的组件制造通常由严格的要求和设计规范来指导。传统上，这样的要求通过焊接操作完成之后昂贵的无损检查（NDE）或通过焊接过程预评定（用以预测焊接质量）来验证。焊接过程完成之后，施行例行维修以确保质量（例如，替换或焊接有缺陷的零件），有时并不知道缺陷是由什么引起的。用于焊接质量控制的常规技术易于出错，并且成本高。
发明内容
除了背景技术部分中阐述的问题之外，还有其它原因需要一种改进的检查焊接质量的系统和方法。例如，因为现有技术依赖于焊接故障的事后分析，所以缺乏上下文信息来进行适当的根本原因分析。一些技术仅适用于有限范围的焊接过程。用于焊接检查的常规系统依赖于过程方法评定、NDE焊后检查或使用焊接过程参数（诸如电压、焊炬速度、安培数、气流）的回归技术，但是这样的常规方法不能很好地回归到期望的质量特征。本公开描述了解决常规方法和系统的至少一些缺点的系统和方法。
根据一些实施方式，本公开使用计算机视觉、机器学习和/或统计建模，并且构建用于原位检查焊接质量（即用于在焊接正在进行时检查焊接质量）的数字模型。
可视化一般来自原位图像或其它经处理的信号，通常作为具有来自机器/深度学习算法的预测洞察的计算机视觉的结果。
根据一些实施方式，本发明使用一个或多个相机作为传感器，以在焊接事件（例如，母材和填料熔化、冷却和接缝形成事件）的焊接期间捕获序列图像（例如，静态图像或视频）。序列图像通过计算机视觉和机器/深度学习技术被处理为多维数据阵列，以产生相关分析，即焊态区域的3维视觉显示，从而揭示用于虚拟检查的质量特征，和/或对质量特征的位置和范围的预测洞察，用于确定焊接质量。在一些实施方式中，使用经训练的计算机视觉和机器/深度学习算法来处理正在进行的焊接过程的图像，以产生尺寸上准确的可视化和缺陷表征。在一些实施方式中，训练计算机视觉和机器/深度学习算法以基于焊池形状的图像确定焊接质量。
根据一些实施方式，方法在计算系统处执行。通常，计算系统包括单个计算机或工作站，或多个计算机，每个具有一个或多个CPU和/或GPU处理器和存储器。所实现的机器学习建模方法一般不需要计算集群或超级计算机。
在一些实施方式中，计算系统包括一个或多个计算机。计算机中的每一个包括一个或多个处理器和存储器。存储器存储被配置用于由一个或多个处理器执行的一个或多个程序。一个或多个程序包括用于施行本文中所描述的方法中的任何一个的指令。
在一些实施方式中，非暂时性计算机可读存储介质存储被配置用于由具有一个或多个计算机的计算系统执行的一个或多个程序，每个计算机具有一个或多个处理器和存储器。一个或多个程序包括用于施行本文中所描述的方法中的任何一个的指令。
因此，公开了促进焊接过程的原位检查的方法和系统。本文中所描述的讨论、示例、原理、组成、结构、特征、布置和过程可以应用于、适用于焊接过程，并体现在焊接过程中。
附图说明
为了更好地理解所公开的系统和方法以及附加的系统和方法，应当结合以下附图对下面的实施方式的描述进行参考，在附图中，类似的附图标记指代贯穿各图的对应的部分。
图1是根据一些实施方式的使用数字模型的焊接过程原位检查系统的框图。
图2是根据一些实施方式的计算设备的框图。
图3A是根据一些实施方式的用于焊接大型结构的示例平台和起重机装置的图示。
图3B和3C是根据一些实施方式的示例焊接过程。
图4A-4C提供了根据一些实施方式的焊池形状的示例。
图5A和5B是根据一些实施方式的示例焊接缺陷的图示。
图6A图示了根据一些实施方式的使用神经网络预测焊接质量的示例过程。
图6B示出了根据一些实施方式的示例相机系统（或图像采集系统）。
图7A示出了根据一些实施方式的在焊接过程期间捕获的图像的示例。
图7B示出了根据一些实施方式的使用激光仿形（laser profile）和焊接图像推断焊接质量的示例过程。
图7C示出了根据一些实施方式的使用激光仿形和焊接图像通过焊道熔化体积的一致性推断体积焊接质量的示例数字数据模型过程。
图7D是根据一些实施方式的要由机器学习算法解释的不同焊接条件下仿形进展（profile progression）的示例图示。
图7E示出了根据一些实施方式的电极事件的示例图像。
图7F示出了根据一些实施方式的焊池和电弧事件的示例图像。
图7G示出了根据一些实施方式的出于训练缺陷识别算法的目的对焊接和焊接缺陷显微检查的示例图像。
图7H示出了根据一些实施方式的出于机器学习模式和缺陷识别的目的的来自环形焊接的展开（或展平）图像。
图7I示出了根据一些实施方式的焊接缺陷的确认。
图8A示出了根据一些实施方式的电子束焊接的焊接图像，以及所得到的热标记模式（heat signature pattern）的数字孪生再现。
图8B示出了根据一些实施方式的用以验证数据模型的CT扫描，以及经由显微镜检查询问的DE孔隙，从而验证数据模型预测。
图9是根据一些实施方式的原位检查正在进行的焊接过程的示例过程。
图10A是图示了根据一些实施方式的训练一个或多个回归模型以预测和/或标识焊接缺陷的系统的框图。
图10B是图示了根据一些实施方式的使用经训练的回归模型来促进焊接过程的原位检查的系统的框图。
现在将对实施方式进行参考，在附图中图示了实施方式的示例。在以下描述中，阐述了许多具体细节以提供对本发明的透彻理解。然而，对本领域技术人员将显而易见的是，可以在不需要这些具体细节的情况下实践本发明。
具体实施方式
图1是根据一些实施方式的使用数字数据模型的焊接过程原位检查系统100的框图。焊接装备102由一个或多个相机设备104监视，每个设备104包括一个或多个图像传感器106和一个或多个图像处理器108。使用通信网络110将相机设备收集的数据传送到原位检查服务器112。焊接装备102使用焊接参数集118，其可以通过原位检查服务器112动态更新。
原位检查服务器112使用一些标准计算机视觉处理算法114以及一些机器/深度学习数据模型115。
在焊接操作期间，该过程原位捕获图像并应用标准图像处理技术来突出特征（例如，高斯模糊、电极和焊池的边缘检测、信噪比滤波和角度校正）。该过程使用时间互相关将图像堆栈或视频帧与几何形状对准。在一些实施方式中，该信息被馈送到一个或多个安装的机器人相机，用于准确的图像捕获。该系统通过取图像的时间导数将时间图像趋势转换成平稳信号。该系统用3D卷积（例如，像素位置、强度和颜色/光谱带）在连续、滞后的图像批次上训练卷积神经网络。基于此，机器/深度学习数据模型115输出事件的概率（是/否或缺陷类型）。
参数数据模型116标识信号的异常部分。对受监视的焊接参数（诸如沿时间线的电压）的传统信号噪声处理按照惯例未能指示焊接质量缺陷。该过程使用一系列步骤来工作：（i）将模拟信号转换成数字的；（ii）用滑动窗口和门控激活函数训练时间卷积神经网络以学习跨许多（例如，数百万）时间序列数据点的典型信号模式；（iii）最小化交叉熵损失函数；（iv）取参数数据流和学习数据流的差值；以及（v）使用核密度估计来发现信号的异常部分。
参数数据模型控制116向操作员提供反馈和/或控制焊接参数以维持质量。卷积网络对参数进行加权以最小化损失函数。这些权重包含来自图像的关于指示缺陷的关键特性的信息。操作通过提供权重归一化梯度的可视化继续进行，以指示关键缺陷特性。沿时间图像批次在时间上指示这些权重，以在时间上定位缺陷。这些权重指示图像中不同的部分，以包括其强度、形状或光谱色调。参数数据模型控制116收集所有缺陷指示的数据集。将该数据集馈送到统计模型（例如，泊松回归）中，以映射出有效和无效焊接参数空间。
在一些实施方式中，参数数据模型控制116使用拓扑警告即将出现的缺陷。高保真度拓扑可以馈送给自动焊接以避免缺陷。
图2是图示了根据一些实施方式的计算设备200的框图。计算设备200的各种示例包括服务器、超级计算机、台式计算机、云服务器和其它计算设备的高性能集群（HPC）。计算设备200通常包括一个或多个处理单元/核（CPU和/或GPU）202，用于执行存储在存储器214中的模块、程序和/或指令，并且由此施行处理操作；一个或多个网络或其它通信接口204；存储器214；以及用于互连这些组件的一个或多个通信总线212。通信总线212可以包括互连和控制系统组件之间通信的电路。
计算设备200可以包括用户接口206，该用户接口206包括显示设备208和一个或多个输入设备或机构210。在一些实施方式中，输入设备/机构包括键盘。在一些实施方式中，输入设备/机构包括“软”键盘，其根据需要显示在显示设备208上，使得用户能够“按下”出现在显示器208上的键。在一些实施方式中，显示器208和输入设备/机构210包括触摸屏显示器（也被称为触敏显示器）。
在一些实施方式中，存储器214包括高速随机存取存储器，诸如DRAM、SRAM、DDRRAM或其它随机存取固态存储器设备。在一些实施方式中，存储器214包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪速存储器设备或其它非易失性固态存储设备。在一些实施方式中，存储器214包括与（一个或多个）GPU/（一个或多个）CPU 202远程定位的一个或多个存储设备。存储器214或替代地存储器214内的（一个或多个）非易失性存储器设备包括非暂时性计算机可读存储介质。在一些实施方式中，存储器214或存储器214的计算机可读存储介质存储以下程序、模块和数据结构或其子集：
操作系统216，其包括用于处理各种基本系统服务和用于施行硬件相关任务的过程；
通信模块218，其用于经由一个或多个通信网络接口204（有线或无线）和一个或多个通信网络，诸如互联网、其它广域网、局域网、城域网等等，将计算设备200连接到其它计算机和设备；
数据可视化应用或模块220，用于显示原位检查的焊接缺陷的可视化；
输入/输出用户接口处理模块（未示出），其允许用户指定参数或控制变量；
原位检查引擎112，并且在上面的图1中描述；
如由机器/深度学习模型115使用的特征向量246；和
机器/深度学习/回归模型115。
上面标识的可执行模块、应用或过程集中的每一个可以被存储在一个或多个前述存储器设备中，并且对应于用于施行上面所描述的功能的指令集。上面标识的模块或程序（即指令集）无需作为单独的软件程序、过程或模块来实现，并且因此这些模块的各种子集可以在各种实施方式中进行组合或以其它方式重新布置。在一些实施方式中，存储器214存储上面标识的模块和数据结构的子集。此外，存储器214可以存储上面未描述的附加模块或数据结构。
尽管图2示出了计算设备200，但是图2更多地意图作为可能存在的各种特征的功能描述，而不是作为本文中所描述实施方式的结构示意图。在实践中，并且如本领域技术人员所认识到的，单独示出的项目可以被组合，并且一些项目可以被分离。
在一些实施方式中，尽管未示出，但是存储器214还包括用以训练和执行上面参考图1所描述的模型的模块。具体地，在一些实施方式中，存储器214还包括随机采样模块、机器学习模型115、编码框架、一个或多个卷积神经网络、统计支持包以及其它图像、信号或相关联数据。
示例焊接过程和焊接质量评估
根据一些实施方式，本文中公开的技术适用于广泛的焊接过程。例如，该技术可以用于检查钨极气体保护电弧焊或GTAW（有时被称为钨极惰性气体焊接或TIG）、等离子弧焊接、激光焊接、电子束焊接、保护金属和气体金属焊接、自动和/或人工焊接、脉冲焊接和埋入式焊接的焊接质量。在一些实施方式中，在多个设施处的操作期间和/或对两种或更多种类型的焊接（例如，GTAW，其中焊炬跨固定零件移动，大多数熔覆和一些线性焊接就是这种情况，以及GTAW，其中焊炬固定而零件旋转，环缝焊接和一些熔覆就是这种情况）应用这些技术。在一些实施方式中，这些技术用于同时检查大量焊接的焊接质量（例如，特定蒸汽发生器具有257个厚焊缝，具有严格的检查准则和高废品率）。
图3A是根据一些实施方式的用于焊接大型结构的示例平台和起重机装置300的图示。
图3B是根据一些实施方式的示例焊接过程302。该示例示出了机器人臂焊机304和焊接过程视图306。传统上，机器人焊接由观察焊接熔化和填料沉积的焊接技术人员监视（例如，经由视频监视器）。技术人员标识异常，并且使用经验和观察来确定焊接质量。常规系统不捕获焊接过程数据，或者不使用捕获的数据来检查质量。在一些情形下，使用基于预生产实物模型的评定过程（其中过程参数被确定）施行预检查质量控制。大多数常规系统需要人工监督，产生高度主观和可变的结果，和/或仅检测到一小部分缺陷。图3C是根据一些实施方式的另一示例焊接过程308。该示例示出了双贯穿壳体喷嘴焊接站310和连接两个站在中间有写字台和存储空间的单个平台312。
常规系统使用实物模型用于建立基于反复试验的过程控制参数。焊接数据表单指定要尝试的初始参数集。基于实验结果迭代地细化参数。一些实施方式使用焊接检查技术，诸如射线照相测试（其对腐蚀、厚度改变、空隙、裂纹和材料密度改变敏感）、超声波测试（检测材料表面上或表面下方缺陷的方法，以及测量管子、管道和其它圆料的壁厚）、磁性粒子测试（用于发现铁磁性材料中的表面/近表面缺陷）、视觉检查（完整性、裂纹、均匀性的视觉检查）。在一些实例中，可能施行染料渗透测试（PT），以即时（on-the-fly）测试表面瑕疵。可能会在完成几层之后施行PT，并且然后继续焊接。
一些实施方式使用机器视觉来检查正在进行的焊接过程的焊接质量。一些实施方式使用深度学习技术，其中不必明确定义输入参数，并且算法自动导出参数。一些实施方式使用机器视觉和/或图像处理技术开发非线性焊接质量相关性（例如，应用于物理线性焊接路径）。一些实施方式使用本文中所描述的技术进行其中使用内置传感器（例如，逐层）捕获图像的增材制造。一些实施方式施行实时监视，在缺陷发生时或缺陷发生之后不久标识缺陷。一些实施方式使用有限的图像参数（例如，焊池形状和/或形状周围的方框边界）。一些实施方式在焊接过程期间（或焊接完成时）基于经训练的计算机视觉和机器/深度学习算法处理图像，产生智能图像重建和质量预测，和/或产生尺寸上准确的视觉和量化的（一个或多个）焊接缺陷表征。
示例形状分析、激光扫描、神经网络
一些实施方式使用具有机械快门和激光器的一个或多个光学相机来捕获焊池表面的图像。一些实施方式对完全定义的焊池形状和/或图像而非焊池的近似大小应用图像处理和机器学习算法。例如，一些常规系统将焊池大小近似为2-D边界框（宽度、高度）的尺寸，和/或通过尾部中包含的角度定义焊池形状。在一些常规系统中，使用从图像提取的有限标量属性来训练机器学习算法。图4A-4C提供了根据一些实施方式的使用本文中所描述的技术处理或分析的焊池形状的示例。
一些实施方式使用激光扫描。点激光器将激光束指向焊接表面，并且图像传感器通过捕获通过一个或多个透镜滤光器的光来捕获表面的图像。对图像进行后处理以对表面建模。一些实施方式使用2-D横截面激光扫描对焊接表面建模。一些实施方式使用激光扫描标识表面形状的变化，以及检测或推断表面下方的缺陷。一些实施方式利用测量的焊接沉积量的偏差来标识表面下的空隙和其它缺陷。一些实施方式使用一个或多个激光仿形来增强或确定表面形状的仿形。一些实施方式使用激光扫描补充或增强本文中所描述的其它技术。
一些实施方式使用神经网络用于处理正在进行的焊接的图像，以确定焊接缺陷。一些实施方式出于原位焊接检查的目的，应用、修改和/或发现（或搜索）适当的机器学习和深度学习。一些实施方式还调谐或调整超参数，以适合焊接类型、设置和传感器配置。
一些实施方式使用卷积神经网络（CNN）滤波器来识别焊接的几何特征和感兴趣的训练模式。一些实施方式训练CNN来识别感兴趣的焊接质量特征。一些实施方式使用图像处理、CNN构造、超参数，如与空隙、未对准、咬边、多孔性、焊道变化和/或裂纹形成有关的。
一些实施方式使用基于图像波长的适当相机、声学设备、近红外相机、光学相机，加上激光照明技术来产生阴影效果。
一些实施方式提供与增材制造中使用的技术（其中逐层制造方法有利于对完工切片进行成像）类似的优点。一些实施方式使用高清红外（HSIR）相机以使用对正在进行的焊接过程的高帧速率捕获来为常规焊接过程提供与增材制造类似的检查和预测效果。
一些实施方式使用一个或多个相机作为传感器，以在焊接期间提取序列图像（静态或视频）（例如，母材和填料熔化、冷却和接缝形成事件的图像）。在一些实施方式中，图像通过计算机视觉和机器/深度学习技术被处理为多维数据阵列，以产生相关分析，即焊态区域的3维视觉显示，以示出用于虚拟检查的质量特征，或提供关于质量特征的位置和范围的预测洞察，用于确定焊接质量。
示例缺陷
图5A和5B是根据一些实施方式的示例焊接缺陷的图示。图5A图示了根据一些实施方式的不同类型的焊接缺陷500，包括咬边502、正常焊接504、坡口506、尖角508、多孔性或夹杂物510和未对准512。图5B图示了根据一些实施方式的未焊透接头或部分焊透接头焊接514。通常，这样的缺陷需要返工或报废，并且包括由于缺乏熔合、缺乏焊透、多孔性、开裂、咬边所致的缺陷，并且由于需要替换零件或检查时间而引起制造延迟。
用于原位检查焊接质量的示例方法
一些实施方式使用一个或多个相机来收集焊接事件电弧、电极和/或焊池的红外、近红外和/或光学图像（例如，离散图像和/或视频），以检测、推断、预测和/或可视化感兴趣的焊接质量特征。
一些实施方式使用计算机视觉（例如，Python OpenCV代码）连同多个传感器图像和/或激光线仿形来检测焊接中的质量缺陷。一些实施方式对图像数据进行清理、对准、配准，增强、统计过滤噪声和对象的阈值以揭示和定位对质量确定有用的模式和特征。一些实施方式使用焊缝或产品的2-D或3-D模型可视化观察到的缺陷。一些实施方式以3维可视化焊池形状和振动改变，和/或显示焊池污染物的位置或表示。一些实施方式可视化（或显示）刚焊接和冷却的焊接区域、形状、纹理、大小、对准和污染物。一些实施方式检测和/或显示电弧形状和强度的改变。一些实施方式检测和/或显示电极飞溅和/或退化，填充焊接形成的3-D仿形信息和模式，和/或焊缝的完整性、空隙和分离区域。
机器学习和统计建模技术的示例
一些实施方式使用机器学习或深度学习（例如，Tensorflow/Keras）来学习和解释焊接图像数据捕获。在一些实施方式中，算法将焊接序列图像转换成数据阵列。一些实施方式整合焊接参数数据。一些实施方式使用卷积神经网络算法（例如，Tensorflow、Keras或类似的开源机器学习平台）来处理焊接图像数据。一些实施方式使用无监督异常检测，其中在良好焊接上训练模型。一些实施方式将超过误差阈值的焊接信号标记为感兴趣的异常。例如，机器学习算法预测焊接误差超过误差阈值概率（例如，10%），并且将对应的焊接信号标记为异常。一些实施方式使用监督缺陷检测，其中在已知缺陷的数据库中的图像（例如，为训练和/或测试模型生成的不同类型的诱发缺陷的图像）上训练模型。
一些实施方式使用感兴趣特征的实际图像来捕获焊池形状的实际边界、速度、飞溅、改变率和其它参数，以训练机器学习算法来预测焊接质量、缺陷和/或提供焊接质量的表征。图6A图示了根据一些实施方式的使用神经网络预测焊接质量的示例过程600。一些实施方式将焊接图像602输入到经训练的神经网络604（被训练以使用焊接图像、诸如来自NOG-B的TIG列表来确定焊接质量）以生成不同焊接缺陷类型（或无缺陷）的概率估计606。
在一些实施方式中，在对焊接进行非原位视觉或仪器检查之前，对焊接数字孪生的2-D或3-D数字数据模型进行注释以用于质量检查。一些实施方式通过标记感兴趣的区域来促进检查。一些实施方式促进检查员对异常或指示的解释。一些实施方式包括用以在焊接期间警告操作员预测或发生的事件的系统，因此可以即时（或在缺陷显现后立即）纠正缺陷，由此减少总维修量。一些实施方式提供统计总结和分析，量化观察到的特征，和/或预测随时间推移显现本身的质量特征的性质和未被传感器直接观察到的特征，而不依赖于焊后检查技术。在一些实施方式中，最终焊接数字孪生注释有质量评估，诸如虚拟检查的焊接缺陷的大小、形状、范围、深度和类型。
对于机器学习，一些实施方式使用排序模型来提取无监督电弧和电极异常。一些实施方式使用来自焊接图像信号模式的自动回归无监督异常。一些实施方式隔离不是随机噪声信号的一部分的信号并指示事件。一些实施方式促进图像和物理焊接的人工检查，以用缺陷信息给数字模型注释。一些实施方式从外形轮廓（contour）生成焊池形状的描述符。一些实施方式利用无监督分类模型（例如，循环神经网络）来标识不同的焊接特征类型。一些实施方式量化空间区域（例如，构建长度1cm）上的焊池分类。一些实施方式基于焊接非原位检查的位置创建统计拟合。一些实施方式训练监督神经网络以对从视频输入注释的缺陷类型分类，自动提取工程特征。
在一些实例中，一些实施方式使用随机波动率建模技术用于对缺陷建模。一些实施方式组合模型并移除任何随机分量以产生异常分量。一些实施方式使用具有自回归模型的平稳空间模型。
一些实施方式使用WaveNet（由Deep Mind开发的），一种意图用于音频序列的生成性循环神经网络，网络中具有门，以对分层效果建模。一些实施方式使用神经网络来训练自回归器，而不是将其应用于特定电极事件的视频图像流。一些实施方式使用WaveNet与如由下面等式（1）定义的误差项相组合：
一些实施方式使用批量随机梯度下降（SGD）算法。
在一些实施方式中，用如由下面等式（2）定义的核密度估计器对误差项进行建模：
一些实施方式将符合随机模式的误差从如下面等式（3）中定义的该误差模型中划分出来，并且剩余的量或留下的是检测到的异常。
图像采集系统和方法的示例
图6B示出了根据一些实施方式的示例相机系统（或图像采集系统）608。在一些实施方式中，相机捕获系统被放置在附近（例如，1'-5'），三脚架上或固定到机器人臂的支架上，或从上方附贴于刚性表面，或以其它方式放置在对焊接部分可见的位置中。相机系统608收集正在进行的焊接的图像和/或视频。在一些实施方式中，焊接图像记录焊接事件的模式和行为，诸如焊池形状、大小、强度模式、外形轮廓、深度、热梯度、随时间推移的改变、均匀性、飞溅、对准以及未明确定义为输入的其它隐藏变量和交互，最终用于确定与最终焊态质量的关系。一些实施方式使用高速光学相机或摄像机610（例如，能够捕获200 FPS（帧/秒）的相机）并（例如，使用SFP和/或过滤线缆620）将图像传送到图像捕获和计算服务器616。一些实施方式使用非常近红外（IR）或高速IR相机（例如，能够捕获每秒1000帧的相机）612，并将图像传送到图像捕获和计算服务器（例如，使用Dual CameraLink Full 622）。一些实施方式使用高速光学相机（例如，能够产生1080分辨率视频的相机）将图像传送到图像捕获和计算服务器。在一些实施方式中，图像捕获和计算服务器616整合来自焊接数据采集和控制系统（焊接DACS）624的焊接参数，并且将所得到的数据存储到数据存储服务器618。
一些实施方式包括高速IR相机（例如，FLIR x6900sc MWIR）、高速光学相机（例如，Blackfly 0.4 MP/522 FPS）、操作光学相机、和/或摄像机（例如，1080p相机）以捕获一系列焊接特征的图像，从而最大化单项测试的预测能力。一些实施方式使用针对适当应用而简化的单个相机。在一些实施方式中，高速相机具有从200 FPS至1000 FPS的帧速率，或者考虑到焊炬的速度和材料的细微差别，具有足以捕获转瞬即逝的特征的帧速率，根据这些特征可以进行焊接质量事件预测。例如，电子束焊接操作需要较快的帧速率来捕获较快的熔化池创建和冷却模式。对于常规焊接，其中冷却速率接近1秒，速率可以相应地降低，但是相机继续以较高的分辨率捕获焊池随时间推移的行为。一些实施方式在基本特征的初始数据捕获之后使用深度“迁移”学习，以在训练基本算法之后减少所需相机的大小和类型。一些实施方式使用现有模式，使得较小的相机（与在训练期间使用的相机相比）收集不太广泛的数据集用于焊接确定。一些实施方式使用高分辨率近红外，以及比FLIR更便宜的热和光学相机（Blackfly 522 FPS，以接近200 FPS操作）。这些相机往往较便宜且更容易安装用于不同的应用。一些实施方式使用基本高速IR数据集来验证。一些实施方式使用与焊接方向同轴对准安装的（一个或多个）相机。一些实施方式使用数据拼接或图像处理，以恢复用于数据模型可视化和/或量化的适当维度和对准。
一些实施方式使用多种计算机视觉处理方法来预测焊接质量特征，这取决于感兴趣特征的复杂性。一些实施方式使用数学上定义的焊池形状表征来创建统计模型/线性拟合，将焊池形状与焊接质量程度相关。一些实施方式使用被训练成基于注释有检查结果的原始图像检测良好/不良焊接区域的深度学习模型。一些实施方式使用不同的模型与焊态结果的3D可视化相结合。一些实施方式使用实际图像来捕获焊池形状的实际边界，以及正在进行的焊接过程的序列图像中所捕获的其它参数、焊接事件和模式。
对于图像感测，一些实施方式使用高速光学相机（例如，200 FPS相机）来捕获和推断电极飞溅、焊池改变、电弧模式，和/或带有激光的1080p摄录像机，用于对焊接深度和焊接演变模式仿形。一些实施方式利用高速红外相机（例如，1000 FPS相机）来观察焊接过程。
一些实施方式使用（一个或多个）热或红外相机监视焊接过程。一些实施方式捕获熔融金属和周围固体表面二者的热标记。一些实施方式预测焊接渗透和多孔性。一些实施方式利用全IR和光学图像，包括固体金属表面和固化焊接痕迹。一些实施方式利用光学相机来检查焊珠和/或空隙建模。一些实施方式使用3-D多道焊体积和形状分析，确认缺陷匹配。一些实施方式将深度学习应用于焊接图像以标识缺陷。一些实施方式使用阈值化和/或边缘检测方法标识焊接的外形轮廓。一些实施方式使用计算机视觉方法计算真实的焊池面积和形状，以创建统计模型。一些实施方式将机器学习技术应用于焊珠的注释图像，以对缺陷进行分类。根据一些实施方式，下面参考图7J描述了热成像的示例。
一些实施方式基于正在进行或原位检测（与焊后检查相反或除焊后检查之外）导致缺陷的焊接特征，为检查提供预警和增强。在一些实施方式中，可以在出现缺陷时停止焊接，通过当场修复缺陷，节省浪费的处理和检查延迟。一些实施方式促进更容易或更便宜的焊接维修。例如，经由打磨去除焊接维修，但是如果在成品之后发现缺陷，则缺陷可能被掩埋若干英寸深，并且将需要大量工作来去除。一些实施方式促进通知NDE要关注的问题区域，从而精确地标识问题。一些实施方式促进诊断并改进特征的可解释性。一些实施方式改进对焊接质量的理解和可视化。一些实施方式包括时间-事件信息，以将任何特征追溯到引起（一个或多个）缺陷的条件，这在与这些条件分离的后处理检查的情况下是不可能的。一些实施方式仅促进对那些被标记为潜在缺陷的缺陷的检查（而不是例如检查产品的每个特征）。一些实施方式施行图像重建以增强不完全或“模糊”NDE，以防止返工。在一些实施方式中，本文中所描述的技术有助于在焊接期间用自动化检查替换焊后检查技术。一些实施方式促进可追溯的焊态能力，用于将来对导致缺陷的条件进行调查、模拟或记录。在一些实施方式中，尽管可以用NDE来初始验证焊接质量，但是在初始检查之后，进一步的检查变得没有必要。在一些实施方式中，用深度神经网络处理从正在进行的焊接过程获得的图像，该深度神经网络检测并量化正在焊接的焊缝的松散训练的特征。一些实施方式自动捕获并关注模糊地类似但未明确定义或以前没有看到过的质量特征。一些实施方式使用将控制变量操纵在可允许限制内的加权参数和概率来促进自动决策制定。一些实施方式改进焊接质量检查的精度、重复性和/或再现性。
在一些实施方式中，相机和数据提取算法提供了与人类观察相比更准确和可靠的焊接表征信息，并且与使用NDE获得的信息可比较，而同时避免了后处理NDE中固有的任何噪声、材料或几何形状。一些实施方式使用原位系统自动量化缺陷率，并与自动焊接过程参数的改变相关。一些实施方式减少人工检查量，并且通过帮助人类操作员标识缺陷区域来增加准确性。
一些实施方式使用高速IR时间序列映射。一些实施方式跟踪温度强度、熔点、温度和冷却仿形、和/或焊束移动。一些实施方式检测来自NIR、高速IR和/或光学相机的特征。一些实施方式对电子束焊接质量特征的无监督特征提取施行深度学习算法，并且将信息与焊接的CT扫描结果相关。一些实施方式预测焊接渗透深度。
一些实施方式在旋转或平稳焊接平台上使用固定焊机。一些实施方式使用安装在位于接近焊接平台的三脚架上的高速光学相机。一些实施方式提供塑料护罩（或类似装置）以防止火花损坏相机镜头。一些实施方式利用惰性气体焊接箱。在一些实施方式中，附接到相机和/或焊接装备的计算机在正常焊接操作期间记录来自IR相机的数据。在一些实施方式中，使用外部检查/测试来标识焊接质量缺陷的位置和高质量区域，以与捕获的数据相关。一些实施方式使用HSIR相机和图像处理技术来对焊接过程进行成像，以预测焊接质量问题。一些实施方式预测焊接渗透深度。
在一些实施方式中，焊接运动相对于相机同步。例如，相机安装在非平稳的三脚架上。一些实施方式使用带有焊接臂的同轴安装。一些实施方式引起（一个或多个）相机放大（例如，以高分辨率）焊接事件或位置。一些实施方式始终专注于焊池和/或冷却，从而提供参考框架。一些实施方式通过不计及运动来降低图像处理的复杂性。
一些实施方式使用热冷却梯度。在这样的实例中，焊接的材料必须是发射性的，使得NIR相机（具有足够高的帧速率）可以捕获焊接过程的图像。例如，一些实施方式使用50MP高速光学和NIR相机，带滤光器。一些实施方式使用FLIR高速IR相机（例如，当冷却快于1秒时）。取决于所需的帧速率，一些实施方式使用较小的热相机。一些手持式相机较轻，并且可以供人类检查员使用。在一些实施方式中，由计算机系统（例如，应用机器学习算法的系统）分析相机捕获的图像，以实时或当焊接正在进行时标识焊接缺陷。一些实施方式监视一个或多个焊接参数，包括横向速度、旋转、气体流量以及可以与正常或良好焊接相关的任何控制变量。
示例数据准备
一些实施方式施行编码图像处理配准、数据清理和/或对准。一些实施方式使用为适当的焦距选择的镜头来捕获这些效果。一些实施方式将图像转换成表示像素强度、颜色（如果需要的话）的多维阵列。
一些实施方式使用卷积神经网络（CNN）或非线性回归技术。一些实施方式使用时间序列自动回归器。一些实施方式针对代表许多不同类型的一系列“良好”和“偏差”焊接来训练模型。一些实施方式不要求明确定义所有特征。
在一些实施方式中，神经网络模型学习预测可接受的焊接，即使呈现以前没有明确看到过的条件（或图像）。一些实施方式识别子模式（例如，低级模式）或基于完整的或整个焊接图像的模式，并且有概率性地分配已经被用户定义为基础的新特征（即在训练期间之前未看到的特征）质量特性。
一些实施方式从输入图像检测特征和模式，跨整个焊接事件汇集数据，然后给成像的模式分配意义，并且施行工程特征的自动提取和具有统计意义的交互，用于优化来自焊接过程的表征、成像和质量预测。
一些实施方式整合来自焊机的过程参数数据，包括保护气体流速率、温度和压力、电压、安培数、焊丝进给速率和温度（如果适用的话）、零件预热/道间温度和/或零件与焊炬的相对速度。
示例计算机视觉应用
在一些实施方式中，一个或多个传感器监视熔池形状（在焊接过程期间）以及事件和特征，诸如具有不同发射率的氧化物或其它污染物的沉积可能被视为亮斑，或者电极堆积、退化或电弧不规则。一些实施方式使用滤波和/或相机组合来突出显示图像特征，诸如电极、电弧或焊池。
在一些实施方式中，在不同的配置中，图像被按顺序展开以揭示焊接质量。图7A示出了根据一些实施方式的在焊接过程期间捕获的图像700的示例。图7A示出了气泡702，气泡702形成在焊池表面上并且周期性地粘附到焊池的侧面并冷却。在一些实施方式中，算法使用图像来学习良好的焊接模式并隔离异常，和/或学习缺陷模式以标识质量差的事件。当焊池固化以进行表征时，一些特征可能仍然可见。
图7B示出了根据一些实施方式的焊接过程的示例图像。标记有“开始”的图像704对应于焊接材料的初始状态。下一个图像706示出了左侧焊接和右侧异常。接下来的图像708示出了其中左侧焊接正在进行的正常状态。下一个图像710示出了左侧弯屈（或弯曲），焊接异常。接下来的图像712和714分别对应于两侧焊接时和中间焊接时。
图7C示出了根据一些实施方式的使用激光仿形来推断焊接质量的示例过程720。一些实施方式使用投射到焊后表面722上的激光来提供焊接表面和空隙的3D仿形724。一些实施方式基于视频捕获施行珠体积分析728。在图7C中，红珠726的体积高于其它三种颜色或带状物的体积，并且是畸形的，这指示珠不足的状况。一些实施方式确定红珠的体积和形状。一些实施方式使用一大块焊缝来检查物理缺陷。在一些实施方式中，这种类型的缺陷与分析数字孪生（例如，红色区域726）的体积和形状有关。
图7D是根据一些实施方式的仿形进展730的示例图示。一些实施方式使用激光仿形来训练机器学习算法，并且在焊接过程期间参数化仿形和对准相关的质量特征。在一些实施方式中，垂直地施行激光仿形进展（即仿形平面垂直于焊接平面）。在一些实施方式中，为了增强学习模式，与焊接平面成一定角度施行激光仿形进展。
图7E示出了根据一些实施方式的电极事件的示例图像732。图7F示出了根据一些实施方式的焊池、电弧事件的示例图像734。根据一些实施方式，该示例示出了由于表面下的多孔性和表面下的空隙所致的缺乏熔合，从而引起金属流出焊池进入通道（图7C中图形上的红色区域）。图7G示出了根据一些实施方式的正在进行的带缺陷的焊接的示例图像736。特别地，所示出的缺陷包括空隙（一种类型的缺陷）738。在一些实施方式中，使用焊接的显微照片来训练机器学习算法。一旦经训练，机器学习算法就会使用捕获正在进行的焊接的焊池形状、冷却仿形等的图像和/或未明确定义（但在图像模式中捕获）的变量来检测导致这样的缺陷的条件。图7G也示出了根据一些实施方式的良好接合点740的示例。用以训练一个或多个机器学习分类器来检测焊接缺陷的良好接合点和空隙的一些实施方式示例。一些实施方式使用适当的尺寸在数字孪生中表示这样的条件和/或缺陷。图7H示出了根据一些实施方式的来自环形焊接的展开（或展平）图像742。一些实施方式标识与空隙相关的缺陷。一些实施方式自动注释带缺陷或异常的图像（例如，标签744-2和744-4）。图7I示出了根据一些实施方式的焊接缺陷746的确认。
图8A示出了根据一些实施方式的电子束焊接的焊接图像800。在一些实施方式中，图像序列捕获时间模式，诸如焊接形状、速度飞溅、热模式。图8A还示出了根据一些实施方式的包括焊接数字孪生的正在进行的图像802的示例，该图像带有热仿形。在一些实施方式中，该图像用于形成带有所得到的质量特征（例如，缺陷）的焊态接缝的数字孪生的数据层。
在一些实施方式中，序列图像被折叠回正在进行的焊接的（预测的）最终状态的3D数字表示。一些实施方式基于观察到的焊接条件和/或事件，示出了具有最终状态质量特征的焊态边界（直接观察到的或者以高于预确定阈值的置信水平（例如，90%置信水平）预测到的）。
一些实施方式捕获焊池的纹理、波纹图案和/或焊池的形状。一些实施方式使用人工智能来复制和/或自动生成视觉指示器，以匹配人类检查员的要求。一些实施方式分析（焊接产品的）冷却状态，并与焊接期间捕获的图像相关，以标识焊接缺陷的原因。一些实施方式使用时间序列神经网络。一些实施方式使用测量参数的标量数据。在一些实施方式中，使用具有树脂和烧结过程的光学相机测试来校准（一个或多个）相机。一些实施方式产生具有感兴趣的质量特征的数字孪生，其匹配增材制造应用中的CT扫描（NDE）和/或DE评估（显微镜）。图8B示出了根据一些实施方式的用以验证数据模型的CT扫描808。图8B还示出了经由显微镜检查询问的DE（破坏性评估）孔隙810，其图示了传统的破坏性评估。
图9是根据一些实施方式的原位检查正在进行的焊接过程的示例过程900。在量化（908）焊接质量之前，对（一个或多个）焊接图像902进行预处理（904）和分类（906），并且自动提取（910）和/或可视化质量特征（例如，焊接缺陷和位置）。图9A示出了根据一些实施方式的按位置（A类、B类和C类）的焊接类型（或缺陷类型）数量的示例可视化。
图10A是图示了根据一些实施方式的训练一个或多个回归模型（或机器学习模型）以预测和/或标识焊接缺陷的系统1000的框图。一些实施方式获得带缺陷的焊接图像1002（例如，来自NOG-B的TIG列表）以及没有焊接缺陷的焊接图像。在一些实施方式中，人工创建带有或不带有缺陷的焊接图像，以便训练神经网络模型。
一些实施方式随后将焊接图像传递给机器学习模型。一些实施方式不是使用直接预测或标识焊接缺陷的分类模型，而是训练回归模型来预测正在进行的焊接过程的焊接缺陷。基于回归模型，一些实施方式标识或预测焊接缺陷，如下面参考图10B所描述的。
在一些实施方式中，方法1000在具有一个或多个处理器和存储被配置用于由一个或多个处理器执行的一个或多个程序的存储器的计算机系统处执行。根据一些实施方式，该方法构建用于预测或标识焊接缺陷的回归模型1012。该方法包括获得多个焊接图像1002。每个焊接图像包括焊接缺陷或良好的焊接（即没有焊接缺陷）。根据一些实施方式，上面参考图7A-7I描述了焊接图像的示例。
该方法包括通过从焊接图像1002提取特征并整合一个或多个焊接参数来生成（1004）焊接特征1006。该方法还包括基于焊接特征形成（1008）特征向量1010。该方法进一步包括使用特征向量1010训练（1012）回归模型1014（例如，上面所描述的机器学习模型），以预测或标识焊接缺陷。
图10B是图示了根据一些实施方式的使用经训练的回归模型（例如，经由上面参考图10A描述的过程训练的回归模块1014）促进原位检查焊接过程的系统1020的框图。
在另一方面中，提供了一种用于检测、标识和/或可视化正在进行的焊接过程的焊接缺陷（有时称为焊接质量的原位检查）的方法。该方法在具有一个或多个处理器和存储被配置用于由一个或多个处理器执行的一个或多个程序的存储器的计算机系统200处施行。该方法包括从一个或多个相机接收焊接图像1022。该方法还包括基于焊接图像1022和/或焊接参数生成（1004）多个焊接特征，如上面参考图10A所描述的。该方法包括形成（1008）特征向量1026（例如，如上面参考图10A所描述的），特征向量1026的分量包括多个特征。
该方法进一步包括基于特征向量1026使用经训练的分类器（例如，分类器1014）预测或检测（1028）焊接缺陷1030。
在一些实施方式中，该方法还包括基于标识的焊接缺陷1030可视化（例如，生成3D模型）（1032）。在一些实施方式中，生成的3-D或视觉模型1034确认（或指示）焊接缺陷（例如，用于进一步检查的模型）。
在一些实施方式中，该方法促进（1036）用户（例如，人类检查员或操作员）维修标识的和/或可视化的焊接缺陷，以获得维修的（一个或多个）焊接零件。
本文中本发明的描述中使用的术语仅出于描述特定实施方式的目的，并不意图限制本发明。如在本发明的描述和所附权利要求中使用的，除非上下文另有明确指示，否则单数形式“一”、“一个”和“该”也意图包括复数形式。还将理解的是，本文中所使用的术语“和/或”指代并涵盖相关联所列项目中的一个或多个的任何和所有可能的组合。将进一步理解的是，术语“包括”和/或“包含”在本说明书中使用时指定所述特征、步骤、操作、元件和/或组件的存在，但不排除存在或者添加一个或多个其它特征、步骤、操作、元件、组件和/或其组合。
出于解释的目的，已经参考具体实施方式描述了前述描述。然而，上面的说明性讨论并非意图是详尽的或将本发明限制于所公开的精确形式。鉴于上面的教导，许多修改和变化是可能的。选择和描述实施方式是为了最好地解释本发明的原理及其实践应用，以由此使得本领域技术人员能够最好地利用本发明和各种实施方式，其中各种修改同样适合于设想的特定用途。

Claims (9)

1.一种用于原位检查焊接质量的方法，所述方法包括：
获得正在进行的焊接过程的多个序列图像；
基于所述多个序列图像和/或一个或多个焊接过程控制参数生成多维数据输入；
通过对多维数据输入应用一个或多个计算机视觉技术来生成缺陷概率和分析信息，其中所述分析信息包括对正在进行的焊接过程的质量特征的预测洞察；以及
基于分析信息和所述多个序列图像，生成一个或多个焊态区域的3-D可视化，其中所述3-D可视化显示用于虚拟检查和/或用于确定焊接质量的质量特征。
2.根据权利要求1所述的方法，其中所述一个或多个计算机视觉技术包括一个或多个经训练的机器学习算法，所述机器学习算法被训练以基于图像序列标识正在进行的焊接过程中的异常或缺陷。
3.根据权利要求2所述的方法，其中所述一个或多个经训练的机器学习算法包括一个或多个经训练的无监督异常检测算法，所述无监督异常检测算法关于通过质量准则的焊接图像进行训练，以基于图像序列标识有缺陷的焊接。
4.根据权利要求3所述的方法，其中所述一个或多个经训练的机器学习算法包括一个或多个经训练的监督异常检测算法，所述监督异常检测算法关于未通过质量准则的分类缺陷焊接的图像进行训练，以基于图像序列标识有缺陷的焊接。
5.根据权利要求2所述的方法，其中所述一个或多个经训练的机器学习算法包括一个或多个经训练的监督异常检测算法，所述监督异常检测算法关于未通过质量准则的分类缺陷焊接的图像进行训练，以基于图像序列标识有缺陷的焊接。
6.根据权利要求2-5中的一项所述的方法，其中所述多维数据输入包括表示像素强度和颜色的多维阵列，并且所述一个或多个经训练的机器学习算法包括卷积神经网络（CNN），所述卷积神经网被训练以标识焊池形状的边界、速度、飞溅、改变率和/或焊接参数，用于基于多维阵列确定正在进行的焊接过程的焊接质量、缺陷和/或一个或多个表征。
7.根据权利要求6所述的方法，其中所述卷积神经网络通过使用阈值化或边缘检测方法标识外形轮廓来标识焊池形状的边界。
8.根据任一前述权利要求所述的方法，其中焊接过程控制参数包括以下中的一个或多个：
保护气体流速率、温度和压力；
电压、安培数、焊丝进给速率和可选地温度；
零件预热/道间温度；和
零件与焊炬的相对速度。
9.根据任一前述权利要求所述的方法，进一步包括：
根据正在进行的焊接过程的质量特征不满足预确定的质量准则的确定：
使正在进行的焊接过程停止；和
基于分析信息生成正在进行的焊接过程的一个或多个事件的警告。
CN202180041241.9A 2020-04-08 2021-04-07 基于焊接数字数据模型的原位检查方法 Pending CN115916452A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US202063007320P 2020-04-08 2020-04-08
US63/007320 2020-04-08
US202063052182P 2020-07-15 2020-07-15
US63/052182 2020-07-15
US17/221885 2021-04-05
US17/221,885 US20210318673A1 (en) 2020-04-08 2021-04-05 In-Situ Inspection Method Based on Digital Data Model of Weld
PCT/US2021/026120 WO2021207318A1 (en) 2020-04-08 2021-04-07 In-situ inspection method based on digital data model of weld

Publications (1)

Publication Number Publication Date
CN115916452A true CN115916452A (zh) 2023-04-04

Family

ID=78005505

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180041241.9A Pending CN115916452A (zh) 2020-04-08 2021-04-07 基于焊接数字数据模型的原位检查方法

Country Status (7)

Country Link
US (1) US20210318673A1 (zh)
EP (1) EP4132742A1 (zh)
JP (1) JP2023521379A (zh)
KR (1) KR20230004570A (zh)
CN (1) CN115916452A (zh)
CA (1) CA3173497A1 (zh)
WO (1) WO2021207318A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117381261A (zh) * 2023-12-13 2024-01-12 德阳市华建机械设备有限公司 一种自动化焊接机的故障识别装置及方法

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021108738A1 (de) * 2020-04-09 2021-10-14 Robert Bosch Gesellschaft mit beschränkter Haftung Schweisspunktanalyse
US11407110B2 (en) * 2020-07-17 2022-08-09 Path Robotics, Inc. Real time feedback and dynamic adjustment for welding robots
WO2022169743A1 (en) * 2021-02-02 2022-08-11 Magna International Inc. Weld quality inspection system
KR20230160276A (ko) 2021-02-24 2023-11-23 패스 로보틱스, 인코포레이티드 오토노머스 웰딩 로봇
EP4323861A1 (en) * 2021-04-12 2024-02-21 Newfrey LLC Computer modeling for detection of discontinuities and remedial actions in joining systems
WO2023023243A1 (en) * 2021-08-19 2023-02-23 Magna International Inc. Quality monitoring of welding process
US20230093372A1 (en) * 2021-09-21 2023-03-23 Edison Welding Institute, Inc. System and method for determining weld cooling rate in-situ
JP2023045132A (ja) * 2021-09-21 2023-04-03 株式会社東芝 処理装置及び溶接システム
CN113947583B (zh) * 2021-10-20 2024-04-05 辽宁师范大学 基于深度学习二维时间序列图像的焊缝无损检测方法
CN113780900B (zh) * 2021-11-09 2022-04-12 深圳市裕展精密科技有限公司 基于边缘计算的焊接检测系统及方法
US11839935B2 (en) * 2021-11-30 2023-12-12 GM Global Technology Operations LLC Method and system for weld defect detection
CN114167189B (zh) * 2021-12-08 2023-11-03 华中科技大学鄂州工业技术研究院 一种焊接缺陷检测方法、电子设备及存储介质
CN114202224B (zh) * 2021-12-16 2023-01-03 蕴硕物联技术(上海)有限公司 用于检测生产环境中焊接质量的方法、设备、介质
CN113936004B (zh) * 2021-12-20 2022-03-18 浙江双元科技股份有限公司 一种锂电池焊接质量检测方法、装置及系统
CN114789307B (zh) * 2021-12-24 2022-11-25 郑州轻工业大学 一种基于数字孪生的板件焊接质量实时监控方法
DE102022200371A1 (de) * 2022-01-14 2023-07-20 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Diagnosesystem zur Fehlerdiagnose bei Schweißnähten
CN114936517B (zh) * 2022-04-28 2023-04-07 上海波士内智能科技有限公司 一种基于深度学习的金属焊接信号特征曲线特征建模方法
US11995812B2 (en) 2022-06-29 2024-05-28 Electrical Components International, Inc. Next generation quality inspection
CN115202307A (zh) * 2022-07-26 2022-10-18 哈尔滨工程大学 一种基于数字孪生的蒸汽发生器状态监测与预测系统及方法
CN115456982A (zh) * 2022-09-05 2022-12-09 武汉理工大学 焊缝熔透性判定方法、装置、电子设备以及存储介质
DE102022209327A1 (de) * 2022-09-08 2024-03-14 Thyssenkrupp Ag Verfahren zur Schweißnahtoptimierung
CN115906528A (zh) * 2022-12-30 2023-04-04 山东理工大学 一种焊接结构模型的自动预处理方法、系统、设备和存储介质
CN116069035B (zh) * 2023-02-10 2023-09-05 济宁鲁科检测器材有限公司 基于激光雷达的探伤机器人焊缝路径识别装置及方法
CN116562653B (zh) * 2023-06-28 2023-11-28 广东电网有限责任公司 一种分布式能源台区线损监测方法及系统
CN116597391B (zh) * 2023-07-18 2023-09-19 武汉纺织大学 一种焊缝表面形貌和熔透状态同步在线监测方法
CN116805186B (zh) * 2023-08-21 2023-11-10 北京柏瑞安电子技术有限公司 一种pcba板智能加工数据管理系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050169346A1 (en) * 2004-01-29 2005-08-04 Trw Automotive U.S. Llc Method for monitoring quality of a transmissive laser weld
US11072034B2 (en) * 2006-12-20 2021-07-27 Lincoln Global, Inc. System and method of exporting or using welding sequencer data for external systems
ES2759778T3 (es) * 2014-03-28 2020-05-12 Marelli Automotive Lighting Italy Spa Método de fabricación de una luz de automoción
US10363632B2 (en) * 2015-06-24 2019-07-30 Illinois Tool Works Inc. Time of flight camera for welding machine vision
CN108027911A (zh) * 2015-07-29 2018-05-11 伊利诺斯工具制品有限公司 促进焊接即服务软件的系统及方法
US11138494B2 (en) * 2017-05-02 2021-10-05 International Business Machines Corporation Storage controller acceleration for neural network training and inference
EP3657398A1 (en) * 2017-05-23 2020-05-27 Shanghai Cambricon Information Technology Co., Ltd Weight quantization method for a neural network and accelerating device therefor
US11065707B2 (en) * 2017-11-29 2021-07-20 Lincoln Global, Inc. Systems and methods supporting predictive and preventative maintenance
CN112365501B (zh) * 2021-01-13 2021-05-28 南京理工大学 一种基于卷积神经网络的焊件轮廓检测算法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117381261A (zh) * 2023-12-13 2024-01-12 德阳市华建机械设备有限公司 一种自动化焊接机的故障识别装置及方法
CN117381261B (zh) * 2023-12-13 2024-03-08 德阳市华建机械设备有限公司 一种自动化焊接机的故障识别装置及方法

Also Published As

Publication number Publication date
CA3173497A1 (en) 2021-12-04
JP2023521379A (ja) 2023-05-24
US20210318673A1 (en) 2021-10-14
KR20230004570A (ko) 2023-01-06
EP4132742A1 (en) 2023-02-15
WO2021207318A1 (en) 2021-10-14

Similar Documents

Publication Publication Date Title
US20210318673A1 (en) In-Situ Inspection Method Based on Digital Data Model of Weld
Westphal et al. A machine learning method for defect detection and visualization in selective laser sintering based on convolutional neural networks
EP3176537B1 (en) System for automated in-process inspection of welds
US11494891B2 (en) Method of inspecting and evaluating coating state of steel structure and system therefor
US9724876B2 (en) Operational performance assessment of additive manufacturing
US20160098825A1 (en) Feature extraction method and system for additive manufacturing
US20220143704A1 (en) Monitoring system and method of identification of anomalies in a 3d printing process
US20150177158A1 (en) Operational performance assessment of additive manufacturing
US10539380B2 (en) Method and system for thermographic analysis
CN111024736B (zh) 一种激光增材制造的缺陷在线监测方法
CN109840900B (zh) 一种应用于智能制造车间的故障在线检测系统及检测方法
JP2015172576A5 (ja) 複合アイテムの検査方法及びシステム
Miao et al. Cost-effective system for detection and quantification of concrete surface cracks by combination of convolutional neural network and image processing techniques
Leo et al. Automatic visual monitoring of welding procedure in stainless steel kegs
EP4234158A1 (en) System and method for analyzing weld quality
CN115775249A (zh) 一种增材制造造件成形质量监测方法、系统及存储介质
Shen et al. Measurement and evaluation of laser-scanned 3D profiles in wire arc hybrid manufacturing processes
WO2022040819A2 (en) Computer-implemented monitoring of a welding operation
Remani et al. Design of a multi-sensor measurement system for in-situ defect identification in metal additive manufacturing
Cai et al. Weld beads and defects automatic identification, localization, and size calculation based on a lightweight fully convolutional neural network
Lu et al. In-situ process evaluation for continuous fiber composite additive manufacturing using multisensing and correlation analysis
Soares et al. Computer vision system for weld bead geometric analysis
CN115705645A (zh) 在表面改性工艺过程中确定缺陷尺寸的方法和装置
Ayoade et al. Heterogeneous Measurement System for Data Mining Robotic GMAW Weld Quality
Patil et al. An image processing approach to measure features and identify the defects in the laser additive manufactured components

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination