CN106112318B - 一种基于视觉的在线焊缝跟踪方法及系统 - Google Patents

一种基于视觉的在线焊缝跟踪方法及系统 Download PDF

Info

Publication number
CN106112318B
CN106112318B CN201610550556.7A CN201610550556A CN106112318B CN 106112318 B CN106112318 B CN 106112318B CN 201610550556 A CN201610550556 A CN 201610550556A CN 106112318 B CN106112318 B CN 106112318B
Authority
CN
China
Prior art keywords
moment
noise
gaussian noise
centroid position
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610550556.7A
Other languages
English (en)
Other versions
CN106112318A (zh
Inventor
冯宝
刘国巍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Aerospace Technology
Original Assignee
Guilin University of Aerospace Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Aerospace Technology filed Critical Guilin University of Aerospace Technology
Priority to CN201610550556.7A priority Critical patent/CN106112318B/zh
Publication of CN106112318A publication Critical patent/CN106112318A/zh
Application granted granted Critical
Publication of CN106112318B publication Critical patent/CN106112318B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K37/00—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/12—Automatic feeding or moving of electrodes or work for spot or seam welding or cutting
    • B23K9/127—Means for tracking lines during arc welding or cutting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • Plasma & Fusion (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Feedback Control In General (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于视觉的在线焊缝跟踪方法及系统，其针对焊缝跟踪过程中高斯噪声存在时变性以及传统卡尔曼滤波算法无法处理焊缝跟踪中的稀疏噪声的问题，提出了在线卡尔曼滤波框架，用基于凸优化的在线卡尔曼滤波器来对焊接轨迹的噪声参数进行实时估计，并在焊缝跟踪模型中对量测过程同时加入了高斯噪声和稀疏噪声项，通过建立合理的优化模型，能够在线对高斯噪声和稀疏噪声进行准确估计，进而提高了焊缝跟踪的准确性。

Description

一种基于视觉的在线焊缝跟踪方法及系统
技术领域
本发明涉及智能焊接技术领域，具体涉及一种基于视觉的在线焊缝跟踪方法及系统。
背景技术
在智能焊接过程中，需要利用视觉传感器来构建基于熔池图像处理的焊缝跟踪系统，以便指导焊枪始终对正并准确跟踪焊缝位置。焊缝跟踪的精度是保证焊接质量的重要前提条件。然而，在实际熔池图像采集中，视觉传感器采集到的图像不可避免地受到弧光、烟尘、飞溅等多种类型噪声的影响，极大降低了焊缝跟踪精度。如何在不同类型噪声存在下准确预测焊缝位置是焊缝跟踪的难点之一。
卡尔曼滤波是一种广泛使用的焊缝跟踪方法。它主要利用线性系统状态方程，通过系统输入输出观测数据，对焊缝位置进行最优估计，减弱噪声影响。传统卡尔曼滤波算法对噪声的利用有两个重要假设：过程噪声和量测噪声服从高斯分布，噪声统计特性(均值和方差)固定。然而，传统卡尔曼滤波对噪声的假设在焊缝跟踪中存在以下两方面问题：
首先，由于熔池形态的不稳定性以及焊接过程的环境复杂性，实际噪声是不断变化的，表现在卡尔曼滤波过程中噪声的均值和方差并不是一个常值。因此，如果在滤波过程中采用恒定不变的均值和协方差作为噪声特性估计值是不合理的，必然会造成跟踪效果不理想。
其次，在实际焊缝跟踪过程中，除了高斯噪声外，由于焊件击穿、电流电压异常等原因还会导致熔池形态的闪烁性异常变化，从而产生稀疏噪声，这种噪声出现频率较低但是确实存在，且对跟踪影响较大。如果在焊缝跟踪过程中将稀疏噪声当作高斯噪声处理时，将会严重降低焊缝跟踪精度，进而降低焊接质量，不利于智能焊接装置的市场推广和使用。
基于上述问题，提供一种能够实时处理高斯噪声和稀疏噪声同时存在情况下的焊缝跟踪技术是非常必要的。
发明内容
本发明所要解决的技术问题是现有卡尔曼滤波方法无法处理焊接过程中噪声时变、存在稀疏噪声的问题，提供一种基于视觉的在线焊缝跟踪方法及系统。
为解决上述问题，本发明是通过以下技术方案实现的：
一种基于视觉的在线焊缝跟踪方法，包括如下步骤：
步骤(1)获取焊接过程中的焊缝的熔池图像；
步骤(2)对熔池图像进行预处理，获得焊缝的熔池图像的质心量测值；
步骤(3)建立改进型卡尔曼滤波的状态空间模型；
步骤(4)初始化卡尔曼参数；
步骤(5)采用极大后验估计方法对高斯噪声的均值和方差进行估计；
步骤(6)构建稀疏噪声存在下的滤波优化问题并进行滤波，即先将传统卡尔曼滤波问题重构为一个凸优化问题，再在新构建的凸优化问题中引入对稀疏噪声的稀疏性约束，并完成对熔池图像的质心位置在当前时刻的最优估计值。
步骤(2)中，熔池图像预处理包括对熔池图像进行二值化的过程和对熔池图像的质心进行选取的过程。
步骤(3)中，所建立的改进型卡尔曼滤波的状态空间模型为：
X(k+1)＝FX(k)+V(k)
Z(k)＝HX(k)+W(k)+ns(k)
其中，X(k+1)为k+1时刻质心位置最优估计值，F为状态转移矩阵，X(k)为k时刻质心位置最优估计值，V(k)为k时刻状态高斯噪声估计值,Z(k)为k时刻质心位置量测值，H为量测转移矩阵，W(k)为k时刻量测高斯噪声估计值，ns(k)为k时刻稀疏噪声估计值。
步骤(4)中，初始化的卡尔曼参数包括状态估计X(0/0)、协方差矩阵P(0/0)、状态高斯噪声均值q(0)，量测高斯噪声均值r(0)，状态高斯噪声协方差Q(0)、以及量测高斯噪声协方差R(0)。
步骤(5)中，采用以下公式对高斯噪声的均值和方差进行估计：
q(k+1)＝(1-d)q(k)+d(X(k+1)-FX(k))
r(k+1)＝(1-d)r(k)+d(Z(k)-HX(k+1|k))
R(k+1)＝(1-d)R(k)+d(v(k+1)v(k+1)T-HP(k+1|k)HT))
Q(k+1)＝(1-d)Q(k)+d(K(k+1)v(k+1)v(k+1)TK(k+1)T+P(k+1)-FP(k)FT))
其中，q(k+1)为k+1时刻状态高斯噪声的均值估计值，q(k)为k时刻状态高斯噪声的均值估计值，r(k+1)为k+1时刻量测高斯噪声的均值估计值，r(k)为k时刻量测高斯噪声的均值估计值，Q(k+1)为k+1时刻状态高斯噪声的方差估计值，Q(k)为k时刻状态高斯噪声的方差估计值，R(k+1)为k+1时刻量测高斯噪声的方差估计值，R(k)为k时刻量测高斯噪声的方差估计值，d为遗忘因子，X(k+1)为k+1时刻质心位置最优估计值，X(k)为k时刻质心位置最优估计值，F为状态转移矩阵，Z(k)为k时刻质心位置量测值，H为量测转移矩阵，X(k+1|k)为k+1时刻质心位置预测值，v(k+1)为k+1时刻新息，P(k+1|k)为k+1时刻协方差矩阵预测值，K(k+1)为k+1时刻协方差增益矩阵，P(k+1)为k+1时刻协方差最优估计值，P(k)为k时刻协方差最优估计值。
步骤(6)中，从凸优化角度重构传统卡尔曼滤波问题，即：
minimize WT(k)R(k+1)-1W(k)+(X(k+1)-X(k+1|k))TΨ-1(X(k+1)-X(k+1|k))
subjiect to Z(k)＝HX(k)+W(k)
其中，W(k)为k时刻量测高斯噪声估计值，R(k+1)为k+1时刻量测高斯噪声的方差估计值，X(k+1)为k+1时刻质心位置最优估计值，X(k+1|k)为k+1时刻质心位置预测值，X(k+1|k)为k+1时刻质心位置预测值，Z(k)为k时刻质心位置量测值，H为量测转移矩阵，X(k)为k时刻质心位置最优估计值，Ψ为在X(k)已知的情况下条件概率p(X(k+1)|Z(k))的协方差矩阵。
步骤(6)中，从凸优化角度构建对稀疏噪声的估计问题，即：
minimize WT(k)R(k+1)-1W(k)+(X(k+1)-X(k+1|k))TΨ-1(X(k+1)-X(k+1|k))+λ||ns(k)||1subjiect to Z(k)＝HX(k)+W(k)+ns(k)
其中，W(k)为k时刻量测高斯噪声估计值，R(k+1)为k+1时刻量测高斯噪声的方差估计值，X(k+1)为k+1时刻质心位置最优估计值，X(k+1|k)为k+1时刻质心位置预测值，λ为稀疏度控制参数，ns(k)为稀疏噪声估计值，Z(k)为k时刻质心位置量测值，H为量测转移矩阵，X(k)为k时刻质心位置最优估计值，Ψ为在X(k)已知的情况下条件概率p(X(k+1)|Z(k))的协方差矩阵。
基于上述方法的一种基于视觉的在线焊缝跟踪系统，主要由图像处理系统、工作台、行走机构、焊枪和上位机组成；工作台上设置有待焊工件；焊枪和图像处理系统同时安装在行走机构上，并悬设于工作台的正上方；行走机构由精密十字滑台和步进电机组成，焊枪连接在精密十字滑台上，步进电机与精密十字滑台连接；图像处理系统由高速相机、DSP和FPGA组成，高速相机的输出端与FPGA的输入端连接，FPGA的输出端连接上位机。
与现有技术相比，本发明具有如下特点：
1、本发明针对焊缝跟踪过程中高斯噪声存在时变性的问题，提出了一种在线噪声估计框架，该框架通过凸优化技术来对焊接轨迹中的高斯噪声参数进行实时估计，使得参数更新过程能够适应噪声变化过程，获得了对时变噪声的实时估计能力，进而提高了焊缝跟踪的准确性。
2、本发明针对传统卡尔曼滤波算法无法处理焊缝跟踪中的稀疏噪声问题(焊接击穿、电流电压异常)，提出了基于凸优化的改进型卡尔曼滤波框架。新算法在焊缝跟踪模型中对量测过程同时加入了高斯噪声和稀疏噪声项，通过建立合理的优化模型，能够在线对高斯噪声和稀疏噪声进行准确估计，提高了焊缝跟踪的准确性。
3、本发明提供一种基于CCD和FPGA相结合的图像采集装置，实现了熔池图像的高速获取。采用FPGA进行图像预处理与传输，可以在FPGA内部实现图像预处理和焊缝跟踪算法，能够适应高速情况下的实时焊缝轨迹校正，便于系统的使用和推广。
附图说明
图1为一种基于视觉的在线焊缝跟踪方法的流程图。
图2为一种基于视觉的在线焊缝跟踪方法的迭代过程图。
图3为一种基于视觉的在线焊缝跟踪系统的结构示意图。
具体实施方式
一种基于视觉的在线焊缝跟踪方法，如图1所示，包括如下步骤：
步骤(1)熔池图像采集。
采用高速相机获取焊接过程中的熔池形态图像并传输给FPGA，FPGA将获取的图像传输给PC机(即上位机)。
步骤(2)熔池图像预处理。
熔池图像预处理主要包括图像二值化和焊缝跟踪特征值选取。
设f(i,j)为熔池图像在像素(i,j)处的灰度值，其中i和j分别为像素的行和列。选取二值化阈值γ，二值化后的图像可表示为：
焊缝跟踪的特征值主要选取熔池图像的质心。则图像质心的测量位置可表示为：
其中，(xp,yp)为观测到的熔池质心，L和M分别为g(i,j)中一行和一列中的像素个数，(xi,yj)分别为像素(i,j)中心的x坐标和y坐标。采用公式(2)中的方式来求质心，可以将图像的灰度分布与质心位置紧密关联，从而准确反映出焊缝相对于电弧的位置变化。
步骤(3)改进型卡尔曼滤波状态空间模型的建立。
与传统卡尔曼滤波假设噪声只服从高斯分布不同，改进型卡尔曼模型在状态空间模型中同时加入高斯噪声和稀疏噪声项。
熔池质心的状态方程如下：
其中，k是时间序列，x(k)和y(k)为k时刻质心位置；和为k时刻质心的速度；T为采样周期；V(k)是k时刻零均值、白色高斯状态噪声估计值，其协方差为Q(k)。
熔池质心的量测方程如下：
其中，zx(k)和zy(k)为k时刻质心量测位置；W(k)是零均值、白色高斯k时刻量测噪声估计值，其协方差为R(k)，ns(k)为量测过程中的k时刻稀疏噪声估计值，与高斯类噪声相互独立。
根据式(3)和式(4)建立如下状态空间模型：
其中
过程和量测噪声V(k)和W(k)的统计特性为：
其中，q(k)和r(k)分别为k时刻噪声V(k)和W(k)的均值；Q(k)和R(k)分别为k时刻噪声V(k)和W(k)的协方差。δkj为Kronecker函数。
步骤(4)参数初始化。
从步骤(4)开始进入卡尔曼迭代过程，开始初始化状态估计X(0/0)、协方差矩阵P(0/0)、高斯噪声参数和
步骤(5)对高斯噪声实时估计，以解决高斯噪声的时变问题，
由于实际焊缝跟踪过程中，噪声不是固定不变的，表现为高斯噪声的均值和方差不是一个固定的值，本发明中结合凸优化技术，采用极大后验估计方法来对高斯噪声的均值和方差进行实时估计，这是本发明的一个核心点。
图2为焊缝跟踪的次迭代过程，步骤(5)对高斯噪声的实时估计过程如下：
步骤(5.1)建立时变情况下,V(k+1)和W(k+1)的统计参数预测值Q(k+1)，R(k+1)，q(k+1)，r(k+1)的极大后验概率。
假设高斯噪声V(k+1)和W(k+1)的均值和协方差未知，由贝叶斯公式可知，当已知焊缝质心量测值Z(k)＝{z(0),z(1),.....z(k)}时，噪声V(k+1)和W(k+1)的统计参数Q(k+1)，R(k+1)，q(k+1)，r(k+1)的后验概率密度可以表示为：
由于P(Z(k))已知，因此Q(k+1)，R(k+1)，q(k+1)，r(k+1)的极大后验估计由以下条件概率密度决定：
步骤(5.2)用渐消记忆指数加权方法估计V(k+1)和W(k+1)的统计参数Q(k+1)，R(k+1)，q(k+1)，r(k+1)。
首先极大化条件概率密度函数J，并用渐消记忆指数加权方法估计Q(k+1)，R(k+1)，q(k+1)，r(k+1)的值，估计结果如下：
q(k+1)＝(1-d)q(k)+d(X(k+1)-FX(k)) (9)
r(k+1)＝(1-d)r(k)+d(Z(k)-HX(k+1|k)) (10)
R(k+1)＝(1-d)R(k)+d(v(k+1)v(k+1)T-HP(k+1|k)HT)) (11)
Q(k+1)＝(1-d)Q(k)+d(K(k+1)v(k+1)v(k+1)TK(k+1)T+P(k+1)-FP(k)FT)) (12)
其中，q(k+1)为k+1时刻状态高斯噪声的均值估计值，q(k)为k时刻状态高斯噪声的均值估计值，r(k+1)为k+1时刻量测高斯噪声的均值估计值，r(k)为k时刻量测高斯噪声的均值估计值，Q(k+1)为k+1时刻状态高斯噪声的方差估计值，Q(k)为k时刻状态高斯噪声的方差估计值，R(k+1)为k+1时刻量测高斯噪声的方差估计值，R(k)为k时刻量测高斯噪声的方差估计值，d为遗忘因子(根据经验值设定0＜d＜1)，X(k+1)即X(k+1/k+1)为k+1时刻质心位置最优估计值，X(k)即X(k/k)为k时刻质心位置最优估计值，X(k+1|k)为k+1时刻质心位置预测值，P(k+1)即P(k+1/k+1)为k+1时刻协方差最优估计值，P(k)即P(k/k)为k时刻协方差最优估计值，P(k+1|k)为k+1时刻协方差矩阵预测值，K(k+1)为k+1时刻协方差增益矩阵，用来调整k+1时刻噪声变化对状态估计值得影响，v(k+1)为k+1时刻新息，Z(k)为k时刻质心位置量测值，H为量测转移矩阵，F为状态转移矩阵。
X(k+1|k)，P(k+1|k)，v(k+1)，K(k+1)，X(k+1|k+1)，P(k+1|k+1)为传统卡尔曼滤波迭代过程值，表示如下：
状态预测：
X(k+1|k)＝FX(k|k)+q(k) (13)
协方差预测：
P(k+1|k)＝F(k)P(k|k)F(k)T+Q(k) (14)
新息：
v(k+1)＝Z(k+1)-HX(k+1|k)-r(k) (15)
协方差增益：
K(k+1)＝P(k+1|k)HT(HP(k+1|k)HT+R(k))-1 (16)
状态最优估计：
X(k+1|k+1)＝F(k)X(k|k)+K(k+1)(Z(k+1)-H(k+1)F(k)X(k|k)) (17)
协方差更新：
P(k+1|k+1)＝(I-K(k+1)H(k+1))P(k+1|k) (18)
步骤(6)构建稀疏噪声存在下的滤波优化问题并进行滤波，以解决稀疏噪声问题。
对稀疏噪声的估计主要利用了噪声的稀疏特性。为了方便在优化问题中引入噪声稀疏性约束，首先采用凸优化技术将传统卡尔曼滤波问题重构为一个凸优化问题，然后在新构建的优化中引入对稀疏噪声的稀疏性约束，最终完成对熔池质心位置的最优估计，并返回步骤(5)对下一时刻测量值进行估计，这是本发明的另一个核心点。
步骤(6.1)从凸优化角度重构传统卡尔曼滤波问题。
为了能够方便地对稀疏噪声进行估计，需要从凸优化的角度重构卡尔曼滤波问题。传统卡尔曼滤波的状态空间模型如下：
根据贝叶斯原理，卡尔曼滤波问题可以表述为在量测数据Z(k)已知的前提下，估计下一时刻状态的值X(k)，即：
根据最大似然估计理论，建立p(Z(k)|X(k+1))和p(X(k+1)的似然函数：
其中，Ψ为在X(k|k)已知的情况下条件概率p(X(k+1)|Z(k))的协方差矩阵Ψ＝FP(k|k)FT+Q(其中P(k|k)为协方差更新值，可通过式(18)获得)。当似然函数条件L1(Z(k),X(k+1))和L2(X(k+1))取得极大值时，条件概率p(X(k+1)|Z(k))取得最优估计值。
观察式子(21)和式(22)可以发现最大化似然函数条件L1(Z(k),X(k+1))和L2(X(k+1))相当于最小化似然函数中幂指数的指数部分与 因此可以得到如下优化形式：
subjiect to Z(k)＝HX(k)+W(k)
其中，X(k+1)和W(k)为变量，Ψ是高斯噪声的协方差矩阵。X(k+1)的估计值即是W(k)就是对高斯噪声的估计值。
步骤(6.2)从凸优化角度构建对稀疏噪声的估计问题。
稀疏噪声的估计的核心思想是利用噪声的稀疏特性，经过步骤(6.1)将传统卡尔曼滤波问题转化为凸优化问题后，可以在优化中增加稀疏噪声ns(k)的稀疏性约束来完成对稀疏噪声的估计，新的优化形式为：
subjiect to Z(k)＝HX(k)+W(k)+ns(k)
其中，ns(k)即为稀疏噪声，通过对上述优化问题求解，可以得到对熔池质心位置的最优估计值X(k+1)(注：X(k+1)即为传统卡尔曼滤波中对状态值的最优估计X(k+1/k+1))，式(24)表示的优化问题为一个凸优化问题，可以使用工程中较为成熟的内点法进行求解。
基于上述方法的一种基于视觉的在线焊缝跟踪系统，如图3所示，主要由图像处理系统、工作台、行走机构、二氧化碳气体保护焊焊枪和上位机组成。
工作台上设置有待焊工件。二氧化碳气体保护焊焊枪和图像处理系统同时安装在行走机构上，并悬设于工作台的正上方。行走机构用于实现焊枪在三位空间的移动，并由精密十字滑台和步进电机组成，焊枪连接在精密十字滑台上，步进电机与精密十字滑台连接。图像处理系统用于实现焊缝图像的采集和处理，并由高速相机、DSP和FPGA组成，高速相机的输出端与FPGA的输入端连接，FPGA的输出端连接上位机。首先，通过高速相机和FPGA结合的图像采集前端来采集熔池图像，然后对原始熔池图像进行预处理，获取熔池图像的质心，并将质心信息作为焊缝跟踪特征值送入焊缝跟踪系统，估计出下一时刻最佳焊缝位置，并将估计结果输入上位机，控制焊枪按照估计结果行走并进行焊接动作。

Claims (7)

1.一种基于视觉的在线焊缝跟踪方法，其特征是，包括如下步骤：
步骤(1)获取焊接过程中的焊缝的熔池图像；
步骤(2)对熔池图像进行预处理，获得焊缝的熔池图像的质心量测值；
步骤(3)建立改进型卡尔曼滤波的状态空间模型；
步骤(4)初始化卡尔曼参数；
步骤(5)采用极大后验估计方法对高斯噪声的均值和方差进行估计；
q(k+1)＝(1-d)q(k)+d(X(k+1)-FX(k))
r(k+1)＝(1-d)r(k)+d(Z(k)-HX(k+1|k))
R(k+1)＝(1-d)R(k)+d(v(k+1)v(k+1)T-HP(k+1|k)HT))
Q(k+1)＝(1-d)Q(k)+d(K(k+1)v(k+1)v(k+1)TK(k+1)T+P(k+1)-FP(k)FT))
其中，q(k+1)为k+1时刻状态高斯噪声的均值估计值，q(k)为k时刻状态高斯噪声的均值估计值，r(k+1)为k+1时刻量测高斯噪声的均值估计值，r(k)为k时刻量测高斯噪声的均值估计值，Q(k+1)为k+1时刻状态高斯噪声的方差估计值，Q(k)为k时刻状态高斯噪声的方差估计值，R(k+1)为k+1时刻量测高斯噪声的方差估计值，R(k)为k时刻量测高斯噪声的方差估计值，d为遗忘因子，X(k+1)为k+1时刻质心位置最优估计值，X(k)为k时刻质心位置最优估计值，F为状态转移矩阵，Z(k)为k时刻质心位置量测值，H为量测转移矩阵，X(k+1|k)为k+1时刻质心位置预测值，v(k+1)为k+1时刻新息，P(k+1|k)为k+1时刻协方差矩阵预测值，K(k+1)为k+1时刻协方差增益矩阵，P(k+1)为k+1时刻协方差最优估计值，P(k)为k时刻协方差最优估计值；
步骤(6)构建稀疏噪声存在下的滤波优化问题并进行滤波，即先将传统卡尔曼滤波问题重构为一个凸优化问题，再在新构建的凸优化问题中引入对稀疏噪声的稀疏性约束，并完成对熔池图像的质心位置在当前时刻的最优估计值。
2.根据权利要求1所述的一种基于视觉的在线焊缝跟踪方法，其特征是，步骤(2)中，熔池图像预处理包括对熔池图像进行二值化的过程和对熔池图像的质心进行选取的过程。
3.根据权利要求1所述的一种基于视觉的在线焊缝跟踪方法，其特征是，步骤(3)中，所建立的改进型卡尔曼滤波的状态空间模型为：
X(k+1)＝FX(k)+V(k)
Z(k)＝HX(k)+W(k)+ns(k)
其中，X(k+1)为k+1时刻质心位置最优估计值，F为状态转移矩阵，X(k)为k时刻质心位置最优估计值，V(k)为k时刻状态高斯噪声估计值,Z(k)为k时刻质心位置量测值，H为量测转移矩阵，W(k)为k时刻量测高斯噪声估计值，ns(k)为k时刻稀疏噪声估计值。
4.根据权利要求1所述的一种基于视觉的在线焊缝跟踪方法，其特征是，步骤(4)中，初始化的卡尔曼参数包括状态估计X(0/0)、协方差矩阵P(0/0)、状态高斯噪声均值q(0)，量测高斯噪声均值r(0)，状态高斯噪声协方差Q(0)、以及量测高斯噪声协方差R(0)。
5.根据权利要求1所述的一种基于视觉的在线焊缝跟踪方法，其特征是，步骤(6)中，从凸优化角度重构传统卡尔曼滤波问题，即：minimize WT(k)R(k+1)-1W(k)+(X(k+1)-X(k+1|k))TΨ-1(X(k+1)-X(k+1|k))subjiect to Z(k)＝HX(k)+W(k)
其中，W(k)为k时刻量测高斯噪声估计值，R(k+1)为k+1时刻量测高斯噪声的方差估计值，X(k+1)为k+1时刻质心位置最优估计值，X(k+1|k)为k+1时刻质心位置预测值，Z(k)为k时刻质心位置量测值，H为量测转移矩阵，X(k)为k时刻质心位置最优估计值，Ψ为在X(k)已知的情况下条件概率p(X(k+1)|Z(k))的协方差矩阵。
6.根据权利要求1所述的一种基于视觉的在线焊缝跟踪方法，其特征是，步骤(6)中，从凸优化角度构建对稀疏噪声的估计问题，即：minimize WT(k)R(k+1)-1W(k)+(X(k+1)-X(k+1|k))TΨ-1(X(k+1)-X(k+1|k))+λ||ns(k)||1subjiect to Z(k)＝HX(k)+W(k)+ns(k)
其中，W(k)为k时刻量测高斯噪声估计值，R(k+1)为k+1时刻量测高斯噪声的方差估计值，X(k+1)为k+1时刻质心位置最优估计值，X(k+1|k)为k+1时刻质心位置预测值，λ为稀疏度控制参数，ns(k)为k时刻稀疏噪声估计值，Z(k)为k时刻质心位置量测值，H为量测转移矩阵，X(k)为k时刻质心位置最优估计值，Ψ为在X(k)已知的情况下条件概率p(X(k+1)|Z(k))的协方差矩阵。
7.基于权利要求1方法的一种基于视觉的在线焊缝跟踪系统，其特征是，主要由图像处理系统、工作台、行走机构、焊枪和上位机组成；工作台上设置有待焊工件；焊枪和图像处理系统同时安装在行走机构上，并悬设于工作台的正上方；行走机构由精密十字滑台和步进电机组成，焊枪连接在精密十字滑台上，步进电机与精密十字滑台连接；图像处理系统由高速相机、DSP和FPGA组成，高速相机的输出端与FPGA的输入端连接，FPGA的输出端连接上位机。
CN201610550556.7A 2016-07-13 2016-07-13 一种基于视觉的在线焊缝跟踪方法及系统 Expired - Fee Related CN106112318B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610550556.7A CN106112318B (zh) 2016-07-13 2016-07-13 一种基于视觉的在线焊缝跟踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610550556.7A CN106112318B (zh) 2016-07-13 2016-07-13 一种基于视觉的在线焊缝跟踪方法及系统

Publications (2)

Publication Number Publication Date
CN106112318A CN106112318A (zh) 2016-11-16
CN106112318B true CN106112318B (zh) 2017-10-20

Family

ID=57283710

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610550556.7A Expired - Fee Related CN106112318B (zh) 2016-07-13 2016-07-13 一种基于视觉的在线焊缝跟踪方法及系统

Country Status (1)

Country Link
CN (1) CN106112318B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106772243B (zh) * 2017-01-21 2019-05-03 中国东方电气集团有限公司 一种爬行焊接机器人和焊缝间夹角估计方法
CN107392861B (zh) * 2017-06-29 2020-05-29 南京航空航天大学 一种基于高斯比例混合模型的稀疏表示sar图像降斑方法
CN107442901B (zh) * 2017-08-24 2019-11-05 湘潭大学 一种电弧传感式焊缝跟踪系统的自适应控制方法
CN108152291B (zh) * 2017-11-30 2020-02-28 清华大学 基于熔池动态特征的端缝焊接未熔合缺欠实时检测方法
CN108320280B (zh) * 2018-01-16 2022-03-15 南京理工大学 基于视觉清晰度与轮廓提取的熔池图像异常检测方法
CN108335288A (zh) * 2018-01-18 2018-07-27 南京理工大学 基于视觉清晰度与轮廓提取的熔池图像异常检测方法
CN108672907B (zh) * 2018-05-31 2020-11-20 华南理工大学 基于结构光视觉传感的弧焊机器人焊缝在线纠偏方法
CN108971822A (zh) * 2018-10-10 2018-12-11 桂林航天工业学院 一种基于主动红外的焊接效果监测装置及方法
CN109447986B (zh) * 2018-11-19 2020-08-04 杭州睿琪软件有限公司 一种焊接图像采集方法、装置、电子设备和存储介质
CN115187792B (zh) * 2022-09-09 2022-12-20 武汉中仪物联技术股份有限公司 管道裂缝提取方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101526480A (zh) * 2009-04-27 2009-09-09 清华大学 基于视觉的薄板对接焊缝实时检测方法
CN103341685A (zh) * 2013-07-17 2013-10-09 湘潭大学 一种基于磁控电弧与激光视觉传感的焊缝自动跟踪控制方法及系统
CN103955927A (zh) * 2014-04-26 2014-07-30 江南大学 一种基于激光视觉的角焊缝自动跟踪方法
CN104942404A (zh) * 2015-07-15 2015-09-30 广东工业大学 双波长双目视觉焊缝跟踪方法及跟踪系统
CN204818380U (zh) * 2015-07-15 2015-12-02 广东工业大学 近红外与结构光双波长双目视觉焊缝跟踪系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100357372B1 (ko) * 2000-04-11 2002-10-18 삼성중공업 주식회사 회전아크 자동용접장치의 용접선 추적방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101526480A (zh) * 2009-04-27 2009-09-09 清华大学 基于视觉的薄板对接焊缝实时检测方法
CN103341685A (zh) * 2013-07-17 2013-10-09 湘潭大学 一种基于磁控电弧与激光视觉传感的焊缝自动跟踪控制方法及系统
CN103955927A (zh) * 2014-04-26 2014-07-30 江南大学 一种基于激光视觉的角焊缝自动跟踪方法
CN104942404A (zh) * 2015-07-15 2015-09-30 广东工业大学 双波长双目视觉焊缝跟踪方法及跟踪系统
CN204818380U (zh) * 2015-07-15 2015-12-02 广东工业大学 近红外与结构光双波长双目视觉焊缝跟踪系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
卡尔曼滤波焊缝跟踪控制;高向东等;《控制理论与应用》;20071231;第977~980页 *
基于凸优化技术的改进型卡尔曼滤波算法;冯宝;《自动化与信息工程》;20141031;第19~21页 *

Also Published As

Publication number Publication date
CN106112318A (zh) 2016-11-16

Similar Documents

Publication Publication Date Title
CN106112318B (zh) 一种基于视觉的在线焊缝跟踪方法及系统
CN210046133U (zh) 基于激光结构光的焊缝视觉跟踪系统
CN108637435B (zh) 一种基于视觉与弧压传感的三维焊缝跟踪系统及方法
CN104588838B (zh) 一种焊枪自动跟踪控制并在线修正系统及其控制方法
CN206263418U (zh) 一种六自由度焊接机器人线激光实时焊缝跟踪系统
CN113427168A (zh) 一种焊接机器人实时焊缝跟踪装置及方法
CN105783726A (zh) 一种基于线结构光视觉检测的曲线焊缝三维重建方法
CN109272524B (zh) 一种基于阈值分割的小尺度点云噪声去噪方法
CN107414253A (zh) 基于十字型激光器的焊缝跟踪控制装置及控制方法
CN110153567A (zh) 一种基于图像识别的激光切割系统
CN113042863B (zh) 一种基于激光视觉传感器的焊缝实时跟踪方法
CN114474041A (zh) 一种基于协作机器人的焊接自动化智能引导方法及系统
CN108098134A (zh) 一种新型激光视觉焊缝跟踪系统及方法
CN101574586A (zh) 毽球机器人及控制方法
CN107730501A (zh) 一种鱼体尾频检测方法和系统
CN109447939A (zh) 基于混合光谱视觉的熔池成形前焊缝宽度预测方法
CN104816072A (zh) 复杂曲面薄壁板材细微拼缝激光测量焊接跟踪方法及系统
CN115592324A (zh) 基于人工智能的自动焊接机器人控制系统
Liu et al. Seam tracking system based on laser vision and CGAN for robotic multi-layer and multi-pass MAG welding
CN105689859A (zh) 一种不同种类金属之间的连接方法和设备
CN117161644A (zh) 一种基于3d点云的焊缝跟踪方法及系统
CN110414388B (zh) 基于深度预测网络的驼峰和熔透在线预警方法
CN115568332A (zh) 一种面向大田环境的自动跟随运输平台及其控制方法
CN113593035A (zh) 一种运动控制决策生成方法、装置、电子设备及存储介质
CN109671059A (zh) 一种基于OpenCV的电池盒图像处理方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171020

Termination date: 20180713