CN106990112A - 基于多视觉信息融合的多层多道焊接轨迹检测装置及方法 - Google Patents

Abstract

本发明提出的一种基于多视觉信息融合的多层多道焊接轨迹检测装置及方法，属于焊接自动化领域。本发明使用定向光源阵列在待检测焊道两侧构建定向光照条件，使用结构光光源获取待检测焊道截面的三维信息，利用控制处理单元使多个光源以一定频率依次循环点亮，并使成像元件同步采集每个光源单独点亮时的图像，经图像处理融合定向光照和结构光光照时的多种视觉信息后，准确计算出多层多道焊接轨迹的三维信息。本发明可近同步获得待检测焊道多种视觉特征信息，适用于焊道凸起量较低的多层多道焊接轨迹自动识别场合，识别准确度高，实时性好，系统结构简单，成本低，可应用于多层多道焊接过程智能排道和自动跟踪等场合。

Description

基于多视觉信息融合的多层多道焊接轨迹检测装置及方法

技术领域

本发明属于焊接自动化领域，特别涉及一种基于多视觉信息融合的多层多道焊接轨迹检测装置及方法。

背景技术

能源、化工、海洋工程等领域的中厚板构件往往需经多层多道焊连接成形。在焊接过程中通过视觉方法识别待焊轨迹位置，以实时调整焊枪与工件的相对位姿关系，补偿因尺寸形位偏差、工装定位误差、焊接热变形等诸多因素造成的实际焊道轨迹与执行机构预设运动轨迹间的偏移，对保证焊接产品质量具有重要意义。目前，结构光方法是最为常用的焊道轨迹视觉检测技术，它适用于诸如大坡口焊接等焊道区域与其余区域具有较为明显几何差异的场合。但在多层多道焊接轨迹检测场合，随着坡口区域被逐渐填充，母材和焊道区域的几何差异逐渐减弱；此外，相邻焊道边界与焊道中心的几何差异亦几乎为零。结构光方法在多层多道焊接轨迹检测场合的适用性欠佳。虽已有国内外学者针对焊道区域的纹理、色彩等特征进行相关研究，并应用于某些特定的焊道轨迹检测场合，但在多层多道焊接轨迹识别中的适用性仍有待探究。

综上，目前尚未有适用于多层多道焊接轨迹识别的视觉检测装置和方法。

发明内容

本发明的目的是针对已有技术的不足之处，提出一种基于多视觉信息融合的多层多道焊接轨迹检测装置及方法，该方法旨在解决目前技术在多层多道焊接轨迹视觉检测场合适用性差的问题，以求实现多层多道焊接三维轨迹的准确、实时检测。

本发明的技术方案如下：

基于多视觉信息融合的多层多道焊接轨迹检测装置，其特征在于：包括成像元件，定向光源阵列，结构光光源和控制处理单元；所述定向光源阵列包括第一定向光源组和第二定向光源组；所述第一定向光源组和第二定向光源组对称放置于待检测焊道两侧；所述第一定向光源组、第二定向光源组和结构光光源发出的光线均投射在待检测焊道表面；所述成像元件采集所述第一定向光源组、第二定向光源组和结构光光源单独点亮时的工件表面图像；所述成像元件、定向光源阵列、结构光光源与焊枪的位置相对固定；所述控制处理单元与所述第一定向光源组、第二定向光源组、结构光光源、成像元件通过导线相连或通过无线传输方式通讯；所述控制处理单元控制所述第一定向光源组、第二定向光源组、结构光光源的点亮和熄灭；所述控制处理单元控制所述成像元件采集图像，并对所述成像元件采集的图像进行实时处理；

基于多视觉信息融合的多层多道焊接轨迹检测装置，其特征在于：所述成像元件为电荷耦合器件、互补金属氧化物半导体成像器件、位置敏感器件或电荷注入器件之一种；

基于多视觉信息融合的多层多道焊接轨迹检测装置，其特征在于：包括位于工件表面及成像元件之间的滤光元件，工件表面的反射光经所述滤光元件后射入所述成像元件成像；所述滤光元件的中心波长在所述成像元件的敏感波长范围内；所述滤光元件能透过所述第一定向光源组、第二定向光源组和结构光光源发出的光线；

采用上述装置的基于多视觉信息融合的多层多道焊接轨迹检测方法，其特征在于：该方法包括以下步骤：

1)记光源L₁、光源L₂和光源L₃分别为所述第一定向光源组、第二定向光源组和结构光光源；设ξ、ζ、η为数字1、2、3的任意一个排列，其中ξ、ζ、η为互不相等的正整数；设num为焊接过程中成像元件采集的工件表面图像的总张数，且num是3的倍数；设Time为焊接过程中成像元件采集num张工件表面图像所需的总时间；记t为任意不大于Time的非负实数时间，设T＝Time/num，设n为任意小于num/3的非负整数；

2)在3nT<t<(3n+1)T的任意时间内，所述控制处理单元发出控制信号，使光源L_ξ点亮，光源L_ζ和光源L_η熄灭，并使所述成像元件采集光源L_ξ点亮时的工件表面图像；

3)在(3n+1)T<t<(3n+2)T的任意时间内，所述控制处理单元发出控制信号，使光源L_ζ点亮，光源L_ξ和光源L_η熄灭，并使所述成像元件采集光源L_ζ点亮时的工件表面图像；

4)在(3n+2)T<t<(3n+3)T的任意时间内，所述控制处理单元发出控制信号，使光源L_η点亮，光源L_ξ和光源L_ζ熄灭，并使所述成像元件采集光源L_η点亮时的工件表面图像；

5)若待检测焊道轨迹与工件表面图像列坐标轴夹角小于或等于45°，设第一定向光源组、第二定向光源组和结构光光源在3nT<t<(3n+3)T时间内分别点亮时成像元件采集的工件表面图像为图像I_1,n(x,y)、图像I_2,n(x,y)和图像I_3,n(x,y)；若待检测焊道轨迹与工件表面图像列坐标轴夹角大于45°，设第一定向光源组、第二定向光源组和结构光光源在3nT<t<(3n+3)T时间内分别点亮时成像元件采集的工件表面图像旋转90°后的图像为图像I_1,n(x,y)、图像I_2,n(x,y)和图像I_3,n(x,y)；其中x和y均为任意正整数，分别表示工件表面图像的行坐标和列坐标，且x≤M，y≤N，M和N分别为工件表面图像的总行数和总列数；

6)当n≥2时，所述控制处理单元对图像I_1,n(x,y)、图像I_2,n(x,y)和图像I_3,n(x,y)进行处理，计算获得焊道边界点的三维位置信息，最终获得多层多道焊接轨迹；

基于多视觉信息融合的多层多道焊接轨迹检测方法，其特征在于所述步骤6)包括以下步骤：

a)对图像I_1,n(x,y)、图像I_2,n(x,y)和图像I_3,n(x,y)各像素点的灰度值进行操作，计算获得相邻帧像素级融合图像J_1,n(x,y)、J_2,n(x,y)和J_3,n(x,y)，其中图像J_1,n(x,y)由第一定向光源组单独点亮时获得的图像I_1,n(x,y)、I_1,n-1(x,y)和I_1,n-2(x,y)的灰度值计算获得，图像J_2,n(x,y)由第二定向光源组单独点亮时获得的图像I_2,n(x,y)、I_2,n-1(x,y)和I_2,n-2(x,y)的灰度值计算获得，图像J₃,_n(x,y)由结构光光源单独点亮时获得的图像I_3,n(x,y)、I_3,n-1(x,y)和I_3,n-2(x,y)的灰度值计算获得：

J_1,n(x,y)＝max{min{I_1,n(x,y),I_1,n-1(x,y)},min{I_1,n-1(x,y),I_1,n-2(x,y)}}，

J_2,n(x,y)＝max{min{I_2,n(x,y),I_2,n-1(x,y)},min{I_2,n-1(x,y),I_2,n-2(x,y)}}，

J_3,n(x,y)＝min{I_3,n(x,y),I_3,n-1(x,y),I_3,n-2(x,y)}；

式中，max和min分别表示取集合元素的最大值和最小值；

b)对图像J_1,n(x,y)、J_2,n(x,y)进行处理，根据得到的相邻帧像素级融合图像J_1,n(x,y)、J_2,n(x,y)的灰度值，计算光影差分图像D_n(x,y)和光影差分梯度分布图像G_n(x,y)：

D_n(x,y)＝|J_1,n(x,y)-J_2,n(x,y)|；

式中，D_n,x(x,y)为光影差分图像D_n(x,y)在点(x,y)处对x的一阶偏导数值；D_n,y(x,y)为光影差分图像D_n(x,y)在点(x,y)处对y的一阶偏导数值；

c)寻找光影差分梯度分布图像G_n(x,y)各行梯度值前K大的点Π，其中K为任意大于待检测焊道数量的正整数；令光影差分梯度分布图像G_n(x,y)第y列点Π的数量为p_0,n(y)，对p_0,n(y)进行低通滤波计算获得p_n(y)；

d)分别选取任意一空集作为初始的置信区间集合U、初始的有效极大值位置集合U₁，对p_n(y)的每一个极大值点(y_i,p_n(y_i))按p_n(y_i)的值从大到小依次进行以下操作：若极大值点(y_i,p_n(y_i))的峰峰值大于r·p_n(y_i)，且有效极大值位置集合U₁为空集或y_i与有效极大值位置集合U₁任意元素之差均大于gap₁，则计算极大值点(y_i,p_n(y_i))的半高宽区间[y_L,i,y_R,i]，将半高宽区间[y_L,i,y_R,i]加入置信区间集合U，并将y_i加入有效极大值位置集合U₁；否则不进行任何操作；其中，r为任意小于1的正实数，gap₁为任意不大于N的正整数，i为任意不大于p_n(y)极大值点数量的正整数，y_i、y_L,i和y_R,i均为不大于N的正整数，且y_L,i≤y_i≤y_R,i；

e)对图像J_3,n(x,y)进行处理，选取零至该图像最大灰度值的任意实数对图像J_3,n(x,y)进行阈值分割，获得二值图像B_n(x,y)；记二值图像B(x,y)第y列最长连续线段中点的行坐标为ε_n(y)；计算ε_n(y)的二阶导数，记为q_n(y)；选取任意一空集作为初始结构光图像候选点集合V，对于q_n(y)的每一个正极大值点(y_j,q_n(y_j))，若q_n(y_j)大于q_n(y)的平均值，则将y_j加入结构光图像候选点集合V；否则不进行任何操作；其中j为任意不大于q_n(y)正极大值点数量的正整数，y_j为q_n(y)的第j个正极大值点的列坐标；

f)选取任意一空集作为初始焊道边界候选点集合W；对于置信区间集合U中的每一个区间[u_L,s,u_R,s]，若结构光图像候选点集合V中存在元素v₁,v₂,…,v_m位于区间[u_L,s,u_R,s]中，且q_n(v₁)≥q_n(v₂)≥…≥q_n(v_m)，则将v₁加入焊道边界候选点集合W；否则不进行任何操作；其中u_L,s,u_R,s,m和v₁,v₂,…,v_m均为正整数，s为任意不大于置信区间集合U元素个数的正整数；

g)选取任意一空集作为初始焊道边界点集合R，对所述焊道边界候选点集合W的每一个元素w_k按q_n(w_k)的值从大到小依次进行以下操作：若焊道边界点集合R为空集或w_k与焊道边界点集合R任意元素的第一个分量之差均大于gap₂，则将点(w_k,ε_n(w_k))加入焊道边界点集合R；否则不进行任何操作；其中w_k为正整数，gap₂为任意不大于N正整数，k为任意不大于焊道边界候选点集合W元素个数的正整数；

h)输出焊道边界点集合R的元素为待检测焊道的边界位置像素坐标；

i)建立成像元件毫米坐标系{C}，所述成像元件毫米坐标系{C}的原点位于成像元件的光心位置；根据张正友标定方法，标定成像元件的内部参数和结构光光源的光平面在成像元件毫米坐标系{C}中的方程；结合成像元件的内部参数、结构光光源的光平面在成像元件毫米坐标系{C}中的方程，计算焊道边界点集合R中任意一个点σ在成像元件毫米坐标系{C}中的三维坐标Σ：

式中，μ为结构光光源的光平面在成像元件毫米坐标系{C}中的法向量，λ为成像元件毫米坐标系{C}的原点到结构光光源的光平面的有向距离；F(σ)为图像像素坐标到成像元件毫米坐标系{C}坐标的转换函数，由成像元件的内部参数完全确定；输出Σ为待检测焊道的边界位置三维坐标，最终获得多层多道焊接轨迹。

与已有技术相比，本发明可在多层多道焊接轨迹检测场合实现以下目标：融合焊道边界的定向光影特征和结构光传感信息，准确识别出坡口侧壁与焊道的边界以及相邻焊道的边界，计算焊道边界点的三维位置信息。本发明适用于焊道凸起量低至0.3mm的多层多道焊接轨迹检测场合；系统实时性好，结构简单，成本低，可应用于多层多道焊接过程智能排道和实时自动跟踪等场合。

附图说明

图1为本发明提出的一种基于多视觉信息融合的多层多道焊接轨迹检测装置及方法的实施例装置的轴测图。

图2为图1所示装置的正视图。

图3为图1所示装置的侧视图。

图4为图1所示装置的俯视图。

图5为本发明实施例中控制处理单元发出的四路方波信号的时序关系。

图6为本发明实施例中成像元件在第一定向光源组单独点亮时采集的工件表面图像。

图7为本发明实施例中成像元件在第二定向光源组单独点亮时采集的工件表面图像。

图8为本发明实施例中成像元件在结构光光源单独点亮时采集的工件表面图像。

图9为本发明实施例中成像元件在第一定向光源组单独点亮时消除弧光和飞溅干扰后的图像。

图10为本发明实施例中成像元件在第二定向光源组单独点亮时消除弧光和飞溅干扰后的图像。

图11为本发明实施例中成像元件在结构光光源单独点亮时消除弧光和飞溅干扰后的图像。

图12为本发明实施例中第一定向光源组发出的光线在工件表面的投射状况。

图13为本发明实施例中计算获得的光影差分图像。

图14为本发明实施例中计算获得的光影差分梯度分布图像。

图15为本发明实施例中计算获得的p_n(y)曲线。

图16为本发明实施例中计算获得的ε_n(y)曲线。

图17为本发明实施例中计算获得的q_n(y)曲线。

图18为本发明实施例中计算获得的焊道边界点位置。

在图1至图18中：

1—成像元件；2—定向光源阵列；21—第一定向光源组；22—第二定向光源组；3—结构光光源；4—控制处理单元；5—工件；51—焊道；52—坡口侧壁；6—焊枪；

num—焊接过程中成像元件采集的工件表面图像的总张数；

Time—焊接过程中成像元件采集num张工件表面图像所需的总时间；

t—任意不大于Time的非负实数时间；

S₁,S₂,S₃,S₄—控制处理单元发出的四路方波信号；

α—焊道边界处的焊趾角；

β—第一定向光源组的投射角度；

x—工件表面图像的行坐标；

y—工件表面图像的列坐标；

K—任意大于待检测焊道数量的正整数；

Π—图14各行梯度值前K大的点；

p_0,n(y)—图14第y列点Π的数量；

p_n(y)—对p_0,n(y)进行低通滤波计算获得的结果；

ε_n(y)—图11经阈值分割后获得的二值图像第y列最长连续线段中点的行坐标；

q_n(y)—ε_n(y)的二阶导数；

R—焊道边界点集合。

具体实施方式

下面结合附图对本发明提出的一种基于多视觉信息融合的多层多道焊接轨迹检测装置及方法的原理作进一步说明。

图1为本发明提出的一种基于多视觉信息融合的多层多道焊接轨迹检测装置的实施例的轴测图，图2、图3和图4分别为图1所示装置的正视图、侧视图和俯视图。所述装置包括成像元件1，定向光源阵列2，结构光光源3和控制处理单元4；所述定向光源阵列2包括第一定向光源组21和第二定向光源组22；所述第一定向光源组21和第二定向光源组22对称放置于待检测焊道51两侧；所述第一定向光源组21、第二定向光源组22和结构光光源3发出的光线均投射在待检测焊道51表面；所述成像元件1采集所述第一定向光源组21、第二定向光源组22和结构光光源3单独点亮时工件5表面的图像；所述成像元件1、定向光源阵列2、结构光光源3与焊枪6的位置相对固定；所述控制处理单元4与所述第一定向光源组21、第二定向光源组22、结构光光源3、成像元件1通过导线相连；所述控制处理单元4控制所述第一定向光源组21、第二定向光源组22、结构光光源3的点亮和熄灭；所述控制处理单元4控制所述成像元件1采集图像，并在焊接过程中对所述成像元件1采集的图像进行实时处理。

在本发明的实施例装置中，所述成像元件1采用互补金属氧化物半导体成像器件，采集的图像为灰度图像，灰度级范围为0至255，图像总行数M＝1200，图像总列数N＝1600；第一定向光源组21和第二定向光源组22均采用条形LED定向光源，尺寸86mm×34mm×20mm，功率5.7W；所述结构光光源3采用660nm的线激光，功率50mW；工件5表面可见同层五道焊道51，焊道51最大凸起量小于0.3mm。焊接过程中成像元件采集的工件表面图像的总张数num为999张，成像元件1采集num张工件表面图像所需的总时间Time为33.3s；设T＝Time/num＝33.33ms，设n为任意小于num/3的非负整数。

在本发明的实施例装置中，所述控制处理单元4由可编程逻辑控制器和工业计算机组成，工业计算机发出控制指令给可编程逻辑控制器，使可编程逻辑控制器发出四路方波信号S₁、S₂、S₃和S₄，分别用于触发控制第一定向光源组21、第二定向光源组22、结构光光源3和成像元件1。图5为本发明实施例中控制处理单元4发出的四路方波信号的时序关系，图5的横坐标t为任意不大于Time的非负实数时间。方波信号S₄的周期设置为T。方波信号S₁、S₂和S₃的周期相等，且均等于3T。第一定向光源组21在方波信号S₁的低电平期间点亮，高电平期间熄灭；第二定向光源组22在方波信号S₂的低电平期间点亮，高电平期间熄灭；结构光光源3在方波信号S₃的低电平期间点亮，高电平期间熄灭；成像元件1从方波信号S₄的下降沿开始曝光，至方波信号S₄的上升沿曝光结束，完成单帧图像的采集。

根据图5的时序关系可知，在控制处理单元4发出的方波信号控制下，第一定向光源组21、第二定向光源组22和结构光光源3以3T为周期依次循环点亮，且成像元件1以T为周期采集第一定向光源组21、第二定向光源组22和结构光光源3分别单独点亮时的图像。使用第一定向光源组21和第二定向光源组22的目的是人为地在焊道51边界处构建定向光影特征，以获取包含定向光源特征的工件表面图像；使用结构光光源3的目的是获得工件5表面的结构光光条图像。在3nT<t<(3n+3)T时间内，图6、图7和图8为本发明实施例中成像元件1在第一定向光源组21、第二定向光源组22和结构光光源3分别单独点亮时采集的工件表面图像，分别记为图像I_1,n(x,y)、图像I_2,n(x,y)和图像I_3,n(x,y)，其中x和y均为任意正整数，分别表示工件表面图像的行坐标和列坐标，且x≤M，y≤N。本发明实施例将根据采集获得的工件表面图像准确计算焊道51轨迹位置。

在焊接过程中，弧光和飞溅干扰将严重影响成像质量，在图6、图7和图8中可见非常严重的弧光和飞溅干扰现象。因此在提取焊道51轨迹位置前，必须对图像I_1,n(x,y)、I_2,n(x,y)和I_3,n(x,y)进行预处理，消除弧光和飞溅干扰。焊接弧光和飞溅的共同特点是使图像局部区域灰度偏高甚至饱和，但弧光强度和飞溅的空间分布往往是随机且时变的。因此，对相邻帧图像进行像素级融合，取相邻帧对应像素点灰度最小值的图像构成新图像，即可有效地消除弧光和飞溅干扰。对于结构光光源3点亮时采集的图像I_3,n(x,y)，本实施例采取相邻三帧图像像素级融合的方式获得相邻帧像素级融合图像J_3,n(x,y)：

J_3,n(x,y)＝min{I_3,n(x,y),I_3,n-1(x,y),I_3,n-2(x,y)} (1)

对于第一定向光源组21和第二定向光源组22单独点亮时采集的图像I_1,n(x,y)和I₂,_n(x,y)，若简单采用取相邻帧对应像素点灰度最小值的图像构成新图像的方法，容易使处理后的图像整体灰度偏低。这是因为焊道51表面往往是不平整的，存在微小的凸起和凹槽，在图像中表现在高灰度区域附近存在低灰度区域，低灰度区域附近也存在高灰度区域；在焊接过程中焊枪6和工件5发生的相对运动容易使上一帧图像的高灰度区域与下一帧图像的低灰度区域重叠，或者使上一帧图像的低灰度区域与下一帧图像的高灰度区域重叠，导致取相邻帧图像对应像素点灰度最小值构成新图像的方法处理后的图像整体灰度偏低，不利于后续进一步处理。因此，在本发明实施例中，首先取相邻两帧对应像素点灰度最小值的图像构成新图像，再取此新图像的相邻两帧对应像素点灰度最大值的图像构成最终处理结果，获得最终的相邻帧像素级融合图像J_1,n(x,y)和J_2,n(x,y)：

J_1,n(x,y)＝max{min{I_1,n(x,y),I_1,n-1(x,y)},min{I_1,n-1(x,y),I_1,n-2(x,y)}} (2)

J_2,n(x,y)＝max{min{I_2,n(x,y),I_2,n-1(x,y)},min{I_2,n-1(x,y),I_2,n-2(x,y)}} (3)

图9、图10和图11分别为本发明实施例中成像元件1在第一定向光源组21、第二定向光源组22和结构光光源3分别单独点亮时消除弧光和飞溅干扰后的图像。分别经式(2)、式(3)和式(1)计算后，弧光和飞溅干扰得到有效消除。

由于熔池表面张力的作用，焊道51总有微小的凸起，而相邻焊道51边界处则较为平缓。图12为本发明实施例中第一定向光源组21发出的光线在工件表面的投射状况，其中α为焊道51边界处的焊趾角，β为第一定向光源组21的投射角度。根据几何光学关系，当第一定向光源组21点亮时，图12焊道51左右两侧的辐照度之比约为sin(β+α)/sin(β-α)，焊道51左侧的辐照度略大于右侧；同理，当第二定向光源组22点亮时，图12焊道51右侧的辐照度略大于左侧。而相邻焊道51边界处由于较为平缓，第一定向光源组21和第二定向光源组22单独点亮时辐照度相当。因此，若将第一定向光源组21和第二定向光源组22单独点亮时成像元件1采集的工件表面图像做差分并取绝对值，则会在相邻焊道51边界附近出现“高灰度-低灰度-高灰度”区域。当然，由于焊道51表面是极不规则的，因此当第一定向光源组21点亮时，焊道51左侧的某些区域的辐照度可能低于右侧，但只要焊道51左右两侧辐照度不同，且相邻焊道51边界处较为平缓，则将第一定向光源组21和第二定向光源组22单独点亮时成像元件1采集的工件表面图像做差分并取绝对值后，在相邻焊道51边界附近仍会出现“高灰度-低灰度-高灰度”区域。此外，坡口侧壁52与定向光源阵列2光线的夹角往往远异于焊道51与定向光源阵列2光线的夹角，因此坡口侧壁52与焊道5的边界处往往也会呈现梯度跃变。综合以上分析，若对相邻帧像素级融合图像J_1,n(x,y)和J_2,n(x,y)做差并取绝对值，则会在焊道51边界处出现梯度跃变区域。

记光影差分图像D_n(x,y)为相邻帧像素级融合图像J_1,n(x,y)和J_2,n(x,y)做差并取绝对值后的结果，即：

D_n(x,y)＝|J_1,n(x,y)-J_2,n(x,y)| (4)

图13为本发明实施例中计算获得的光影差分图像D_n(x,y)，焊道51边界处确实存在梯度跃变区域，验证了以上的分析结果。本发明实施例利用Sobel算子计算光影差分图像D_n(x,y)在点(x,y)处对x的一阶偏导数值D_n,x(x,y)和对y的一阶偏导数值D_n,y(x,y)，并利用下式计算光影差分梯度分布图像G_n(x,y)：

图14为本发明实施例中计算获得的光影差分梯度分布图像G_n(x,y)。焊道51边界处的梯度值确实较大，在此时传统的图像处理手段是进行阈值分割。但由图14可知，虽然焊道51边界处的梯度值确实较大，但仍存在许多噪声区域，且噪声区域的梯度值甚至大于焊道51边界，因此使用简单的阈值分割手段无法有效获取焊道51边界位置。

本发明实施例对光影差分梯度分布图像G_n(x,y)采取的处理手段如下：设K为任意大于待检测焊道51数量的正整数，本发明实施例中取K＝50；寻找光影差分梯度分布图像G_n(x,y)各行梯度值前K大的点Π；令p_0,n(y)为图14第y列点Π的数量，对p_0,n(y)进行低通滤波计算获得p_n(y)，其中低通滤波方式采用FIR滤波器，利用窗函数法设计了101点、截止频率为0.01的低通滤波器，采用的窗函数为Hamming窗。图15为本发明实施例中计算获得的p_n(y)曲线。在图15中，除了个别伪峰以外，p_n(y)曲线的极大值点位置基本与待检测焊道51的边界位置对应。

为了剔除图15的伪峰位置，在本发明实施例中，一方面对峰峰值较小的极大值点予以剔除，另一方面使用非极大值抑制操作剔除距离较近的极大值点；对于每一个有效的极大值点位置，取它的半高宽区间作为该极大值点的置信区间，认为焊道边界应位于该置信区间范围内。具体步骤如下：设r为小于1的任意正实数，gap₁为任意不大于N的正整数，在本发明实施例中r＝0.1，gap₁＝50；令置信区间集合U初始为空集，有效极大值位置集合U₁初始为空集；对p_n(y)的每一个极大值点(y_i,p_n(y_i))按p_n(y_i)的值从大到小依次进行以下操作：若极大值点(y_i,p_n(y_i))的峰峰值大于r·p_n(y_i)，且有效极大值位置集合U₁为空集或y_i与有效极大值位置集合U₁任意元素之差均大于gap₁，则计算极大值点(y_i,p_n(y_i))的半高宽区间[y_L,i,y_R,i]，将半高宽区间[y_L,i,y_R,i]加入置信区间集合U，并将y_i加入集合有效极大值位置集合U₁；否则不进行任何操作；其中，i为任意不大于p_n(y)极大值点数量的正整数，y_i、y_L,i和y_R,i均为不大于N的正整数，且y_L,i≤y_i≤y_R,i。最终获得的置信区间集合U将包含焊道51边界可能位于的区间范围。根据以上分析可知，利用定向光源阵列2点亮时成像元件1采集的图像可获得焊道51边界的大体位置。但该位置可能不够准确，且仅能获得边界的像素坐标位置，无法获得三维信息。为此，需将定向光源2点亮时成像元件1采集的图像信息与结构光光源3点亮时成像元件1采集的图像信息进行融合，获得更为准确的焊道51边界检测结果。

对于结构光光源3点亮时成像元件1采集的图像I_3,n(x,y)，经式(1)的像素级融合处理后消除弧光和飞溅干扰，获得图像J_3,n(x,y)，如图11所示。对图像J_3,n(x,y)进行阈值分割，阈值选取为图像J_3,n(x,y)最大灰度的30％，获得二值图像B_n(x,y)。对二值图像B_n(x,y)中的结构光光条进行细化处理，其步骤为逐列扫描二值图像B_n(x,y)，寻找每一列的最长连续线段，并以该线段的中点作为结构光光条中心，构成单像素宽度的结构光光条曲线。记ε_n(y)为二值图像B_n(x,y)第y列最长连续线段中点的行坐标，图16为本发明实施例中计算获得的ε_n(y)曲线。

焊道51的边界点在数学上对应ε_n(y)曲线切线斜率增大最快的点，即ε_n(y)曲线二阶导数的正极大值点位置。在本发明实施例中，对于ε_n(y)曲线上的任意一点，对称选取其邻域内的101个点进行3次多项式拟合，以拟合多项式在该点处的二阶导数值作为ε_n(y)曲线在该点处的二阶导数值，记q_n(y)为计算获得的ε_n(y)的二阶导数。图17为本发明实施例中计算获得的q_n(y)曲线。对q_n(y)曲线进行阈值分割，寻找大于q_n(y)平均值的正极大值点作为焊道51的可能边界候选点，具体步骤如下：令结构光图像候选点集合V初始为空集，对于q_n(y)的每一个正极大值点(y_j,q_n(y_j))，若q_n(y_j)大于q_n(y)的平均值，则将y_j加入结构光图像候选点集合V；否则不进行任何操作；其中j为任意不大于q_n(y)正极大值点数量的正整数，y_j为q_n(y)的第j个正极大值点的列坐标。最终结构光图像候选点集合V记录了根据结构光光源3点亮时成像元件1采集的图像获得的可能边界候选点信息。在本文实施例中，结构光图像候选点集合V共含45个候选点。

总结以上处理结果，根据定向光源阵列2点亮时成像元件1采集的图像计算获得的置信区间集合U包含了焊道51边界点可能所在的区间位置，但与实际位置可能存在一定的偏差；根据结构光光源3点亮时成像元件1采集的图像计算获得的结构光图像候选点集合V则包含了可能的边界候选点信息。将二者进行信息融合后可获得更有准确的检测结果。对于置信区间集合U中的任意一个区间，若结构光图像候选点集合V中存在多个位于该区间内的元素，则取这些元素中q_n(y)值最大的元素作为可能的焊道边界候选点位置，具体步骤如下：令焊道边界候选点集合W初始为空集；对于置信区间集合U中的每一个区间[u_L,s,u_R,s]，若结构光图像候选点集合V中存在元素v₁,v₂,…,v_m位于区间[u_L,s,u_R,s]中，且q_n(v₁)≥q_n(v₂)≥…≥q_n(v_m)，则将v₁加入焊道边界候选点集合W，否则不进行任何操作；其中u_L,s,u_R,s,m和v₁,v₂,…,v_m均为正整数，s为任意不大于置信区间集合U元素个数的正整数。

经上述融合处理后，焊道边界候选点集合W为融合了置信区间集合U和结构光图像候选点集合V信息后的结果，既包含了准确的焊道51边界点位置，也可能包含了无效的焊道51边界点信息。为此，本文进行非极大值抑制操作，根据q_n(y)值的大小剔除相距较近的伪边界点位置，具体步骤如下：设gap₂为任意不大于N的正整数，在本发明实施例中gap₂＝50；令焊道边界点集合R初始为空集，对焊道边界候选点集合W的每一个元素w_k按q_n(w_k)的值从大到小依次进行以下操作：若焊道边界点集合R为空集或w_k与焊道边界点集合R任意元素的第一个分量之差均大于gap₂，则将点(w_k,ε_n(w_k))加入焊道边界点集合R；否则不进行任何操作；其中w_k为正整数，k为任意不大于焊道边界候选点集合W元素个数的正整数。最终输出焊道边界点集合R的元素为待检测焊道51的边界位置像素坐标。图18为本发明实施例中计算获得的焊道51边界点位置，其中以十字标注了焊道边界点集合R的结果。

为进一步获得待检测焊道51的三维位置坐标，建立成像元件毫米坐标系{C}，所述成像元件毫米坐标系{C}的原点位于成像元件1的光心位置；根据张正友标定方法，标定成像元件1的内部参数，获得图像像素坐标到成像元件毫米坐标系{C}坐标的转换函数F(σ)，其中σ为焊道边界点集合R中的任意一个点。根据张正友标定方法建立的成像元件1成像模型可知，焊道边界点集合R中任意一个点σ在成像元件毫米坐标系{C}中的三维坐标Σ必然位于经过成像元件1光心、且以F(σ)为方向向量的直线上，即：

Σ＝ρ·F(σ) (6)

式中，ρ为待定系数。

此外，Σ还应位于结构光光源3的光平面上。根据张正友标定方法可获得结构光光源3的光平面在成像元件毫米坐标系{C}中法向量μ，以及成像元件毫米坐标系{C}的原点到结构光光源3的光平面的有向距离λ。根据Σ位于结构光光源3的光平面上，可获得方程：

μ^TΣ＝λ (7)

结合式(6)和式(7)可计算出Σ：

输出Σ为待检测焊道51的边界位置三维坐标，最终获得多层多道焊接轨迹。

在本发明的实施例中，待检测焊道51轨迹与工件表面图像列坐标轴夹角小于或等于45°。若待检测焊道51轨迹与工件表面图像列坐标轴夹角大于45°，则需将以上图像处理步骤中针对行的操作改为针对列的操作、针对列的操作改为针对行的操作。为方便起见，若待检测焊道51轨迹与工件表面图像列坐标轴夹角大于45°，本发明令图像I_1,n(x,y)、图像I_2,n(x,y)和图像I_3,n(x,y)分别为在3nT<t<(3n+3)T时间内，第一定向光源组21、第二定向光源组22和结构光光源3分别点亮时成像元件1采集的工件表面图像旋转90°后的图像。

综上所述，本发明提出的基于多视觉信息融合的多层多道焊接轨迹检测方法，其特征在于包括以下步骤：

1)记光源L₁、光源L₂和光源L₃分别为所述第一定向光源组21、第二定向光源组22和结构光光源3；设ξ、ζ、η为数字1、2、3的任意一个排列，其中ξ、ζ、η为互不相等的正整数，在本发明实施例中ξ＝1，ζ＝2，η＝3；设num为焊接过程中成像元件1采集的工件表面图像的总张数，且num是3的倍数；设Time为焊接过程中成像元件1采集num张工件表面图像所需的总时间；记t为任意不大于Time的非负实数时间，设T＝Time/num，设n为任意小于num/3的非负整数；

2)在3nT<t<(3n+1)T的任意时间内，所述控制处理单元4发出控制信号，使光源L_ξ点亮，光源L_ζ和光源L_η熄灭，并使所述成像元件1采集光源L_ξ点亮时的工件表面图像；

3)在(3n+1)T<t<(3n+2)T的任意时间内，所述控制处理单元4发出控制信号，使光源L_ζ点亮，光源L_ξ和光源L_η熄灭，并使所述成像元件1采集光源L_ζ点亮时的工件表面图像；

4)在(3n+2)T<t<(3n+3)T的任意时间内，所述控制处理单元4发出控制信号，使光源L_η点亮，光源L_ξ和光源L_ζ熄灭，并使所述成像元件1采集光源L_η点亮时的工件表面图像；

5)若待检测焊道51轨迹与工件表面图像列坐标轴夹角小于或等于45°，设第一定向光源组21、第二定向光源组22和结构光光源3在3nT<t<(3n+3)T时间内分别点亮时成像元件1采集的工件表面图像为图像I_1,n(x,y)、图像I_2,n(x,y)和图像I_3,n(x,y)；若待检测焊道51轨迹与工件表面图像列坐标轴夹角大于45°，设第一定向光源组21、第二定向光源组22和结构光光源3在3nT<t<(3n+3)T时间内分别点亮时成像元件1采集的工件表面图像旋转90°后的图像为图像I_1,n(x,y)、图像I_2,n(x,y)和图像I_3,n(x,y)；其中x和y均为任意正整数，分别表示工件表面图像的行坐标和列坐标，且x≤M，y≤N，M和N分别为工件表面图像的总行数和总列数；

6)当n≥2时，所述控制处理单元4对图像I_1,n(x,y)、图像I_2,n(x,y)和图像I_3,n(x,y)进行处理，计算获得焊道边界点的三维位置信息，最终获得多层多道焊接轨迹，包括以下步骤：

a)对图像I_1,n(x,y)、图像I_2,n(x,y)和图像I_3,n(x,y)各像素点的灰度值进行操作，计算获得相邻帧像素级融合图像J_1,n(x,y)、J_2,n(x,y)和J_3,n(x,y)，其中图像J_1,n(x,y)由第一定向光源组21单独点亮时获得的图像I_1,n(x,y)、I_1,n-1(x,y)和I_1,n-2(x,y)的灰度值计算获得，图像J_2,n(x,y)由第二定向光源组22单独点亮时获得的图像I_2,n(x,y)、I_2,n-1(x,y)和I_2,n-2(x,y)的灰度值计算获得，图像J_3,n(x,y)由结构光光源3单独点亮时获得的图像I_3,n(x,y)、I_3,n-1(x,y)和I_3,n-2(x,y)的灰度值计算获得：

J_1,n(x,y)＝max{min{I_1,n(x,y),I_1,n-1(x,y)},min{I_1,n-1(x,y),I_1,n-2(x,y)}}，

J_2,n(x,y)＝max{min{I_2,n(x,y),I_2,n-1(x,y)},min{I_2,n-1(x,y),I_2,n-2(x,y)}}，

J_3,n(x,y)＝min{I_3,n(x,y),I_3,n-1(x,y),I_3,n-2(x,y)}；

式中，max和min分别表示取集合元素的最大值和最小值；

b)对图像J_1,n(x,y)、J_2,n(x,y)进行处理，根据得到的相邻帧像素级融合图像J_1,n(x,y)、J_2,n(x,y)的灰度值，计算光影差分图像D_n(x,y)和光影差分梯度分布图像G_n(x,y)：

D_n(x,y)＝|J_1,n(x,y)-J_2,n(x,y)|；

式中，D_n,x(x,y)为光影差分图像D_n(x,y)在点(x,y)处对x的一阶偏导数值；D_n,y(x,y)为光影差分图像D_n(x,y)在点(x,y)处对y的一阶偏导数值；

c)寻找光影差分梯度分布图像G_n(x,y)各行梯度值前K大的点Π，其中K为任意大于待检测焊道数量的正整数；令光影差分梯度分布图像G_n(x,y)第y列点Π的数量为p_0,n(y)，对p_0,n(y)进行低通滤波计算获得p_n(y)；

d)分别选取任意一空集作为初始的置信区间集合U、初始的有效极大值位置集合U₁，对p_n(y)的每一个极大值点(y_i,p_n(y_i))按p_n(y_i)的值从大到小依次进行以下操作：若极大值点(y_i,p_n(y_i))的峰峰值大于r·p_n(y_i)，且有效极大值位置集合U₁为空集或y_i与有效极大值位置集合U₁任意元素之差均大于gap₁，则计算极大值点(y_i,p_n(y_i))的半高宽区间[y_L,i,y_R,i]，将半高宽区间[y_L,i,y_R,i]加入置信区间集合U，并将y_i加入有效极大值位置集合U₁；否则不进行任何操作；其中，r为任意小于1的正实数，gap₁为任意不大于N的正整数，i为任意不大于p_n(y)极大值点数量的正整数，y_i、y_L,i和y_R,i均为不大于N的正整数，且y_L,i≤y_i≤y_R,i；

e)对图像J_3,n(x,y)进行处理，选取零至该图像最大灰度值的任意实数对图像J_3,n(x,y)进行阈值分割，获得二值图像B_n(x,y)；记二值图像B(x,y)第y列最长连续线段中点的行坐标为ε_n(y)；计算ε_n(y)的二阶导数，记为q_n(y)；选取任意一空集作为初始结构光图像候选点集合V，对于q_n(y)的每一个正极大值点(y_j,q_n(y_j))，若q_n(y_j)大于q_n(y)的平均值，则将y_j加入结构光图像候选点集合V；否则不进行任何操作；其中j为任意不大于q_n(y)正极大值点数量的正整数，y_j为q_n(y)的第j个正极大值点的列坐标；

f)选取任意一空集作为初始焊道边界候选点集合W；对于置信区间集合U中的每一个区间[u_L,s,u_R,s]，若结构光图像候选点集合V中存在元素v₁,v₂,…,v_m位于区间[u_L,s,u_R,s]中，且q_n(v₁)≥q_n(v₂)≥…≥q_n(v_m)，则将v₁加入焊道边界候选点集合W；否则不进行任何操作；其中u_L,s,u_R,s,m和v₁,v₂,…,v_m均为正整数，s为任意不大于置信区间集合U元素个数的正整数；

g)选取任意一空集作为初始焊道边界点集合R，对所述焊道边界候选点集合W的每一个元素w_k按q_n(w_k)的值从大到小依次进行以下操作：若焊道边界点集合R为空集或w_k与焊道边界点集合R任意元素的第一个分量之差均大于gap₂，则将点(w_k,ε_n(w_k))加入焊道边界点集合R；否则不进行任何操作；其中w_k为正整数，gap₂为任意不大于N正整数，k为任意不大于焊道边界候选点集合W元素个数的正整数；

h)输出焊道边界点集合R的元素为待检测焊道的边界位置像素坐标；

i)建立成像元件毫米坐标系{C}，所述成像元件毫米坐标系{C}的原点位于成像元件的光心位置；根据张正友标定方法，标定成像元件的内部参数和结构光光源的光平面在成像元件毫米坐标系{C}中的方程；结合成像元件的内部参数、结构光光源的光平面在成像元件毫米坐标系{C}中的方程，计算焊道边界点集合R中任意一个点σ在成像元件毫米坐标系{C}中的三维坐标Σ：

式中，μ为结构光光源的光平面在成像元件毫米坐标系{C}中的法向量，λ为成像元件毫米坐标系{C}的原点到结构光光源的光平面的有向距离；F(σ)为图像像素坐标到成像元件毫米坐标系{C}坐标的转换函数，由成像元件的内部参数完全确定；输出Σ为待检测焊道的边界位置三维坐标，最终获得多层多道焊接轨迹。

在CPU主频2.30GHz、内存4G的工业计算机平台上进行试验，单次图像处理耗时控制在30ms以内，最大识别偏差不超过0.6mm，可满足多层多道焊接过程焊道51轨迹准确、实时检测需求。

应当说明的是，以上实施例仅用于说明本发明而并非限制本发明描述的方案；因此，尽管本说明书参照以上的实施例对本发明进行了详细的说明，但是本领域的普通技术人员应该理解，仍然可以对本发明进行修改或等同替换，如本发明的装置可包含滤光元件，用于滤除焊接过程的弧光干扰，工件5表面的反射光经所述滤光元件后摄入成像元件1成像，且滤光元件的中心波长在成像元件1的敏感波长范围内，滤光元件能透过第一定向光源组21、第二定向光源组22和结构光光源3发出的光线；第一定向光源组21、第二定向光源组22和结构光光源3的点亮次序可任意颠倒，即ξ、ζ、η可以为数字1、2、3的任意排列等；第一定向光源组21、第二定向光源组22均可由一个或多个定向光源组成；而一切不脱离本发明的精神和范围的技术方案及其改进，其均应涵盖在本发明的权利要求范围当中。

本发明使用定向光源阵列在待检测焊道两侧构建定向光照条件，使用结构光光源获取待检测焊道截面的三维信息，利用控制处理单元使多个光源以一定频率依次循环点亮，并使成像元件同步采集每个光源单独点亮时的图像，经图像处理融合定向光照和结构光光照时的多种视觉信息后，准确计算出多层多道焊接轨迹的三维信息。本发明可近同步获得待检测焊道多种视觉特征信息，适用于焊道凸起量较低的多层多道焊接轨迹自动识别场合，识别准确度高，实时性好，系统结构简单，成本低，可应用于多层多道焊接过程智能排道和自动跟踪等场合。

Claims (5)

1.一种基于多视觉信息融合的多层多道焊接轨迹检测装置，其特征在于：包括成像元件(1)，定向光源阵列(2)，结构光光源(3)和控制处理单元(4)；所述定向光源阵列(2)包括第一定向光源组(21)和第二定向光源组(22)；所述第一定向光源组(21)和第二定向光源组(22)对称放置于待检测焊道(51)两侧；所述第一定向光源组(21)、第二定向光源组(22)和结构光光源(3)发出的光线均投射在待检测焊道(51)表面；所述成像元件(1)、定向光源阵列(2)、结构光光源(3)与焊枪(6)的位置相对固定；所述成像元件(1)采集所述第一定向光源组(21)、第二定向光源组(22)和结构光光源(3)单独点亮时的工件(5)表面图像；所述控制处理单元(4)与所述第一定向光源组(21)、第二定向光源组(22)、结构光光源(3)、成像元件(1)通过导线相连或通过无线传输方式通讯；所述控制处理单元(4)控制所述第一定向光源组(21)、第二定向光源组(22)、结构光光源(3)的点亮和熄灭；所述控制处理单元(4)控制所述成像元件(1)采集图像，并对所述成像元件(1)采集的图像进行实时处理。

2.如权利要求1所述的基于多视觉信息融合的多层多道焊接轨迹检测装置，其特征在于：所述成像元件为电荷耦合器件、互补金属氧化物半导体成像器件、位置敏感器件或电荷注入器件之一种。

3.如权利要求1所述的基于多视觉信息融合的多层多道焊接轨迹检测装置，其特征在于：包括位于工件表面及成像元件之间的滤光元件，工件表面的反射光经所述滤光元件后射入所述成像元件成像；所述滤光元件的中心波长在所述成像元件的敏感波长范围内；所述滤光元件能透过所述第一定向光源组、第二定向光源组和结构光光源发出的光线。

4.采用如权利要求1所述装置的基于多视觉信息融合的多层多道焊接轨迹检测方法，其特征在于：该方法包括以下步骤：

1)记光源L₁、光源L₂和光源L₃分别为所述第一定向光源组、第二定向光源组和结构光光源；设ξ、ζ、η为数字1、2、3的任意一个排列，其中ξ、ζ、η为互不相等的正整数；设num为焊接过程中成像元件采集的工件表面图像的总张数，且num是3的倍数；设Time为焊接过程中成像元件采集num张工件表面图像所需的总时间；记t为任意不大于Time的非负实数时间，设T＝Time/num，设n为任意小于num/3的非负整数；

2)在3nT<t<(3n+1)T的任意时间内，所述控制处理单元发出控制信号，使光源L_ξ点亮，光源L_ζ和光源L_η熄灭，并使所述成像元件采集光源L_ξ点亮时的工件表面图像；

3)在(3n+1)T<t<(3n+2)T的任意时间内，所述控制处理单元发出控制信号，使光源L_ζ点亮，光源L_ξ和光源L_η熄灭，并使所述成像元件采集光源L_ζ点亮时的工件表面图像；

4)在(3n+2)T<t<(3n+3)T的任意时间内，所述控制处理单元发出控制信号，使光源L_η点亮，光源L_ξ和光源L_ζ熄灭，并使所述成像元件采集光源L_η点亮时的工件表面图像；

5)若待检测焊道轨迹与工件表面图像列坐标轴夹角小于或等于45°，设第一定向光源组、第二定向光源组和结构光光源在3nT<t<(3n+3)T时间内分别点亮时成像元件采集的工件表面图像为图像I_1,n(x,y)、图像I_2,n(x,y)和图像I_3,n(x,y)；若待检测焊道轨迹与工件表面图像列坐标轴夹角大于45°，设第一定向光源组、第二定向光源组和结构光光源在3nT<t<(3n+3)T时间内分别点亮时成像元件采集的工件表面图像旋转90°后的图像为图像I₁,_n(x,y)、图像I_2,n(x,y)和图像I_3,n(x,y)；其中x和y均为任意正整数，分别表示工件表面图像的行坐标和列坐标，且x≤M，y≤N，M和N分别为工件表面图像的总行数和总列数；

6)当n≥2时，所述控制处理单元对图像I_1,n(x,y)、图像I_2,n(x,y)和图像I_3,n(x,y)进行处理，计算获得焊道边界点的三维位置信息，最终获得多层多道焊接轨迹。

5.如权利要求4所述的基于多视觉信息融合的多层多道焊接轨迹检测方法，其特征在于所述步骤6)包括以下步骤：

a)对图像I_1,n(x,y)、图像I_2,n(x,y)和图像I_3,n(x,y)各像素点的灰度值进行操作，计算获得相邻帧像素级融合图像J_1,n(x,y)、J_2,n(x,y)和J_3,n(x,y)，其中图像J_1,n(x,y)由第一定向光源组单独点亮时获得的图像I_1,n(x,y)、I_1,n-1(x,y)和I_1,n-2(x,y)的灰度值计算获得，图像J_2,n(x,y)由第二定向光源组单独点亮时获得的图像I_2,n(x,y)、I_2,n-1(x,y)和I_2,n-2(x,y)的灰度值计算获得，图像J_3,n(x,y)由结构光光源单独点亮时获得的图像I_3,n(x,y)、I_3,n-1(x,y)和I_3,n-2(x,y)的灰度值计算获得：

J_1,n(x,y)＝max{min{I_1,n(x,y),I_1,n-1(x,y)},min{I_1,n-1(x,y),I_1,n-2(x,y)}}，

J_2,n(x,y)＝max{min{I_2,n(x,y),I_2,n-1(x,y)},min{I_2,n-1(x,y),I_2,n-2(x,y)}}，

J_3,n(x,y)＝min{I_3,n(x,y),I_3,n-1(x,y),I_3,n-2(x,y)}；

式中，max和min分别表示取集合元素的最大值和最小值；

b)对图像J_1,n(x,y)、J_2,n(x,y)进行处理，根据得到的相邻帧像素级融合图像J_1,n(x,y)、J_2,n(x,y)的灰度值，计算光影差分图像D_n(x,y)和光影差分梯度分布图像G_n(x,y)：

D_n(x,y)＝|J_1,n(x,y)-J_2,n(x,y)|；

$G_n(x,y)=\sqrt{{\&lsqb;D_{n,x}(x,y)\&rsqb;}^2+{\&lsqb;D_{n,y}(x,y)\&rsqb;}^2};$

式中，D_n,x(x,y)为光影差分图像D_n(x,y)在点(x,y)处对x的一阶偏导数值；D_n,y(x,y)为光影差分图像D_n(x,y)在点(x,y)处对y的一阶偏导数值；

c)寻找光影差分梯度分布图像G_n(x,y)各行梯度值前K大的点Π，其中K为任意大于待检测焊道数量的正整数；令光影差分梯度分布图像G_n(x,y)第y列点Π的数量为p_0,n(y)，对p_0,n(y)进行低通滤波计算获得p_n(y)；

d)分别选取任意一空集作为初始的置信区间集合U、初始的有效极大值位置集合U₁，对p_n(y)的每一个极大值点(y_i,p_n(y_i))按p_n(y_i)的值从大到小依次进行以下操作：若极大值点(y_i,p_n(y_i))的峰峰值大于r·p_n(y_i)，且有效极大值位置集合U₁为空集或y_i与有效极大值位置集合U₁任意元素之差均大于gap₁，则计算极大值点(y_i,p_n(y_i))的半高宽区间[y_L,i,y_R,i]，将半高宽区间[y_L,i,y_R,i]加入置信区间集合U，并将y_i加入有效极大值位置集合U₁；否则不进行任何操作；其中，r为任意小于1的正实数，gap₁为任意不大于N的正整数，i为任意不大于p_n(y)极大值点数量的正整数，y_i、y_L,i和y_R,i均为不大于N的正整数，且y_L,i≤y_i≤y_R,i；

e)对图像J_3,n(x,y)进行处理，选取零至该图像最大灰度值的任意实数对图像J_3,n(x,y)进行阈值分割，获得二值图像B_n(x,y)；记二值图像B(x,y)第y列最长连续线段中点的行坐标为ε_n(y)；计算ε_n(y)的二阶导数，记为q_n(y)；选取任意一空集作为初始结构光图像候选点集合V，对于q_n(y)的每一个正极大值点(y_j,q_n(y_j))，若q_n(y_j)大于q_n(y)的平均值，则将y_j加入结构光图像候选点集合V；否则不进行任何操作；其中j为任意不大于q_n(y)正极大值点数量的正整数，y_j为q_n(y)的第j个正极大值点的列坐标；

f)选取任意一空集作为初始焊道边界候选点集合W；对于置信区间集合U中的每一个区间[u_L,s,u_R,s]，若结构光图像候选点集合V中存在元素v₁,v₂,…,v_m位于区间[u_L,s,u_R,s]中，且q_n(v₁)≥q_n(v₂)≥…≥q_n(v_m)，则将v₁加入焊道边界候选点集合W；否则不进行任何操作；其中u_L,s,u_R,s,m和v₁,v₂,…,v_m均为正整数，s为任意不大于置信区间集合U元素个数的正整数；

g)选取任意一空集作为初始焊道边界点集合R，对所述焊道边界候选点集合W的每一个元素w_k按q_n(w_k)的值从大到小依次进行以下操作：若焊道边界点集合R为空集或w_k与焊道边界点集合R任意元素的第一个分量之差均大于gap₂，则将点(w_k,ε_n(w_k))加入焊道边界点集合R；否则不进行任何操作；其中w_k为正整数，gap₂为任意不大于N正整数，k为任意不大于焊道边界候选点集合W元素个数的正整数；

h)输出焊道边界点集合R的元素为待检测焊道的边界位置像素坐标；

i)建立成像元件毫米坐标系{C}，所述成像元件毫米坐标系{C}的原点位于成像元件的光心位置；根据张正友标定方法，标定成像元件的内部参数和结构光光源的光平面在成像元件毫米坐标系{C}中的方程；结合成像元件的内部参数、结构光光源的光平面在成像元件毫米坐标系{C}中的方程，计算焊道边界点集合R中任意一个点σ在成像元件毫米坐标系{C}中的三维坐标Σ：

$\mathrm{\&Sigma;}=\frac{\mathrm{\&lambda;}}{{\mathrm{\&mu;}}^{T}F\left(\mathrm{\&sigma;}\right)}F\left(\mathrm{\&sigma;}\right);$

式中，μ为结构光光源的光平面在成像元件毫米坐标系{C}中的法向量，λ为成像元件毫米坐标系{C}的原点到结构光光源的光平面的有向距离；F(σ)为图像像素坐标到成像元件毫米坐标系{C}坐标的转换函数，由成像元件的内部参数完全确定；输出Σ为待检测焊道的边界位置三维坐标，最终获得多层多道焊接轨迹。