CN106990112B - 基于多视觉信息融合的多层多道焊接轨迹检测装置及方法 - Google Patents
基于多视觉信息融合的多层多道焊接轨迹检测装置及方法 Download PDFInfo
- Publication number
- CN106990112B CN106990112B CN201710155011.0A CN201710155011A CN106990112B CN 106990112 B CN106990112 B CN 106990112B CN 201710155011 A CN201710155011 A CN 201710155011A CN 106990112 B CN106990112 B CN 106990112B
- Authority
- CN
- China
- Prior art keywords
- image
- light source
- forming component
- light sources
- welding bead
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K9/00—Arc welding or cutting
- B23K9/02—Seam welding; Backing means; Inserts
- B23K9/028—Seam welding; Backing means; Inserts for curved planar seams
- B23K9/0282—Seam welding; Backing means; Inserts for curved planar seams for welding tube sections
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K9/00—Arc welding or cutting
- B23K9/095—Monitoring or automatic control of welding parameters
- B23K9/0956—Monitoring or automatic control of welding parameters using sensing means, e.g. optical
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K2101/00—Articles made by soldering, welding or cutting
- B23K2101/04—Tubular or hollow articles
- B23K2101/06—Tubes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
- G01N2021/0106—General arrangement of respective parts
- G01N2021/0112—Apparatus in one mechanical, optical or electronic block
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/06—Illumination; Optics
- G01N2201/061—Sources
- G01N2201/06113—Coherent sources; lasers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30152—Solder
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Plasma & Fusion (AREA)
- Chemical & Material Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
本发明提出的一种基于多视觉信息融合的多层多道焊接轨迹检测装置及方法,属于焊接自动化领域。本发明使用定向光源阵列在待检测焊道两侧构建定向光照条件,使用结构光光源获取待检测焊道截面的三维信息,利用控制处理单元使多个光源以一定频率依次循环点亮,并使成像元件同步采集每个光源单独点亮时的图像,经图像处理融合定向光照和结构光光照时的多种视觉信息后,准确计算出多层多道焊接轨迹的三维信息。本发明可近同步获得待检测焊道多种视觉特征信息,适用于焊道凸起量较低的多层多道焊接轨迹自动识别场合,识别准确度高,实时性好,系统结构简单,成本低,可应用于多层多道焊接过程智能排道和自动跟踪等场合。
Description
技术领域
本发明属于焊接自动化领域,特别涉及一种基于多视觉信息融合的多层多道焊接轨迹检测装置及方法。
背景技术
能源、化工、海洋工程等领域的中厚板构件往往需经多层多道焊连接成形。在焊接过程中通过视觉方法识别待焊轨迹位置,以实时调整焊枪与工件的相对位姿关系,补偿因尺寸形位偏差、工装定位误差、焊接热变形等诸多因素造成的实际焊道轨迹与执行机构预设运动轨迹间的偏移,对保证焊接产品质量具有重要意义。目前,结构光方法是最为常用的焊道轨迹视觉检测技术,它适用于诸如大坡口焊接等焊道区域与其余区域具有较为明显几何差异的场合。但在多层多道焊接轨迹检测场合,随着坡口区域被逐渐填充,母材和焊道区域的几何差异逐渐减弱;此外,相邻焊道边界与焊道中心的几何差异亦几乎为零。结构光方法在多层多道焊接轨迹检测场合的适用性欠佳。虽已有国内外学者针对焊道区域的纹理、色彩等特征进行相关研究,并应用于某些特定的焊道轨迹检测场合,但在多层多道焊接轨迹识别中的适用性仍有待探究。
综上,目前尚未有适用于多层多道焊接轨迹识别的视觉检测装置和方法。
发明内容
本发明的目的是针对已有技术的不足之处,提出一种基于多视觉信息融合的多层多道焊接轨迹检测装置及方法,该方法旨在解决目前技术在多层多道焊接轨迹视觉检测场合适用性差的问题,以求实现多层多道焊接三维轨迹的准确、实时检测。
本发明的技术方案如下:
基于多视觉信息融合的多层多道焊接轨迹检测装置,其特征在于:包括成像元件,定向光源阵列,结构光光源和控制处理单元;所述定向光源阵列包括第一定向光源组和第二定向光源组;所述第一定向光源组和第二定向光源组对称放置于待检测焊道两侧;所述第一定向光源组、第二定向光源组和结构光光源发出的光线均投射在待检测焊道表面;所述成像元件采集所述第一定向光源组、第二定向光源组和结构光光源单独点亮时的工件表面图像;所述成像元件、定向光源阵列、结构光光源与焊枪的位置相对固定;所述控制处理单元与所述第一定向光源组、第二定向光源组、结构光光源、成像元件通过导线相连或通过无线传输方式通讯;所述控制处理单元控制所述第一定向光源组、第二定向光源组、结构光光源的点亮和熄灭;所述控制处理单元控制所述成像元件采集图像,并对所述成像元件采集的图像进行实时处理;
基于多视觉信息融合的多层多道焊接轨迹检测装置,其特征在于:所述成像元件为电荷耦合器件、互补金属氧化物半导体成像器件、位置敏感器件或电荷注入器件之一种;
基于多视觉信息融合的多层多道焊接轨迹检测装置,其特征在于:包括位于工件表面及成像元件之间的滤光元件,工件表面的反射光经所述滤光元件后射入所述成像元件成像;所述滤光元件的中心波长在所述成像元件的敏感波长范围内;所述滤光元件能透过所述第一定向光源组、第二定向光源组和结构光光源发出的光线;
采用上述装置的基于多视觉信息融合的多层多道焊接轨迹检测方法,其特征在于:该方法包括以下步骤:
1)记光源L1、光源L2和光源L3分别为所述第一定向光源组、第二定向光源组和结构光光源;设ξ、ζ、η为数字1、2、3的任意一个排列,其中ξ、ζ、η为互不相等的正整数;设num为焊接过程中成像元件采集的工件表面图像的总张数,且num是3的倍数;设Time为焊接过程中成像元件采集num张工件表面图像所需的总时间;记t为任意不大于Time的非负实数时间,设T=Time/num,设n为任意小于num/3的非负整数;
2)在3nT<t<(3n+1)T的任意时间内,所述控制处理单元发出控制信号,使光源Lξ点亮,光源Lζ和光源Lη熄灭,并使所述成像元件采集光源Lξ点亮时的工件表面图像;
3)在(3n+1)T<t<(3n+2)T的任意时间内,所述控制处理单元发出控制信号,使光源Lζ点亮,光源Lξ和光源Lη熄灭,并使所述成像元件采集光源Lζ点亮时的工件表面图像;
4)在(3n+2)T<t<(3n+3)T的任意时间内,所述控制处理单元发出控制信号,使光源Lη点亮,光源Lξ和光源Lζ熄灭,并使所述成像元件采集光源Lη点亮时的工件表面图像;
5)若待检测焊道轨迹与工件表面图像列坐标轴夹角小于或等于45°,设第一定向光源组、第二定向光源组和结构光光源在3nT<t<(3n+3)T时间内分别点亮时成像元件采集的工件表面图像为图像I1,n(x,y)、图像I2,n(x,y)和图像I3,n(x,y);若待检测焊道轨迹与工件表面图像列坐标轴夹角大于45°,设第一定向光源组、第二定向光源组和结构光光源在3nT<t<(3n+3)T时间内分别点亮时成像元件采集的工件表面图像旋转90°后的图像为图像I1,n(x,y)、图像I2,n(x,y)和图像I3,n(x,y);其中x和y均为任意正整数,分别表示工件表面图像的行坐标和列坐标,且x≤M,y≤N,M和N分别为工件表面图像的总行数和总列数;
6)当n≥2时,所述控制处理单元对图像I1,n(x,y)、图像I2,n(x,y)和图像I3,n(x,y)进行处理,计算获得焊道边界点的三维位置信息,最终获得多层多道焊接轨迹;
基于多视觉信息融合的多层多道焊接轨迹检测方法,其特征在于所述步骤6)包括以下步骤:
a)对图像I1,n(x,y)、图像I2,n(x,y)和图像I3,n(x,y)各像素点的灰度值进行操作,计算获得相邻帧像素级融合图像J1,n(x,y)、J2,n(x,y)和J3,n(x,y),其中图像J1,n(x,y)由第一定向光源组单独点亮时获得的图像I1,n(x,y)、I1,n-1(x,y)和I1,n-2(x,y)的灰度值计算获得,图像J2,n(x,y)由第二定向光源组单独点亮时获得的图像I2,n(x,y)、I2,n-1(x,y)和I2,n-2(x,y)的灰度值计算获得,图像J3,n(x,y)由结构光光源单独点亮时获得的图像I3,n(x,y)、I3,n-1(x,y)和I3,n-2(x,y)的灰度值计算获得:
J1,n(x,y)=max{min{I1,n(x,y),I1,n-1(x,y)},min{I1,n-1(x,y),I1,n-2(x,y)}},
J2,n(x,y)=max{min{I2,n(x,y),I2,n-1(x,y)},min{I2,n-1(x,y),I2,n-2(x,y)}},
J3,n(x,y)=min{I3,n(x,y),I3,n-1(x,y),I3,n-2(x,y)};
式中,max和min分别表示取集合元素的最大值和最小值;
b)对图像J1,n(x,y)、J2,n(x,y)进行处理,根据得到的相邻帧像素级融合图像J1,n(x,y)、J2,n(x,y)的灰度值,计算光影差分图像Dn(x,y)和光影差分梯度分布图像Gn(x,y):
Dn(x,y)=|J1,n(x,y)-J2,n(x,y)|;
式中,Dn,x(x,y)为光影差分图像Dn(x,y)在点(x,y)处对x的一阶偏导数值;Dn,y(x,y)为光影差分图像Dn(x,y)在点(x,y)处对y的一阶偏导数值;
c)寻找光影差分梯度分布图像Gn(x,y)各行梯度值前K大的点Π,其中K为任意大于待检测焊道数量的正整数;令光影差分梯度分布图像Gn(x,y)第y列点Π的数量为p0,n(y),对p0,n(y)进行低通滤波计算获得pn(y);
d)分别选取任意一空集作为初始的置信区间集合U、初始的有效极大值位置集合U1,对pn(y)的每一个极大值点(yi,pn(yi))按pn(yi)的值从大到小依次进行以下操作:若极大值点(yi,pn(yi))的峰峰值大于r·pn(yi),且有效极大值位置集合U1为空集或yi与有效极大值位置集合U1任意元素之差均大于gap1,则计算极大值点(yi,pn(yi))的半高宽区间[yL,i,yR,i],将半高宽区间[yL,i,yR,i]加入置信区间集合U,并将yi加入有效极大值位置集合U1;否则不进行任何操作;其中,r为任意小于1的正实数,gap1为任意不大于N的正整数,i为任意不大于pn(y)极大值点数量的正整数,yi、yL,i和yR,i均为不大于N的正整数,且yL,i≤yi≤yR,i;
e)对图像J3,n(x,y)进行处理,选取零至该图像最大灰度值的任意实数对图像J3,n(x,y)进行阈值分割,获得二值图像Bn(x,y);记二值图像B(x,y)第y列最长连续线段中点的行坐标为εn(y);计算εn(y)的二阶导数,记为qn(y);选取任意一空集作为初始结构光图像候选点集合V,对于qn(y)的每一个正极大值点(yj,qn(yj)),若qn(yj)大于qn(y)的平均值,则将yj加入结构光图像候选点集合V;否则不进行任何操作;其中j为任意不大于qn(y)正极大值点数量的正整数,yj为qn(y)的第j个正极大值点的列坐标;
f)选取任意一空集作为初始焊道边界候选点集合W;对于置信区间集合U中的每一个区间[uL,s,uR,s],若结构光图像候选点集合V中存在元素v1,v2,…,vm位于区间[uL,s,uR,s]中,且qn(v1)≥qn(v2)≥…≥qn(vm),则将v1加入焊道边界候选点集合W;否则不进行任何操作;其中uL,s,uR,s,m和v1,v2,…,vm均为正整数,s为任意不大于置信区间集合U元素个数的正整数;
g)选取任意一空集作为初始焊道边界点集合R,对所述焊道边界候选点集合W的每一个元素wk按qn(wk)的值从大到小依次进行以下操作:若焊道边界点集合R为空集或wk与焊道边界点集合R任意元素的第一个分量之差均大于gap2,则将点(wk,εn(wk))加入焊道边界点集合R;否则不进行任何操作;其中wk为正整数,gap2为任意不大于N正整数,k为任意不大于焊道边界候选点集合W元素个数的正整数;
h)输出焊道边界点集合R的元素为待检测焊道的边界位置像素坐标;
i)建立成像元件毫米坐标系{C},所述成像元件毫米坐标系{C}的原点位于成像元件的光心位置;根据张正友标定方法,标定成像元件的内部参数和结构光光源的光平面在成像元件毫米坐标系{C}中的方程;结合成像元件的内部参数、结构光光源的光平面在成像元件毫米坐标系{C}中的方程,计算焊道边界点集合R中任意一个点σ在成像元件毫米坐标系{C}中的三维坐标Σ:
式中,μ为结构光光源的光平面在成像元件毫米坐标系{C}中的法向量,λ为成像元件毫米坐标系{C}的原点到结构光光源的光平面的有向距离;F(σ)为图像像素坐标到成像元件毫米坐标系{C}坐标的转换函数,由成像元件的内部参数完全确定;输出Σ为待检测焊道的边界位置三维坐标,最终获得多层多道焊接轨迹。
与已有技术相比,本发明可在多层多道焊接轨迹检测场合实现以下目标:融合焊道边界的定向光影特征和结构光传感信息,准确识别出坡口侧壁与焊道的边界以及相邻焊道的边界,计算焊道边界点的三维位置信息。本发明适用于焊道凸起量低至0.3mm的多层多道焊接轨迹检测场合;系统实时性好,结构简单,成本低,可应用于多层多道焊接过程智能排道和实时自动跟踪等场合。
附图说明
图1为本发明提出的一种基于多视觉信息融合的多层多道焊接轨迹检测装置及方法的实施例装置的轴测图。
图2为图1所示装置的正视图。
图3为图1所示装置的侧视图。
图4为图1所示装置的俯视图。
图5为本发明实施例中控制处理单元发出的四路方波信号的时序关系。
图6为本发明实施例中成像元件在第一定向光源组单独点亮时采集的工件表面图像。
图7为本发明实施例中成像元件在第二定向光源组单独点亮时采集的工件表面图像。
图8为本发明实施例中成像元件在结构光光源单独点亮时采集的工件表面图像。
图9为本发明实施例中成像元件在第一定向光源组单独点亮时消除弧光和飞溅干扰后的图像。
图10为本发明实施例中成像元件在第二定向光源组单独点亮时消除弧光和飞溅干扰后的图像。
图11为本发明实施例中成像元件在结构光光源单独点亮时消除弧光和飞溅干扰后的图像。
图12为本发明实施例中第一定向光源组发出的光线在工件表面的投射状况。
图13为本发明实施例中计算获得的光影差分图像。
图14为本发明实施例中计算获得的光影差分梯度分布图像。
图15为本发明实施例中计算获得的pn(y)曲线。
图16为本发明实施例中计算获得的εn(y)曲线。
图17为本发明实施例中计算获得的qn(y)曲线。
图18为本发明实施例中计算获得的焊道边界点位置。
在图1至图18中:
1—成像元件;2—定向光源阵列;21—第一定向光源组;22—第二定向光源组;3—结构光光源;4—控制处理单元;5—工件;51—焊道;52—坡口侧壁;6—焊枪;
num—焊接过程中成像元件采集的工件表面图像的总张数;
Time—焊接过程中成像元件采集num张工件表面图像所需的总时间;
t—任意不大于Time的非负实数时间;
S1,S2,S3,S4—控制处理单元发出的四路方波信号;
α—焊道边界处的焊趾角;
β—第一定向光源组的投射角度;
x—工件表面图像的行坐标;
y—工件表面图像的列坐标;
K—任意大于待检测焊道数量的正整数;
Π—图14各行梯度值前K大的点;
p0,n(y)—图14第y列点Π的数量;
pn(y)—对p0,n(y)进行低通滤波计算获得的结果;
εn(y)—图11经阈值分割后获得的二值图像第y列最长连续线段中点的行坐标;
qn(y)—εn(y)的二阶导数;
R—焊道边界点集合。
具体实施方式
下面结合附图对本发明提出的一种基于多视觉信息融合的多层多道焊接轨迹检测装置及方法的原理作进一步说明。
图1为本发明提出的一种基于多视觉信息融合的多层多道焊接轨迹检测装置的实施例的轴测图,图2、图3和图4分别为图1所示装置的正视图、侧视图和俯视图。所述装置包括成像元件1,定向光源阵列2,结构光光源3和控制处理单元4;所述定向光源阵列2包括第一定向光源组21和第二定向光源组22;所述第一定向光源组21和第二定向光源组22对称放置于待检测焊道51两侧;所述第一定向光源组21、第二定向光源组22和结构光光源3发出的光线均投射在待检测焊道51表面;所述成像元件1采集所述第一定向光源组21、第二定向光源组22和结构光光源3单独点亮时工件5表面的图像;所述成像元件1、定向光源阵列2、结构光光源3与焊枪6的位置相对固定;所述控制处理单元4与所述第一定向光源组21、第二定向光源组22、结构光光源3、成像元件1通过导线相连;所述控制处理单元4控制所述第一定向光源组21、第二定向光源组22、结构光光源3的点亮和熄灭;所述控制处理单元4控制所述成像元件1采集图像,并在焊接过程中对所述成像元件1采集的图像进行实时处理。
在本发明的实施例装置中,所述成像元件1采用互补金属氧化物半导体成像器件,采集的图像为灰度图像,灰度级范围为0至255,图像总行数M=1200,图像总列数N=1600;第一定向光源组21和第二定向光源组22均采用条形LED定向光源,尺寸86mm×34mm×20mm,功率5.7W;所述结构光光源3采用660nm的线激光,功率50mW;工件5表面可见同层五道焊道51,焊道51最大凸起量小于0.3mm。焊接过程中成像元件采集的工件表面图像的总张数num为999张,成像元件1采集num张工件表面图像所需的总时间Time为33.3s;设T=Time/num=33.33ms,设n为任意小于num/3的非负整数。
在本发明的实施例装置中,所述控制处理单元4由可编程逻辑控制器和工业计算机组成,工业计算机发出控制指令给可编程逻辑控制器,使可编程逻辑控制器发出四路方波信号S1、S2、S3和S4,分别用于触发控制第一定向光源组21、第二定向光源组22、结构光光源3和成像元件1。图5为本发明实施例中控制处理单元4发出的四路方波信号的时序关系,图5的横坐标t为任意不大于Time的非负实数时间。方波信号S4的周期设置为T。方波信号S1、S2和S3的周期相等,且均等于3T。第一定向光源组21在方波信号S1的低电平期间点亮,高电平期间熄灭;第二定向光源组22在方波信号S2的低电平期间点亮,高电平期间熄灭;结构光光源3在方波信号S3的低电平期间点亮,高电平期间熄灭;成像元件1从方波信号S4的下降沿开始曝光,至方波信号S4的上升沿曝光结束,完成单帧图像的采集。
根据图5的时序关系可知,在控制处理单元4发出的方波信号控制下,第一定向光源组21、第二定向光源组22和结构光光源3以3T为周期依次循环点亮,且成像元件1以T为周期采集第一定向光源组21、第二定向光源组22和结构光光源3分别单独点亮时的图像。使用第一定向光源组21和第二定向光源组22的目的是人为地在焊道51边界处构建定向光影特征,以获取包含定向光源特征的工件表面图像;使用结构光光源3的目的是获得工件5表面的结构光光条图像。在3nT<t<(3n+3)T时间内,图6、图7和图8为本发明实施例中成像元件1在第一定向光源组21、第二定向光源组22和结构光光源3分别单独点亮时采集的工件表面图像,分别记为图像I1,n(x,y)、图像I2,n(x,y)和图像I3,n(x,y),其中x和y均为任意正整数,分别表示工件表面图像的行坐标和列坐标,且x≤M,y≤N。本发明实施例将根据采集获得的工件表面图像准确计算焊道51轨迹位置。
在焊接过程中,弧光和飞溅干扰将严重影响成像质量,在图6、图7和图8中可见非常严重的弧光和飞溅干扰现象。因此在提取焊道51轨迹位置前,必须对图像I1,n(x,y)、I2,n(x,y)和I3,n(x,y)进行预处理,消除弧光和飞溅干扰。焊接弧光和飞溅的共同特点是使图像局部区域灰度偏高甚至饱和,但弧光强度和飞溅的空间分布往往是随机且时变的。因此,对相邻帧图像进行像素级融合,取相邻帧对应像素点灰度最小值的图像构成新图像,即可有效地消除弧光和飞溅干扰。对于结构光光源3点亮时采集的图像I3,n(x,y),本实施例采取相邻三帧图像像素级融合的方式获得相邻帧像素级融合图像J3,n(x,y):
J3,n(x,y)=min{I3,n(x,y),I3,n-1(x,y),I3,n-2(x,y)} (1)
对于第一定向光源组21和第二定向光源组22单独点亮时采集的图像I1,n(x,y)和I2,n(x,y),若简单采用取相邻帧对应像素点灰度最小值的图像构成新图像的方法,容易使处理后的图像整体灰度偏低。这是因为焊道51表面往往是不平整的,存在微小的凸起和凹槽,在图像中表现在高灰度区域附近存在低灰度区域,低灰度区域附近也存在高灰度区域;在焊接过程中焊枪6和工件5发生的相对运动容易使上一帧图像的高灰度区域与下一帧图像的低灰度区域重叠,或者使上一帧图像的低灰度区域与下一帧图像的高灰度区域重叠,导致取相邻帧图像对应像素点灰度最小值构成新图像的方法处理后的图像整体灰度偏低,不利于后续进一步处理。因此,在本发明实施例中,首先取相邻两帧对应像素点灰度最小值的图像构成新图像,再取此新图像的相邻两帧对应像素点灰度最大值的图像构成最终处理结果,获得最终的相邻帧像素级融合图像J1,n(x,y)和J2,n(x,y):
J1,n(x,y)=max{min{I1,n(x,y),I1,n-1(x,y)},min{I1,n-1(x,y),I1,n-2(x,y)}} (2)
J2,n(x,y)=max{min{I2,n(x,y),I2,n-1(x,y)},min{I2,n-1(x,y),I2,n-2(x,y)}} (3)
图9、图10和图11分别为本发明实施例中成像元件1在第一定向光源组21、第二定向光源组22和结构光光源3分别单独点亮时消除弧光和飞溅干扰后的图像。分别经式(2)、式(3)和式(1)计算后,弧光和飞溅干扰得到有效消除。
由于熔池表面张力的作用,焊道51总有微小的凸起,而相邻焊道51边界处则较为平缓。图12为本发明实施例中第一定向光源组21发出的光线在工件表面的投射状况,其中α为焊道51边界处的焊趾角,β为第一定向光源组21的投射角度。根据几何光学关系,当第一定向光源组21点亮时,图12焊道51左右两侧的辐照度之比约为sin(β+α)/sin(β-α),焊道51左侧的辐照度略大于右侧;同理,当第二定向光源组22点亮时,图12焊道51右侧的辐照度略大于左侧。而相邻焊道51边界处由于较为平缓,第一定向光源组21和第二定向光源组22单独点亮时辐照度相当。因此,若将第一定向光源组21和第二定向光源组22单独点亮时成像元件1采集的工件表面图像做差分并取绝对值,则会在相邻焊道51边界附近出现“高灰度-低灰度-高灰度”区域。当然,由于焊道51表面是极不规则的,因此当第一定向光源组21点亮时,焊道51左侧的某些区域的辐照度可能低于右侧,但只要焊道51左右两侧辐照度不同,且相邻焊道51边界处较为平缓,则将第一定向光源组21和第二定向光源组22单独点亮时成像元件1采集的工件表面图像做差分并取绝对值后,在相邻焊道51边界附近仍会出现“高灰度-低灰度-高灰度”区域。此外,坡口侧壁52与定向光源阵列2光线的夹角往往远异于焊道51与定向光源阵列2光线的夹角,因此坡口侧壁52与焊道5的边界处往往也会呈现梯度跃变。综合以上分析,若对相邻帧像素级融合图像J1,n(x,y)和J2,n(x,y)做差并取绝对值,则会在焊道51边界处出现梯度跃变区域。
记光影差分图像Dn(x,y)为相邻帧像素级融合图像J1,n(x,y)和J2,n(x,y)做差并取绝对值后的结果,即:
Dn(x,y)=|J1,n(x,y)-J2,n(x,y)| (4)
图13为本发明实施例中计算获得的光影差分图像Dn(x,y),焊道51边界处确实存在梯度跃变区域,验证了以上的分析结果。本发明实施例利用Sobel算子计算光影差分图像Dn(x,y)在点(x,y)处对x的一阶偏导数值Dn,x(x,y)和对y的一阶偏导数值Dn,y(x,y),并利用下式计算光影差分梯度分布图像Gn(x,y):
图14为本发明实施例中计算获得的光影差分梯度分布图像Gn(x,y)。焊道51边界处的梯度值确实较大,在此时传统的图像处理手段是进行阈值分割。但由图14可知,虽然焊道51边界处的梯度值确实较大,但仍存在许多噪声区域,且噪声区域的梯度值甚至大于焊道51边界,因此使用简单的阈值分割手段无法有效获取焊道51边界位置。
本发明实施例对光影差分梯度分布图像Gn(x,y)采取的处理手段如下:设K为任意大于待检测焊道51数量的正整数,本发明实施例中取K=50;寻找光影差分梯度分布图像Gn(x,y)各行梯度值前K大的点Π;令p0,n(y)为图14第y列点Π的数量,对p0,n(y)进行低通滤波计算获得pn(y),其中低通滤波方式采用FIR滤波器,利用窗函数法设计了101点、截止频率为0.01的低通滤波器,采用的窗函数为Hamming窗。图15为本发明实施例中计算获得的pn(y)曲线。在图15中,除了个别伪峰以外,pn(y)曲线的极大值点位置基本与待检测焊道51的边界位置对应。
为了剔除图15的伪峰位置,在本发明实施例中,一方面对峰峰值较小的极大值点予以剔除,另一方面使用非极大值抑制操作剔除距离较近的极大值点;对于每一个有效的极大值点位置,取它的半高宽区间作为该极大值点的置信区间,认为焊道边界应位于该置信区间范围内。具体步骤如下:设r为小于1的任意正实数,gap1为任意不大于N的正整数,在本发明实施例中r=0.1,gap1=50;令置信区间集合U初始为空集,有效极大值位置集合U1初始为空集;对pn(y)的每一个极大值点(yi,pn(yi))按pn(yi)的值从大到小依次进行以下操作:若极大值点(yi,pn(yi))的峰峰值大于r·pn(yi),且有效极大值位置集合U1为空集或yi与有效极大值位置集合U1任意元素之差均大于gap1,则计算极大值点(yi,pn(yi))的半高宽区间[yL,i,yR,i],将半高宽区间[yL,i,yR,i]加入置信区间集合U,并将yi加入集合有效极大值位置集合U1;否则不进行任何操作;其中,i为任意不大于pn(y)极大值点数量的正整数,yi、yL,i和yR,i均为不大于N的正整数,且yL,i≤yi≤yR,i。最终获得的置信区间集合U将包含焊道51边界可能位于的区间范围。根据以上分析可知,利用定向光源阵列2点亮时成像元件1采集的图像可获得焊道51边界的大体位置。但该位置可能不够准确,且仅能获得边界的像素坐标位置,无法获得三维信息。为此,需将定向光源2点亮时成像元件1采集的图像信息与结构光光源3点亮时成像元件1采集的图像信息进行融合,获得更为准确的焊道51边界检测结果。
对于结构光光源3点亮时成像元件1采集的图像I3,n(x,y),经式(1)的像素级融合处理后消除弧光和飞溅干扰,获得图像J3,n(x,y),如图11所示。对图像J3,n(x,y)进行阈值分割,阈值选取为图像J3,n(x,y)最大灰度的30%,获得二值图像Bn(x,y)。对二值图像Bn(x,y)中的结构光光条进行细化处理,其步骤为逐列扫描二值图像Bn(x,y),寻找每一列的最长连续线段,并以该线段的中点作为结构光光条中心,构成单像素宽度的结构光光条曲线。记εn(y)为二值图像Bn(x,y)第y列最长连续线段中点的行坐标,图16为本发明实施例中计算获得的εn(y)曲线。
焊道51的边界点在数学上对应εn(y)曲线切线斜率增大最快的点,即εn(y)曲线二阶导数的正极大值点位置。在本发明实施例中,对于εn(y)曲线上的任意一点,对称选取其邻域内的101个点进行3次多项式拟合,以拟合多项式在该点处的二阶导数值作为εn(y)曲线在该点处的二阶导数值,记qn(y)为计算获得的εn(y)的二阶导数。图17为本发明实施例中计算获得的qn(y)曲线。对qn(y)曲线进行阈值分割,寻找大于qn(y)平均值的正极大值点作为焊道51的可能边界候选点,具体步骤如下:令结构光图像候选点集合V初始为空集,对于qn(y)的每一个正极大值点(yj,qn(yj)),若qn(yj)大于qn(y)的平均值,则将yj加入结构光图像候选点集合V;否则不进行任何操作;其中j为任意不大于qn(y)正极大值点数量的正整数,yj为qn(y)的第j个正极大值点的列坐标。最终结构光图像候选点集合V记录了根据结构光光源3点亮时成像元件1采集的图像获得的可能边界候选点信息。在本文实施例中,结构光图像候选点集合V共含45个候选点。
总结以上处理结果,根据定向光源阵列2点亮时成像元件1采集的图像计算获得的置信区间集合U包含了焊道51边界点可能所在的区间位置,但与实际位置可能存在一定的偏差;根据结构光光源3点亮时成像元件1采集的图像计算获得的结构光图像候选点集合V则包含了可能的边界候选点信息。将二者进行信息融合后可获得更有准确的检测结果。对于置信区间集合U中的任意一个区间,若结构光图像候选点集合V中存在多个位于该区间内的元素,则取这些元素中qn(y)值最大的元素作为可能的焊道边界候选点位置,具体步骤如下:令焊道边界候选点集合W初始为空集;对于置信区间集合U中的每一个区间[uL,s,uR,s],若结构光图像候选点集合V中存在元素v1,v2,…,vm位于区间[uL,s,uR,s]中,且qn(v1)≥qn(v2)≥…≥qn(vm),则将v1加入焊道边界候选点集合W,否则不进行任何操作;其中uL,s,uR,s,m和v1,v2,…,vm均为正整数,s为任意不大于置信区间集合U元素个数的正整数。
经上述融合处理后,焊道边界候选点集合W为融合了置信区间集合U和结构光图像候选点集合V信息后的结果,既包含了准确的焊道51边界点位置,也可能包含了无效的焊道51边界点信息。为此,本文进行非极大值抑制操作,根据qn(y)值的大小剔除相距较近的伪边界点位置,具体步骤如下:设gap2为任意不大于N的正整数,在本发明实施例中gap2=50;令焊道边界点集合R初始为空集,对焊道边界候选点集合W的每一个元素wk按qn(wk)的值从大到小依次进行以下操作:若焊道边界点集合R为空集或wk与焊道边界点集合R任意元素的第一个分量之差均大于gap2,则将点(wk,εn(wk))加入焊道边界点集合R;否则不进行任何操作;其中wk为正整数,k为任意不大于焊道边界候选点集合W元素个数的正整数。最终输出焊道边界点集合R的元素为待检测焊道51的边界位置像素坐标。图18为本发明实施例中计算获得的焊道51边界点位置,其中以十字标注了焊道边界点集合R的结果。
为进一步获得待检测焊道51的三维位置坐标,建立成像元件毫米坐标系{C},所述成像元件毫米坐标系{C}的原点位于成像元件1的光心位置;根据张正友标定方法,标定成像元件1的内部参数,获得图像像素坐标到成像元件毫米坐标系{C}坐标的转换函数F(σ),其中σ为焊道边界点集合R中的任意一个点。根据张正友标定方法建立的成像元件1成像模型可知,焊道边界点集合R中任意一个点σ在成像元件毫米坐标系{C}中的三维坐标Σ必然位于经过成像元件1光心、且以F(σ)为方向向量的直线上,即:
Σ=ρ·F(σ) (6)
式中,ρ为待定系数。
此外,Σ还应位于结构光光源3的光平面上。根据张正友标定方法可获得结构光光源3的光平面在成像元件毫米坐标系{C}中法向量μ,以及成像元件毫米坐标系{C}的原点到结构光光源3的光平面的有向距离λ。根据Σ位于结构光光源3的光平面上,可获得方程:
μTΣ=λ (7)
结合式(6)和式(7)可计算出Σ:
输出Σ为待检测焊道51的边界位置三维坐标,最终获得多层多道焊接轨迹。
在本发明的实施例中,待检测焊道51轨迹与工件表面图像列坐标轴夹角小于或等于45°。若待检测焊道51轨迹与工件表面图像列坐标轴夹角大于45°,则需将以上图像处理步骤中针对行的操作改为针对列的操作、针对列的操作改为针对行的操作。为方便起见,若待检测焊道51轨迹与工件表面图像列坐标轴夹角大于45°,本发明令图像I1,n(x,y)、图像I2,n(x,y)和图像I3,n(x,y)分别为在3nT<t<(3n+3)T时间内,第一定向光源组21、第二定向光源组22和结构光光源3分别点亮时成像元件1采集的工件表面图像旋转90°后的图像。
综上所述,本发明提出的基于多视觉信息融合的多层多道焊接轨迹检测方法,其特征在于包括以下步骤:
1)记光源L1、光源L2和光源L3分别为所述第一定向光源组21、第二定向光源组22和结构光光源3;设ξ、ζ、η为数字1、2、3的任意一个排列,其中ξ、ζ、η为互不相等的正整数,在本发明实施例中ξ=1,ζ=2,η=3;设num为焊接过程中成像元件1采集的工件表面图像的总张数,且num是3的倍数;设Time为焊接过程中成像元件1采集num张工件表面图像所需的总时间;记t为任意不大于Time的非负实数时间,设T=Time/num,设n为任意小于num/3的非负整数;
2)在3nT<t<(3n+1)T的任意时间内,所述控制处理单元4发出控制信号,使光源Lξ点亮,光源Lζ和光源Lη熄灭,并使所述成像元件1采集光源Lξ点亮时的工件表面图像;
3)在(3n+1)T<t<(3n+2)T的任意时间内,所述控制处理单元4发出控制信号,使光源Lζ点亮,光源Lξ和光源Lη熄灭,并使所述成像元件1采集光源Lζ点亮时的工件表面图像;
4)在(3n+2)T<t<(3n+3)T的任意时间内,所述控制处理单元4发出控制信号,使光源Lη点亮,光源Lξ和光源Lζ熄灭,并使所述成像元件1采集光源Lη点亮时的工件表面图像;
5)若待检测焊道51轨迹与工件表面图像列坐标轴夹角小于或等于45°,设第一定向光源组21、第二定向光源组22和结构光光源3在3nT<t<(3n+3)T时间内分别点亮时成像元件1采集的工件表面图像为图像I1,n(x,y)、图像I2,n(x,y)和图像I3,n(x,y);若待检测焊道51轨迹与工件表面图像列坐标轴夹角大于45°,设第一定向光源组21、第二定向光源组22和结构光光源3在3nT<t<(3n+3)T时间内分别点亮时成像元件1采集的工件表面图像旋转90°后的图像为图像I1,n(x,y)、图像I2,n(x,y)和图像I3,n(x,y);其中x和y均为任意正整数,分别表示工件表面图像的行坐标和列坐标,且x≤M,y≤N,M和N分别为工件表面图像的总行数和总列数;
6)当n≥2时,所述控制处理单元4对图像I1,n(x,y)、图像I2,n(x,y)和图像I3,n(x,y)进行处理,计算获得焊道边界点的三维位置信息,最终获得多层多道焊接轨迹,包括以下步骤:
a)对图像I1,n(x,y)、图像I2,n(x,y)和图像I3,n(x,y)各像素点的灰度值进行操作,计算获得相邻帧像素级融合图像J1,n(x,y)、J2,n(x,y)和J3,n(x,y),其中图像J1,n(x,y)由第一定向光源组21单独点亮时获得的图像I1,n(x,y)、I1,n-1(x,y)和I1,n-2(x,y)的灰度值计算获得,图像J2,n(x,y)由第二定向光源组22单独点亮时获得的图像I2,n(x,y)、I2,n-1(x,y)和I2,n-2(x,y)的灰度值计算获得,图像J3,n(x,y)由结构光光源3单独点亮时获得的图像I3,n(x,y)、I3,n-1(x,y)和I3,n-2(x,y)的灰度值计算获得:
J1,n(x,y)=max{min{I1,n(x,y),I1,n-1(x,y)},min{I1,n-1(x,y),I1,n-2(x,y)}},
J2,n(x,y)=max{min{I2,n(x,y),I2,n-1(x,y)},min{I2,n-1(x,y),I2,n-2(x,y)}},
J3,n(x,y)=min{I3,n(x,y),I3,n-1(x,y),I3,n-2(x,y)};
式中,max和min分别表示取集合元素的最大值和最小值;
b)对图像J1,n(x,y)、J2,n(x,y)进行处理,根据得到的相邻帧像素级融合图像J1,n(x,y)、J2,n(x,y)的灰度值,计算光影差分图像Dn(x,y)和光影差分梯度分布图像Gn(x,y):
Dn(x,y)=|J1,n(x,y)-J2,n(x,y)|;
式中,Dn,x(x,y)为光影差分图像Dn(x,y)在点(x,y)处对x的一阶偏导数值;Dn,y(x,y)为光影差分图像Dn(x,y)在点(x,y)处对y的一阶偏导数值;
c)寻找光影差分梯度分布图像Gn(x,y)各行梯度值前K大的点Π,其中K为任意大于待检测焊道数量的正整数;令光影差分梯度分布图像Gn(x,y)第y列点Π的数量为p0,n(y),对p0,n(y)进行低通滤波计算获得pn(y);
d)分别选取任意一空集作为初始的置信区间集合U、初始的有效极大值位置集合U1,对pn(y)的每一个极大值点(yi,pn(yi))按pn(yi)的值从大到小依次进行以下操作:若极大值点(yi,pn(yi))的峰峰值大于r·pn(yi),且有效极大值位置集合U1为空集或yi与有效极大值位置集合U1任意元素之差均大于gap1,则计算极大值点(yi,pn(yi))的半高宽区间[yL,i,yR,i],将半高宽区间[yL,i,yR,i]加入置信区间集合U,并将yi加入有效极大值位置集合U1;否则不进行任何操作;其中,r为任意小于1的正实数,gap1为任意不大于N的正整数,i为任意不大于pn(y)极大值点数量的正整数,yi、yL,i和yR,i均为不大于N的正整数,且yL,i≤yi≤yR,i;
e)对图像J3,n(x,y)进行处理,选取零至该图像最大灰度值的任意实数对图像J3,n(x,y)进行阈值分割,获得二值图像Bn(x,y);记二值图像B(x,y)第y列最长连续线段中点的行坐标为εn(y);计算εn(y)的二阶导数,记为qn(y);选取任意一空集作为初始结构光图像候选点集合V,对于qn(y)的每一个正极大值点(yj,qn(yj)),若qn(yj)大于qn(y)的平均值,则将yj加入结构光图像候选点集合V;否则不进行任何操作;其中j为任意不大于qn(y)正极大值点数量的正整数,yj为qn(y)的第j个正极大值点的列坐标;
f)选取任意一空集作为初始焊道边界候选点集合W;对于置信区间集合U中的每一个区间[uL,s,uR,s],若结构光图像候选点集合V中存在元素v1,v2,…,vm位于区间[uL,s,uR,s]中,且qn(v1)≥qn(v2)≥…≥qn(vm),则将v1加入焊道边界候选点集合W;否则不进行任何操作;其中uL,s,uR,s,m和v1,v2,…,vm均为正整数,s为任意不大于置信区间集合U元素个数的正整数;
g)选取任意一空集作为初始焊道边界点集合R,对所述焊道边界候选点集合W的每一个元素wk按qn(wk)的值从大到小依次进行以下操作:若焊道边界点集合R为空集或wk与焊道边界点集合R任意元素的第一个分量之差均大于gap2,则将点(wk,εn(wk))加入焊道边界点集合R;否则不进行任何操作;其中wk为正整数,gap2为任意不大于N正整数,k为任意不大于焊道边界候选点集合W元素个数的正整数;
h)输出焊道边界点集合R的元素为待检测焊道的边界位置像素坐标;
i)建立成像元件毫米坐标系{C},所述成像元件毫米坐标系{C}的原点位于成像元件的光心位置;根据张正友标定方法,标定成像元件的内部参数和结构光光源的光平面在成像元件毫米坐标系{C}中的方程;结合成像元件的内部参数、结构光光源的光平面在成像元件毫米坐标系{C}中的方程,计算焊道边界点集合R中任意一个点σ在成像元件毫米坐标系{C}中的三维坐标Σ:
式中,μ为结构光光源的光平面在成像元件毫米坐标系{C}中的法向量,λ为成像元件毫米坐标系{C}的原点到结构光光源的光平面的有向距离;F(σ)为图像像素坐标到成像元件毫米坐标系{C}坐标的转换函数,由成像元件的内部参数完全确定;输出Σ为待检测焊道的边界位置三维坐标,最终获得多层多道焊接轨迹。
在CPU主频2.30GHz、内存4G的工业计算机平台上进行试验,单次图像处理耗时控制在30ms以内,最大识别偏差不超过0.6mm,可满足多层多道焊接过程焊道51轨迹准确、实时检测需求。
应当说明的是,以上实施例仅用于说明本发明而并非限制本发明描述的方案;因此,尽管本说明书参照以上的实施例对本发明进行了详细的说明,但是本领域的普通技术人员应该理解,仍然可以对本发明进行修改或等同替换,如本发明的装置可包含滤光元件,用于滤除焊接过程的弧光干扰,工件5表面的反射光经所述滤光元件后摄入成像元件1成像,且滤光元件的中心波长在成像元件1的敏感波长范围内,滤光元件能透过第一定向光源组21、第二定向光源组22和结构光光源3发出的光线;第一定向光源组21、第二定向光源组22和结构光光源3的点亮次序可任意颠倒,即ξ、ζ、η可以为数字1、2、3的任意排列等;第一定向光源组21、第二定向光源组22均可由一个或多个定向光源组成;而一切不脱离本发明的精神和范围的技术方案及其改进,其均应涵盖在本发明的权利要求范围当中。
本发明使用定向光源阵列在待检测焊道两侧构建定向光照条件,使用结构光光源获取待检测焊道截面的三维信息,利用控制处理单元使多个光源以一定频率依次循环点亮,并使成像元件同步采集每个光源单独点亮时的图像,经图像处理融合定向光照和结构光光照时的多种视觉信息后,准确计算出多层多道焊接轨迹的三维信息。本发明可近同步获得待检测焊道多种视觉特征信息,适用于焊道凸起量较低的多层多道焊接轨迹自动识别场合,识别准确度高,实时性好,系统结构简单,成本低,可应用于多层多道焊接过程智能排道和自动跟踪等场合。
Claims (3)
1.一种基于多视觉信息融合的多层多道焊接轨迹检测方法,该方法采用如下焊接轨迹检测装置完成,该装置包括成像元件(1),定向光源阵列(2),结构光光源(3)和控制处理单元(4);所述定向光源阵列(2)包括第一定向光源组(21)和第二定向光源组(22);所述第一定向光源组(21)和第二定向光源组(22)对称放置于待检测焊道(51)两侧;所述第一定向光源组(21)、第二定向光源组(22)和结构光光源(3)发出的光线均投射在待检测焊道(51)表面;所述成像元件(1)、定向光源阵列(2)、结构光光源(3)与焊枪(6)的位置相对固定;所述成像元件(1)采集所述第一定向光源组(21)、第二定向光源组(22)和结构光光源(3)单独点亮时的工件(5)表面图像;所述控制处理单元(4)与所述第一定向光源组(21)、第二定向光源组(22)、结构光光源(3)、成像元件(1)通过导线相连或通过无线传输方式通讯;所述控制处理单元(4)控制所述第一定向光源组(21)、第二定向光源组(22)、结构光光源(3)的点亮和熄灭;所述控制处理单元(4)控制所述成像元件(1)采集图像,并对所述成像元件(1)采集的图像进行实时处理;其特征在于:
所述多层多道焊接轨迹检测方法包括以下步骤:
1)记光源L1、光源L2和光源L3分别为所述第一定向光源组、第二定向光源组和结构光光源;设ξ、ζ、η为数字1、2、3的任意一个排列,其中ξ、ζ、η为互不相等的正整数;设num为焊接过程中成像元件采集的工件表面图像的总张数,且num是3的倍数;设Time为焊接过程中成像元件采集num张工件表面图像所需的总时间;记t为任意不大于Time的非负实数时间,设T=Time/num,设n为任意小于num/3的非负整数;
2)在3nT<t<(3n+1)T的任意时间内,所述控制处理单元发出控制信号,使光源Lξ点亮,光源Lζ和光源Lη熄灭,并使所述成像元件采集光源Lξ点亮时的工件表面图像;
3)在(3n+1)T<t<(3n+2)T的任意时间内,所述控制处理单元发出控制信号,使光源Lζ点亮,光源Lξ和光源Lη熄灭,并使所述成像元件采集光源Lζ点亮时的工件表面图像;
4)在(3n+2)T<t<(3n+3)T的任意时间内,所述控制处理单元发出控制信号,使光源Lη点亮,光源Lξ和光源Lζ熄灭,并使所述成像元件采集光源Lη点亮时的工件表面图像;
5)若待检测焊道轨迹与工件表面图像列坐标轴夹角小于或等于45°,设第一定向光源组、第二定向光源组和结构光光源在3nT<t<(3n+3)T时间内分别点亮时成像元件采集的工件表面图像为图像I1,n(x,y)、图像I2,n(x,y)和图像I3,n(x,y);若待检测焊道轨迹与工件表面图像列坐标轴夹角大于45°,设第一定向光源组、第二定向光源组和结构光光源在3nT<t<(3n+3)T时间内分别点亮时成像元件采集的工件表面图像旋转90°后的图像为图像I1,n(x,y)、图像I2,n(x,y)和图像I3,n(x,y);其中x和y均为任意正整数,分别表示工件表面图像的行坐标和列坐标,且x≤M,y≤N,M和N分别为工件表面图像的总行数和总列数;
6)当n≥2时,所述控制处理单元对图像I1,n(x,y)、图像I2,n(x,y)和图像I3,n(x,y)进行处理,计算获得焊道边界点的三维位置信息,最终获得多层多道焊接轨迹;
所述步骤6)包括以下步骤:
a)对图像I1,n(x,y)、图像I2,n(x,y)和图像I3,n(x,y)各像素点的灰度值进行操作,计算获得相邻帧像素级融合图像J1,n(x,y)、J2,n(x,y)和J3,n(x,y),其中图像J1,n(x,y)由第一定向光源组单独点亮时获得的图像I1,n(x,y)、I1,n-1(x,y)和I1,n-2(x,y)的灰度值计算获得,图像J2,n(x,y)由第二定向光源组单独点亮时获得的图像I2,n(x,y)、I2,n-1(x,y)和I2,n-2(x,y)的灰度值计算获得,图像J3,n(x,y)由结构光光源单独点亮时获得的图像I3,n(x,y)、I3,n-1(x,y)和I3,n-2(x,y)的灰度值计算获得:
J1,n(x,y)=max{min{I1,n(x,y),I1,n-1(x,y)},min{I1,n-1(x,y),I1,n-2(x,y)}},
J2,n(x,y)=max{min{I2,n(x,y),I2,n-1(x,y)},min{I2,n-1(x,y),I2,n-2(x,y)}},
J3,n(x,y)=min{I3,n(x,y),I3,n-1(x,y),I3,n-2(x,y)};
式中,max和min分别表示取集合元素的最大值和最小值;
b)对图像J1,n(x,y)、J2,n(x,y)进行处理,根据得到的相邻帧像素级融合图像J1,n(x,y)、J2,n(x,y)的灰度值,计算光影差分图像Dn(x,y)和光影差分梯度分布图像Gn(x,y):
Dn(x,y)=|J1,n(x,y)-J2,n(x,y)|;
式中,Dn,x(x,y)为光影差分图像Dn(x,y)在点(x,y)处对x的一阶偏导数值;Dn,y(x,y)为光影差分图像Dn(x,y)在点(x,y)处对y的一阶偏导数值;
c)寻找光影差分梯度分布图像Gn(x,y)各行梯度值前K大的点Π,其中K为任意大于待检测焊道数量的正整数;令光影差分梯度分布图像Gn(x,y)第y列点Π的数量为p0,n(y),对p0,n(y)进行低通滤波计算获得pn(y);
d)分别选取任意一空集作为初始的置信区间集合U、初始的有效极大值位置集合U1,对pn(y)的每一个极大值点(yi,pn(yi))按pn(yi)的值从大到小依次进行以下操作:若极大值点(yi,pn(yi))的峰峰值大于r·pn(yi),且有效极大值位置集合U1为空集或yi与有效极大值位置集合U1任意元素之差均大于gap1,则计算极大值点(yi,pn(yi))的半高宽区间[yL,i,yR,i],将半高宽区间[yL,i,yR,i]加入置信区间集合U,并将yi加入有效极大值位置集合U1;否则不进行任何操作;其中,r为任意小于1的正实数,gap1为任意不大于N的正整数,i为任意不大于pn(y)极大值点数量的正整数,yi、yL,i和yR,i均为不大于N的正整数,且yL,i≤yi≤yR,i;
e)对图像J3,n(x,y)进行处理,选取零至该图像最大灰度值的任意实数对图像J3,n(x,y)进行阈值分割,获得二值图像Bn(x,y);记二值图像B(x,y)第y列最长连续线段中点的行坐标为εn(y);计算εn(y)的二阶导数,记为qn(y);选取任意一空集作为初始结构光图像候选点集合V,对于qn(y)的每一个正极大值点(yj,qn(yj)),若qn(yj)大于qn(y)的平均值,则将yj加入结构光图像候选点集合V;否则不进行任何操作;其中j为任意不大于qn(y)正极大值点数量的正整数,yj为qn(y)的第j个正极大值点的列坐标;
f)选取任意一空集作为初始焊道边界候选点集合W;对于置信区间集合U中的每一个区间[uL,s,uR,s],若结构光图像候选点集合V中存在元素v1,v2,…,vm位于区间[uL,s,uR,s]中,且qn(v1)≥qn(v2)≥…≥qn(vm),则将v1加入焊道边界候选点集合W;否则不进行任何操作;其中uL,s,uR,s,m和v1,v2,…,vm均为正整数,s为任意不大于置信区间集合U元素个数的正整数;
g)选取任意一空集作为初始焊道边界点集合R,对所述焊道边界候选点集合W的每一个元素wk按qn(wk)的值从大到小依次进行以下操作:若焊道边界点集合R为空集或wk与焊道边界点集合R任意元素的第一个分量之差均大于gap2,则将点(wk,εn(wk))加入焊道边界点集合R;否则不进行任何操作;其中wk为正整数,gap2为任意不大于N正整数,k为任意不大于焊道边界候选点集合W元素个数的正整数;
h)输出焊道边界点集合R的元素为待检测焊道的边界位置像素坐标;
i)建立成像元件毫米坐标系{C},所述成像元件毫米坐标系{C}的原点位于成像元件的光心位置;根据张正友标定方法,标定成像元件的内部参数和结构光光源的光平面在成像元件毫米坐标系{C}中的方程;结合成像元件的内部参数、结构光光源的光平面在成像元件毫米坐标系{C}中的方程,计算焊道边界点集合R中任意一个点σ在成像元件毫米坐标系{C}中的三维坐标Σ:
式中,μ为结构光光源的光平面在成像元件毫米坐标系{C}中的法向量,λ为成像元件毫米坐标系{C}的原点到结构光光源的光平面的有向距离;F(σ)为图像像素坐标到成像元件毫米坐标系{C}坐标的转换函数,由成像元件的内部参数完全确定;输出Σ为待检测焊道的边界位置三维坐标,最终获得多层多道焊接轨迹。
2.如权利要求1所述的的多层多道焊接轨迹检测方法,其特征在于:所述成像元件为电荷耦合器件、互补金属氧化物半导体成像器件、位置敏感器件或电荷注入器件之一种。
3.如权利要求1所述的多层多道焊接轨迹检测方法,其特征在于:焊接轨迹检测装置还包括位于工件表面及成像元件之间的滤光元件,工件表面的反射光经所述滤光元件后射入所述成像元件成像;所述滤光元件的中心波长在所述成像元件的敏感波长范围内;所述滤光元件能透过所述第一定向光源组、第二定向光源组和结构光光源发出的光线。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710155011.0A CN106990112B (zh) | 2017-03-14 | 2017-03-14 | 基于多视觉信息融合的多层多道焊接轨迹检测装置及方法 |
US15/641,798 US10332271B2 (en) | 2017-03-14 | 2017-07-05 | Apparatus and method for detecting multilayer multipass welding trajectory |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710155011.0A CN106990112B (zh) | 2017-03-14 | 2017-03-14 | 基于多视觉信息融合的多层多道焊接轨迹检测装置及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106990112A CN106990112A (zh) | 2017-07-28 |
CN106990112B true CN106990112B (zh) | 2019-07-26 |
Family
ID=59413064
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710155011.0A Active CN106990112B (zh) | 2017-03-14 | 2017-03-14 | 基于多视觉信息融合的多层多道焊接轨迹检测装置及方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10332271B2 (zh) |
CN (1) | CN106990112B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106990112B (zh) * | 2017-03-14 | 2019-07-26 | 清华大学 | 基于多视觉信息融合的多层多道焊接轨迹检测装置及方法 |
CN107800963B (zh) * | 2017-10-27 | 2019-08-30 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子装置和计算机可读存储介质 |
WO2019080934A1 (zh) | 2017-10-27 | 2019-05-02 | Oppo广东移动通信有限公司 | 图像处理方法、装置和电子装置 |
CN107843602B (zh) * | 2017-10-31 | 2020-08-21 | 宁波蓝鼎电子科技有限公司 | 一种基于图像的焊缝质量检测方法 |
CN111037062B (zh) * | 2018-10-12 | 2021-04-13 | 哈尔滨工业大学 | 一种gtaw焊缝成形的自适应控制与自动视觉检测方法 |
US11858064B2 (en) | 2019-02-19 | 2024-01-02 | Illinois Tool Works Inc. | Path planning systems and methods for additive manufacturing |
CN110153634B (zh) * | 2019-05-17 | 2021-06-29 | 中国石油天然气集团公司管材研究所 | 一种管道环焊缝再焊接修复方法 |
CN111337433B (zh) * | 2020-05-21 | 2020-09-08 | 深圳新视智科技术有限公司 | 表面缺陷检测的缺陷分层装置及方法 |
CN114998381A (zh) * | 2022-05-31 | 2022-09-02 | 熵智科技(深圳)有限公司 | 管板焊接中焊接轨迹拟合方法、装置、设备及存储介质 |
CN114693679A (zh) * | 2022-05-31 | 2022-07-01 | 江苏中天科技股份有限公司 | 纠偏方法、装置和设备 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101159017A (zh) * | 2007-11-27 | 2008-04-09 | 清华大学 | 基于局部图像纹理特征匹配的焊缝自动识别视觉方法 |
WO2009094510A1 (en) * | 2008-01-25 | 2009-07-30 | Cyberoptics Corporation | Multi-source sensor for three-dimensional imaging using phased structured light |
CN102780845A (zh) * | 2012-06-14 | 2012-11-14 | 清华大学 | 一种光源交替频闪同步摄像方法及视觉检测系统 |
CN103020638A (zh) * | 2012-11-26 | 2013-04-03 | 清华大学 | 一种基于彩色信息进行焊道识别的方法 |
CN103954217A (zh) * | 2014-05-20 | 2014-07-30 | 清华大学 | 基于条形光源的强镜面反射工件细窄坡口检测装置及方法 |
CN104748698A (zh) * | 2015-04-10 | 2015-07-01 | 清华大学 | 一种使用侧向光构建光影特征的盖面焊缝检测装置及方法 |
CN104776799A (zh) * | 2015-04-10 | 2015-07-15 | 清华大学 | 使用侧向光构建光影特征的盖面焊前焊缝检测装置及方法 |
CN106990112A (zh) * | 2017-03-14 | 2017-07-28 | 清华大学 | 基于多视觉信息融合的多层多道焊接轨迹检测装置及方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4412121A (en) * | 1981-08-28 | 1983-10-25 | S R I International | Implement positioning apparatus and process |
US7380697B2 (en) * | 2001-02-14 | 2008-06-03 | Honda Giken Kogyo Kabushiki Kaisha | Welding condition monitoring device |
US8274013B2 (en) * | 2009-03-09 | 2012-09-25 | Lincoln Global, Inc. | System for tracking and analyzing welding activity |
DE102011104550B4 (de) * | 2011-06-17 | 2014-04-30 | Precitec Kg | Optische Messvorrichtung zur Überwachung einer Fügenaht, Fügekopf und Laserschweißkopf mit der selben |
-
2017
- 2017-03-14 CN CN201710155011.0A patent/CN106990112B/zh active Active
- 2017-07-05 US US15/641,798 patent/US10332271B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101159017A (zh) * | 2007-11-27 | 2008-04-09 | 清华大学 | 基于局部图像纹理特征匹配的焊缝自动识别视觉方法 |
WO2009094510A1 (en) * | 2008-01-25 | 2009-07-30 | Cyberoptics Corporation | Multi-source sensor for three-dimensional imaging using phased structured light |
CN102780845A (zh) * | 2012-06-14 | 2012-11-14 | 清华大学 | 一种光源交替频闪同步摄像方法及视觉检测系统 |
CN103020638A (zh) * | 2012-11-26 | 2013-04-03 | 清华大学 | 一种基于彩色信息进行焊道识别的方法 |
CN103954217A (zh) * | 2014-05-20 | 2014-07-30 | 清华大学 | 基于条形光源的强镜面反射工件细窄坡口检测装置及方法 |
CN104748698A (zh) * | 2015-04-10 | 2015-07-01 | 清华大学 | 一种使用侧向光构建光影特征的盖面焊缝检测装置及方法 |
CN104776799A (zh) * | 2015-04-10 | 2015-07-15 | 清华大学 | 使用侧向光构建光影特征的盖面焊前焊缝检测装置及方法 |
CN106990112A (zh) * | 2017-03-14 | 2017-07-28 | 清华大学 | 基于多视觉信息融合的多层多道焊接轨迹检测装置及方法 |
Non-Patent Citations (1)
Title |
---|
基于多视觉特征获取与信息融合的焊道识别方法;邹怡蓉等;《焊接学报》;20130531;第34卷(第5期);第33-34页序言以及多特征融合部分 |
Also Published As
Publication number | Publication date |
---|---|
US20180268562A1 (en) | 2018-09-20 |
US10332271B2 (en) | 2019-06-25 |
CN106990112A (zh) | 2017-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106990112B (zh) | 基于多视觉信息融合的多层多道焊接轨迹检测装置及方法 | |
CN210046133U (zh) | 基于激光结构光的焊缝视觉跟踪系统 | |
CN106485275B (zh) | 一种实现盖板玻璃与液晶屏定位贴合的方法 | |
CN105571502B (zh) | 搅拌摩擦焊接中焊缝间隙的测量方法 | |
CN107014294B (zh) | 一种基于红外图像的接触网几何参数检测方法及系统 | |
CN105300296B (zh) | 一种激光拼焊曲面拼缝测量方法及其实现装置 | |
CN105913415B (zh) | 一种具有广泛适应性的图像亚像素边缘提取方法 | |
CN108132017A (zh) | 一种基于激光视觉系统的平面焊缝特征点提取方法 | |
CN105488503B (zh) | 一种非编码圆环形标记点圆心图像坐标检测方法 | |
CN116879308A (zh) | 一种工业机器视觉系统图像处理方法 | |
CN108332658A (zh) | 一种用于复杂曲面焊接的焊道位姿实时检测方法 | |
CN105849534A (zh) | 表面缺陷检测方法及表面缺陷检测装置 | |
Ma et al. | Binocular vision system for both weld pool and root gap in robot welding process | |
CN101750416A (zh) | 一种基于线结构光的视觉焊缝表面质量检测传感器 | |
CN103759648A (zh) | 一种基于激光双目视觉的复杂角焊缝位置检测方法 | |
US20140346094A1 (en) | High-speed, triangulation-based, 3-d method and system for inspecting manufactured parts and sorting the inspected parts | |
CN106225676B (zh) | 三维测量方法、装置及系统 | |
CN110425996A (zh) | 基于双目立体视觉的工件尺寸测量方法 | |
Xu et al. | Real‐time image capturing and processing of seam and pool during robotic welding process | |
CN102455171A (zh) | 一种激光拼焊焊缝背面几何形貌检测方法及其实现装置 | |
Zeng et al. | A visual weld edge recognition method based on light and shadow feature construction using directional lighting | |
CN111397529A (zh) | 一种基于双目视觉结构光的复杂表面形状检测方法 | |
Lin et al. | Intelligent seam tracking of an ultranarrow gap during K-TIG welding: a hybrid CNN and adaptive ROI operation algorithm | |
Jia et al. | A spectrum selection method based on SNR for the machine vision measurement of large hot forgings | |
KR101637977B1 (ko) | 레이저 비전 시스템을 이용한 용접 조인트의 특징점 검출 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |