CN112365439A - 一种镀锌钢gmaw焊缝成形特征与焊枪方向同步实时检测方法 - Google Patents
一种镀锌钢gmaw焊缝成形特征与焊枪方向同步实时检测方法 Download PDFInfo
- Publication number
- CN112365439A CN112365439A CN202011015715.6A CN202011015715A CN112365439A CN 112365439 A CN112365439 A CN 112365439A CN 202011015715 A CN202011015715 A CN 202011015715A CN 112365439 A CN112365439 A CN 112365439A
- Authority
- CN
- China
- Prior art keywords
- welding
- weld
- image
- welding seam
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003466 welding Methods 0.000 title claims abstract description 142
- 238000000034 method Methods 0.000 title claims abstract description 38
- 229910001335 Galvanized steel Inorganic materials 0.000 title claims abstract description 19
- 239000008397 galvanized steel Substances 0.000 title claims abstract description 19
- 239000002184 metal Substances 0.000 title description 4
- 229910052751 metal Inorganic materials 0.000 title description 4
- 238000001514 detection method Methods 0.000 claims abstract description 29
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 23
- 230000005484 gravity Effects 0.000 claims abstract description 11
- 238000005259 measurement Methods 0.000 claims abstract description 10
- 230000009466 transformation Effects 0.000 claims abstract description 4
- 238000001914 filtration Methods 0.000 claims description 19
- 230000011218 segmentation Effects 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 7
- 238000002834 transmittance Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 238000000691 measurement method Methods 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000005316 response function Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 4
- 230000015572 biosynthetic process Effects 0.000 abstract description 3
- 238000010891 electric arc Methods 0.000 abstract description 2
- 230000001360 synchronised effect Effects 0.000 abstract description 2
- 238000011897 real-time detection Methods 0.000 abstract 1
- 230000036544 posture Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- HCHKCACWOHOZIP-UHFFFAOYSA-N Zinc Chemical compound [Zn] HCHKCACWOHOZIP-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 229910052725 zinc Inorganic materials 0.000 description 1
- 239000011701 zinc Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Abstract
本发明针对基于视觉传感的镀锌钢薄板搭接GMAW特点，提出了一种搭接接头焊缝成形特征全位置与焊枪方向同步实时检测方法。首先利用激光视觉系统同步检测焊缝与焊丝信息，采用尺度不变特征变换与方向特征检测算法实时获取焊缝轮廓与焊丝方向；其次提出基于Harris角点检测算法实现焊缝轮廓特征点识别；最后针对接头GMAW焊缝成形面积偏小的特点，基于线性插值方法实现了焊缝高度与宽度的全位置、焊缝面积的亚像素级测量，并基于零、一阶矩实现了焊缝重心检测。本发明在电弧、外界约束等复杂背景下实现焊缝高度、宽度以及面积与重心的亚像素级检测的同时，实现了焊枪主要工作方向的检测。具有适应性强、测精度高和便于控制焊缝成形等优点。
Description
技术领域
本发明涉及一种镀锌钢GMAW焊缝成形特征与焊枪方向同步实时检测方法，属于焊缝成形检测技术领域。
背景技术
镀锌钢目前的焊接方法主要有熔化极气体保护焊(Gas metal arc welding,GMAW)、激光焊和激光-电弧复合焊等。不论采用何种焊接方法，镀锌钢在焊接过程中因锌蒸汽极易产生焊接缺陷。焊缝成形特征参数是反馈焊接质量并在线优化焊枪姿态、焊接电流与速度等的主要依据之一。因此有效检测焊缝成形特征与焊枪姿态是控制镀锌钢焊接质量的关键技术之一。
焊缝成形特征包括焊缝高度、宽度、面积和热影响区等，其测量包括在线和离线方式。离线测量方法有光学显微镜、机械显微镜、红外传感和超声检测等；常见的在线测量方法为视觉传感法，包括使用多传感器的被动视觉系统和基于结构光的主动视觉传感，多借助图像处理技术完成特征测量。目前，众多研究多多集中于焊缝成形某个特征参数在不同时刻的测量，而对于典型特征在不同位置的测量、焊缝成形重心的检测尚无报道。
焊枪姿态是影响焊缝成形的主要因素之一。目前焊枪姿态的描述主要通过空间角度来构建。相关研究基于运动学模型计算、光纤及视觉传感获取相关角度。显然，采用合适的传感系统同时检测焊枪姿态与焊缝成形特征，有助于优化更多焊接过程参数。另外对于镀锌钢搭接接头GMAW中焊缝偏小情形下特征参数的测量精度也值得探究。
发明内容
为探索基于激光视觉传感的焊缝成形特征与焊枪姿态同步检测的可行性，本发明通过配比合适的滤、减光系统的中心波长与透过率并基于Gabor滤波与尺度不变特征变换(Scale-invariant feature transform,SIFT)算法与Harris角点检测算法设计了焊缝轮廓提取与焊枪方向检测及其特征点识别的算法流程，来实现焊枪主要工作方向的检测。本发明所采用的具体技术方案如下：
一种镀锌钢GMAW焊缝成形特征与焊枪方向同步实时检测方法，包括以下步骤：
步骤一、通过配比合适的滤、减光系统的中心波长与透过率，使得采集的同一帧图像中同时呈现搭接接头的焊缝轮廓、完整电弧区域与焊丝影像，并以焊丝标记焊枪。根据目标信息的方向特征，基于Gabor滤波与尺度不变特征变换(Scale-invariant featuretransform,SIFT)算法分别设计焊缝轮廓提取与焊枪方向检测的算法流程，实时获取搭接接头焊缝轮廓与焊丝方向。
步骤二、利用Harris角点检测算法实现搭接接头焊缝轮廓特征点识别；
步骤三、基于线性插值的搭接接头焊缝成形特征亚像素级全位置实时测量方法，并基于零、一阶矩实现搭接接头焊缝重心检测。
进一步地，所述获取焊缝轮廓与焊丝方向的具体步骤如下：
第一步：配置滤光片中心波长为660nm，半带宽为20nm，减光片透过率为0.014％，使得采集的焊缝图像中同时出现搭接接头焊缝轮廓、完整电弧区域与焊丝影像轮廓；
第二步：以全局最大灰度值为阈值进行阈值分割确定电弧区域，以电弧区域的几何中心为对称轴，分别向左、右80个像素为边界，形成感兴趣区域1的左右边界；以电弧区域最下面边界为感兴趣区域1的上边界；感兴趣区域1的下边界为焊缝图像的下边界；
第三步：用Gabor滤波检测焊缝方向特征，其卷积模板可如下获取：
其中，xo＝xcosθ+ysinθ，yo＝xcosθ-ysinθ，σx和σy是二维卷积模板尺寸，f是余弦函数的频率参数，
是相位。
第四步：通过局部阈值分割法有效检测焊缝边界区域，具体计算方法如下：
其中，i表示图像的行，j表示图像的列，i-2:i+2代表覆盖区域的5行，而j-2:j+2代表覆盖区域的5列，Tj是列j-2:j+2所在区域的阈值。
第五步：采集一幅无弧光的焊缝成形图像作为参考图像，并利用尺度不变特征变换算法获得参考图像与实时采集的焊缝图像的特征匹配点，然后将第四步获得的二值图像进行最近邻聚类，其中距离阈值设置为4个像素，最后提取与实时采集的焊缝图像的特征匹配点最近的类作为提取的焊缝轮廓。
第六步：以第二步获得的电弧区域的几何中心为对称轴，分别向左、右各10个像素确定感兴趣区域2的左右边界，以电弧区域中心坐标的水平方向坐标所在的水平线确定感兴趣区域2的下边界；感兴趣区域2的上边界为焊缝图像的上边界。
第七步：继续采用第三步的Gabor滤波获得焊丝方向特征图，然后采用第四步的局部阈值分割法进行二值化处理，并在水平方向上求取各点的平均坐标进行细化处理。
第八步：对线状焊丝进行最小二乘法拟合获取焊丝方向描述函数，从而检测焊枪方向。
进一步地，所述Harris算法的具体步骤如下：
第一步：计算图像f(x,y)在X,Y方向上的梯度fx、fy，均采用高斯微分模板。
其中，
是二维卷积运算，gx(x,y)与gy(x,y)是图像f(x,y)在x、y方向上的高斯函数。
第二步：计算图像两个方向上的梯度乘积，并且用9×9模板的高斯函数对
和fxy进行平滑滤波，其中
和fxy分别为两个方向梯度的乘积。
第三步：计算每个像素对于Harris响应值，其响应函数为：
其中，w(x，y)为窗口函数，f(x+u，y+v)为移动之后的像素灰度值，f(x，y)为移动之前的像素灰度值。把E(x，y)表示成向量矩阵形式：
令
则E(x，y)≈[u v]M[u v]T。响应值函数为：
R＝det(M)-k(trace(M))2<t
计算每个像素的Harris响应值R，并对小于某一阈值t的R置为零，在3×3领域模板中进行非最大值抑制，最后得到的最大值点即为图像的特征点。
进一步地，所述焊缝成形特征亚像素级全位置实时测量方法的具体步骤如下：
第一步：利用识别的三个特征点坐标(Ci,Oi)(i＝1,2,3)截取直线y＝C1与y＝C3之间的数据作为焊缝轮廓数据，其坐标记为(hi,zi)(i＝1,2,…)。其次将该两个特征点在垂直方向的平均坐标(O1+O3)/2作为焊缝底面位置。最后对焊缝轮廓数据进行线性插值获取亚像素级坐标：
其中，实时获取的焊缝轮廓数据在水平方向上的间隔是默认的1个像素，插值时以相邻像素点为已知点，每相邻像素点中均匀插入9个亚像素点分为10等份，这样hi、zi、hi+1与zi+1的坐标是已知的，zi'与hi'是插值点的坐标。
第二步：对于焊缝全位置宽度Wi，
满足|c1-y|≤1pixel与|c2-y|≤1pixel；对于焊缝全位置高度Hi，
满足|o1-x|≤1pixel与|o2-x|≤1pixel，其中o1＝(O1+O2)/2。于是：Hi＝|o1-o2|，Wi＝|c1-c2|，焊缝面积
进一步地，所述焊缝重心检测方法的具体步骤如下：
焊缝轮廓特征点获取后，根据第一、三个特征点的坐标截取焊缝轮廓所在位置，并根据确定的焊缝底面位置填充焊缝区域。利用二值图像的零、一阶矩可得焊缝重心坐标为：
本发明有益效果：
本发明提出了一种镀锌钢GMAW焊缝成形特征与焊枪方向同步实时检测方法，是一种经济可靠地普适性方法，该方法能在电弧、外界约束等复杂背景下实现焊缝高度、宽度以及面积与重心的亚像素级检测的同时，实现了焊枪主要工作方向的检测，具有适应性强、测精度高和便于控制焊缝成形等优点，为镀锌钢GMAW在线控制焊缝成形提供了技术支持。
附图说明
图1为本发明所提供的镀锌钢GMAW焊缝成形特征与焊枪方向同步实时检测方法总流程图；
图2为采集的原始焊缝图像；
图3为本发明中步骤一所述获取焊缝轮廓算法流程图；
图4为本发明中的感兴趣区域1确定过程；
图5为本发明中的焊缝Gabor滤波结果与局部阈值分割结果；
图6为本发明中基于SIFT算法获得的图像匹配特征点；
图7为本发明基于匹配特征点与聚类结果的焊缝轮廓定位示意与焊缝轮廓提取结果；
图8为本发明中步骤一所述焊枪位置方向检测流程图；
图9为本发明中的感兴趣区域2与焊枪方向检测结果；
图10为本发明中步骤三所述焊缝特征及重心检测结果示意图。
具体实施方式
下面结合具体实施例对本发明做进一步说明，但本发明不受实施例的限制。
采用的焊接视觉系统主要由焊机、激光视觉传感器(由CCD相机、结构光激光器和滤、减光片组成)、伺服电机控制器和PC电脑组成的实验平台。
实施例1：一种镀锌钢GMAW焊缝成形特征与焊枪方向同步实时检测方法，如图1所示，包括以下步骤：
步骤一、通过配比合适的滤、减光系统的中心波长与透过率，使得采集的同一帧图像中同时呈现搭接接头的焊缝轮廓、完整电弧区域与焊丝影像，并以焊丝标记焊枪，如图2所示。根据目标信息的方向特征，基于Gabor滤波与尺度不变特征变换(Scale-invariantfeature transform,SIFT)算法分别设计焊缝轮廓提取与焊枪方向检测的算法流程，实时获取搭接接头焊缝轮廓与焊丝方向。
步骤二、利用Harris角点检测算法实现搭接接头焊缝轮廓特征点识别；
步骤三、针对镀锌钢薄板(厚度为1mm)搭接GMAW焊缝成形面积偏小情形，基于线性插值的搭接接头焊缝成形特征亚像素级全位置实时测量方法，并基于零、一阶矩实现搭接接头焊缝重心检测。
其中，获取搭接接头焊缝轮廓与焊丝方向的具体步骤(如图3所示)：
第一步：配置滤光片中心波长为660nm，半带宽为20nm，减光片透过率为0.014％，使得采集的焊缝图像中同时出现搭接接头焊缝轮廓、完整电弧区域与焊丝影像轮廓；
第二步：以全局最大灰度值为阈值进行阈值分割确定电弧区域，以电弧区域的几何中心为对称轴，分别向左、右80个像素为边界，形成感兴趣区域1(ROI1)的左右边界；以电弧区域最下面边界为感兴趣区域1的上边界；感兴趣区域1的下边界为焊缝图像的下边界(如图4所示)；
第三步：用Gabor滤波检测焊缝方向特征，其卷积模板可如下获取：
其中，xo＝xcosθ+ysinθ，yo＝xcosθ-ysinθ，σx和σy是二维卷积模板尺寸，f是余弦函数的频率参数，
是相位。试验测试设置上述参数如下：滤波角度θ＝±37°，σx＝σx＝4，f＝1/6和
该滤波算法能从电弧背景中有效凸显焊缝轮廓，获得焊缝方向特征图(如图5a所示)。
第四步：通过局部阈值分割法有效检测焊缝边界区域，具体计算方法如下：
其中，i表示图像的行，j表示图像的列，i-2:i+2代表覆盖区域的5行，而j-2:j+2代表覆盖区域的5列，Tj是列j-2:j+2所在区域的阈值。
采用局部阈值分割法能有效检测焊缝边界区域(如图5b所示)。
第五步：采集一幅无弧光的焊缝成形图像作为参考图像，并利用尺度不变特征变换算法获得参考图像与实时采集的焊缝图像的特征匹配点，然后将第四步获得的二值图像进行最近邻聚类，其中距离阈值设置为4个像素，最后提取与实时采集的焊缝图像的特征匹配点最近的类作为提取的焊缝轮廓(如图6、7所示)。
其中，获取焊丝方向的具体步骤(如图8所示)：
第六步：以第二步获得的电弧区域的几何中心为对称轴，分别向左、右各10个像素确定感兴趣区域2(ROI2)的左右边界，以电弧区域中心坐标的水平方向坐标所在的水平线确定感兴趣区域2的下边界；感兴趣区域2的上边界为焊缝图像的上边界(如图9a所示)。
第七步：设定滤波角度为90°，继续采用第三步的Gabor滤波获得焊丝方向特征图，然后采用第四步的局部阈值分割法进行二值化处理，并在水平方向上求取各点的平均坐标进行细化处理。最后对线状焊丝进行最小二乘法拟合获取焊丝方向描述函数，从而检测焊枪方向(如图9b所示)。
其中，所述Harris算法的具体步骤如下：
第一步：计算图像f(x,y)在X,Y方向上的梯度fx、fy，均采用高斯微分模板。
其中，
是二维卷积运算，gx(x,y)与gy(x,y)是图像f(x,y)在x、y方向上的高斯函数。
第二步：计算图像两个方向上的梯度乘积，并且用9×9模板的高斯函数对
和fxy进行平滑滤波，其中
和fxy分别为两个方向梯度的乘积。
第三步：计算每个像素对于Harris响应值，其响应函数为：
其中，w(x，y)为窗口函数，f(x+u，y+v)为移动之后的像素灰度值，f(x，y)为移动之前的像素灰度值。把E(x，y)表示成向量矩阵形式：
令
则E(x，y)≈[u v]M[u v]T。响应值函数为：
R＝det(M)-k(trace(M))2<t
计算每个像素的Harris响应值R，并对小于某一阈值t的R置为零，在3×3领域模板中进行非最大值抑制，最后得到的最大值点即为图像的特征点(如图10a所示)。
其中，焊缝成形特征亚像素级全位置实时测量方法的具体步骤如下：
利用识别的三个特征点坐标(Ci,Oi)(i＝1,2,3)截取直线y＝C1与y＝C3之间的数据作为焊缝轮廓数据，其坐标记为(hi,zi)(i＝1,2,…)。其次将该两个特征点在垂直方向的平均坐标(O1+O3)/2作为焊缝底面位置。最后对焊缝轮廓数据进行线性插值获取亚像素级坐标：
其中，zi'与hi'是插值点的坐标，hi、zi、hi+1与zi+1是已知点的坐标。实时获取的焊缝轮廓数据在水平方向上的间隔是默认的1个像素，插值时以相邻像素点为已知点，每相邻像素点中均匀插入9个亚像素点分为10等份。
对于焊缝全位置宽度Wi，
满足|c1-y|≤1pixel与|c2-y|≤1pixel；对于焊缝全位置高度Hi，
满足|o1-x|≤1pixel与|o2-x|≤1pixel，其中o1＝(O1+O2)/2。于是：Hi＝|o1-o2|(如图10b所示)，Wi＝|c1-c2|(如图10c所示)，焊缝面积
(如图10d所示)。根据不同时刻各特征参数测量结果，三维重构焊缝如图10e。
其中，焊缝重心检测方法的具体步骤如下：
焊缝轮廓特征点获取后(图10a)，根据第一、三个特征点的坐标截取焊缝轮廓所在位置，并根据确定的焊缝底面位置填充焊缝区域。利用二值图像的零、一阶矩可得焊缝重心坐标为：
获得的重心坐标如图10d中的“+”。
以上所述仅表达了本发明的优选实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形、改进及替代，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (5)
1.一种镀锌钢GMAW焊缝成形特征与焊枪方向同步实时检测方法，其特征在于：包括以下步骤：
步骤一、通过配比合适的滤、减光系统的中心波长与透过率，使得采集的同一帧图像中同时呈现搭接接头的焊缝轮廓、完整电弧区域与焊丝影像，并以焊丝标记焊枪；根据目标信息的方向特征，基于Gabor滤波与尺度不变特征变换算法分别设计焊缝轮廓提取与焊枪方向检测的算法流程，实时获取搭接接头焊缝轮廓与焊丝方向；
步骤二、利用Harris角点检测算法实现搭接接头焊缝轮廓特征点识别；
步骤三、基于线性插值实现搭接接头焊缝成形特征亚像素级全位置实时测量，并基于零、一阶矩实现搭接接头焊缝重心检测。
2.根据权利要求1所述镀锌钢GMAW焊缝成形特征与焊枪方向同步实时检测方法，其特征在于：所述步骤一获取搭接接头焊缝轮廓与焊丝方向的具体步骤如下：
第一步：配置滤光片中心波长为660nm，半带宽为20nm，减光片透过率为0.014％，使得采集的焊缝图像中同时出现搭接接头焊缝轮廓、完整电弧区域与焊丝影像轮廓；
第二步：以全局最大灰度值为阈值进行阈值分割确定电弧区域，以电弧区域的几何中心为对称轴，分别向左、右80个像素为边界，形成感兴趣区域1的左右边界；以电弧区域最下面边界为感兴趣区域1的上边界；感兴趣区域1的下边界为焊缝图像的下边界；
第三步：用Gabor滤波检测焊缝方向特征，其卷积模板可如下获取：
其中xo＝xcosθ+ysinθ，yo＝xcosθ-ysinθ，σx和σy是二维卷积模板尺寸，f是余弦函数的频率参数，
是相位；
第四步：通过局部阈值分割法有效检测焊缝边界区域，局部阈值计算方法如下：
其中，i表示图像的行，j表示图像的列，i-2:i+2代表覆盖区域的5行，而j-2:j+2代表覆盖区域的5列，Tj是列j-2:j+2所在区域的阈值；
第五步：采集一幅无弧光的焊缝成形图像作为参考图像，并利用尺度不变特征变换算法获得参考图像与实时采集的焊缝图像的特征匹配点，然后将第四步获得的二值图像进行最近邻聚类，其中距离阈值设置为4个像素，最后提取与实时采集的焊缝图像的特征匹配点最近的类作为提取的焊缝轮廓；
第六步：以第二步获得的电弧区域的几何中心为对称轴，分别向左、右各10个像素确定感兴趣区域2的左右边界，以电弧区域中心坐标的水平方向坐标所在的水平线确定感兴趣区域2的下边界；感兴趣区域2的上边界为焊缝图像的上边界；
第七步：继续采用第三步的Gabor滤波获得焊丝方向特征图，然后采用第四步的局部阈值分割法进行二值化处理，并在水平方向上求取各点的平均坐标进行细化处理；
第八步：对线状焊丝进行最小二乘法拟合获取焊丝方向描述函数，从而检测焊枪方向。
3.根据权利要求1所述镀锌钢GMAW焊缝成形特征与焊枪方向同步实时检测方法，其特征在于：所述步骤二Harris算法的具体步骤如下：
第一步：计算图像f(x,y)在X,Y方向上的梯度fx、fy，均采用高斯微分模板；
其中，
是二维卷积运算，gx(x,y)与gy(x,y)是图像f(x,y)在x、y方向上的高斯函数；
第二步：计算图像两个方向上的梯度乘积，并且用9×9模板的高斯函数对
和fxy进行平滑滤波，其中
和fxy分别为两个方向梯度的乘积；
第三步：计算每个像素对于Harris响应值，其响应函数为：
其中，w(x，y)为窗口函数，f(x+u，y+v)为移动之后的像素灰度值，f(x，y)为移动之前的像素灰度值；把E(x，y)表示成向量矩阵形式：
令
则E(x，y)≈[u v]M[u v]T；响应值函数为：
R＝det(M)-k(trace(M))2<t
计算每个像素的Harris响应值R，并对小于某一阈值t的R置为零，在3×3领域模板中进行非最大值抑制，最后得到的最大值点即为图像的特征点。
4.根据权利要求1所述镀锌钢GMAW焊缝成形特征与焊枪方向同步实时检测方法，其特征在于：所述步骤三搭接接头焊缝成形特征亚像素级全位置实时测量方法的具体步骤如下：
第一步：利用识别的三个特征点坐标(Ci,Oi)(i＝1,2,3)截取直线y＝C1与y＝C3之间的数据作为焊缝轮廓数据，其坐标记为(hi,zi)(i＝1,2,…)，其次将该两个特征点在垂直方向的平均坐标(O1+O3)/2作为焊缝底面位置，最后对焊缝轮廓数据进行线性插值获取亚像素级坐标：
其中，实时获取的焊缝轮廓数据在水平方向上的间隔是默认的1个像素，插值时以相邻像素点为已知点，每相邻像素点中均匀插入9个亚像素点分为10等份，这样hi、zi、hi+1与zi+1的坐标是已知的，zi'与hi'是插值点的坐标；
第二步：对于焊缝全位置宽度Wi，
满足|c1-y|≤1pixel与|c2-y|≤1pixel；对于焊缝全位置高度Hi，
满足|o1-x|≤1pixel与|o2-x|≤1pixel，其中o1＝(O1+O2)/2；于是：Hi＝|o1-o2|，Wi＝|c1-c2|，焊缝面积
5.根据权利要求4所述镀锌钢GMAW焊缝成形特征与焊枪方向同步实时检测方法，其特征在于：所述步骤三焊缝重心检测方法的具体步骤如下：
焊缝轮廓特征点获取后，根据第一、三个特征点的坐标截取焊缝轮廓所在位置，并根据确定的焊缝底面位置填充焊缝区域；利用二值图像的零、一阶矩可得焊缝重心坐标为：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011015715.6A CN112365439B (zh) | 2020-09-24 | 2020-09-24 | 一种镀锌钢gmaw焊缝成形特征与焊枪方向同步实时检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011015715.6A CN112365439B (zh) | 2020-09-24 | 2020-09-24 | 一种镀锌钢gmaw焊缝成形特征与焊枪方向同步实时检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112365439A true CN112365439A (zh) | 2021-02-12 |
| CN112365439B CN112365439B (zh) | 2023-10-03 |
Family
ID=74506593
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011015715.6A Active CN112365439B (zh) | 2020-09-24 | 2020-09-24 | 一种镀锌钢gmaw焊缝成形特征与焊枪方向同步实时检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112365439B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112862794A (zh) * | 2021-02-20 | 2021-05-28 | 河北工业大学 | 一种基于结构光的角焊缝外观检测方法 |
| CN113358058A (zh) * | 2021-06-07 | 2021-09-07 | 四川航天长征装备制造有限公司 | 基于离散序列点的焊缝轮廓特征计算机视觉检测方法 |
| CN113567433A (zh) * | 2021-06-09 | 2021-10-29 | 中车青岛四方机车车辆股份有限公司 | 粘接接头的检测方法及装置 |
| CN117115082A (zh) * | 2023-07-12 | 2023-11-24 | 钛玛科（北京）工业科技有限公司 | 一种轮胎搭接质量检测方法和设备 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101877063A (zh) * | 2009-11-25 | 2010-11-03 | 中国科学院自动化研究所 | 一种基于亚像素级特征点检测的图像匹配方法 |
| CN102663781A (zh) * | 2012-03-23 | 2012-09-12 | 南昌航空大学 | 一种基于视觉的亚像素级焊缝中心提取方法 |
| CN102721365A (zh) * | 2012-06-01 | 2012-10-10 | 北京交通大学 | 隧道断面高速精确测量方法及装置 |
| CN103759648A (zh) * | 2014-01-28 | 2014-04-30 | 华南理工大学 | 一种基于激光双目视觉的复杂角焊缝位置检测方法 |
| CN103878479A (zh) * | 2014-03-06 | 2014-06-25 | 上海交通大学 | 基于光谱分析的激光焊t型搭接接头间隙的在线检测方法 |
| CN104084669A (zh) * | 2014-06-20 | 2014-10-08 | 河北工业大学 | 一种基于解耦检测的环缝视觉检测方法及装置 |
| US20180147647A1 (en) * | 2014-12-09 | 2018-05-31 | Jiangsu University Of Science And Technology | Adaptive control method and equipment of arc swing in narrow gap welding |
| CN108416766A (zh) * | 2018-01-31 | 2018-08-17 | 浙江理工大学 | 双侧入光式导光板缺陷视觉检测方法 |
| CN110751604A (zh) * | 2019-09-30 | 2020-02-04 | 佛山科学技术学院 | 一种基于机器视觉的钢管焊缝缺陷在线检测方法 |
| CN110814465A (zh) * | 2019-11-28 | 2020-02-21 | 华东交通大学理工学院 | 一种自动焊接焊缝轮廓提取的通用方法 |
-
2020
- 2020-09-24 CN CN202011015715.6A patent/CN112365439B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101877063A (zh) * | 2009-11-25 | 2010-11-03 | 中国科学院自动化研究所 | 一种基于亚像素级特征点检测的图像匹配方法 |
| CN102663781A (zh) * | 2012-03-23 | 2012-09-12 | 南昌航空大学 | 一种基于视觉的亚像素级焊缝中心提取方法 |
| CN102721365A (zh) * | 2012-06-01 | 2012-10-10 | 北京交通大学 | 隧道断面高速精确测量方法及装置 |
| CN103759648A (zh) * | 2014-01-28 | 2014-04-30 | 华南理工大学 | 一种基于激光双目视觉的复杂角焊缝位置检测方法 |
| CN103878479A (zh) * | 2014-03-06 | 2014-06-25 | 上海交通大学 | 基于光谱分析的激光焊t型搭接接头间隙的在线检测方法 |
| CN104084669A (zh) * | 2014-06-20 | 2014-10-08 | 河北工业大学 | 一种基于解耦检测的环缝视觉检测方法及装置 |
| US20180147647A1 (en) * | 2014-12-09 | 2018-05-31 | Jiangsu University Of Science And Technology | Adaptive control method and equipment of arc swing in narrow gap welding |
| CN108416766A (zh) * | 2018-01-31 | 2018-08-17 | 浙江理工大学 | 双侧入光式导光板缺陷视觉检测方法 |
| CN110751604A (zh) * | 2019-09-30 | 2020-02-04 | 佛山科学技术学院 | 一种基于机器视觉的钢管焊缝缺陷在线检测方法 |
| CN110814465A (zh) * | 2019-11-28 | 2020-02-21 | 华东交通大学理工学院 | 一种自动焊接焊缝轮廓提取的通用方法 |
Non-Patent Citations (2)
| Title |
|---|
| 史博伟, 闫志鸿, 卢振洋: "基于图形与图像特征的铝合金焊缝成形检测", 热加工工艺, vol. 49, no. 5, pages 131 - 136 * |
| 孙增光, 王士军, 周永鑫等: "基于图像处理的焊缝实时跟踪技术研究", 制造技术与机床, no. 5, pages 144 - 148 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112862794A (zh) * | 2021-02-20 | 2021-05-28 | 河北工业大学 | 一种基于结构光的角焊缝外观检测方法 |
| CN113358058A (zh) * | 2021-06-07 | 2021-09-07 | 四川航天长征装备制造有限公司 | 基于离散序列点的焊缝轮廓特征计算机视觉检测方法 |
| CN113358058B (zh) * | 2021-06-07 | 2022-10-14 | 四川航天长征装备制造有限公司 | 基于离散序列点的焊缝轮廓特征计算机视觉检测方法 |
| CN113567433A (zh) * | 2021-06-09 | 2021-10-29 | 中车青岛四方机车车辆股份有限公司 | 粘接接头的检测方法及装置 |
| CN117115082A (zh) * | 2023-07-12 | 2023-11-24 | 钛玛科（北京）工业科技有限公司 | 一种轮胎搭接质量检测方法和设备 |
| CN117115082B (zh) * | 2023-07-12 | 2024-04-05 | 钛玛科（北京）工业科技有限公司 | 一种轮胎搭接质量检测方法和设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112365439B (zh) | 2023-10-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112365439B (zh) | 一种镀锌钢gmaw焊缝成形特征与焊枪方向同步实时检测方法 | |
| CN210046133U (zh) | 基于激光结构光的焊缝视觉跟踪系统 | |
| CN108637435B (zh) | 一种基于视觉与弧压传感的三维焊缝跟踪系统及方法 | |
| CN109903279B (zh) | 焊缝运动轨迹的自动示教方法和装置 | |
| CN108568624A (zh) | 一种基于图像处理的机械臂焊接系统及焊接方法 | |
| CN109483017A (zh) | 一种基于图像识别的焊缝跟踪系统及其优化方法 | |
| CN105783726A (zh) | 一种基于线结构光视觉检测的曲线焊缝三维重建方法 | |
| CN112529858A (zh) | 一种基于机器视觉的焊缝图像处理方法 | |
| CN112419429B (zh) | 一种基于多视角的大型工件表面缺陷检测标定方法 | |
| CN108127217B (zh) | 螺旋板式换热器端面焊缝自动引导焊接的焊接装置和方法 | |
| Ma et al. | Binocular vision system for both weld pool and root gap in robot welding process | |
| CN112238292A (zh) | 一种基于视觉的搅拌摩擦焊机器人空间曲线轨迹跟踪方法 | |
| CN114140439A (zh) | 基于深度学习的激光焊接焊缝特征点识别方法及装置 | |
| Yu et al. | Vision-based deviation extraction for three-dimensional control in robotic welding with steel sheet | |
| CN114283139A (zh) | 一种基于面阵结构光3d视觉的焊缝检测分割方法及装置 | |
| CN113909689B (zh) | 一种激光光条的管道焊接坡口特征提取方法 | |
| CN109894779A (zh) | 一种机器视觉跟踪系统及方法 | |
| Wu et al. | Research on robust laser vision feature extraction method for fillet welds with different reflective materials under uncertain interference | |
| CN111397529A (zh) | 一种基于双目视觉结构光的复杂表面形状检测方法 | |
| Liu et al. | A real-time passive vision system for robotic arc welding | |
| Wang et al. | A novel method for dense point cloud reconstruction and weld seam detection for tubesheet welding robot | |
| Cai et al. | Weld beads and defects automatic identification, localization, and size calculation based on a lightweight fully convolutional neural network | |
| CN110608684A (zh) | 一种单层多道焊缝堆积熔敷效果检测方法及系统 | |
| Naji et al. | Square groove detection based on Förstner with Canny edge operator using laser vision sensor | |
| CN109993741A (zh) | 一种基于k均值聚类的钢轨焊缝轮廓自动定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |