CN112862794A - 一种基于结构光的角焊缝外观检测方法 - Google Patents

一种基于结构光的角焊缝外观检测方法 Download PDF

Info

Publication number
CN112862794A
CN112862794A CN202110195368.8A CN202110195368A CN112862794A CN 112862794 A CN112862794 A CN 112862794A CN 202110195368 A CN202110195368 A CN 202110195368A CN 112862794 A CN112862794 A CN 112862794A
Authority
CN
China
Prior art keywords
structured light
point
pixel points
light stripe
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110195368.8A
Other languages
English (en)
Inventor
戴士杰
贾瑞
季文彬
东强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Original Assignee
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology filed Critical Hebei University of Technology
Priority to CN202110195368.8A priority Critical patent/CN112862794A/zh
Publication of CN112862794A publication Critical patent/CN112862794A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30152Solder

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明为一种基于结构光的角焊缝外观检测方法,包括第一步、获取原始图像;第二步、对原始图像进行预处理;第三步、计算结构光条纹上各像素点的Hessian矩阵,求垂直于结构光条纹走势方向上每列像素点的Hessian矩阵的特征值及特征向量,最大特征值对应的特征向量的方向为当前位置的结构光条纹法线方向;计算沿结构光条纹法线方向上结构光条纹所在区域的每列像素点的平均坐标;所有平均坐标对应的点的连线即为结构光条纹中心线;第四步、提取结构光条纹中心线上的特征点,利用各个特征点的坐标计算外观参数,根据焊件的质量要求判断各外观参数是否符合质量要求。本发明避免了结构光条纹在曲率变化较大时,中心线提取不准确的缺陷。

Description

一种基于结构光的角焊缝外观检测方法
技术领域
本发明涉及基于机器视觉的焊缝检测技术领域,具体是一种基于结构光的角焊缝外观检测方法。
背景技术
角焊缝作为工业生产中重要的焊缝形式,在航天、核能、船舶等行业和领域中普遍存在。实际生产过程中,焊接工艺受到多种因素的影响,导致焊缝外观不符合生产要求,使焊接件的强度、疲劳寿命等性能下降。因此,为保证焊接件的安全性和可靠性,需要对角焊缝外观进行检测。传统焊缝外观检测方式为人工采用焊缝检测尺对焊缝外观进行测量,这种方式存在检测精度低、检测效率低、智能化水平低等缺陷。
基于结构光视觉技术的焊缝外观检测中,重点内容是提取焊缝上的结构光条纹中心线。周勇等人(周勇,李坚,李明军.基于RANSAC算法的焊缝余高识别与检测[J].机械工程与自动化,2017(06):143-145.)开发了焊缝余高检测系统,在图像处理过程中用平均坐标法提取结构光条纹中心线,该算法简单,但当焊缝为角焊缝时,母材与角焊缝接触的地方曲率较大,导致结构光条纹的法线方向变化比较剧烈,提取效果较差,准确率低。周富强等人(周富强,王飞,张广军.结构光直线光条图像特征的三步法提取[J].机械工程学报,2008,44(11):215-219.)用基于Hessian矩阵的Steger法提取了结构光条纹中心线,该算法准确性高,但算法复杂,实时性差。
发明内容
针对现有技术的不足,本发明拟解决的技术问题是,提出了一种基于结构光的角焊缝外观检测方法。
本发明解决所述技术问题采用的技术方案是:
一种基于结构光的角焊缝外观检测方法,其特征在于,该方法包括以下步骤:
第一步、获取原始图像;
第二步、对原始图像进行预处理;
第三步、采用Steger算法计算结构光条纹上各像素点的Hessian矩阵,求垂直于结构光条纹走势方向上每列像素点的Hessian矩阵的特征值及特征向量,最大特征值对应的特征向量的方向即为当前位置的结构光条纹法线方向;同理,求得沿结构光条纹走势方向上各个位置的结构光条纹法线方向;
利用式(7)计算沿结构光条纹法线方向上结构光条纹所在区域的每列像素点的平均坐标(xc,yc);
Figure BDA0002945064660000021
式(7)中,(xi,yi)为结构光条纹法线方向上每列像素点中第i个像素点的坐标,n为结构光条纹法线方向上每列像素点的个数;
将所有平均坐标对应的点依次连线,得到结构光条纹中心线;
第四步、拟合出结构光条纹中心线左、右两端的直线L1和L2;设置第一移动向量的大小为1×q,3≤q≤20,q为整数;将第一移动向量沿结构光条纹中心线从左向右依次移动,每移动一个像素,利用式(8)计算第一移动向量内所有像素点到直线L1的距离和D;
Figure BDA0002945064660000022
式(8)中,j为移动向量的起点,dk为第k个像素点到直线L1的距离;
当距离和D大于阈值T时停止移动,粗略得到特征点A1的位置,特征点A1为角焊缝与焊件左侧的交点;
设置第二移动向量的大小为第一移动向量大小的一半,从第一移动向量的当前位置沿结构光条纹中心线从右向左依次移动第二移动向量,计算位于第二移动向量内所有像素点到直线L1的距离和D,当距离和D小于T/2时停止移动,当前位置的第二移动向量内位于中间位置的像素点即为特征点A1;同理,提取特征点A2,特征点A2为角焊缝与焊件右侧的交点;
将直线L1和直线L2的交点记为特征点A3,求线段A1A2之间的结构光条纹中心线上各像素点到特征点A3的距离,最大距离对应的像素点即为特征点A4;然后从右向左依次计算线段A1A4之间的结构光条纹中心线上各像素点到直线L1的距离,将距离为零的像素点记为特征点A5,距离取得极大值的像素点记为特征点A6,特征点A5即为左咬边的起/始点,特征点A6即为左咬边的中点,弧线A1A5即为角焊缝的左咬边;同理提取角焊缝的右咬边;
利用各个特征点的坐标计算角焊缝的外观参数,根据焊件的质量要求判断各外观参数是否符合质量要求,以完成角焊缝的外观检测。
第三步还包括:将平均坐标对应的点记为白色像素点,其余像素点置为黑色,因此沿结构光条纹走势方向得到多个白色像素点;然后沿结构光条纹走势方向从左向右依次遍历所有白色像素点,若所有白色像素点的行坐标与各自的前一列白色像素点的行坐标相差均小于或等于异常阈值,则将所有白色像素点依次连线,得到结构光条纹中心线;
若某列白色像素点的行坐标与前一列白色像素点的行坐标相差大于异常阈值,则该白色像素点为偏离结构光条纹中心线的异常点,将该异常点剔除;然后采用三次样条插值算法对剩余的白色像素点进行曲线拟合,拟合曲线即为结构光条纹中心线。
异常阈值为3个像素。
外观参数包括宽度、凸度、咬边值、焊脚长度和测量焊喉;其中,利用式(9)计算宽度:
W=|x1-x2| (9)
式(9)中,x1、x2分别为特征点A1以及特征点A2的x轴坐标;
凸度为特征点A4到直线A1A2的距离;
咬边值包括左咬边值和右咬边值;其中,左咬边值U计算公式为:
U=|y1-y6| (10)
式(10)中,y1、y6分别为特征点A1以及特征点A6的y轴坐标;
焊脚长度l=min(|A1A3|,|A2A3|);
测量焊喉为特征点A3到特征点A4的距离m,计算公式为:
Figure BDA0002945064660000031
式(11)中,(x3,y3)、(x4,y4)分别为特征点A3以及特征点A4的坐标。
5.根据权利要求1所述的基于结构光的角焊缝外观检测方法,其特征在于,阈值T的大小为0.5倍咬边最大允许值。
第三步中Hessian矩阵由预处理后的图像的二阶偏导数构成,预处理后的图像的二阶偏导数由预处理后的图像与各阶高斯核的卷积得到;设f(x,y)为预处理后的图像,即二维图像,g(x,y)为二维高斯函数,则各阶高斯核为:
Figure BDA0002945064660000032
Figure BDA0002945064660000033
Figure BDA0002945064660000034
Figure BDA0002945064660000035
Figure BDA0002945064660000036
式(1)~(5)中,σ为高斯方差,
Figure BDA0002945064660000041
w为结构光条纹沿法线方向上的宽度;gx,σ(x,y)为二维高斯函数对x的一阶导数,gy,σ(x,y)为二维高斯函数对y的一阶导数,gx,σ(x,y)、gy,σ(x,y)均为一阶高斯核;gxy,σ(x,y)为二维高斯函数对x和y的一阶导数,gxx,σ(x,y)为二维高斯函数对x的二阶导数,gyy,σ(x,y)为二维高斯函数对y的二阶导数,gxy,σ(x,y)、gxx,σ(x,y)以及gyy,σ(x,y)均为二阶高斯核;
则结构光条纹上任意像素点的Hessian矩阵为:
Figure BDA0002945064660000042
式(6)中,rxx为预处理后的图像f(x,y)对x的二阶偏导数,rxy为预处理后的图像f(x,y)先对x求一阶偏导数再对y求一阶偏导数,ryx为预处理后的图像f(x,y)先对y求一阶偏导数再对x求一阶偏导数,ryy为预处理后的图像f(x,y)对y的二阶偏导数。
第二步的具体过程为:首先对原始图像进行平滑处理,对平滑处理后的图像进行高斯平滑滤波;对滤波后的图像采用Otsu算法进行阈值分割处理,将灰度图像转化为二值化图像,采用形态学闭操作将二值化图像中断裂的结构光条纹连通。
与现有的技术相比,本发明的有益效果在于:
(1)针对现有技术中提取结构光条纹中心线,准确率不高,耗时长等缺陷,本发明将平均坐标法和Steger算法相结合提取结构光条纹中心线,避免了结构光条纹在曲率变化较大时,中心线提取不准确的缺陷,减小了提取结构光条纹中心线的误差,以此提高了角焊缝外观检测的准确性。
(2)本发明通过直线拟合和设置移动向量,提取各个特征点,操作简单,而且可以提取到比较全面的用于计算角焊缝外观参数的特征点。
(3)本发明的算法简单且准确性高,稳定性强,更适合做手持式检测设备的嵌入式开发。
附图说明
图1为本发明的数据采集平台的结构示意图;
图2为本发明的整体流程图;
图3为本发明提取到的结构光条纹中心线;
图4为本发明提取的特征点的位置示意图;
图5为本发明各个外观参数的示意图;
图6为发明各个外观参数的曲线图。
具体实施方式
下面给出本发明的具体实施例。具体实施例仅用于进一步详细说明本发明的技术方案,不限制本申请的保护范围。
如图1所示,本发明使用的数据采集平台包括相机、激光器、滤波片和计算机,相机和激光器均对准角焊缝,且均与计算机连接;激光器发射的结构光作用在角焊缝上,相机采集包含结构光条纹的角焊缝图像;滤波片安装在相机的镜头上,可有效降低相机视野中其他波段的光信号强度,达到提高信噪比的效果;安装时,相机光心到光平面的距离为94.8mm,相机光轴与光平面之间的夹角为40度,像平面到相机光心的距离即相机焦距为4.6mm。
相机采用工业相机,其型号为Basler dart daA1920-30uc,采用CMOS芯片,分辨率为1920*1080像素;激光器采用一字线型激光器,线宽稳定,照度均匀,输出波长为650nm;滤波片与激光器相匹配,中心波长为650nm。
本发明的基于结构光的角焊缝外观检测方法(简称方法,参见图2-6),包括以下步骤:
第一步、获取原始图像,原始图像为含有结构光条纹的角焊缝图像;
激光器采用激光垂直照射,倾斜成像的方式将结构光投射在角焊缝上,保证结构光的维度与角焊缝图像的维度相同;相机采用低增益、短时曝光的方式采集含有结构光条纹的角焊缝图像,减少图像中的噪点干扰,缩短了实时处理所需的时间。
第二步、对原始图像进行预处理,预处理包含平滑、滤波、阈值分割和形态学闭操作;
由于原始图像在获取和传输过程中会受到各种噪声干扰,使图像质量下降,对图像分析不利,因此需要进行预处理。首先对原始图像进行平滑处理,对平滑处理后的图像进行高斯平滑滤波,在滤除噪声的同时能够保留结构光条纹的边缘细节;对滤波后的图像采用Otsu算法进行阈值分割处理,将灰度图像转化为二值化图像,使结构光条纹与背景分离;其中,结构光条纹为白色,背景为黑色;经过阈值分割处理后,二值化图像中的结构光条纹存在断裂现象,因此采用形态学闭操作将结构光条纹连通,以此完成原始图像的预处理。
第三步、提取结构光条纹中心线;
由于结构光条纹具有一定宽度,对准确提取特征点具有一定影响,因此需要对结构光条纹进行细化,得到结构光条纹中心线;结构光条纹在角焊缝与焊件衔接处的法线方向变化比较剧烈,若将结构光条纹中每列像素点的平均坐标对应的点作为结构光条纹中心线上的点,当结构光条纹中心线的提取方向不在结构光条纹的法线方向上,则会产生较大误差。采用Steger法提取结构光条纹中心线,虽然准确性高,但算法复杂,耗时较长。本发明将Steger算法与平均坐标法结合起来提取结构光条纹中心线,综合发挥两者方法的优势,既保证准确性又能够缩短处理时间。
首先采用Steger算法计算结构光条纹上各像素点的Hessian矩阵,Hessian矩阵由预处理后的图像的二阶偏导数构成,预处理后的图像的二阶偏导数由预处理后的图像与各阶高斯核的卷积得到;设f(x,y)为预处理后的图像,即二维图像,g(x,y)为二维高斯函数,则各阶高斯核为:
Figure BDA0002945064660000061
Figure BDA0002945064660000062
Figure BDA0002945064660000063
Figure BDA0002945064660000064
Figure BDA0002945064660000065
式(1)~(5)中,σ为高斯方差,
Figure BDA0002945064660000066
w为结构光条纹沿法线方向上的宽度;gx,σ(x,y)为二维高斯函数对x的一阶导数,gy,σ(x,y)为二维高斯函数对y的一阶导数,gx,σ(x,y)、gy,σ(x,y)均为一阶高斯核;gxy,σ(x,y)为二维高斯函数对x和y的一阶导数,gxx,σ(x,y)为二维高斯函数对x的二阶导数,gyy,σ(x,y)为二维高斯函数对y的二阶导数,gxy,σ(x,y)、gxx,σ(x,y)以及gyy,σ(x,y)均为二阶高斯核;
则结构光条纹上任意像素点的Hessian矩阵为:
Figure BDA0002945064660000067
式(6)中,rxx为预处理后的图像f(x,y)对x的二阶偏导数,rxy为预处理后的图像f(x,y)先对x求一阶偏导数再对y求一阶偏导数,ryx为预处理后的图像f(x,y)先对y求一阶偏导数再对x求一阶偏导数,ryy为预处理后的图像f(x,y)对y的二阶偏导数;
求垂直于结构光条纹走势方向上每列像素点的Hessian矩阵的特征值及特征向量,最大特征值对应的特征向量的方向即为当前位置的结构光条纹法线方向;同理,求得沿结构光条纹走势方向上各个位置的结构光条纹法线方向;
由于预处理后的图像中像素点呈白色,背景区域的像素点呈黑色,因此利用式(7)计算沿结构光条纹法线方向上结构光条纹所在区域的每列像素点的平均坐标(xc,yc);
Figure BDA0002945064660000071
式(7)中,(xi,yi)为结构光条纹法线方向上每列像素点中第i个像素点的坐标,n为结构光条纹法线方向上每列像素点的个数;
将平均坐标对应的点记为白色像素点,其余像素点置为黑色,因此沿结构光条纹走势方向(与结构光条纹法线方向垂直)得到多个白色像素点,如图3;沿结构光条纹走势方向从左向右遍历所有白色像素点,若所有白色像素点的行坐标与各自的前一列白色像素点的行坐标相差均小于或等于3个像素,则表示沿结构光条纹走势方向不存在偏离结构光条纹中心线的异常点,则将所有白色像素点依次连线,得到结构光条纹中心线,即角焊缝轮廓线;
若某列白色像素点的行坐标与前一列白色像素点的行坐标相差大于3个像素,则该白色像素点为偏离结构光条纹中心线的异常点,将该异常点剔除;然后采用三次样条插值算法对剩余的白色像素点进行曲线拟合,拟合曲线即为结构光条纹中心线;其中,结构光条纹由左、右两端的直线部分和中间的曲线部分组成;
第四步、提取结构光条纹中心线上的特征点,利用各个特征点的坐标计算外观参数,根据焊件的质量要求判断各外观参数是否符合质量要求,以完成角焊缝的外观检测;
以预处理后的图像的二分之一宽度为分界线,利用结构光条纹中心线上的像素点,采用RANSAC算法分别拟合出左、右两端的直线L1和L2,如图4所示;设置第一移动向量的大小为1×q,3≤q≤20,q为整数,表示第一移动向量中包含结构光条纹中心线上连续的q个像素点,本实施例q=10;将第一移动向量沿结构光条纹中心线从左向右依次移动,每移动一个像素,利用式(8)计算第一移动向量内所有像素点到直线L1的距离和D;
Figure BDA0002945064660000072
式(8)中,j为移动向量的起点,dk为第k个像素点到直线L1的距离;
当距离和D大于阈值T时停止移动,则表明特征点A1位于当前位置的第一移动向量内,得到特征点A1的大致位置,特征点A1为角焊缝与焊件左侧的交点;阈值T的大小与角焊缝边缘存在的咬边最大允许值有关,咬边指角焊缝边缘低于焊件表面的凹坑或沟槽,此处阈值T的大小为0.5倍咬边最大允许值;
设置第二移动向量的大小为1×5(为第一移动向量大小的一半),从第一移动向量的当前位置沿结构光条纹中心线从右向左依次移动第二移动向量,利用式(8)计算第二移动向量内所有像素点到直线L1的距离和D,此时式(8)的q取q/2在此过程中距离和D越来越小,直到距离和D小于T/2时停止移动,当前位置的第二移动向量内位于中间位置的像素点即为特征点A1;若q/2为偶数,则取中位点为特征点A1;同理,提取特征点A2,特征点A2为角焊缝与焊件右侧的交点;
将直线L1和直线L2的交点记为特征点A3,特征点A3同时为焊件两侧延长线的交点;求线段A1A2之间的结构光条纹中心线上各像素点到特征点A3的距离,最大距离对应的像素点即为特征点A4;然后从右向左依次计算线段A1A4之间的结构光条纹中心线上各像素点到直线L1的距离,将距离为零的像素点记为特征点A5,距离取得极大值的像素点记为特征点A6,特征点A5即为左咬边的起/始点,特征点A6即为左咬边的中点,弧线A1A5即为角焊缝的左咬边;同理提取角焊缝的右咬边;
利用各个特征点的坐标计算角焊缝的外观参数,外观参数包括宽度、凸度、咬边值、焊脚长度和测量焊喉;然后根据焊件的质量要求判断各外观参数是否符合质量要求,以完成角焊缝的外观检测;
各外观参数计算如下:
(1)宽度:角焊缝与焊件左、右两侧的交点称为焊趾,两个焊趾之间的距离称为宽度W,计算公式为:
W=|x1-x2| (9)
式(9)中,x1、x2分别为特征点A1以及特征点A2的x轴坐标;
(2)凸度:角焊缝轮廓线上的点到两个焊趾所确定的直线的最大垂直距离称为凸度,即特征点A4到直线A1A2的距离;
(3)咬边值:角焊缝边缘低于焊件表面的凹坑或沟槽称为咬边,分左咬边和右咬边;其中,左咬边值U计算公式为:
U=|y1-y6| (10)
式(10)中,y1、y6分别为特征点A1以及特征点A6的y轴坐标;
(4)焊脚长度:由焊件两侧延长线的交点到焊趾的最小距离计算得到,即焊脚长度l=min(|A1A3|,|A2A3|);
(5)测量焊喉:焊件两侧延长线的交点与角焊缝轮廓线上的点的最大距离称为测量焊喉,即特征点A3到特征点A4的距离m,计算公式为:
Figure BDA0002945064660000081
式(11)中,(x3,y3)、(x4,y4)分别为特征点A3以及特征点A4的坐标。
选取角焊缝试件,在同一位置采用焊缝检测尺和本发明方法分别进行10次检测,对10次检测数据取平均得到表1所示的各个外观参数的取值;
表1各个外观参数的取值
Figure BDA0002945064660000091
由表1可知,咬边值、焊脚长度和测量焊喉的误差均较小,本发明方法与焊缝检测尺的平均误差为0.021mm,与单独采用平均坐标法提取结构光条纹中心线来检测角焊缝外观参数的平均误差0.04mm(相关文献查得)相比,减小了0.019mm,因此表明本发明方法在缩短耗时和处理过程简洁的前提下提高了检测的准确性。
图6为本发明方法得到的10次检测数据的曲线图,用于本发明方法的稳定性分析;从图中可以看出,每个参数的曲线变化平稳,即每次检测数据相差较小,测量结果的稳定性高,表明本发明方法的可靠性高。
本发明未述及之处适用于现有技术。

Claims (7)

1.一种基于结构光的角焊缝外观检测方法,其特征在于,该方法包括以下步骤:
第一步、获取原始图像;
第二步、对原始图像进行预处理;
第三步、采用Steger算法计算结构光条纹上各像素点的Hessian矩阵,求垂直于结构光条纹走势方向上每列像素点的Hessian矩阵的特征值及特征向量,最大特征值对应的特征向量的方向即为当前位置的结构光条纹法线方向;同理,求得沿结构光条纹走势方向上各个位置的结构光条纹法线方向;
利用式(7)计算沿结构光条纹法线方向上结构光条纹所在区域的每列像素点的平均坐标(xc,yc);
Figure FDA0002945064650000011
式(7)中,(xi,yi)为结构光条纹法线方向上每列像素点中第i个像素点的坐标,n为结构光条纹法线方向上每列像素点的个数;
将所有平均坐标对应的点依次连线,得到结构光条纹中心线;
第四步、拟合出结构光条纹中心线左、右两端的直线L1和L2;设置第一移动向量的大小为1×q,3≤q≤20,q为整数;将第一移动向量沿结构光条纹中心线从左向右依次移动,每移动一个像素,利用式(8)计算第一移动向量内所有像素点到直线L1的距离和D;
Figure FDA0002945064650000012
式(8)中,j为移动向量的起点,dk为第k个像素点到直线L1的距离;
当距离和D大于阈值T时停止移动,粗略得到特征点A1的位置,特征点A1为角焊缝与焊件左侧的交点;
设置第二移动向量的大小为第一移动向量大小的一半,从第一移动向量的当前位置沿结构光条纹中心线从右向左依次移动第二移动向量,计算位于第二移动向量内所有像素点到直线L1的距离和D,当距离和D小于T/2时停止移动,当前位置的第二移动向量内位于中间位置的像素点即为特征点A1;同理,提取特征点A2,特征点A2为角焊缝与焊件右侧的交点;
将直线L1和直线L2的交点记为特征点A3,求线段A1A2之间的结构光条纹中心线上各像素点到特征点A3的距离,最大距离对应的像素点即为特征点A4;然后从右向左依次计算线段A1A4之间的结构光条纹中心线上各像素点到直线L1的距离,将距离为零的像素点记为特征点A5,距离取得极大值的像素点记为特征点A6,特征点A5即为左咬边的起/始点,特征点A6即为左咬边的中点,弧线A1A5即为角焊缝的左咬边;同理提取角焊缝的右咬边;
利用各个特征点的坐标计算角焊缝的外观参数,根据焊件的质量要求判断各外观参数是否符合质量要求,以完成角焊缝的外观检测。
2.根据权利要求1所述的基于结构光的角焊缝外观检测方法,其特征在于,第三步还包括:
将平均坐标对应的点记为白色像素点,其余像素点置为黑色,因此沿结构光条纹走势方向得到多个白色像素点;然后沿结构光条纹走势方向从左向右依次遍历所有白色像素点,若所有白色像素点的行坐标与各自的前一列白色像素点的行坐标相差均小于或等于异常阈值,则将所有白色像素点依次连线,得到结构光条纹中心线;
若某列白色像素点的行坐标与前一列白色像素点的行坐标相差大于异常阈值,则该白色像素点为偏离结构光条纹中心线的异常点,将该异常点剔除;然后采用三次样条插值算法对剩余的白色像素点进行曲线拟合,拟合曲线即为结构光条纹中心线。
3.根据权利要求2所述的基于结构光的角焊缝外观检测方法,其特征在于,异常阈值为3个像素。
4.根据权利要求1所述的基于结构光的角焊缝外观检测方法,其特征在于,外观参数包括宽度、凸度、咬边值、焊脚长度和测量焊喉;其中,利用式(9)计算宽度:
W=|x1-x2| (9)
式(9)中,x1、x2分别为特征点A1以及特征点A2的x轴坐标;
凸度为特征点A4到直线A1A2的距离;
咬边值包括左咬边值和右咬边值;其中,左咬边值U计算公式为:
U=|y1-y6| (10)
式(10)中,y1、y6分别为特征点A1以及特征点A6的y轴坐标;
焊脚长度l=min(|A1A3|,|A2A3|);
测量焊喉为特征点A3到特征点A4的距离m,计算公式为:
Figure FDA0002945064650000021
式(11)中,(x3,y3)、(x4,y4)分别为特征点A3以及特征点A4的坐标。
5.根据权利要求1所述的基于结构光的角焊缝外观检测方法,其特征在于,阈值T的大小为0.5倍咬边最大允许值。
6.根据权利要求1所述的基于结构光的角焊缝外观检测方法,其特征在于,第三步中Hessian矩阵由预处理后的图像的二阶偏导数构成,预处理后的图像的二阶偏导数由预处理后的图像与各阶高斯核的卷积得到;设f(x,y)为预处理后的图像,即二维图像,g(x,y)为二维高斯函数,则各阶高斯核为:
Figure FDA0002945064650000031
Figure FDA0002945064650000032
Figure FDA0002945064650000033
Figure FDA0002945064650000034
Figure FDA0002945064650000035
式(1)~(5)中,σ为高斯方差,
Figure FDA0002945064650000036
w为结构光条纹沿法线方向上的宽度;gx,σ(x,y)为二维高斯函数对x的一阶导数,gy,σ(x,y)为二维高斯函数对y的一阶导数,gx,σ(x,y)、gy,σ(x,y)均为一阶高斯核;gxy,σ(x,y)为二维高斯函数对x和y的一阶导数,gxx,σ(x,y)为二维高斯函数对x的二阶导数,gyy,σ(x,y)为二维高斯函数对y的二阶导数,gxy,σ(x,y)、gxx,σ(x,y)以及gyy,σ(x,y)均为二阶高斯核;
则结构光条纹上任意像素点的Hessian矩阵为:
Figure FDA0002945064650000037
式(6)中,rxx为预处理后的图像f(x,y)对x的二阶偏导数,rxy为预处理后的图像f(x,y)先对x求一阶偏导数再对y求一阶偏导数,ryx为预处理后的图像f(x,y)先对y求一阶偏导数再对x求一阶偏导数,ryy为预处理后的图像f(x,y)对y的二阶偏导数。
7.根据权利要求1所述的基于结构光的角焊缝外观检测方法,其特征在于,第二步的具体过程为:首先对原始图像进行平滑处理,对平滑处理后的图像进行高斯平滑滤波;对滤波后的图像采用Otsu算法进行阈值分割处理,将灰度图像转化为二值化图像,采用形态学闭操作将二值化图像中断裂的结构光条纹连通。
CN202110195368.8A 2021-02-20 2021-02-20 一种基于结构光的角焊缝外观检测方法 Withdrawn CN112862794A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110195368.8A CN112862794A (zh) 2021-02-20 2021-02-20 一种基于结构光的角焊缝外观检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110195368.8A CN112862794A (zh) 2021-02-20 2021-02-20 一种基于结构光的角焊缝外观检测方法

Publications (1)

Publication Number Publication Date
CN112862794A true CN112862794A (zh) 2021-05-28

Family

ID=75988488

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110195368.8A Withdrawn CN112862794A (zh) 2021-02-20 2021-02-20 一种基于结构光的角焊缝外观检测方法

Country Status (1)

Country Link
CN (1) CN112862794A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113409313A (zh) * 2021-08-18 2021-09-17 济宁联威车轮制造有限公司 基于计算机视觉的车轮焊缝表面缺陷检测方法
CN113643216A (zh) * 2021-10-14 2021-11-12 南通皋亚钢结构有限公司 一种基于计算机视觉的焊接图像增强方法
CN114155372A (zh) * 2021-12-03 2022-03-08 长春工业大学 一种基于深度学习的结构光焊缝曲线识别与拟合方法
CN114252449A (zh) * 2021-09-27 2022-03-29 上海电机学院 一种基于线结构光的铝合金焊缝表面质量检测系统及方法
CN115018827A (zh) * 2022-08-03 2022-09-06 山东亿昌装配式建筑科技有限公司 一种建材焊缝质量自动检测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB632289A (en) * 1944-11-17 1949-11-21 William Briggs And Sons Ltd Improvements in or relating to fittings for use in the waterproofing of building structures
CN103955927A (zh) * 2014-04-26 2014-07-30 江南大学 一种基于激光视觉的角焊缝自动跟踪方法
CN107876970A (zh) * 2017-12-13 2018-04-06 浙江工业大学 一种机器人多层多道焊接焊缝三维检测及焊缝拐点识别方法
CN108765419A (zh) * 2018-06-20 2018-11-06 天津大学 结构光视觉焊缝图像信息自适应提取方法
CN110276296A (zh) * 2019-06-21 2019-09-24 新疆大学 一种基于图像处理的结构光焊缝识别方法
CN110823704A (zh) * 2019-10-15 2020-02-21 山东大学 一种tbm搭载的岩渣在线抗压强度测试系统及方法
CN111862181A (zh) * 2019-04-25 2020-10-30 中国科学院沈阳自动化研究所 一种缝隙宽度和阶差检测方法
CN112365439A (zh) * 2020-09-24 2021-02-12 南昌大学 一种镀锌钢gmaw焊缝成形特征与焊枪方向同步实时检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB632289A (en) * 1944-11-17 1949-11-21 William Briggs And Sons Ltd Improvements in or relating to fittings for use in the waterproofing of building structures
CN103955927A (zh) * 2014-04-26 2014-07-30 江南大学 一种基于激光视觉的角焊缝自动跟踪方法
CN107876970A (zh) * 2017-12-13 2018-04-06 浙江工业大学 一种机器人多层多道焊接焊缝三维检测及焊缝拐点识别方法
CN108765419A (zh) * 2018-06-20 2018-11-06 天津大学 结构光视觉焊缝图像信息自适应提取方法
CN111862181A (zh) * 2019-04-25 2020-10-30 中国科学院沈阳自动化研究所 一种缝隙宽度和阶差检测方法
CN110276296A (zh) * 2019-06-21 2019-09-24 新疆大学 一种基于图像处理的结构光焊缝识别方法
CN110823704A (zh) * 2019-10-15 2020-02-21 山东大学 一种tbm搭载的岩渣在线抗压强度测试系统及方法
CN112365439A (zh) * 2020-09-24 2021-02-12 南昌大学 一种镀锌钢gmaw焊缝成形特征与焊枪方向同步实时检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
周勇: "基于线结构光视觉的焊缝余高和熔宽检测", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅰ辑》 *
褚慧慧: "基于视觉的焊缝质量检测技术研究", 《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113409313A (zh) * 2021-08-18 2021-09-17 济宁联威车轮制造有限公司 基于计算机视觉的车轮焊缝表面缺陷检测方法
CN113409313B (zh) * 2021-08-18 2021-11-09 济宁联威车轮制造有限公司 基于计算机视觉的车轮焊缝表面缺陷检测方法
CN114252449A (zh) * 2021-09-27 2022-03-29 上海电机学院 一种基于线结构光的铝合金焊缝表面质量检测系统及方法
CN114252449B (zh) * 2021-09-27 2023-10-24 上海电机学院 一种基于线结构光的铝合金焊缝表面质量检测系统及方法
CN113643216A (zh) * 2021-10-14 2021-11-12 南通皋亚钢结构有限公司 一种基于计算机视觉的焊接图像增强方法
CN113643216B (zh) * 2021-10-14 2022-02-18 南通皋亚钢结构有限公司 一种基于计算机视觉的焊接图像增强方法
CN114155372A (zh) * 2021-12-03 2022-03-08 长春工业大学 一种基于深度学习的结构光焊缝曲线识别与拟合方法
CN115018827A (zh) * 2022-08-03 2022-09-06 山东亿昌装配式建筑科技有限公司 一种建材焊缝质量自动检测方法

Similar Documents

Publication Publication Date Title
CN112862794A (zh) 一种基于结构光的角焊缝外观检测方法
Shah et al. Butt welding joints recognition and location identification by using local thresholding
CN107876970B (zh) 一种机器人多层多道焊接焊缝三维检测及焊缝拐点识别方法
CN111696107B (zh) 一种实现闭合连通域的熔池轮廓图像提取方法
Nguyen et al. Laser-vision-based quality inspection system for small-bead laser welding
CN107945184B (zh) 一种基于彩色图像分割和梯度投影定位的贴装元件检测方法
CN109986172B (zh) 一种焊缝定位方法、设备及系统
CN112529858A (zh) 一种基于机器视觉的焊缝图像处理方法
CN113324478A (zh) 一种线结构光的中心提取方法及锻件三维测量方法
CN110480127A (zh) 一种基于结构光视觉传感的焊缝跟踪系统及方法
CN112686920A (zh) 一种圆形零件几何尺寸参数视觉测量方法及系统
He et al. A critical review for machining positioning based on computer vision
CN107610085A (zh) 一种基于计算机视觉的焊点缺陷检测系统
CN114252449B (zh) 一种基于线结构光的铝合金焊缝表面质量检测系统及方法
CN109978940A (zh) 一种sab安全气囊尺寸视觉测量方法
CN112465851B (zh) 一种基于压力容器表面焊缝表面轮廓曲线的参数检测方法
CN108986160A (zh) 一种含有镜面反射光干扰的图像激光中心线提取方法
Lin et al. Intelligent seam tracking of an ultranarrow gap during K-TIG welding: a hybrid CNN and adaptive ROI operation algorithm
Cai et al. PCB defect detection system based on image processing
CN114963981B (zh) 一种基于单目视觉的筒状零件对接非接触式测量方法
CN111815575A (zh) 一种基于机器视觉的轴承钢珠零件检测方法
Lee et al. Development of an On-Machine External Thread Measurement System for CNC Lathes Using Eye-in-Hand Machine Vision with Morphology Technology.
CN115753791A (zh) 基于机器视觉的缺陷检测方法、装置以及系统
CN115326837A (zh) 一种基于机器视觉的不锈钢焊点表面质量检测方法及系统
Wang et al. A novel approach for robotic welding trajectory recognition based on pseudo-binocular stereo vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210528