CN114252449B - 一种基于线结构光的铝合金焊缝表面质量检测系统及方法 - Google Patents
一种基于线结构光的铝合金焊缝表面质量检测系统及方法 Download PDFInfo
- Publication number
- CN114252449B CN114252449B CN202111132873.4A CN202111132873A CN114252449B CN 114252449 B CN114252449 B CN 114252449B CN 202111132873 A CN202111132873 A CN 202111132873A CN 114252449 B CN114252449 B CN 114252449B
- Authority
- CN
- China
- Prior art keywords
- point
- line
- points
- camera
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000001514 detection method Methods 0.000 title claims abstract description 42
- 229910000838 Al alloy Inorganic materials 0.000 title claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 22
- 230000007547 defect Effects 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 238000003466 welding Methods 0.000 claims description 37
- 238000000605 extraction Methods 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 9
- 239000000463 material Substances 0.000 claims description 9
- 230000005484 gravity Effects 0.000 claims description 5
- 238000009499 grossing Methods 0.000 claims description 5
- 239000002131 composite material Substances 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 238000002844 melting Methods 0.000 claims description 3
- 230000008018 melting Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 2
- 230000003068 static effect Effects 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 abstract description 4
- 238000011897 real-time detection Methods 0.000 abstract description 2
- 229910052751 metal Inorganic materials 0.000 description 7
- 239000002184 metal Substances 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 239000000956 alloy Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 239000010953 base metal Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30152—Solder
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Biochemistry (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于线结构光的铝合金焊缝表面质量检测系统及方法，属于焊缝视觉检测技术领域。所述方法包括：步骤1传感器标定；步骤2图像预处理；步骤3中心线提取；步骤4数据处理；步骤5特征点提取；步骤6特征参数计算。检测系统，包括主机、适配器、线结构光传感器，线结构光传感器包括相机、镜头、激光器、装配件，其中装配件包括左挡板、左侧板、前侧板、顶板、后侧板、右侧板、激光器夹具以及固定件。本发明克服了由于铝合金焊缝成形的复杂性难以获取焊缝边界点的问题，精确测量焊缝成形尺寸以及有效区分气孔、裂纹、焊瘤、咬边缺陷，实现铝合金焊缝表面质量的实时检测。
Description
技术领域
本发明涉及焊缝视觉检测技术领域，尤其是一种基于线结构光的铝合金焊缝表面质量检测系统及方法。
背景技术
焊缝的外观检测是焊接质量过程控制的重要技术，其目的是及时发现焊件存在的焊接缺陷，降低后续风险发生的可能性。常见的外观检测方法以人工检测法为主，但人工检测法因为人眼分辨率有限、时间分辨率有限以及人具有主观意识，在实际检测中存在很大的局限性，且存在人工成本高昂、检测结果不易记录保存等诸多问题限制焊缝质量检测水平的提高。随着计算机技术和光电技术的高速发展，出现了基于机器视觉的检测技术，其凭借非接触、低成本、检测快、精度高等优势，在工业检测行业得到了广泛的应用。然而，由于铝合金材料具有高反光的特性，容易受到环境因素影响，以及不易区分的焊缝区域与母材区域，造成焊缝信息提取的困难，且焊缝成形情况复杂多变，使得机器视觉检测技术应用于焊缝缺陷类型识别的难度进一步提高。
发明内容
因此，本发明针对现有技术的不足，提出一种非接触、高精度且检测速度快的基于线结构光的铝合金焊缝表面质量检测系统及方法。
具体的技术方案为：
一种基于线结构光的铝合金焊缝表面质量检测方法，所述方法包括：
步骤1传感器标定；
步骤2图像预处理；
图像预处理的具体步骤如下：首先进行灰度化处理，将三通道图像转换为单通道图像；然后采用滤波核为5X5的均值滤波进行降噪处理；最后采用基于投影的ROI提取算法筛选感兴趣区域；
所述基于投影的ROI提取算法包括以下步骤：
步骤21逐行扫描图像，查找行内灰度值大于200的像素数最多的纵坐标；
步骤22以步骤21得到的纵坐标为基准线，逐行搜索两边行内灰度值大于50的像素数为0的纵坐标作为ROI区域的上边界和下边界；
步骤23根据步骤22初步确定的ROI区域分别从图像的左右边界向内逐列扫描，搜索列内灰度值大于200的像素数大于0的横坐标作为ROI区域的左边界和右边界，从而确定ROI区域；
步骤24设定间隔帧率，固定更新ROI框位置；
步骤3中心线提取；
步骤4数据处理；
步骤5特征点提取；
步骤6特征参数计算。
本发明还提供了用于实现上述方法的基于线结构光的铝合金焊缝表面质量检测系统，包括主机、适配器，还包括线结构光传感器，线结构光传感器包括相机、镜头、激光器、装配件，其中装配件包括左挡板、左侧板、前侧板、顶板、后侧板、右侧板、激光器夹具以及固定件。
本发明的有益效果在于：本发明针对检测对象以及要求，搭建一套基于线结构光的视觉检测系统及方法，包括硬件选型、夹具设计以及图像处理模块开发，支持铝合金焊缝激光条纹图像的实时采集、处理等操作，以获取焊缝缺陷、成形尺寸等相关信息。通过对ROI提取算法和特征点提取算法的改进，有效定位焊缝区域，减少图像处理的运算量，克服了由于铝合金焊缝成形的复杂性难以获取焊缝边界点的问题，同时弥补了人工检测法主观性较强、容易疲劳以及检测结果无法量化等缺点，精确测量焊缝成形尺寸以及有效区分气孔、裂纹、焊瘤、咬边缺陷，实现铝合金焊缝表面质量的实时检测。
附图说明
图1为本发明的线结构光传感器示意图；
图2为图像处理模块流程图；
图3为相机成像模型示意图。
附图标记如下：
1、相机；2、镜头；3、激光器；4、固定件；5、左挡板；6、左侧板；7、后侧板；8、右侧板；9、顶板；10、前侧板；11、激光器夹具。
具体实施方式
下面结合附图对本发明的具体实施方式进行说明：
实施例1
基于结构光的铝合金焊缝表面质量检测系统，包括线结构光传感器、主机以及多个适配器；所述的线结构光传感器安装在传送带的检测点进行焊缝图像的实时采集，传感器通过GigE千兆网线将图像传入主机；主机通过图像处理模块实时处理传入的图像信号并实现铝合金焊缝表面的质量检测功能，将检测结果显示于交互界面，并保存数据或发送控制信号。
所述的线结构光传感器，如图1所示，包括相机1、镜头2、激光器3、装配件，其中装配件包括左挡板5、左侧板6、前侧板10、顶板9、后侧板7、右侧板8、激光器夹具11以及固定件4，所述相机1固定于左挡板5上，所述激光器3可通过激光器夹具11进行角度以及距离调整，角度可供调整范围为0～90°。
线结构光传感器作为焊缝表面质量检测的前提，其得到的图片质量很大程度上决定了后续工作的开展及系统精度，因此基于检测任务和要求，设计出合理的传感器显得尤为重要。线结构光传感器主要包括成像三大件(相机、镜头、激光器)，选型规则如下：
(1)相机的选型：根据芯片类型可分为CCD相机的CMOS相机，CCD相机具有分辨率高，信噪比高，成像质量好等优点，CMOS相机具有响应速度快，经济性好，集成度高等优点；相机视场要求大于目标尺寸；根据检测速度和检测精度确定扫描速率和相机分辨率；通过通讯距离、传输速率的要求选择合适的接口，如GigE、CameraLink、HDMI以及USB接口等；
(2)镜头的选型：根据目标尺寸和测量精度，确定传感器尺寸和像素尺寸、放大倍率以及镜头的传递函数；根据系统尺寸和工作距离，结合放大倍率，计算镜头的焦距以及视场角；根据现场的照明条件确定光圈大小和工作波长；确定畸变、景深、相机接口等其它要求；
(3)激光器的选型：激光器的激光波长由工作环境确定，波长越长，穿透性越强适合空气较污浊的恶劣工作环境；激光功率过高损害眼睛，过低影响图像采集；根据工作距离以及激光图谱确定激光的焦距、景深以及线宽。
所述相机采用大恒图像PRO的ME2P-G-P-1230-9GM/C-P黑白CMOS面阵相机，分辨率为4096×3000，接口为GigE；所述镜头采用日本兴和株式会社公司的LM16FC，焦距为16mm；所述激光器采用Osela的SL-635-10-T-B-38，波段为635nm，功率为10mW；所述装配件均采用高强度比、低密度的铝合金材料制作。
所述线结构光传感器的外形尺寸为：长200mm×宽70mm×高165mm；在光圈值设置为f/8，对焦环调整至0.2的条件下，根据相机及镜头的景深计算可得，该传感器距镜头前表面200mm处清晰成像，景深为34.758mm；该传感器视野尺寸为：176.64mm×129.375mm。
实施例2
本发明基于线结构光的视觉检测方法如下：
图像处理模块基于VS2017平台，并结合C++和OpenCV进行软件开发，如图2所示，具体包括以下步骤：
步骤1传感器标定：
传感器标定是立体视觉的基础，包括相机标定和光平面标定，是建立像素坐标系和世界坐标系的几何模型的转换关系。相机标定采用张氏标定法获取相机内参，该方法标定精度高，且鲁棒性好。张氏标定法的具体操作如下：首先准备标定图片，将标定板置于不同位姿且保持标定板占据相机视场2/3左右采集20张标定图片；利用OpenCV自带的角点检测函数进行标定，得到相机的内参和外参系数，并对标定结果进行评价。光平面标定采用于龙龙的基于二维平面标靶的结构光标定方法，该方法具有标定精度高且标定过程操作简便的优点。该光平面标定的具体步骤如下：首先拍摄5组激光器分别处于开闭状态时的标定图片；将两图片相减得到只包含激光条纹的图像，通过图像处理算法得到图像坐标系下的直线方程，然后将其转换到相机坐标系下的直线方程；重复上述操作，提取这5组标定图片对应的标靶上的光条直线在相机坐标系下的三维坐标，即可拟合出线结构光平面在相机坐标系下的平面方程。通过相机标定以及光平面标定获得像素坐标系与相机坐标系的映射关系：
式中：(xc，yc，zc)为换算到相机坐标系下的坐标；Ac，Bc，Cc，Dc为标定的线结构光平面在相机坐标系下的方程系数；(u0，v0)为以mm为单位的图像坐标系下的坐标原点；(u，v)为图像坐标系下的中心线坐标；αx，αy为尺度因子。
步骤2图像预处理：
图像预处理包括灰度化处理、均值滤波和基于投影的ROI提取，降低噪声干扰及减少图像处理运算量。图像在采集、传输、处理等各个阶段都有可能受到噪声干扰，导致图像中的重要信息丢失，影响后续的特征提取、图像识别的精确度，带来诸多问题。首先进行灰度化处理，将三通道图像转换为单通道图像；其次采用滤波核为5×5的均值滤波进行降噪处理，其具有信噪比较高，毛刺噪声去除效果较好，且耗时短，适用于铝合金焊缝激光条纹图像的滤波去噪；最后采用基于投影的ROI提取算法筛选感兴趣区域，有效减少后续的图像计算量，其中，均值滤波去除图像中存在的白噪声，提高ROI提取准确率。
步骤3中心线提取：
相机采集的激光条纹图像中，激光条纹一般占3-12个像素，在中心位置处灰度值最大，远离中心灰度值降低，灰度分布符合高斯分布，在实际测量中通常使用激光条纹的中心线来表征被测对象的形态信息。本发明使用加权灰度重心法提取具有亚像素精度的激光条纹中心线，确保了中心线的连续性，且相较于传统的灰度重心法强化了距离的影响，增加了极值点的判定机制，其中一列的加权灰度重心法的公式如下：
式中：y表示激光条纹图像中该列的条纹中心的纵坐标；yi表示该列的纵坐标；pi表示该列纵坐标为yi的灰度值；n表示该列所具有的像素点数量；
将中心线提取获得的坐标信息存储在顺序存储容器vector内，容器的数据类型为Point2d，中心线坐标信息的横坐标存储在数据元素的x内，纵坐标存储在数据元素的y内，x与数据元素的下标一致。
步骤4数据处理：
中心线的不连续性产生的原因包括相机拍摄过程中可能存在的局部遮挡区、图像处理算法的阈值设定以及气孔或裂纹缺陷等。断线的存在影响特征点提取以及特征参数的计算，因此需要进行断线修复处理，本发明采用拉格朗日插值算法修复断线，其算法结构整齐紧凑，能利用给定的多个坐标信息建立合适的插值函数，近似替代未知点，拉格朗日插值公式如下：
式中：x表示待插值点的横坐标；n表示插值节点的个数；xi表示插值节点的横坐标；yi表示横坐标为xi所对应的纵坐标；L(x)表示待插值点计算所得的纵坐标；
由于图像采集存在的噪声及图像处理相关操作可能导致中心线的坐标信息产生数据抖动，偏离其真实值，平滑处理可有效抑制大部分的噪声，接近真实值的平均期望。本发明采用五点线性平滑算法去除数据抖动，该算法计算简便，抑制效果好，五点线性平滑计算公式如下：
式中：yi表示存储中心线坐标信息的vector容器内下标为i对应的值。
步骤5特征点提取：
常见的特征点提取算法有Harris角点检测、多边形逼近法、斜率截距法、斜率解析法等，由于铝合金焊缝成形的复杂性，包括错配、焊缝区域过小等问题，采用单一的特征点提取算法难以获得焊缝特征点，影响后续的焊缝成形质量的检测。通过分析不同激光条纹图像的几何形态信息，本发明提出一种复合型的特征点提取算法，融合了递归法、斜率截距法以及迭代法，保障焊缝特征点的快速、准确提取。
步骤6特征参数计算
通过步骤5获得焊缝的左拐点(ul，vl)、右拐点(ur，vr)以及可能存在的咬边点(ud，vd)，将特征点的像素坐标转换为相机坐标系下的对应点坐标，分别为(Xl，Yl，Zl)、(Xr，Yr，Zr)、(Xd，Yd，Zd)；计算焊缝成形尺寸参数，包括熔宽、余高、咬边、错配等，与铝合金焊缝尺寸标准对照，检测焊瘤、咬边缺陷。
焊缝成形尺寸的具体定义及计算方式如下：
(1)熔宽：焊缝两侧的焊缝金属与焊接母板相交之间的距离，选取左拐点和右拐点，计算相机坐标系下的对应点间的水平距离即为熔宽W。
(2)余高：焊缝区域的最高点到焊接母板之间的距离。当焊接时两块母板高度不一致，则余高为焊缝区域的最高点到两块母板的距离中最大值。根据像素坐标系下母材的拟合直线方程获取过相机坐标中心的平面方程，该平面方程与光平面方程通过叉乘计算可得相交直线的空间向量求出相交直线上的任一点，如q(m，n，0)，设焊缝区域最高点的相机坐标系下的对应点为h(Xh，Yh，Zh)，通过下式计算h到相交直线距离最近的点n(Xn，Yn，Zn)：
由于激光器以θ角度倾斜入射，如图3所示，光平面上的距离计算需要经过三角变换才能得到余高。θ及余高H计算公式如下：
(3)咬边：焊后焊缝边缘低于母材表面的凹陷或沟壑，在焊缝的任意一边均有可能出现咬边，咬边为距咬边缺陷最近的母板部分的距离。咬边计算公式与余高计算公式一致。
(4)错边：平板之间没有按中心对正，造成两平行中心线产生偏差。通过RANSAC算法迭代方式分别拟合左母材与右母材区域的直线方程，较最小二乘法可去除局外点的影响，得到拟合效果较好地直线方程，最大迭代次数由下式导出：
式中：K为最大迭代次数；p为算法跑k次的成功率；w为随机抽取一个点是内群点的概率；n为每次拟合模型选择的点的个数。
由于上述操作拟合的两条直线方程在空间中可能并不平行，因此将横坐标为Xh的两个点之间的距离经过三角变换得到错边。
(5)焊趾角度：两块焊接母材金属与焊缝区域之间在拐角处的角度。通过计算像素坐标系下边界点和焊缝区域最高点之间的斜率k1，以及母材区域的拟合直线方程的斜率k2，焊趾角度β计算公式如下：
(6)平板角度：两个焊接母材的表面没有在同一平面或者由于焊接产生焊缝的时候产生横向的收缩力从而产生的夹角。分别得到左母材和右母材区域的拟合直线方程的斜率，同焊趾角度的计算公式。
针对常见的ROI提取算法存在耗时长、准确度不高的问题，提出一种基于投影的ROI提取算法，可准确获取到焊缝区域，减少图像处理运算量。所述基于投影的ROI提取算法包括以下步骤：
(1)逐行扫描图像，查找行内灰度值大于200的像素数最多的横坐标；
(2)根据步骤1得到的横坐标为基准线，纵向搜索两边行内灰度值大于50的像素数为0的横坐标作为ROI区域的上边界和下边界；
(3)根据步骤2初步确定的ROI区域分别从图像的左右边界向内逐列扫描，搜索列内灰度值大于200的像素数大于0的纵坐标作为ROI区域的左边界和右边界，从而确定ROI区域；
(4)结合焊缝区域在时空上具有连续性的特点，设定间隔帧率，固定更新ROI框位置，减少重复计算量。
针对铝合金焊缝实际成形的复杂性，包含错配、熔宽余高过小等问题，采用常规的特征点提取算法难以提取焊缝特征点，分析缺陷类型的特征，提出了一种复合型特征点提取算法，可以快速且准确地提取焊缝拐点，适用于复杂的焊缝成形。所述复合型的特征点提取算法包括以下步骤：
(1)坐标信息获取：经过图像预处理、中心线提取以及数据处理，获得存储中心线坐标信息的vector容器，声明为Line，容器的起点和终点分别称为左边界点和右边界点；
(2)阈值判断：根据中心线的几何形态特征抽象出中心点、左临界点、右临界点的概念，分别表示区间内的特殊点、左端点、右端点。首先采用RANSAC算法迭代方式分别拟合表征两侧母材区域的直线方程，查找容器内y最小时对应的点，即最高点，计算最高点距离两个直线方程的垂直距离，计算公式如下：
式中：k、b为直线方程的系数；xm、ym为最小值对应的横坐标和纵坐标。
定义一个静态变量Bool，选取两个距离的较小值作为判断依据，当较小值大于等于一定像素数时，更新中心点为最高点，Bool赋值为true；当较小值小于一定像素数时，基于最高点的斜率截距法难以获取焊缝区域的拐点，通过以下步骤更新中心点：将最高点的纵坐标代入两侧母材的直线方程计算两交点的横坐标的平均值，在Line容器上查找与均值近似的y对应的点，将中心点更新为该点，Bool赋值为false；
(3)临界点更新：由于焊缝区域相较于母材很小，收缩区域可有效提高斜率截距法的准确率，因此将左临界点更新为左边界点和中心点的中点，将右临界点更新为右边界点和中心点的中点；
(4)特征点初定位：连接左临界点和中心点，求出两点间斜率，根据下式遍历Line容器上左临界点到中心点之间的点，查找截距最大值对应的点更新为左拐点；连接右临界点和中心点，求出两点间斜率，根据下式遍历Line容器上中心点到右临界点之间的点，当Bool值为true时，查找截距最大值对应的点更新为右拐点，当Bool值为false时，查找截距最小值对应的点更新为右拐点；
b＝y-kx
式中：b为直线方程的截距；k为直线方程的斜率。
(5)咬边点识别：计算中心点和右拐点的纵坐标均值，在Line容器上查找与均值近似的y对应的点，搜索从该点到右临界点的Line容器上y大于该均值的集合，若不存在，不做任何操作；若存在查找其最大值即右咬边点，连接右咬边点和右临界点，采用斜率截距法查找右咬边点到右临界点之间的点，截距最小值对应的点更新为右拐点。同理，焊缝左端依据此算法可求得左咬边点；
(6)特征点精定位：由于特征点提取容易陷入局部极值的问题，因此采用迭代法确保特征点提取的准确性。建立以右拐点为中心的设定大小的区间，通过计算该区间内的点到区间两端形成的直线的距离，查找距离最大值对应的点保存，设定迭代次数重复上述操作，判断迭代前后的点是否相同，相同则退出循环，不相同则继续迭代，迭代结束后若均不相同则取前几次迭代保存的点的均值更新为右拐点。同理，通过迭代法更新左拐点、咬边点。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (3)
1.一种基于线结构光的铝合金焊缝表面质量检测方法，其特征在于，所述方法包括：
步骤1传感器标定；
步骤2图像预处理；
图像预处理的具体步骤如下：首先进行灰度化处理，将三通道图像转换为单通道图像；然后采用滤波核为5X5的均值滤波进行降噪处理；最后采用基于投影的ROI提取算法筛选感兴趣区域；
所述基于投影的ROI提取算法包括以下步骤：
步骤21逐行扫描图像，查找行内灰度值大于200的像素数最多的纵坐标；
步骤22以步骤21得到的纵坐标为基准线，逐行搜索两边行内灰度值大于50的像素数为0的纵坐标作为ROI区域的上边界和下边界；
步骤23根据步骤22初步确定的ROI区域分别从图像的左右边界向内逐列扫描，搜索列内灰度值大于200的像素数大于0的横坐标作为ROI区域的左边界和右边界，从而确定ROI区域；
步骤24设定间隔帧率，固定更新ROI框位置；
步骤3中心线提取；
步骤4数据处理；
步骤5特征点提取；
步骤6特征参数计算；
所述方法中步骤1具体包括：
传感器标定包括相机标定和光平面标定；
相机标定的具体操作如下：首先准备标定图片，将标定板置于不同位姿且保持标定板占据相机视场2/3左右采集20张标定图片；利用OpenCV自带的角点检测函数进行标定，得到相机的内参和外参系数；
光平面标定的具体步骤如下：首先拍摄5组激光器分别处于开闭状态时的标定图片；将两图片相减得到只包含激光条纹的图像，通过图像处理算法得到图像坐标系下的平面直线方程，然后将平面直线方程转换到相机坐标系下的空间直线方程；重复上述操作，提取这5组标定图片对应的标靶上的光条直线在相机坐标系下的三维坐标，拟合出线结构光平面在相机坐标系下的平面方程，如公式一所示，通过相机标定以及光平面标定获得像素坐标系与相机坐标系的映射关系：
式中：(xc，yc，zc)为换算到相机坐标系下的坐标；Ac，Bc，Cc，Dc为标定的线结构光平面在相机坐标系下的方程系数；(u0，v0)为以mm为单位的图像坐标系下的坐标原点；(u，v)为图像坐标系下的中心线坐标；αx，αy为尺度因子；
所述方法中步骤3具体包括：
使用加权灰度重心法提取具有亚像素精度的激光条纹中心线，一列的加权灰度重心法的公式如公式二所示：
式中：y表示激光条纹图像中该列的条纹中心的纵坐标；yi表示该列的纵坐标；pi表示该列纵坐标为yi的灰度值；n表示该列所具有的像素点数量；
将中心线提取获得的坐标信息存储在顺序存储容器vector内，容器的数据类型为Point2d，中心线坐标信息的横坐标存储在数据元素的x内，纵坐标存储在数据元素的y内，x与数据元素的下标一致；
所述方法中步骤4具体包括：
采用拉格朗日插值算法修复断线，其算法结构整齐紧凑，能利用给定的多个坐标信息建立合适的插值函数，近似替代未知点，拉格朗日插值公式如公式三所示：
式中：x表示待插值点的横坐标；n表示插值节点的个数；xi表示插值节点的横坐标；yi表示横坐标为xi所对应的纵坐标；L(x)表示待插值点计算所得的纵坐标；
采用五点线性平滑算法去除数据抖动，五点线性平滑计算公式如公式四所示：
式中：yi表示存储中心线坐标信息的vector容器内下标为i对应的值；
所述方法中步骤5具体包括：
采用复合型的特征点提取算法，包括以下步骤：
步骤51坐标信息获取：经过图像预处理、中心线提取以及数据处理，获得存储中心线坐标信息的vector容器，声明为Line，容器的起点和终点分别称为左边界点和右边界点；
步骤52阈值判断：根据中心线的几何形态特征抽象出中心点、左临界点、右临界点的概念，分别表示区间内的特殊点、左端点、右端点，首先采用RANSAC算法迭代方式分别拟合表征两侧母材区域的直线方程，查找容器内y最小时对应的点，即最高点，计算最高点距离两个直线方程的垂直距离，计算公式如公式五所示：
式中：k、b为直线方程的系数；xm、ym为最小值对应的横坐标和纵坐标；
定义一个静态变量Bool，选取两个距离的较小值作为判断依据，当较小值大于等于一定像素数时，更新中心点为最高点，Bool赋值为true；当较小值小于一定像素数时，基于最高点的斜率截距法难以获取焊缝区域的拐点，通过以下步骤更新中心点：将最高点的纵坐标代入两侧母材的直线方程计算两交点的横坐标的平均值，在Line容器上查找与均值近似的y对应的点，将中心点更新为该点，Bool赋值为false；
步骤53临界点更新：将左临界点更新为左边界点和中心点的中点，将右临界点更新为右边界点和中心点的中点；
步骤54特征点初定位：连接左临界点和中心点，求出两点间斜率，根据下式遍历Line容器上左临界点到中心点之间的点，查找截距最大值对应的点更新为左拐点；连接右临界点和中心点，求出两点间斜率，根据公式六遍历Line容器上中心点到右临界点之间的点，当Bool值为true时，查找截距最大值对应的点更新为右拐点，当Bool值为false时，查找截距最小值对应的点更新为右拐点；
b＝y-kx 公式六
式中：b为直线方程的截距；k为直线方程的斜率；
步骤55咬边点识别：计算中心点和右拐点的纵坐标均值，在Line容器上查找与均值近似的y对应的点，搜索从该点到右临界点的Line容器上y大于该均值的集合，若不存在，不做任何操作；若存在查找其最大值即右咬边点，连接右咬边点和右临界点，采用斜率截距法查找右咬边点到右临界点之间的点，截距最小值对应的点更新为右拐点；焊缝左端依据此算法求得左咬边点；
步骤56特征点精定位：采用迭代法确保特征点提取的准确性，建立以右拐点为中心的设定大小的区间，通过计算该区间内的点到区间两端形成的直线的距离，查找距离最大值对应的点保存，设定迭代次数重复上述操作，判断迭代前后的点是否相同，相同则退出循环，不相同则继续迭代，迭代结束后若均不相同则取前几次迭代保存的点的均值更新为右拐点；通过迭代法更新左拐点、咬边点。
2.如权利要求1所述的基于线结构光的铝合金焊缝表面质量检测方法，其特征在于，所述方法中步骤6具体包括：
通过步骤5获得焊缝的左拐点(ul，vl)、右拐点(ur，vr)以及可能存在的咬边点(ud，vd)，将特征点的像素坐标转换为相机坐标系下的对应点坐标，分别为(Xl，Yl，Zl)、(Xr，Yr，Zr)、(Xd，Yd，Zd)；计算焊缝成形尺寸参数，包括熔宽、余高、咬边、错配，与铝合金焊缝尺寸标准对照，检测焊瘤、咬边缺陷。
3.一种用于实现权利要求1-2任一项所述的基于线结构光的铝合金焊缝表面质量检测方法的基于线结构光的铝合金焊缝表面质量检测系统，包括主机、适配器，其特征在于，所述基于线结构光的铝合金焊缝表面质量检测系统还包括线结构光传感器，线结构光传感器包括相机、镜头、激光器、装配件，其中装配件包括左挡板、左侧板、前侧板、顶板、后侧板、右侧板、激光器夹具、固定件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111132873.4A CN114252449B (zh) | 2021-09-27 | 2021-09-27 | 一种基于线结构光的铝合金焊缝表面质量检测系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111132873.4A CN114252449B (zh) | 2021-09-27 | 2021-09-27 | 一种基于线结构光的铝合金焊缝表面质量检测系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114252449A CN114252449A (zh) | 2022-03-29 |
| CN114252449B true CN114252449B (zh) | 2023-10-24 |
Family
ID=80790375
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111132873.4A Active CN114252449B (zh) | 2021-09-27 | 2021-09-27 | 一种基于线结构光的铝合金焊缝表面质量检测系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114252449B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114850741B (zh) * | 2022-06-10 | 2023-06-27 | 东南大学 | 一种适用于平板对接焊缝的焊缝识别装置及识别方法 |
| CN115980092B (zh) * | 2023-03-20 | 2023-06-23 | 宁波吉宁汽车零部件有限公司 | 一种焊接件检测设备 |
| CN117630021B (zh) * | 2024-01-25 | 2024-05-14 | 宁德时代新能源科技股份有限公司 | 焊接检测装置及焊接检测方法 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008267836A (ja) * | 2007-04-16 | 2008-11-06 | Nippon Steel Corp | 溶接部の表面欠陥形状検出方法及びコンピュータプログラム |
| JP2011191161A (ja) * | 2010-03-15 | 2011-09-29 | Nippon Sharyo Seizo Kaisha Ltd | 溶接部アンダーカット検査装置 |
| CN103324936A (zh) * | 2013-05-24 | 2013-09-25 | 北京理工大学 | 一种基于多传感器融合的车辆下边界检测方法 |
| CN107764205A (zh) * | 2017-11-06 | 2018-03-06 | 长安大学 | 基于线结构光扫描高频电阻焊焊缝形貌三维检测装置及检测方法 |
| CN107876970A (zh) * | 2017-12-13 | 2018-04-06 | 浙江工业大学 | 一种机器人多层多道焊接焊缝三维检测及焊缝拐点识别方法 |
| CN108088390A (zh) * | 2017-12-13 | 2018-05-29 | 浙江工业大学 | 一种焊接检测中基于双目线结构光的光条中心三维坐标获取方法 |
| CN108846363A (zh) * | 2018-06-19 | 2018-11-20 | 重庆理工大学 | 一种基于发散式扫描的分区域车底阴影检测方法 |
| KR20190124452A (ko) * | 2018-04-26 | 2019-11-05 | 오토아이티(주) | 용접비드 비전 검사 장치 및 용접 불량 검사방법 |
| CN110987944A (zh) * | 2019-12-19 | 2020-04-10 | 武汉新耐视智能科技有限责任公司 | 一种基于包络线识别的激光钎焊焊缝表面缺陷检测方法 |
| CN112561854A (zh) * | 2020-11-11 | 2021-03-26 | 深圳大学 | 一种基于线结构光点云的焊缝检测方法 |
| CN112862794A (zh) * | 2021-02-20 | 2021-05-28 | 河北工业大学 | 一种基于结构光的角焊缝外观检测方法 |
| CN112950633A (zh) * | 2021-04-19 | 2021-06-11 | 上海电机学院 | 一种基于线结构光的铝合金焊缝表面缺陷检测方法 |
| CN214097199U (zh) * | 2021-01-21 | 2021-08-31 | 上海电机学院 | 焊缝激光条纹视觉检测传感器装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR3011935B1 (fr) * | 2013-10-11 | 2017-06-23 | Luceo | Procede et dispositif pour inspecter les soudures d'emballages |
| CN109226967B (zh) * | 2018-07-25 | 2021-03-09 | 同高先进制造科技（太仓）有限公司 | 一种用于激光-电弧复合焊的主动激光视觉稳健焊缝跟踪系统 |
-
2021
- 2021-09-27 CN CN202111132873.4A patent/CN114252449B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008267836A (ja) * | 2007-04-16 | 2008-11-06 | Nippon Steel Corp | 溶接部の表面欠陥形状検出方法及びコンピュータプログラム |
| JP2011191161A (ja) * | 2010-03-15 | 2011-09-29 | Nippon Sharyo Seizo Kaisha Ltd | 溶接部アンダーカット検査装置 |
| CN103324936A (zh) * | 2013-05-24 | 2013-09-25 | 北京理工大学 | 一种基于多传感器融合的车辆下边界检测方法 |
| CN107764205A (zh) * | 2017-11-06 | 2018-03-06 | 长安大学 | 基于线结构光扫描高频电阻焊焊缝形貌三维检测装置及检测方法 |
| CN107876970A (zh) * | 2017-12-13 | 2018-04-06 | 浙江工业大学 | 一种机器人多层多道焊接焊缝三维检测及焊缝拐点识别方法 |
| CN108088390A (zh) * | 2017-12-13 | 2018-05-29 | 浙江工业大学 | 一种焊接检测中基于双目线结构光的光条中心三维坐标获取方法 |
| KR20190124452A (ko) * | 2018-04-26 | 2019-11-05 | 오토아이티(주) | 용접비드 비전 검사 장치 및 용접 불량 검사방법 |
| CN108846363A (zh) * | 2018-06-19 | 2018-11-20 | 重庆理工大学 | 一种基于发散式扫描的分区域车底阴影检测方法 |
| CN110987944A (zh) * | 2019-12-19 | 2020-04-10 | 武汉新耐视智能科技有限责任公司 | 一种基于包络线识别的激光钎焊焊缝表面缺陷检测方法 |
| CN112561854A (zh) * | 2020-11-11 | 2021-03-26 | 深圳大学 | 一种基于线结构光点云的焊缝检测方法 |
| CN214097199U (zh) * | 2021-01-21 | 2021-08-31 | 上海电机学院 | 焊缝激光条纹视觉检测传感器装置 |
| CN112862794A (zh) * | 2021-02-20 | 2021-05-28 | 河北工业大学 | 一种基于结构光的角焊缝外观检测方法 |
| CN112950633A (zh) * | 2021-04-19 | 2021-06-11 | 上海电机学院 | 一种基于线结构光的铝合金焊缝表面缺陷检测方法 |
Non-Patent Citations (7)
| Title |
|---|
| 一种基于扫描线和区域生长的行车偏移检测算法;瞿洋 等;《中国图象图形学报》(第01期);全文 * |
| 不等厚激光拼焊板焊缝质量检测图像处理方法;许敏 等;《焊接技术》;第39卷(第04期);全文 * |
| 基于结构光视觉的激光拼焊焊缝背面质量检测方法研究;张万江 等;《仪表技术与传感器》(第09期);全文 * |
| 基于结构光视觉的焊缝外观检测;李玉;《中国优秀硕士学位论文全文数据库工程科技Ⅰ辑》(第07期);第B022-235页 * |
| 基于轮廓曲率的PET瓶防盗环断裂检测;彭玉 等;《电子测量与仪器学报》;第31卷(第03期);全文 * |
| 星点图像的目标提取算法研究;原玉磊 等;《海军航空工程学院学报》;第25卷(第06期);全文 * |
| 线结构光传感器一体化标定;邹树平;《测绘与空间地理信息》;第43卷(第10期);第208-211页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114252449A (zh) | 2022-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114252449B (zh) | 一种基于线结构光的铝合金焊缝表面质量检测系统及方法 | |
| CN109544456B (zh) | 基于二维图像和三维点云数据融合的全景环境感知方法 | |
| CN114119553B (zh) | 一种以十字激光为基准的双目视觉异面圆孔检测方法 | |
| CN110766669B (zh) | 一种基于多目视觉的管线测量方法 | |
| CN107578464A (zh) | 一种基于线激光扫描的传送带工件三维轮廓测量方法 | |
| CN114494045B (zh) | 一种基于机器视觉的大型直齿轮几何参数测量系统及方法 | |
| CN113324478A (zh) | 一种线结构光的中心提取方法及锻件三维测量方法 | |
| CN109447939B (zh) | 基于混合光谱视觉的熔池成形前焊缝宽度预测方法 | |
| CN111354047B (zh) | 一种基于计算机视觉的摄像模组定位方法及系统 | |
| CN115096206A (zh) | 一种基于机器视觉的零件尺寸高精度测量方法 | |
| CN108986160A (zh) | 一种含有镜面反射光干扰的图像激光中心线提取方法 | |
| CN104897174B (zh) | 基于置信度评价的图像光条噪声抑制方法 | |
| CN112241964A (zh) | 一种用于线结构光非接触测量的光条中心提取方法 | |
| CN115108466A (zh) | 一种集装箱吊具智能定位的方法 | |
| CN112833821B (zh) | 高密度ic焊点的微分几何立体微视觉检测系统及方法 | |
| CN113932712A (zh) | 一种基于深度相机和关键点的瓜果类蔬菜尺寸测量方法 | |
| CN112991327A (zh) | 基于机器视觉的钢格网焊接系统、方法和终端设备 | |
| CN112330667A (zh) | 一种基于形态学的激光条纹中心线提取方法 | |
| CN210377552U (zh) | 一种水果分类用多面图像获取装置 | |
| CN116596987A (zh) | 一种基于双目视觉的工件三维尺寸高精度测量方法 | |
| CN116579955A (zh) | 一种新能源电芯焊缝反光点去噪和点云补全方法及系统 | |
| CN116883498A (zh) | 基于灰度质心提取算法的视觉合作靶标特征点定位方法 | |
| CN116645418A (zh) | 基于2d和3d相机的屏幕按钮检测方法、装置及其相关介质 | |
| CN115184362B (zh) | 一种基于结构光投影的快速缺陷检测方法 | |
| CN209279912U (zh) | 一种物体三维信息采集装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |