CN113989379B - 基于线激光旋转扫描的轮毂焊缝三维特征测量装置及方法 - Google Patents
基于线激光旋转扫描的轮毂焊缝三维特征测量装置及方法 Download PDFInfo
- Publication number
- CN113989379B CN113989379B CN202111167123.0A CN202111167123A CN113989379B CN 113989379 B CN113989379 B CN 113989379B CN 202111167123 A CN202111167123 A CN 202111167123A CN 113989379 B CN113989379 B CN 113989379B
- Authority
- CN
- China
- Prior art keywords
- image
- dimensional
- welding seam
- line
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003466 welding Methods 0.000 title claims abstract description 117
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000006073 displacement reaction Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 6
- 239000013589 supplement Substances 0.000 claims abstract description 5
- 238000000605 extraction Methods 0.000 claims description 38
- 238000001514 detection method Methods 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 11
- 230000011218 segmentation Effects 0.000 claims description 10
- 239000011800 void material Substances 0.000 claims description 10
- 238000012876 topography Methods 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 6
- 230000005484 gravity Effects 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 5
- 238000003708 edge detection Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 238000005286 illumination Methods 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 4
- 230000000877 morphologic effect Effects 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 2
- 238000003709 image segmentation Methods 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 claims description 2
- 230000005622 photoelectricity Effects 0.000 claims description 2
- 238000011176 pooling Methods 0.000 claims description 2
- 230000004044 response Effects 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims 1
- 238000005259 measurement Methods 0.000 abstract description 15
- 230000008901 benefit Effects 0.000 abstract description 2
- 238000011897 real-time detection Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000000691 measurement method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于线激光旋转扫描的轮毂焊缝三维形貌特征测量装置及方法，装置包括线结构光传感器、旋转位移控制系统、LED补光灯控制系统和计算机；线结构光传感器由线激光器和工业相机构成，旋转位移控制系统由旋转台与电控台控制器构成，LED补光灯控制系统由LED与光源控制器构成；测量方法包括利用线结构光传感器采集轮毂焊缝区域的灰度图像以及线激光条纹图像，经图像处理重建轮毂焊缝轮廓的三维点云，分析获取焊缝深度信息；使用双输入改进型U‑Net网络对采集到的感兴趣区域图像预测焊缝区域，结合光条图像信息预测焊缝的上轮廓三维数据。本发明具有装置简易、测量精度高和可实时检测等优点。
Description
技术领域
本发明涉及基于线结构光的三维重构技术领域，具体涉及一种基于线激光旋转扫描的轮毂焊缝三维特征测量装置及方法。
技术背景
三维测量技术在测绘工程领域、结构测量领域甚至娱乐产业领域都有广泛的应用。三维测量的主要实现方式包括以传统三坐标测量机为代表的接触式三维测量方法和非接触式三维测量技术。前者测量精确技术成熟，但由于其与被测物接触测量的特点使得测量过程会造成被测物体表面的损伤。而目前，后者具有非接触式优势的三维测量方法迅速发展，其中基于线激光扫描的主动式三维测量技术在三维形貌特征测量中有不俗的表现。
线激光扫描三维测量技术不仅保持高精度检测还提高了检测速度，因而得到广泛应用，例如医学外科规划矫正和修补术，医学人体测量，古文物数字化档案，工业生产在线质量检测等应用领域。然而目前多数物件三维形貌特征检测都依赖用标准检测器件辅助的人工检测，不仅浪费了大量劳动资源，同时无法高效地完成检测工作。同时人工检测存在无法精确获取三维形貌的深度信息的问题需要解决，如待测对象轮毂焊缝，人工检测无法精确快速地获取焊缝轮廓的深度信息与焊缝上缘三维特征。
发明内容
本发明的目的在于提供一种基于线激光旋转扫描的轮毂焊缝三维特征测量装置及方法，使用线激光旋转扫描结合计算机视觉技术实现对轮毂焊缝三维形貌特征提取。
实现本发明目的的技术解决方案为：一种基于线激光旋转扫描的轮毂焊缝三维形貌特征测量装置，包括线结构光传感器、旋转位移控制系统、LED补光灯控制系统和计算机；所述线结构光传感器包括以固定夹角安装的线激光器与工业相机，线激光器产生的激光条纹受待测轮毂焊缝表面形貌调制进而反应三维特征，由工业相机采集光条纹图像并传输给计算机分析与计算；所述旋转位移控制系统用于控制被测工件均匀旋转，由旋转台与电控台控制器组成；所述LED补光灯控制系统用于在采集焊缝灰度图像时提供均匀光照，在采集光条图像时关闭LED；所述计算机包括控制与显示子模块，焊缝轮廓三维重建子模块和焊缝上缘识别子模块；所述旋转位移控制系统与LED补光灯控制系统和计算机的控制与显示子模块通过UART串口通信，由计算机发出指令控制旋转台的旋转方向与速度以及LED亮度与开关；所述控制与显示子模块用于实时显示焊缝线激光条纹图像与轮毂焊缝灰度图像的采集情况和控制各子模块有序执行。
一种基于线激光旋转扫描的轮毂焊缝三维形貌特征测量，包括：
步骤1，视觉传感器与旋转台中心轴标定；
通过张正友标定法计算相机模型的内部参数与畸变系数，由此获得像素坐标系与相机坐标系的映射关系；线结构光标定通过联列平面靶标已知的平面方程和相机光心与光条中心线特征点的系列直线方程可计算得到一系列光条中心线特征点的三维点坐标，基于最小二乘法，将所有三维点拟合得到线结构光平面方程；旋转台中心轴的标定通过提取平面靶标在不同旋转角度下的角点三维坐标，利用最小二乘法拟合各个角点旋转后得到的圆方程，圆心构成旋转台中心轴的三维直线；
步骤2，线激光旋转扫描重建轮毂焊缝三维轮廓；
所述视觉传感器产生的线激光随旋转台扫描轮毂焊缝，相机采集感兴趣区域的光条纹灰度图像；光条纹骨架特征点提取主要包括以下步骤：
1)光条纹灰度图像通过中值滤波消除噪声，利用自适应阈值OTSU算法将光条纹图像二值化；
2)根据光条纹连通域连续且面积较大的特点，设定阈值删除连通域面积小于设定阈值的部分；运用形态学开运算处理光条纹二值图像，平滑边缘；
3)灰度重心法提取光条纹中心线；
经过所述光条纹骨架特征点提取算法可得到轮廓二维特征点，利用步骤1得到的标定结果计算获得轮毂焊缝轮廓的三维点云集；
步骤3，利用双输入改进型U-Net网络实现焊缝的语义分割；
网络的输入包括轮毂焊缝灰度图与基于Canny轮廓检测的焊缝差图，输入图像均截取原图焊缝上缘感兴趣区域，输出相同尺度的2分类one-hot编码数字图像，预测结果包括“背景”与“焊缝”区域；
针对基于Canny轮廓检测的焊缝差图制作的具体方法为：
1)对焊缝上缘灰度图像进行高斯平滑；采用sober算子计算图像梯度与方向；根据梯度方向，对梯度幅值进行非极大值抑制，用双阈值算法检测和连接边缘，进而得到焊缝上缘图像轮廓特征点；
2)焊缝上缘图像轮廓特征点集中在上缘轮廓以及焊缝纹理部分；选取最靠近焊缝上缘的轮廓特征点；针对轮廓特征点存在异常值，利用轮廓特征点坐标较集中且连续的特点，将坐标值突变的特征点剔除；
3)连接所有焊缝上缘轮廓特征点来分割背景与焊缝区域，将背景区域的像素值置0，焊缝区域像素值保持不变，得到基于Canny轮廓检测的焊缝差图；
将焊缝差图作为网络的另一个分支输入；双输入图像分别经过初步特征提取卷积模块，分别得到的特征图经过Concatenate拼接操作后作为改进型U-Net网络的输入层；改进型U-Net网络在原网络框架的基础上，主干特征提取的第三、四特征提取子模块中的卷积层替换为3×3的空洞率为1-dilated与2-dilated的空洞卷积层。将预测结果转换为二值图像，提取焊缝区域的轮廓图像，并和步骤2中计算得到的同一位置的轮毂焊缝光条纹中心线图像做与计算；得到的点坐标根据步骤1计算的标定参数转换为三维点坐标，即为该位置检测得到的轮毂焊缝上缘三维点信息。
本发明提供的基于线激光旋转扫描的轮毂焊缝三维形貌特征测量装置与测量方法，相比于传统的利用标准测量工具的人工测量方法有效地解决了人工检测无法精确获取三维形貌的深度信息的问题，同时满足了检测精度与实时检测的要求。
附图说明
图1是基于线激光旋转扫描的轮毂焊缝三维形貌特征测量装置图。
图2为基于线激光旋转扫描的轮毂焊缝三维形貌特征测量装置工作流程图。
图3为轮毂焊缝三维轮廓重建结果示意图。
图4为不同位置轮毂焊缝灰度图、差图和预测图像。
图5为焊缝上缘三维数据重建示意图。
具体实施方式
如图1所示，本发明提出的一种基于线激光旋转扫描的轮毂焊缝三维形貌特征测量装置，主要由线结构光传感器1、旋转位移控制系统、LED补光灯控制系统和计算机4构成；所述线结构光传感器1包括以固定夹角安装的线激光器与工业相机，线激光器产生的激光条纹受待测轮毂5焊缝表面形貌调制进而反应三维特征，由工业相机采集光条纹图像并传输给计算机4分析与计算；所述旋转位移控制系统用于控制被测工件均匀旋转，由旋转台3与电控台控制器组成；所述LED补光灯控制系统用于在采集焊缝灰度图像时提供均匀光照，在采集光条图像时关闭LED2降低环境光干扰；所述计算机4包括控制与显示子模块，焊缝轮廓三维重建子模块和焊缝上缘识别子模块；
所述旋转位移控制系统与LED补光灯控制系统和计算机的控制与显示子模块通过UART串口通信，由计算机发出指令控制旋转台的旋转方向与速度以及LED亮度与开关；
所述控制与显示子模块设计了功能清晰、交互友好的用户图形界面，用于实时显示图像采集情况和控制各子模块有序执行。
进一步的，所述的焊缝轮廓三维重建子模块，利用所述视觉传感器的标定参数获取二维图像像素点坐标与三维空间坐标点的映射关系。线激光器产生线结构光与被测轮毂上的焊缝相交，采集焊缝轮廓光条纹图像并图像预处理与提取光条中心线。通过所述二维与三维坐标映射关系，计算焊缝轮廓三维点云集。
所述焊缝轮廓光条纹图像处理，其步骤包括：首先对焊缝轮廓光条纹图像感兴趣区域提取；对焊缝轮廓光条纹图像使用OTSU自适应阈值图像分割算法，将图像二值化并分割光条与背景区域；光条纹二值图像利用灰度阈值重心法求取光条纹中心线像素坐标值。
进一步的，所述的焊缝上缘识别子模块，基于双输入的改进型U-Net网络实现焊缝的语义分割。所述U-Net网络框架包括主干特征提取与加强特征提取部分，主干特征提取部分具有5个由卷积与最大池化堆叠的特征提取网络，可获得五个尺度的有效特征层，加强特征提取部分将主干特征提取网络得到特征层上采样并进行特征融合。将最后一个特征层的每个像素点进行分类预测得到语义分割结果。所述改进型U-Net网络，将主干特征提取中第三、四特征提取子模块中的卷积层替换为3×3的空洞率为1-dilated与2-dilated的空洞卷积层。双输入的改进型U-Net网络，其双输入包括原始轮毂焊缝灰度图像与利用Canny边缘检测制作的焊缝差图。两个输入分支图像经过多个3×3卷积层初步提取特征，分别得到的特征图经过Concatenate拼接操作后作为改进型U-Net网络的输入层。
进一步的，所述的视觉传感器，用针孔成像模型的内部参数与畸变系数描述工业相机成像，用线结构光标定结果即相对相机模型的线结构光平面方程结合相机标定参数来描述二维坐标点与三维空间坐标点的映射关系。
所述视觉传感器的工业相机使用Daheng Image的MER2-503-36U3M，分辨率为2448(H)×2048(V)；
所述视觉传感器的线激光器中心波长650nm，输出功率10mW，可TTL调制，其调制信号由计算机GPIO产生。
所述的电控台控制器选用大恒光电GCD-0401M，控制旋转精度为0.001deg，通过UART串口通信与计算机控制与显示子模块传输控制指令与应答信号。
光源控制器选用Koma Vision的DCS2.0-4C030W-24PS，控制方式可使用无源外触发方式也可通过RS232串口通信接口与上位机连接。
本发明还提供一种基于线激光旋转扫描的轮毂焊缝三维形貌特征测量，包括：
步骤1，视觉传感器与旋转台中心轴标定。
视觉传感器与所述旋转台中心轴的标定精度决定了线激光旋转扫描的三维测量的精度。通过张正友标定法计算相机模型的内部参数与畸变系数，由此获得像素坐标系与相机坐标系的映射关系；线结构光标定通过联列平面靶标已知的平面方程和相机光心与光条中心线特征点的系列直线方程可以计算得到一系列光条中心线特征点的三维点坐标，基于最小二乘法，将所有三维点拟合得到线结构光平面方程；旋转台中心轴的标定通过提取平面靶标在不同旋转角度下的角点三维坐标，利用最小二乘法拟合各个角点旋转后得到的圆方程，圆心构成旋转台中心轴的三维直线。
步骤2，线激光旋转扫描重建轮毂焊缝三维轮廓。
所述视觉传感器产生的线激光随旋转台扫描轮毂焊缝，相机采集感兴趣区域的光条纹灰度图像。光条纹骨架特征点提取主要包括以下步骤：
1)光条纹灰度图像通过中值滤波消除噪声，利用自适应阈值OTSU算法将光条纹图像二值化。
2)根据光条纹连通域连续且面积较大的特点，设定阈值删除连通域面积较小的部分。运用形态学开运算处理光条纹二值图像，平滑边缘。
3)灰度重心法提取光条纹中心线。具体实现是通过列/行方向遍历m×n灰度图像，利用公式：
可计算第j0列/第i0行的灰度重心坐标；其中fij表示输入图像i行j列的像素点灰度值，xi和yi分别表示横坐标i和纵坐标j。
经过所述光条纹骨架特征点提取算法可得到轮廓二维特征点，利用步骤一得到的标定结果可以计算获得轮毂焊缝轮廓的三维点云集。
步骤3，利用双输入改进型U-Net网络实现焊缝的语义分割。
实质是图像二类分割的问题。网络的输入包括轮毂焊缝灰度图与基于Canny轮廓检测的焊缝差图，输入图像均截取原图焊缝上缘感兴趣区域，输出相同尺度的2分类one-hot编码数字图像，预测结果包括“背景”与“焊缝”区域。
针对基于Canny轮廓检测的焊缝差图制作的具体操作是：
1)对焊缝上缘灰度图像进行高斯平滑，降低错误率。利用焊缝灰度图像中背景区域灰度变化小，焊缝上缘像素值变化剧烈的特点，采用sober算子计算图像梯度与方向。根据梯度方向，对梯度幅值进行非极大值抑制，用双阈值算法检测和连接边缘，进而得到焊缝上缘图像轮廓特征点。
2)焊缝上缘图像轮廓特征点集中在上缘轮廓以及焊缝纹理部分。为了尽可能完整提取焊缝区域，选取最靠近焊缝上缘的轮廓特征点。针对轮廓特征点存在异常值，利用轮廓特征点坐标较集中且连续的特点，将坐标值突变的特征点剔除。
3)连接所有焊缝上缘轮廓特征点来分割背景与焊缝区域，将背景区域的像素值置0，焊缝区域像素值保持不变，得到基于Canny轮廓检测的焊缝差图。
焊缝上缘轮廓不规则且样式复杂，将焊缝差图作为网络的另一个分支输入有利于深度网络学习焊缝图像特征区域的信息。双输入图像分别经过初步特征提取卷积模块，分别得到的特征图经过Concatenate拼接操作后作为改进型U-Net网络的输入层。改进型U-Net网络在原网络框架的基础上，主干特征提取的第三、四特征提取子模块中的卷积层替换为3×3的空洞率为1-dilated与2-dilated的空洞卷积层。将预测结果转换为二值图像，提取焊缝区域的轮廓图像，并和步骤2中计算得到的同一位置的轮毂焊缝光条纹中心线图像做与计算。得到的点坐标根据步骤1计算的标定参数转换为三维点坐标，即为该位置检测得到的轮毂焊缝上缘三维点信息。
计算机控制与显示子模块基于Qt设计了功能清晰、交互友好的用户图形界面。该模块控制功能体现在控制相机初始化及采集，控制与光源控制器及电控台控制器串口通信，控制GPIO电平TTL调制激光器。同时实时监测各子模块控制情况，实时显示轮毂焊缝数字图像的采集情况，并且及时显示焊缝轮廓三维重建子模块和焊缝上缘识别子模块的计算与预测结果。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。
实施例
如图1所示，基于线激光旋转扫描的轮毂焊缝三维形貌特征测量装置包括线结构光传感器1、旋转位移控制系统、LED补光灯控制系统和计算机4。测量目标为轮毂焊缝区域三维轮廓与焊缝上缘三维重建。
本发明视觉传感器与所述旋转台中心轴的标定精度决定了线激光旋转扫描的三维测量的精度。工业相机提取光条中心点坐标均是处于像素坐标系(o-u,v)。以相机光心为原心建立的坐标系为相机坐标系(Oc-Xc,Yc,Zc)。在本实施例中采用张正友标定法获得获取相机的内参M，外参[R,T]与畸变系数。
图像坐标系(o-u,v)与相机坐标系(Oc-Xc,Yc,Zc)之间映射关系，如下公式：
[xc,yc,zc]T＝M-1[u,v,1]T
线结构光标定：不同位置的平面靶标方程为anxc+bnyc+cnzc+dn＝0，激光条纹和平面靶标的相交光条纹中心线特征点与相机光心构成的系列直线方程可以表示为：xc-xc′/xc′＝yc-yc′/yc′＝zc-1,其中(x′c,yc′)是光条特征点在归一化图像坐标系下的坐标。联列可得到光条特征点在相机坐标系下的坐标可表示为：
计算得到一系列光条中心线特征点的三维点坐标，基于最小二乘法，将所有三维点拟合得到线结构光平面方程。因此任意二维像素坐标都可通过线结构光平面方程得到对应的三维空间坐标。
图2为轮毂焊缝三维形貌特征测量装置工作流程。本实施例测量装置工作流程为：步骤一，首先如上述完成视觉传感器标定；步骤二，通过计算机串口控制开启LED，给予轮毂焊缝区域充足均匀的光照，并控制相机采集图像；步骤三，在相同位置关闭LED，串口打开线激光器，使得激光条纹与焊缝区域相交并控制相机采集光条纹图像；步骤四，判断激光旋转扫描是否完成扫描一周，若没有则串口控制旋转台转动θ(在本实施例中θ≈0.307°)并重复步骤二、三，若已扫描一周，则停止工作。
本实施例中焊缝轮廓三维重建子模块针对采集的轮毂焊缝光条纹图像先中值滤波去噪，再利用OTSU算法对图像自适应阈值分割，得到的二值图进一步形态学开运算处理并去除小面积连通域。预处理后的图像沿着列方向提取光条图像灰度重心坐标点，最终利用标定参数实现二维标定到三维坐标的转换。依据旋转扫描的单位旋转角度以及旋转台中心轴的位置信息，可以将轮毂焊缝区域的三维轮廓点重建出来，如图3所示。
本实施例中焊缝上缘识别子模块基于双输入改进的U-Net网络，双输入尺度均为[288,288,1],输入分支一为焊缝区域灰度图像，输入分支二为基于Canny边缘检测的焊缝差图。焊缝差图制作是通过对焊缝区域灰度图像进行Canny边缘检测算法提取焊缝上缘的轮廓点，以此作为焊缝区域和背景区域的分割依据，并将背景区域像素值全部置零。数据集的标签通过使用Labelme标注软件制作，经过one-hot编码生成[288,288,2]的图像数据。根据以上双输入数据集训练网络，将网络预测输出数据转化为焊缝区域二值图。如图4所示，显示了在不同位置处采集到的轮毂焊缝灰度图像，基于Canny轮廓检测的焊缝差图以及利用训练好的网络预测得到的预测图像。通过预测图像与相同位置光条纹中心线可得到该位置的焊缝上缘坐标点，进一步地重建焊缝上缘三维数据，如图5所示。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (7)
1.一种基于线激光旋转扫描的轮毂焊缝三维形貌特征测量装置，其特征在于，包括线结构光传感器(1)、旋转位移控制系统、LED补光灯控制系统和计算机(4)；所述线结构光传感器(1)包括以固定夹角安装的线激光器与工业相机，线激光器产生的激光条纹受待测轮毂(5)焊缝表面形貌调制进而反应三维特征，由工业相机采集光条纹图像并传输给计算机(4)分析与计算；所述旋转位移控制系统用于控制被测工件均匀旋转，由旋转台(3)与电控台控制器组成；所述LED补光灯控制系统用于在采集焊缝灰度图像时提供均匀光照，在采集光条图像时关闭LED(2)；所述计算机(4)包括控制与显示子模块，焊缝轮廓三维重建子模块和焊缝上缘识别子模块；所述旋转位移控制系统与LED补光灯控制系统和计算机的控制与显示子模块通过UART串口通信，由计算机发出指令控制旋转台的旋转方向与速度以及LED亮度与开关；所述控制与显示子模块用于实时显示焊缝线激光条纹图像与轮毂焊缝灰度图像的采集情况和控制各子模块有序执行；
所述的焊缝轮廓三维重建子模块，用于利用视觉传感器的标定参数获取二维图像像素点坐标与三维空间坐标点的映射关系；线激光器产生线结构光与被测轮毂上的焊缝相交，采集焊缝轮廓光条纹图像并图像预处理与提取光条中心线；通过所述二维与三维坐标映射关系，计算焊缝轮廓三维点云集；
所述焊缝轮廓三维重建子模块中的焊缝轮廓光条纹图像处理，其步骤包括：首先对焊缝轮廓光条纹图像感兴趣区域提取；对焊缝轮廓光条纹图像使用OTSU自适应阈值图像分割算法，将图像二值化并分割光条与背景区域；光条纹二值图像利用灰度阈值重心法求取光条纹中心线像素坐标值；
所述的视觉传感器，用针孔成像模型的内部参数与畸变系数描述工业相机成像，用线结构光标定结果即相对相机模型的线结构光平面方程结合相机标定参数来描述二维坐标点与三维空间坐标点的映射关系；
所述的焊缝上缘识别子模块，基于双输入的改进型U-Net网络实现焊缝的语义分割；所述双输入的改进型U-Net网络框架基于U-Net网络，包括主干特征提取与加强特征提取部分，主干特征提取部分具有5个由卷积与最大池化堆叠的特征提取网络，可获得五个尺度的有效特征层，加强特征提取部分将主干特征提取网络得到特征层上采样并进行特征融合；将最后一个特征层的每个像素点进行分类预测得到语义分割结果；所述双输入的改进型U-Net网络将主干特征提取中第三、四特征提取子模块中的卷积层替换为3×3的空洞率为1-dilated与2-dilated的空洞卷积层；双输入的改进型U-Net网络，其双输入包括原始轮毂焊缝灰度图像与利用Canny边缘检测制作的焊缝差图；两个输入分支图像经过多个3×3卷积层初步提取特征，分别得到的特征图经过Concatenate拼接操作后作为改进型U-Net网络的输入层。
2.根据权利要求1所述的基于线激光旋转扫描的轮毂焊缝三维形貌特征测量装置，其特征在于，所述视觉传感器的工业相机使用Daheng Image的MER2-503-36U3M，分辨率为2448(H)×2048(V)；所述视觉传感器的线激光器中心波长650nm，可TTL调制，其调制信号由计算机GPIO产生。
3.根据权利要求1所述的基于线激光旋转扫描的轮毂焊缝三维形貌特征测量装置，其特征在于，所述的电控台控制器选用大恒光电GCD-0401M，通过UART串口通信与计算机控制与显示子模块传输控制指令与应答信号。
4.根据权利要求1所述的基于线激光旋转扫描的轮毂焊缝三维形貌特征测量装置，其特征在于，光源控制器选用Koma Vision的DCS2.0-4C030W-24PS，控制方式使用无源外触发方式或者通过RS232串口通信接口与上位机连接。
5.一种基于权利要求1-4任意一项所述装置的三维形貌特征测量方法，其特征在于，包括：
步骤1，视觉传感器与旋转台中心轴标定；
通过张正友标定法计算相机模型的内部参数与畸变系数，由此获得像素坐标系与相机坐标系的映射关系；线结构光标定通过联列平面靶标已知的平面方程和相机光心与光条中心线特征点的系列直线方程可计算得到一系列光条中心线特征点的三维点坐标，基于最小二乘法，将所有三维点拟合得到线结构光平面方程；旋转台中心轴的标定通过提取平面靶标在不同旋转角度下的角点三维坐标，利用最小二乘法拟合各个角点旋转后得到的圆方程，圆心构成旋转台中心轴的三维直线；
步骤2，线激光旋转扫描重建轮毂焊缝三维轮廓；
所述视觉传感器产生的线激光随旋转台扫描轮毂焊缝，相机采集感兴趣区域的光条纹灰度图像；光条纹骨架特征点提取主要包括以下步骤：
1)光条纹灰度图像通过中值滤波消除噪声，利用自适应阈值OTSU算法将光条纹图像二值化；
2)根据光条纹连通域连续且面积较大的特点，设定阈值删除连通域面积小于设定阈值的部分；运用形态学开运算处理光条纹二值图像，平滑边缘；
3)灰度重心法提取光条纹中心线；
经过所述光条纹骨架特征点提取算法可得到轮廓二维特征点，利用步骤1得到的标定结果计算获得轮毂焊缝轮廓的三维点云集；
步骤3，利用双输入改进型U-Net网络实现焊缝的语义分割；
网络的输入包括轮毂焊缝灰度图与基于Canny轮廓检测的焊缝差图，输入图像均截取原图焊缝上缘感兴趣区域，输出相同尺度的2分类one-hot编码数字图像，预测结果包括“背景”与“焊缝”区域；
针对基于Canny轮廓检测的焊缝差图制作的具体方法为：
1)对焊缝上缘灰度图像进行高斯平滑；采用sober算子计算图像梯度与方向；根据梯度方向，对梯度幅值进行非极大值抑制，用双阈值算法检测和连接边缘，进而得到焊缝上缘图像轮廓特征点；
2)焊缝上缘图像轮廓特征点集中在上缘轮廓以及焊缝纹理部分；选取最靠近焊缝上缘的轮廓特征点；针对轮廓特征点存在异常值，利用轮廓特征点坐标较集中且连续的特点，将坐标值突变的特征点剔除；
3)连接所有焊缝上缘轮廓特征点来分割背景与焊缝区域，将背景区域的像素值置0，焊缝区域像素值保持不变，得到基于Canny轮廓检测的焊缝差图；
将焊缝差图作为网络的另一个分支输入；双输入图像分别经过初步特征提取卷积模块，分别得到的特征图经过Concatenate拼接操作后作为改进型U-Net网络的输入层；改进型U-Net网络在原网络框架的基础上，主干特征提取的第三、四特征提取子模块中的卷积层替换为3×3的空洞率为1-dilated与2-dilated的空洞卷积层；将预测结果转换为二值图像，提取焊缝区域的轮廓图像，并和步骤2中计算得到的同一位置的轮毂焊缝光条纹中心线图像做与计算；得到的点坐标根据步骤1计算的标定参数转换为三维点坐标，即为该位置检测得到的轮毂焊缝上缘三维点信息。
6.根据权利要求5所述的方法，其特征在于，计算机控制与显示子模块基于Qt设计用户图形界面；该模块用于控制相机初始化及采集，控制与光源控制器及电控台控制器串口通信，控制GPIO电平TTL调制激光器；同时实时监测各子模块控制情况，实时显示轮毂焊缝数字图像的采集情况，并且及时显示焊缝轮廓三维重建子模块和焊缝上缘识别子模块的计算与预测结果。
7.根据权利要求5所述的方法，其特征在于，灰度重心法提取光条纹中心线，具体实现是通过列/行方向遍历m×n灰度图像，利用公式：
其中fij表示输入图像i行j列的像素点灰度值，xi和yi分别表示横坐标i和纵坐标j，可计算第j0列/第i0行的灰度重心坐标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111167123.0A CN113989379B (zh) | 2021-10-02 | 2021-10-02 | 基于线激光旋转扫描的轮毂焊缝三维特征测量装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111167123.0A CN113989379B (zh) | 2021-10-02 | 2021-10-02 | 基于线激光旋转扫描的轮毂焊缝三维特征测量装置及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113989379A CN113989379A (zh) | 2022-01-28 |
| CN113989379B true CN113989379B (zh) | 2022-06-24 |
Family
ID=79737615
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111167123.0A Active CN113989379B (zh) | 2021-10-02 | 2021-10-02 | 基于线激光旋转扫描的轮毂焊缝三维特征测量装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113989379B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115082538A (zh) * | 2022-06-20 | 2022-09-20 | 南京理工大学 | 基于线结构光投影的多目视觉平衡环零件表面三维重建系统及方法 |
| CN115953459B (zh) * | 2023-03-10 | 2023-07-25 | 齐鲁工业大学(山东省科学院) | 一种复杂光照条件下的激光条纹中心线提取方法 |
| CN116538953B (zh) * | 2023-05-08 | 2024-01-30 | 武汉纵横天地空间信息技术有限公司 | 一种立面目标智能检测方法、系统及可读存储介质 |
| CN116597391B (zh) * | 2023-07-18 | 2023-09-19 | 武汉纺织大学 | 一种焊缝表面形貌和熔透状态同步在线监测方法 |
| CN116673597B (zh) * | 2023-07-28 | 2023-10-13 | 清华大学 | 用于双v复合型坡口的激光线图像特征提取系统及方法 |
| CN116908217B (zh) * | 2023-09-11 | 2023-11-17 | 中北大学 | 一种深孔测量与三维重建系统及其使用方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107578464A (zh) * | 2017-06-30 | 2018-01-12 | 长沙湘计海盾科技有限公司 | 一种基于线激光扫描的传送带工件三维轮廓测量方法 |
| CN107764205A (zh) * | 2017-11-06 | 2018-03-06 | 长安大学 | 基于线结构光扫描高频电阻焊焊缝形貌三维检测装置及检测方法 |
| CN107907048A (zh) * | 2017-06-30 | 2018-04-13 | 长沙湘计海盾科技有限公司 | 一种基于线结构光扫描的双目立体视觉三维测量方法 |
| CN109272544A (zh) * | 2018-10-22 | 2019-01-25 | 湖北文理学院 | 管道全位置焊缝的结构光三维测量模型和图像处理方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10699442B2 (en) * | 2017-08-29 | 2020-06-30 | Faro Technologies, Inc. | Articulated arm coordinate measuring machine having a color laser line probe |
| CN109226967B (zh) * | 2018-07-25 | 2021-03-09 | 同高先进制造科技（太仓）有限公司 | 一种用于激光-电弧复合焊的主动激光视觉稳健焊缝跟踪系统 |
| US11776144B2 (en) * | 2019-12-30 | 2023-10-03 | Cilag Gmbh International | System and method for determining, adjusting, and managing resection margin about a subject tissue |
-
2021
- 2021-10-02 CN CN202111167123.0A patent/CN113989379B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107578464A (zh) * | 2017-06-30 | 2018-01-12 | 长沙湘计海盾科技有限公司 | 一种基于线激光扫描的传送带工件三维轮廓测量方法 |
| CN107907048A (zh) * | 2017-06-30 | 2018-04-13 | 长沙湘计海盾科技有限公司 | 一种基于线结构光扫描的双目立体视觉三维测量方法 |
| CN107764205A (zh) * | 2017-11-06 | 2018-03-06 | 长安大学 | 基于线结构光扫描高频电阻焊焊缝形貌三维检测装置及检测方法 |
| CN109272544A (zh) * | 2018-10-22 | 2019-01-25 | 湖北文理学院 | 管道全位置焊缝的结构光三维测量模型和图像处理方法 |
Non-Patent Citations (5)
| Title |
|---|
| O Skotheim et al.A flexible 3D vision system based on structured light for in-line product inspection.《Proceedings of SPIE-The International Society for Optical Engineering》.2014, * |
| 宋旸等.包含遮挡物的三维流场莫尔层析重建.《激光技术》.2007,(第02期), * |
| 张万江等.基于结构光视觉的激光拼焊焊缝背面质量检测方法研究.《仪表技术与传感器》.2010,(第09期), * |
| 范剑英.结构光深度图像获取和处理与三维重建研究.《中国博士学位论文全文数据库信息科技辑》.2011, * |
| 高军强等.多摄像机线结构光的钢轨表面三维缺陷检测.《机械设计与制造》.2017,(第03期), * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113989379A (zh) | 2022-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113989379B (zh) | 基于线激光旋转扫描的轮毂焊缝三维特征测量装置及方法 | |
| CN112991347B (zh) | 一种基于三维的列车螺栓松动检测方法 | |
| CN104897062B (zh) | 一种零件异面平行孔形位偏差的视觉测量方法及装置 | |
| CN109580630B (zh) | 一种机械零部件缺陷的视觉检测方法 | |
| Xu et al. | Line structured light calibration method and centerline extraction: A review | |
| CN104112269B (zh) | 一种基于机器视觉的太阳能电池激光刻线参数检测方法及系统 | |
| CN115330958B (zh) | 基于激光雷达的实时三维重建方法及装置 | |
| CN106951905A (zh) | 一种基于tof相机的树上苹果识别与定位方法 | |
| Wang et al. | Edge extraction by merging 3D point cloud and 2D image data | |
| CN105574812B (zh) | 多角度三维数据配准方法及装置 | |
| CN110702028B (zh) | 一种果园树干三维检测定位方法及装置 | |
| CN107702663A (zh) | 一种基于具有标志点的旋转平台的点云配准方法 | |
| CN115345881B (zh) | 一种基于计算机视觉的路面病害检测方法 | |
| CN112884880B (zh) | 一种基于线激光的蜜柚三维建模装置和方法 | |
| Fan et al. | A simple calibration method of structured light plane parameters for welding robots | |
| CN110097540A (zh) | 多边形工件的视觉检测方法及装置 | |
| CN107063130A (zh) | 一种基于光栅投影三维重构的工件自动焊接方法 | |
| CN112529948A (zh) | 一种基于Mask R-CNN与3维球体拟合的成熟石榴定位方法 | |
| CN116486287A (zh) | 基于环境自适应机器人视觉系统的目标检测方法及系统 | |
| CN115953550A (zh) | 针对线结构光扫描的点云离群点剔除系统及方法 | |
| CN116579955B (zh) | 一种新能源电芯焊缝反光点去噪和点云补全方法及系统 | |
| CN111833392A (zh) | 标记点多角度扫描方法、系统及装置 | |
| CN113674218A (zh) | 焊缝特征点提取方法、装置、电子设备与存储介质 | |
| CN116642420A (zh) | 一种汽车风窗玻璃涂胶在线胶型检测装置及方法 | |
| Sun et al. | A vision system based on TOF 3D imaging technology applied to robotic citrus harvesting |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |