CN115131268A - 一种基于图像特征提取与三维模型匹配的自动化焊接系统 - Google Patents

一种基于图像特征提取与三维模型匹配的自动化焊接系统 Download PDF

Info

Publication number
CN115131268A
CN115131268A CN202110318123.XA CN202110318123A CN115131268A CN 115131268 A CN115131268 A CN 115131268A CN 202110318123 A CN202110318123 A CN 202110318123A CN 115131268 A CN115131268 A CN 115131268A
Authority
CN
China
Prior art keywords
welding
point cloud
workpiece
point
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110318123.XA
Other languages
English (en)
Inventor
赵壮
韩静
张毅
陆骏
陈霄宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Zhipu Photoelectric Technology Co ltd
Original Assignee
Nanjing Zhipu Photoelectric Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Zhipu Photoelectric Technology Co ltd filed Critical Nanjing Zhipu Photoelectric Technology Co ltd
Priority to CN202110318123.XA priority Critical patent/CN115131268A/zh
Publication of CN115131268A publication Critical patent/CN115131268A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K37/00—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mechanical Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于图像特征提取与三维模型匹配的自动化焊接系统，包括移动焊接装置，移动焊接装置设置有图像采集系统，移动焊接装置连接有人机交互控制系统，人机交互控制系统包括手眼标定算法模块、特征提取算法模块、工件合并算法模块和三维点云配准算法模块，移动焊接装置通过图像采集系统采集图像信息并传送至人机交互控制系统，人机交互控制系统进行手眼标定、特征提取、工件合并和三维点云配准并反馈给移动焊接装置，控制移动焊接装置实现自动化焊接。本发明设计的自动化焊接方案具有较强的鲁棒性和实用性，能够为各种焊接生产线提供高质量和高效率的自动化焊接方案，有效地解决大型工件和大规模生产线难以实现全自动化焊接的问题。

Description

一种基于图像特征提取与三维模型匹配的自动化焊接系统
技术领域
本发明涉及一种基于图像特征提取与三维模型匹配的自动化焊接系统，属于自动化焊接技术领域。
背景技术
从复杂的焊接场景中提取出完整、准确的焊缝位置信息是实现自动化焊接尤为关键的一步。焊缝是焊件底板与筋板相交形成的直线或曲线，因此我们可以首先通过相机扫描待焊接区域得到输入图像，再运用边缘检测等一系列图像处理算法计算得到机器人坐标系下的焊缝信息。工作区平台中摆放着众多大小不一、形状各异的待焊接工件，通常情况下相机的视场范围只有几米，对于大型工件以及大规模的焊接生产线，单个相机单次拍摄只能覆盖到待焊接工件或工作台的一部分，这种情况下就需要使用多个相机多次拍摄来覆盖整个待焊接工作区，并对这些零散的焊件特征信息进行提取和整合，最终输出准确的焊缝信息。但是现有的边缘检测算法难免会出现断线和漏检，这将对焊接的精度产生较大影响，甚至可能导致焊接失败。
发明内容
为了解决上述技术问题，本发明提供一种基于图像特征提取与三维模型匹配的自动化焊接系统，其具体技术方案如下：
基于图像特征提取与三维模型匹配的自动化焊接系统，包括移动焊接装置，所述移动焊接装置设置有图像采集系统，所述移动焊接装置连接有人机交互控制系统，所述人机交互控制系统包括手眼标定算法模块、特征提取算法模块、工件合并算法模块和三维点云配准算法模块，移动焊接装置通过图像采集系统采集图像信息并传送至人机交互控制系统，人机交互控制系统进行手眼标定、特征提取、工件合并和三维点云配准并反馈给移动焊接装置，控制移动焊接装置实现自动化焊接。
进一步的，所述移动焊接装置包括焊接工作平台，焊接工作平台表面设置有工件，所述焊接工作平台上方设置有龙门架，焊接工作平台两侧设置有导轨，所述龙门架与导轨滑动连接，所述龙门架朝向焊接工作平台一侧连接有焊接机器人，所述焊接机器人在龙门架上旋转滑动。
进一步的，所述图像采集系统包括多个高分辨率的相机，多个所述相机间隔安装在龙门架朝向焊接工作平台的一侧，图像采集系统通过相机采集工件的图像信息。
进一步的，所述手眼标定算法模块通过移动焊接装置实现手眼标定，包括以下步骤：
步骤一：数据准备：通过焊接工作平台、龙门架和焊接机器人建立坐标系，在焊接机器人的末端设置标定板，利用龙门架上的图像采集系统采集不同方位下的标定板图片，通过图像采集系统上的若干个相机拍摄若干张标定板图片，通过标定板图片获取相机坐标系下的标定板坐标，并记录焊接机器人每次的坐标和旋转角信息；
步骤二：求取手眼转换矩阵：通过拍摄的若干张标定板图片，确定每张标定板对应的相机坐标系和相机内参，筛除误差较大和拍摄不佳的标定板图片，通过每张标定板对应的相机和焊接机器人坐标及旋转角信息，求取手眼转换矩阵；
步骤三：确定工作平面：通过相机拍摄将标定板平放至焊接工作平台平面的图片，计算此图片的相机坐标系和内参，使用该相机坐标系与手眼转换矩阵，确定焊接工作平台平面对应的坐标转换到焊接机器人坐标下的坐标；
步骤四：误差校正：在龙门架连接的导轨起始点和终点之间选取几个不同的位置，并分别用相机采集对应的图像，每张图像中选取一定数量的采样点，求取龙门架坐标系与焊接机器人坐标系之间的夹角，通过数学补偿抹去其夹角误差。
进一步的，所述特征提取算法模块对完成手眼标定的移动焊接装置获取的图像信息进行图像特征提取，包括以下步骤：
步骤（1）：工件焊缝及外轮廓检测：通过卷积神经网络提取图像中工件的焊缝和外轮廓特征；
步骤（2）：工件底板分割：采用基于残差模块的精确高效语义网络对工件图像中所有的像素点进行分类，判断每个像素点所属的类别，将工件的图像划分成目标区域和背景区域；
步骤（3）：字符检测与识别：
（3.1）.字符检测，工件表面有标识工件型号的字符喷码，采用基于深度学习的文本检测网络提取工件图像中的字符编码区域；
（3.2）.字符识别，采用卷积递归神经网络对字符编码区域的内容进行识别，并将字符编码分割成多个单字符，提取单字符进行分类识别，将识别到的单字符重新组成完整的字符串信息。
进一步的，所述权利要求5步骤（2）中工件分割出的每一个工件区域图像为MASK图，每一个工件区域内检测得到的边缘线形成边缘图，所述MASK图设置有唯一编号。
进一步的，所述工件合并算法模块对完成图像特征提取的工件图像进行工件合并，包括以下步骤：
步骤（一）：目标点转换；根据手眼标定参数，将检测得到的带有标号信息的MASK图和边缘图中二维的目标点转换到焊接机器人坐标系下具有编号信息的三维MASK点云和边缘点云；
步骤（二）：遍历计算：遍历计算各个MASK点云之间的距离，当两个MASK点云距离小于标定的标准阈值B，则这两个点云属于同一工件，将这两个点云的编号合并为一个编号，每当新采集的数据完成检测操作便依次将其与先前合并好的点云进行再次合并，直至这一编号的工件点云数目不再更新，则表示该工件的合并已全部完成，否则，不断循环上述的操作直至最后一次采集的数据合并完成。
进一步的，所述三维点云配准算法模块对完成图像特征提取的移动焊接装置进行三维点云配准，以确保焊接精度，包括以下步骤：
步骤1：建模：建立各类工件标准模型的完整点云，形成标准库，
步骤2：粗略匹配，采用一致性初始配准算法对点云进行粗略的匹配：
2.1.计算出待配准点云P和目标点云Q的快速点特征直方图；
2.2.从待配准点云P中选取n个采样点，n>=3，且采样点相互之间的间距大于标定的距离阈值d，针对待配准点云P中的每一个采样点，在目标点云Q中找到k个与该采样点具有相似的快速点特征直方图特征的点，其中k>=1，随机从k个点中选取一个点作为待配准点云P在目标点云Q中相对应的点，得到n对匹配点；
2.3.求出n对匹配点之间的旋转与位移，通过奇异值分解求取相应的刚体变换矩阵，完成两个点云的匹配，并计算对应点经过刚体变换后的距离误差和，从而对当前配准变换的好坏做出判断，在此使用平滑平均绝对误差，即Huber损失函数，计算距离误差和，如公式（1）和公式（2）所示：
Figure 326402DEST_PATH_IMAGE001
（1）
其中：
Figure 8050DEST_PATH_IMAGE002
（2）
式中
Figure 182679DEST_PATH_IMAGE003
为预先给定的值，
Figure 658791DEST_PATH_IMAGE004
为第i对匹配点变换后与目标点的距离差，当距离差大于
Figure 184450DEST_PATH_IMAGE003
时使用对较大的异常值敏感性比较低的
Figure 669790DEST_PATH_IMAGE005
来进行小化，以减少异常值带来的干扰影响，反之则使用
Figure 698925DEST_PATH_IMAGE006
最小化；
2.4.重复步骤b、c，直到满足条件，在所有的变换中找到一组变换使得误差和函数的值最小作为最优的变换，此时的变换即为初步的配准变换矩阵；
步骤3：精细匹配，采用迭代最近点算法进行精细的匹配：
3.1.将待配准点云P经过粗配准变换得到的点云
Figure 204993DEST_PATH_IMAGE007
和目标点云Q作为精配准的初始点云，然后对于点云
Figure 562156DEST_PATH_IMAGE007
中的每一点
Figure 975820DEST_PATH_IMAGE008
计算找出点云Q中与其相距最近的对应点
Figure 408DEST_PATH_IMAGE009
，作为该点在目标点云Q中的对应点，构成初始对应点对集合，并通过标定一定的方向向量阈值去除初始对应点对集合中错误的对应点对；
3.2.求取使得步骤e中对应点对集合之间平均距离最小的刚体变换，得到平移参数T和旋转参数R，即得到相应的刚体变换矩阵；
3.3.标定距离均方误差和阈值ε及最大迭代次数Nmax作为配准收敛的条件，使用步骤f中得到的刚体变换矩阵对点云
Figure 474115DEST_PATH_IMAGE007
中的点做相应的变换，得到新的点云
Figure 333222DEST_PATH_IMAGE010
并计算其与点云Q之间的距离误差和,若当前迭代次数超过Nmax或者距离误差和小于阈值ε，则结束迭代，否则迭代更新待配准的两个点云为
Figure 284998DEST_PATH_IMAGE010
和Q，并不断依次重复步骤e，d，f，直到满足配准的收敛条件。
进一步的，所述图像采集系统包括多个高分辨率的相机，多个所述相机间隔安装在焊接机器人上，图像采集系统通过相机采集工件的图像信息。
本发明的有益效果：
本发明实现了多模块多线程并行的运算方式，提高效率，可以稳定地应用于不同场景下的自动化焊接；本发明设计的自动化焊接方案具有较强的鲁棒性和实用性，能够为各种焊接生产线提供高质量和高效率的自动化焊接方案，有效地解决了大型工件和大规模生产线难以实现完全自动化焊接的问题。
附图说明
图1是本发明的整体结构示意图，
图2是本发明的手眼标定流程示意图，
图3是本发明的X轴的误差拟合直线示意图，
图4是本发明的Y轴的误差拟合直线示意图，
图5是本发明的图像特征提取流程示意图，
图6是本发明的基于残差模块的精确高效语义分割网络的结构示意图，
图7是本发明的三种不同形式的残差模块示意图，
图8是本发明的整体配准流程示意图，
图9是本发明的不同位置相机先后时间采集的图像，
图10是本发明的图像特征检测流程示意图，
图11是本发明的工件分割效果示意图，
图12是本发明的工件轮廓检测效果示意图，
图13是本发明的工件循环合并示意图，
图14是本发明的工件合并三维点云结果示意图，
图15是本发明的工件匹配流程示意图，
图16是本发明的工件成功匹配示意图，
图17是本发明的焊缝和轮廓检测定位误差结果示意图，
图18是本发明的工件匹配效果示意图，
图19是本发明不同工件焊缝定位效果示意图，
图20是本发明实际工件焊接过程示意图，
图21是本发明实际工件焊接效果示意图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
如图1所示，本发明的基于图像特征提取与三维模型匹配的自动化焊接系统。本发明主要由焊接工作平台、导轨、龙门架、图像采集系统、焊接机器人、人机交互控制系统组成，其各部分之间通过数据传输与电路连接。焊接工作平台规模为4mx12m，用于摆放工件。其中，工件由底板和筋板相互垂直构成，两者形成的交线即为焊缝，并且每个工件上均喷涂有唯一标识的字符编码。焊接工作平台两侧安置有用于支撑龙门架的导轨，龙门架在焊接平台上方前后移动。图像采集系统使用的是高动态高分辨率Basler CCD工业相机，分辨率为1920x1200，相机以一定间隔安装在龙门架上。龙门架上安装的是型号为ABB IRB2600-20/1.65的焊接机器人，其末端负载为20kg，臂展为1.65m，焊接机器人倒挂安装于龙门架上，可以随着龙门架移动并实现相应的焊接操作。图像采集系统中的工业相机充当了焊接机器人的眼睛，焊接机器人末端的焊枪相当于机器人的手臂，通过手眼标定即可获取工业相机与焊接机器人焊枪之间的坐标转换关系。本发明在实际工作时龙门架匀速移动，到达预先设定的位置时触发工业相机并采集相应的图像信息，随后图像传送到人机交互控制系统，即计算机，经过特征提取、手眼标定和三维点云配准算法的处理得到焊接机器人坐标系下的焊缝信息，并发送给焊接机器人指导其完成自动化焊接。
在本发明的基于图像特征提取与三维模型匹配的自动化焊接系统搭建完毕之后，首先通过移动焊接装置实现手眼标定。手眼标定一般分为两种形式，区别主要在于相机固定的位置不同，一种是相机固定在焊接机器人上并随着焊接机器人移动，称之为“眼在手”，另一种是相机固定在焊接机器人之外，称之为“眼在外”。本发明使用的是第二种标定方式，标定系统由焊接机器人、焊接机器人末端夹持的标定板和多个黑白2D相机组成。本发明需要实现的是大视场下的高精度焊接，标定误差的累积将会使得焊接机器人焊接路径发生较大的偏移，进而导致焊接失败，因此需要将手眼标定的误差控制在很小的范围内。如图2所示，其具体包括以下步骤：
步骤1：数据准备：通过焊接工作平台、龙门架和焊接机器人建立坐标系，焊接机器人先进行TCP校准，保证焊接机器人末端焊枪的出丝速度一致。在焊接机器人的末端设置标定板，利用龙门架上的图像采集系统采集不同方位下的标定板图片，设定图像采集系统设置有三个相机，每个相机均拍摄10张标定板图片，通过标定板图片获取相机坐标系下的标定板坐标，并记录焊接机器人每次的坐标和旋转角信息。
步骤2：求取手眼转换矩阵：通过拍摄的30张标定板图片，确定每张标定板对应的相机坐标系和相机内参，筛除误差较大和拍摄不佳的标定板图片，通过每张标定板相机和对应焊接机器人坐标和旋转角信息，求取“眼在外”方式下的手眼转换矩阵，此过程由MATLAB代码和自带的标定工具箱实现。
步骤3：确定工作平面：通过相机拍摄1张将标定板平放至焊接工作平台平面的图片，同样用MATLAB代码和自带的标定工具箱计算此图片的相机坐标系和内参，使用该相机坐标系与手眼转换矩阵，确定焊接工作平台平面对应的坐标转换到焊接机器人坐标下的坐标。
步骤4：误差校正：在现场标定过程中，龙门架移动方向与焊接机器人坐标轴之间存在的微小夹角会导致手眼标定结果产生额外的误差，在龙门架连接的导轨起始点和终点之间选取几个不同的位置，并分别用相机采集对应的图像，每张图像中选取一定数量的采样点，求取龙门架坐标系与焊接机器人坐标系之间的夹角，通过数学补偿抹去其夹角误差。以其中的某一相机为例，首先，选取8个不同的龙门架位置进行拍照，分别在每张图片中选取15个采样点，并计算这15个点在X轴、Y轴方向上实际坐标与标定坐标之间的平均误差，计算不同位置的平均误差，计算结果如表1所示
龙门位置 X轴平均误差 Y轴平均误差 X轴校正误差 Y轴校正误差
3845.91 -1.371951859 -1.325490856 -0.154333859 -0.082745456
3023.53 -1.110791043 -1.734972034 0.271302957 -0.442883834
1906.56 -1.855172227 -1.315938023 -0.249684227 0.043168377
908.4 -1.545559494 -1.185241469 0.259560506 0.233754531
58.68 -1.443573567 -1.071966743 0.531490433 0.398012457
-983.95 -2.334166836 -1.704984612 -0.150576836 -0.172447612
-2151.6 -2.435645767 -0.771965487 -0.018525767 0.830630513
-3483.11 -3.06781833 -2.498098224 -0.38439633 -0.815611624
表1
利用表1中的差值与其各自的龙门架位置做拟合，得到如图3和图4所示的X轴和Y轴误差拟合直线。然后用各位置原始的误差值减去其对应的拟合直线上的值，从而抹去微小夹角带来的误差，最终得到较小的校正误差，大大提高了手眼标定的精度。
为了将手眼标定的误差控制在很小的范围内，验证手眼标定的精度，对于每个相机需要在不同位置采集若干组焊件图像，从图像中选取若干个特征点，并通过手眼标定转换矩阵将这些坐标点转换到机械臂坐标系下。此时得到了每个坐标点的测量值，再移动机械臂末端到达该点位，便可以从焊接机器人控制系统中得到该坐标点处的实际坐标值，通过求取实际坐标值与转换坐标值的差值就可以得到每个点的手眼标定误差。经过验证得出校正后手眼标定的坐标误差在3mm以内，因此，本发明使用的手眼标定方法具有较高的精度，可以满足系统对焊接精度的要求。
在计算机和移动焊接装置配合完成手眼标定后，计算机中的特征提取算法模块对完成手眼标定的移动焊接装置获取的图像信息进行图像特征提取，如图5所示，具体包括以下步骤：
步骤1：工件焊缝及外轮廓检测：通过卷积神经网络提取图像中工件的焊缝和外轮廓特征，提取图像中待焊接工件的焊缝和轮廓用于后续的配准过程，配准过程具有一定的容错性，通常只要不出现过多的边缘缺失和误检就可以匹配成功，但提高边缘检测精度也将意味着匹配成功概率的提高。
步骤2：工件底板分割：采用基于残差模块的精确高效语义网络对工件图像中所有的像素点进行分类，判断每个像素点所属的类别，将工件的图像划分成目标区域和背景区域。为了更好的去除背景中的干扰，区分并确定每个工件所包含的全部轮廓信息，本发明需要将图像中各个待焊接工件区域，即工件的掩模-MASK，从复杂的环境中区分出来，也就是把输入图像分割成目标和背景这两种区域，属于图像分割的范畴。本发明中的分割操作主要用于区分不同工件的轮廓信息以及相邻视场的合并，因此对分割的边界精度要求并不严苛。与分水岭算法[等传统的分割算法相比，基于卷积神经网络的分割算法能够稳定的从复杂环境中分割出感兴趣的特定目标区域，在效果和效率上都表现十分良好。语义分割通过对图像中所有的像素点进行分类，判断每个像素点所属的类别，即待焊工件、背景等，从而对区域进行划分。本发明采用了基于残差模块的精确高效语义分割网络，即ERFNet。ERFNet之前的网络分割精度不断提高，但是结构通常比较复杂，计算开销大，受实际设备算力的限制所以不适用于实时应用。此外，可以实时进行分割的网络通常以牺牲大量的精度为代价。ERFNet是一个可实现实时运行且分割结果准确的轻量级语义分割网络，很好地解决了分割任务的高精度与高效率难以并存的问题。ERFNet架构的核心是一个新颖的层，应用分解卷积和残差连接来确保网络的准确率和高效率，在没有过多地增加计算开销的情况下提高了语义分割的准确度。因此使用ERFNet既能确保工件MASK的分割精度，又能满足大规模焊接生产线中的实时性以及高效率的需求，增强了系统的实用性。ERFNet的网络结构如图6所示。该网络采用了非对称的编码器-解码器的网络架构，并实现了端到端的训练。编码器通常是一个用于分类的网络，由多个残差模块和多个下采样模块组成，其作用是学习输入图像的特征，并通过下采样产生不同尺度的特征图，实现对不同阶段的图像像素点的归类分析。紧接着是一个解码器，解码器通常包含多个残差模块和多个上采样模块，其主要目的是从语义上把编码模块学习到的低分辨率特征图映射到分辨率更高的特征空间，得到与输入图像同等尺寸的像素级别分类与分割结果。随着网络深度的加深，网络性能反而变差并且将越来越难训练，主要原因是在深层网络训练的过程中基于随机梯度下降的多层误差反向传播十分容易造成过拟合、梯度消失以及梯度爆炸等问题。为了避免网络层数加深所带来的这一系列的问题，ERFNet在网络中引入了改进的残差模块。残差模块有非瓶颈残差模块和瓶颈残差模块这两种典型的形式，其结构分别如图7a和图7b所示。非瓶颈残差模块由2个核尺寸为3x3大小的卷积层堆叠构成。瓶颈残差模块由卷积核尺寸分别为1x1、3x3、1x1的3个卷积层依次堆叠而成。1x1的卷积层可以对通道数进行降维，使得3x3卷积层能够在更低维度上进行运算，大大加速了模型训练速度。非瓶颈残差模块参数量多，但是精度高，而瓶颈残差模块则恰好相反。ERFNet将分解卷积引入到非瓶颈残差模块，提出了如图7c的Non-bottleneck-1D模块，既减少了参数量又取得了较高的分割精度。
步骤3：字符检测与识别：工件表面有标识工件型号的字符喷码，采用基于深度学习的文本检测网络提取工件图像中的字符编码区域。通常整个场景中工件和字符喷码的方向杂乱无章，为了获取工件对应的标准模型点云，特征提取算法模块需要对这些不同方向的字符喷码进行识别。本发明首先采用基于深度学习的Advanced Efficient andAccurate Scene Text，即Advanced EAST，文本检测网络提取图像中的字符编码区域，该网络是以EAST网络为基础改进而来的，可以进行端到端的图像文本检测，并且在多角度文本及长文本检测中表现良好。通过从现场采集大量的焊件图像作为训练集，输入AdvancedEAST网络对特征进行学习，输出用矩形框框住字符喷码的图像，从而将字符从工件中分割出来，用于进一步的字符识别。字符识别，采用卷积递归神经网络对字符编码区域的内容进行识别，将字符编码分割成相应的多个单字符，随后提取这些单字符在不同层级的特征并对它们进行分类识别，如0-9,A-Z等，最后将识别到的多个单字符按其原本的顺序重组成相应的字符串，从而得到完整的字符串信息。
三维点云配准算法模块的三维点云配准算法。经过特征检测及坐标转换等处理后得到了每个工件对应的三维点云集合，但此时的焊缝存在一些特征点的缺失和非焊点的干扰，直接进行焊缝寻位将使得焊接效果不够理想。本发明预先建立了各类工件标准模型的完整点云，并分别存储为相应的JSON文件形成标准库。为了确保最终输出给焊接机器人的焊缝具有足够高的精度，考虑采用点云配准的方案将相机系统下的工件点云与标准模型系统下的工件点云合并到同一个坐标系统中，使用模型中精确的焊缝代替实际检测所得的焊缝。本发明的模型匹配首先使用采样一致性初始配准算法对点云进行粗略的匹配，然后再利用迭代最近点算法进行精细的匹配。整体配准的流程图如图8所示。
采样一致性初始配准算法基于随机一致性采样算法，是一种典型的粗匹配算法。采样一致性初始配准算法是在完全不知道待配准点云和目标点云初始相对位置的情况下所进行的配准方法，主要目的是在初始条件未知的条件下，快速地计算出一个大致的转换矩阵，为进一步的精匹配做准备，因此该算法更多的是追求快速高效的运算速率，在配准的精度方面则没有过高的要求。采样一致性初始配准算法得到的变换匹配精确度较低，因此只能用于大致的粗配准。当待配准点云和目标点云的点数比较多时，需要对大量的点计算快速点特征直方图特征，导致采样一致性初始配准算法效率低下。这时可以先对点云做下采样操作以减少特征点数和运算量，但这不可避免的使得部分特征点缺失，进而导致配准准精度降低。因此需要使用迭代最近点算法进行进一步迭代配准。采样一致性初始配准算法和迭代最近点算法的大致步骤如下：
a.计算出待配准点云P和目标点云Q的快速点特征直方图。
b.从待配准点云P中选取n个采样点，n>=3，且采样点相互之间的间距大于设定的距离阈值d，针对待配准点云P中的每一个采样点，在目标点云Q中找到k个与该采样点具有相似的快速点特征直方图特征的点，其中k>=1，随机从k个点中选取一个点作为待配准点云P在目标点云Q中相对应的点，得到n对匹配点。
c.求出n对匹配点之间的旋转与位移，通过奇异值分解求取相应的刚体变换矩阵，完成两个点云的匹配，并计算对应点经过刚体变换后的距离误差和，从而对当前配准变换的好坏做出判断，在此使用平滑平均绝对误差，即Huber损失函数，计算距离误差和，如公式（1）和公式（2）所示：
Figure 491988DEST_PATH_IMAGE001
（1）
其中：
Figure 11962DEST_PATH_IMAGE002
（2）
式中
Figure 468351DEST_PATH_IMAGE003
为预先给定的值，
Figure 364763DEST_PATH_IMAGE004
为第i对匹配点变换后与目标点的距离差，当距离差大于
Figure 957419DEST_PATH_IMAGE003
时使用对较大的异常值敏感性比较低的
Figure 648294DEST_PATH_IMAGE005
来进行小化，以减少异常值带来的干扰影响，反之则使用
Figure 795242DEST_PATH_IMAGE006
最小化。
d.重复步骤b、c，直到满足条件，在所有的变换中找到一组变换使得误差和函数的值最小作为最优的变换，此时的变换即为初步的配准变换矩阵。
步骤3：精细匹配，采用迭代最近点算法进行精细的匹配：
e.将待配准点云P经过粗配准变换得到的点云
Figure 354399DEST_PATH_IMAGE007
和目标点云Q作为精配准的初始点云，然后对于点云
Figure 942506DEST_PATH_IMAGE007
中的每一点
Figure 928917DEST_PATH_IMAGE008
计算找出点云Q中与其相距最近的对应点
Figure 235264DEST_PATH_IMAGE009
，作为该点在目标点云Q中的对应点，构成初始对应点对集合，并通过标定一定的方向向量阈值去除初始对应点对集合中错误的对应点对。
f.求取使得步骤e中对应点对集合之间平均距离最小的刚体变换，得到平移参数T和旋转参数R，即得到相应的刚体变换矩阵。
g.标定距离均方误差和阈值ε及最大迭代次数Nmax作为配准收敛的条件，使用步骤f中得到的刚体变换矩阵对点云
Figure 332533DEST_PATH_IMAGE007
中的点做相应的变换，得到新的点云
Figure 40726DEST_PATH_IMAGE010
并计算其与点云Q之间的距离误差和,若当前迭代次数超过Nmax或者距离误差和小于阈值ε，则结束迭代，否则迭代更新待配准的两个点云为
Figure 135721DEST_PATH_IMAGE010
和Q，并不断依次重复步骤e，d，f，直到满足配准的收敛条件。
实施例1
为实现生产线的自动化焊接，本发明提出了一种基于图像特征提取与三维模型匹配的自动化焊接系统。首先在二维场景下提取焊件图像的多种特征，然后转换到三维坐标系下完成工件信息的整合和模型的匹配，最终输出标准模型的焊缝信息给焊接机器人。
图像采集。预先设定龙门架起始、终止位置和拍照间距，系统启动后，触发与焊接机器人控制系统的通信，并实时获取龙门架位置信息。当龙门架到达设定的起始点时，触发相机进行拍摄采集图像，龙门架继续定向移动，每移动设定的拍摄间距便触发相机进行拍摄，直至龙门架移动到终点，系统停止采集。以两个相机连续拍摄两次为例，两个相机依次命名为相机1和相机2，采集到的图像如图9所示，其中，相机1、2前后相邻的两次拍摄，图9a为相机1所摄，图9b为相机2所摄。
图像特征检测与处理。本过程对每张图片分别进行工件分割、工件焊缝及轮廓检测和字符识别操作，然后再对检测结果进行一系列后续的处理操作，具体流程如图10所示。使用之前所述的分割网络提取待检测工件区域，分割结果如图11所示，称为MASK图，分割出的每一个工件区域称之为MASK。为了区分不同的工件区域，需要对所有图片中的MASK做唯一编号，使得同一MASK内的灰度值相同，而不同MASK的灰度值各不相同。以图11为例，图中共分割出四个MASK，编号后MASK的灰度值分别为1、2、3、4。为方便查看，图11c的灰度值统一扩大了50倍。使用边缘检测网络提取待焊接工件的内部焊缝和轮廓，检测结果如图12所示，称之为WELD图。从图中可以看出检测得到的边缘非单线宽，为了提升匹配精度，首先使用细化函数将边缘像素宽度减小到1。此外，每一个工件区域内检测得到的边缘线并不是一个整体，为了将不同工件的边缘区分开，通过将边缘图与MASK图做点乘操作，使得同一个工件的MASK编号与WELD编号一致，最终得到如图12c所示的边缘图，图12c中的灰度值同样扩大了50倍。点乘操作一方面可以将边缘线与MASK一一对应，另一方面还可以去除部分背景中干扰线，进一步提升了系统的鲁棒性。为了确保每个的字符串至少被完整的拍摄一次，相邻相机和相邻拍摄之间要有足够大的公共视场。使用之前所述的字符检测与识别的相关算法识别所有工件的字符编码和其相应的位置。预先建立待焊工件的字符编码库，如果识别到的字符编码长度过短则直接去除，否则就将其与编码库校对并给出最终的字符识别结果。根据字符编码位置和编号MASK图，就可以确定每个字符编码对应的MASK编号，从而建立工件与字符编码的对应关系。经上述步骤处理后，我们得到多张带编号的MASK图、带编号的边缘图以及多串附有MASK编号的字符编码，且三者之间互相对应。
工件合并。同一工件可能被多个相机或多次拍摄所采集，因此工件信息将分散在不同图片中，并且会出现一定的重叠区域，工件合并的目的就在于整合不同图片中同一工件的信息，从而得到每一个工件完整且无冗余的信息。根据手眼标定参数，将检测得到的带有编号信息的MASK图和边缘图中二维的目标点转换到机械臂坐标系下形成具有编号信息的三维MASK点云和边缘点云，其中MASK用于合并工件，边缘用于点云匹配。遍历计算各个MASK点云之间的距离，当两个MASK点云距离小于设定的阈值B时则意味着这两个点云属于同一工件，那么就将这两个点云的编号合并为一个编号。首先横向对相邻相机公共视场内的工件进行合并，每当新采集的数据完成检测操作时便依次将其与先前合并好的点云进行合并，具体过程如图13所示。如果某一编号的工件点云数目不再更新，则表示该工件的合并已全部完成，可以进行下一步的匹配流程。不断循环上述的操作直至最后一次采集的数据合并完成，最终生成了如图14所示的合并结果。循环合并的方式可以有效的提高系统运行效率，拍摄、检测、合并、匹配这四个过程多线程同步进行，可以边检测边合并，同时还可以对完成合并的工件进行匹配，在效率上比全部合并完成后再进行匹配的方式提升了50%以上。
三维模型匹配。如前所述，工件的MASK编号与边缘编号是一一对应的，那么根据MASK编号的合并情况可以相应地对边缘编号做合并。对于合并完成的工件，根据其MASK编号对应的字符编码从标准库模型中调取该工件标准点云的JSON文件，生成工件标准的三维点云。将实际提取到的该编号的工件边缘转换到焊接机器人坐标系下生成实际的三维点云。通过三维点云配准算法对标准三维点云与实际三维点云进行匹配，从而将标准三维点云旋转到与实际三维点云最接近的方位，此时两个点云之间的距离范数和为最小。考虑到部分工件具有一定的对称性，可能会出现头匹配尾，正匹配反等匹配失败的情况而陷入局部最优，故预先设定一定的距离范数和阈值以及匹配次数限制。如果结果大于该阈值则认为该次匹配失败，那么就通过变换位姿，翻转，改变角度等方法，多次匹配以避免陷入局部最优，从而解决大多数匹配失败的问题。如果匹配结果小于阈值，则提取匹配后标准工件点云中的焊缝端点信息作为最终的焊缝检测结果，并发送给焊接机器人指导其完成自动化焊接。如果匹配次数达到限制次数且距离和范数仍大于阈值，那么就判定当前工件匹配失败，并返回匹配失败的工件信息。工件匹配流程图如图15所示。如图16所示为工件匹配成功的结果图，其中实际工件三维点云为绿色，标准模型三维点云为红色，右侧为匹配结果，匹配结果为红色与绿色融合表示，可见两个点云基本重合。
在依次完成上述图像采集、图像特征检测与处理、工件合并和三维模型匹配之后，输出标准模型的焊缝信息给焊接机器人，焊接机器人进行实际焊接。接下来对焊接机器人实际的焊接结果进行总结分析，并对系统的误差和效率做了相应的分析，其中误差分析主要包括各个子模块的误差以及系统整体的误差。通过在实际焊接场景下对系统进行了多达300余次的测试，验证了本发明的精度、效率以及鲁棒性，以确保本发明的真实有效。
首先，进行单模块误差分析。本发明运行过程中各个环节都或多或少会存在误差，主要包括：手眼标定误差、分割误差、工件焊缝和轮廓检测误差、字符识别误差以及点云匹配误差。其中手眼标定、边缘检测和点云匹配这3类误差将直接影响最终输出的焊缝精度，分割误差将会影响焊件边缘的完整度与合并的准确性，字符识别误差则决定了字符编码的识别正确与否，这两种误差均会对匹配的成败产生影响。考率到龙门架方向与相机之间存在的微小夹角，使得距离龙门架起始位置越远的地方误差越大，本发明在手眼标定过程中利用数学补偿的方法抹去了坐标轴之间的夹角带来的误差，并证明该方法的可行性，使得手眼标定最终误差控制在3mm以内。分割算法的应用主要是为了协助整体的工件合并功能和辅助区分各个工件的焊缝及轮廓信息，因此分割算法的要求在于MASK的检出率和MASK检出的完整度，经实验室测试，MASK检出率100%，在膨胀操作的帮助下，MASK检出的完整度高达98%。边缘检测算法主要是为了提取用于模型匹配的工件的焊缝及轮廓信息，边缘的定位准确度直接影响了匹配后的精度，因此边缘定位的准确性尤为重要。将提取到的工件焊缝及轮廓图与原图对比，发现检测到的焊缝及轮廓几乎与原图对应部分重合，检测得到的焊缝位置与实际焊缝的位置之间的偏移不超过两个像素，效果如图17所示。字符识别算法的应用在于提供工件的字符编码从而调取标准模型，同一个工件的字符编码可能由多张图片获取，并且采用字符编码库校对的方式进一步提升了识别准确率，因此字符识别算法比其他环节具有更高的容错率，现场实验300余次的识别成功率在99%以上。点云匹配的目的在于标准点云和实际点云之间的匹配，用于获取完整的标准模型焊缝详细来校正实际焊缝的误差。该匹配过程允许焊缝和外轮廓有少量的漏检和误检，也具有一定的容错性。无人工干预的条件下，匹配失败的工件将无法进一步完成焊接，因此匹配成功率是衡量系统质量好坏的重要指标，经过测试工件匹配的成功率高达99%。对于匹配成功的工件，实际点云与标准点云之间的距离误差将直接影响焊接的精度，因此该误差是衡量匹配质量的重要标准，实际测试下工件匹配的效果如图18所示。从图中可以看出，当实际点云边缘存在缺失时仍然可以匹配成功，并且实际点云与模型点云具有很高的吻合度。
然后，进行整体误差分析。本发明致力于自动化检出高精度的焊缝位置，焊缝检出率、焊缝位置误差都是检验系统效果的根本标准。经实际试验300余次，在无人工干预的情况下，焊缝检出率高达98%，整个龙门架移动的相机视场范围内焊缝定位的平均误差在4mm以内，包含工件与模型之间存在的±1mm偏差，实际识别误差更小，符合实际焊接精度的要求，实际的焊缝定位效果如图19所示。机器人实际焊接过程中的部分图像如图20所示。实际焊接效果表明，本发明可以准确地提取并定位工件的焊缝，测量结果显示机器人的焊缝定位误差在4mm内，含工件与模型之间存在的±1mm偏差，满足该场景下焊接工艺的精度要求。如图21所示为实际工件焊接后的效果图，从图中可以看出，焊缝无偏移，无烧穿，并且焊缝饱满、均匀平整、无缺口凹坑、无焊瘤等外观缺陷，符合焊接工艺的质量要求。所以。本发明具有较高的精度，且不易受工件污染、背景干扰以及不同曝光强度等因素的影响，能够灵活的应用于不同型号不同大小的工件以及不同规模的焊接生产线，对于复杂多变的焊接场景具有良好的适应能力。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (9)

1.一种基于图像特征提取与三维模型匹配的自动化焊接系统，其特征在于：包括移动焊接装置，所述移动焊接装置设置有图像采集系统，所述移动焊接装置连接有人机交互控制系统，所述人机交互控制系统包括手眼标定算法模块、特征提取算法模块、工件合并算法模块和三维点云配准算法模块，移动焊接装置通过图像采集系统采集图像信息并传送至人机交互控制系统，人机交互控制系统进行手眼标定、特征提取、工件合并和三维点云配准并反馈给移动焊接装置，控制移动焊接装置实现自动化焊接。
2.根据权利要求1所述的基于图像特征提取与三维模型匹配的自动化焊接系统，其特征在于：所述移动焊接装置包括焊接工作平台，焊接工作平台表面设置有工件，所述焊接工作平台上方设置有龙门架，焊接工作平台两侧设置有导轨，所述龙门架与导轨滑动连接，所述龙门架朝向焊接工作平台一侧连接有焊接机器人，所述焊接机器人在龙门架上旋转滑动。
3.根据权利要求2所述的基于图像特征提取与三维模型匹配的自动化焊接系统，其特征在于：所述图像采集系统包括多个高分辨率的相机，多个所述相机间隔安装在龙门架朝向焊接工作平台的一侧，图像采集系统通过相机采集工件的图像信息。
4.根据权利要求2所述的基于图像特征提取与三维模型匹配的自动化焊接系统，其特征在于：所述手眼标定算法模块通过移动焊接装置实现手眼标定，包括以下步骤：
步骤一：数据准备：通过焊接工作平台、龙门架和焊接机器人建立坐标系，在焊接机器人的末端设置标定板，利用龙门架上的图像采集系统采集不同方位下的标定板图片，通过图像采集系统上的若干个相机拍摄若干张标定板图片，通过标定板图片获取相机坐标系下的标定板坐标，并记录焊接机器人每次的坐标和旋转角信息；
步骤二：求取手眼转换矩阵：通过拍摄的若干张标定板图片，确定每张标定板对应的相机坐标系和相机内参，筛除误差较大和拍摄不佳的标定板图片，通过每张标定板对应的相机和焊接机器人坐标及旋转角信息，求取手眼转换矩阵；
步骤三：确定工作平面：通过相机拍摄将标定板平放至焊接工作平台平面的图片，计算此图片的相机坐标系和内参，使用该相机坐标系与手眼转换矩阵，确定焊接工作平台平面对应的坐标转换到焊接机器人坐标下的坐标；
步骤四：误差校正：在龙门架连接的导轨起始点和终点之间选取几个不同的位置，并分别用相机采集对应的图像，每张图像中选取一定数量的采样点，求取龙门架坐标系与焊接机器人坐标系之间的夹角，通过数学补偿抹去其夹角误差。
5.根据权利要求4所述的基于图像特征提取与三维模型匹配的自动化焊接系统，其特征在于：所述特征提取算法模块对完成手眼标定的移动焊接装置获取的图像信息进行图像特征提取，包括以下步骤：
步骤（1）：工件焊缝及外轮廓检测：通过卷积神经网络提取图像中工件的焊缝和外轮廓特征；
步骤（2）：工件底板分割：采用基于残差模块的精确高效语义网络对工件图像中所有的像素点进行分类，判断每个像素点所属的类别，将工件的图像划分成目标区域和背景区域；
步骤（3）：字符检测与识别：
（3.1）.字符检测，工件表面有标识工件型号的字符喷码，采用基于深度学习的文本检测网络提取工件图像中的字符编码区域；
（3.2）.字符识别，采用卷积递归神经网络对字符编码区域的内容进行识别，并将字符编码分割成多个单字符，提取单字符进行分类识别，将识别到的单字符重新组成完整的字符串信息。
6.根据权利要求5所述的基于图像特征提取与三维模型匹配的自动化焊接系统，其特征在于：所述权利要求5步骤（2）中工件分割出的每一个工件区域图像为MASK图，每一个工件区域内检测得到的边缘线形成边缘图，所述MASK图设置有唯一编号。
7.根据权利要求6所述的基于图像特征提取与三维模型匹配的自动化焊接系统，其特征在于：所述工件合并算法模块对完成图像特征提取的工件图像进行工件合并，包括以下步骤：
步骤（一）：目标点转换；根据手眼标定参数，将检测得到的带有标号信息的MASK图和边缘图中二维的目标点转换到焊接机器人坐标系下具有编号信息的三维MASK点云和边缘点云；
步骤（二）：遍历计算：遍历计算各个MASK点云之间的距离，当两个MASK点云距离小于标定的标准阈值B，则这两个点云属于同一工件，将这两个点云的编号合并为一个编号，每当新采集的数据完成检测操作便依次将其与先前合并好的点云进行再次合并，直至这一编号的工件点云数目不再更新，则表示该工件的合并已全部完成，否则，不断循环上述的操作直至最后一次采集的数据合并完成。
8.根据权利要求7所述的基于图像特征提取与三维模型匹配的自动化焊接系统，其特征在于：所述三维点云配准算法模块对完成图像特征提取的移动焊接装置进行三维点云配准，以确保焊接精度，包括以下步骤：
步骤1：建模：建立各类工件标准模型的完整点云，形成标准库，
步骤2：粗略匹配，采用一致性初始配准算法对点云进行粗略的匹配：
2.1.计算出待配准点云P和目标点云Q的快速点特征直方图；
2.2.从待配准点云P中选取n个采样点，n>=3，且采样点相互之间的间距大于标定的距离阈值d，针对待配准点云P中的每一个采样点，在目标点云Q中找到k个与该采样点具有相似的快速点特征直方图特征的点，其中k>=1，随机从k个点中选取一个点作为待配准点云P在目标点云Q中相对应的点，得到n对匹配点；
2.3.求出n对匹配点之间的旋转与位移，通过奇异值分解求取相应的刚体变换矩阵，完成两个点云的匹配，并计算对应点经过刚体变换后的距离误差和，从而对当前配准变换的好坏做出判断，在此使用平滑平均绝对误差，即Huber损失函数，计算距离误差和，如公式（1）和公式（2）所示：
Figure 717266DEST_PATH_IMAGE001
（1）
其中：
Figure 165565DEST_PATH_IMAGE002
（2）
式中
Figure 210882DEST_PATH_IMAGE003
为预先给定的值，
Figure 275265DEST_PATH_IMAGE004
为第i对匹配点变换后与目标点的距离差，当距离差大于
Figure 355216DEST_PATH_IMAGE003
时使用对较大的异常值敏感性比较低的
Figure 584204DEST_PATH_IMAGE005
来进行小化，以减少异常值带来的干扰影响，反之则使用
Figure 382395DEST_PATH_IMAGE006
最小化；
2.4.重复步骤b、c，直到满足条件，在所有的变换中找到一组变换使得误差和函数的值最小作为最优的变换，此时的变换即为初步的配准变换矩阵；
步骤3：精细匹配，采用迭代最近点算法进行精细的匹配：
3.1.将待配准点云P经过粗配准变换得到的点云
Figure 722241DEST_PATH_IMAGE007
和目标点云Q作为精配准的初始点云，然后对于点云
Figure 922278DEST_PATH_IMAGE007
中的每一点
Figure 322167DEST_PATH_IMAGE008
计算找出点云Q中与其相距最近的对应点
Figure 607654DEST_PATH_IMAGE009
，作为该点在目标点云Q中的对应点，构成初始对应点对集合，并通过标定一定的方向向量阈值去除初始对应点对集合中错误的对应点对；
3.2.求取使得步骤e中对应点对集合之间平均距离最小的刚体变换，得到平移参数T和旋转参数R，即得到相应的刚体变换矩阵；
3.3.标定距离均方误差和阈值ε及最大迭代次数Nmax作为配准收敛的条件，使用步骤f中得到的刚体变换矩阵对点云
Figure 610245DEST_PATH_IMAGE007
中的点做相应的变换，得到新的点云
Figure 540155DEST_PATH_IMAGE010
并计算其与点云Q之间的距离误差和,若当前迭代次数超过Nmax或者距离误差和小于阈值ε，则结束迭代，否则迭代更新待配准的两个点云为
Figure 235579DEST_PATH_IMAGE010
和Q，并不断依次重复步骤e，d，f，直到满足配准的收敛条件。
9.根据权利要求2所述的基于图像特征提取与三维模型匹配的自动化焊接系统，其特征在于：所述图像采集系统包括多个高分辨率的相机，多个所述相机间隔安装在焊接机器人上，图像采集系统通过相机采集工件的图像信息。
CN202110318123.XA 2021-03-25 2021-03-25 一种基于图像特征提取与三维模型匹配的自动化焊接系统 Pending CN115131268A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110318123.XA CN115131268A (zh) 2021-03-25 2021-03-25 一种基于图像特征提取与三维模型匹配的自动化焊接系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110318123.XA CN115131268A (zh) 2021-03-25 2021-03-25 一种基于图像特征提取与三维模型匹配的自动化焊接系统

Publications (1)

Publication Number Publication Date
CN115131268A true CN115131268A (zh) 2022-09-30

Family

ID=83374075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110318123.XA Pending CN115131268A (zh) 2021-03-25 2021-03-25 一种基于图像特征提取与三维模型匹配的自动化焊接系统

Country Status (1)

Country Link
CN (1) CN115131268A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116452586A (zh) * 2023-06-15 2023-07-18 山东飞宏工程机械有限公司 一种隧道小导管余料自动对焊质量检测系统
CN116168031B (zh) * 2023-04-25 2023-08-29 中建科技集团有限公司 基于三维图像的焊接代码生成方法、焊接系统及相关设备
CN117495867A (zh) * 2024-01-03 2024-02-02 东莞市星火齿轮有限公司 小模数齿轮精度的视觉检测方法及系统
CN117523206A (zh) * 2024-01-04 2024-02-06 南京航空航天大学 一种基于跨源点云与多模态信息的自动化装配方法
CN117495867B (zh) * 2024-01-03 2024-05-31 东莞市星火齿轮有限公司 小模数齿轮精度的视觉检测方法及系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116168031B (zh) * 2023-04-25 2023-08-29 中建科技集团有限公司 基于三维图像的焊接代码生成方法、焊接系统及相关设备
CN116452586A (zh) * 2023-06-15 2023-07-18 山东飞宏工程机械有限公司 一种隧道小导管余料自动对焊质量检测系统
CN116452586B (zh) * 2023-06-15 2023-09-26 山东飞宏工程机械有限公司 一种隧道小导管余料自动对焊质量检测系统
CN117495867A (zh) * 2024-01-03 2024-02-02 东莞市星火齿轮有限公司 小模数齿轮精度的视觉检测方法及系统
CN117495867B (zh) * 2024-01-03 2024-05-31 东莞市星火齿轮有限公司 小模数齿轮精度的视觉检测方法及系统
CN117523206A (zh) * 2024-01-04 2024-02-06 南京航空航天大学 一种基于跨源点云与多模态信息的自动化装配方法
CN117523206B (zh) * 2024-01-04 2024-03-29 南京航空航天大学 一种基于跨源点云与多模态信息的自动化装配方法

Similar Documents

Publication Publication Date Title
CN111537517B (zh) 一种无人智能化冲压缺陷识别方法
CN115131268A (zh) 一种基于图像特征提取与三维模型匹配的自动化焊接系统
CN111062915A (zh) 一种基于改进YOLOv3模型的实时钢管缺陷检测方法
CN111721259B (zh) 基于双目视觉的水下机器人回收定位方法
CN109543665B (zh) 图像定位方法及装置
CN110992349A (zh) 一种基于深度学习的地下管道异常自动化定位与识别方法
CN111805131B (zh) 一种焊缝轨迹实时定位方法、装置、存储介质及终端
JPH09101125A (ja) 物品形状計測方法および装置
CN114140439A (zh) 基于深度学习的激光焊接焊缝特征点识别方法及装置
CN110186375A (zh) 智能化高铁白车身焊接装配特征检测装置及检测方法
CN111784655A (zh) 一种水下机器人回收定位方法
CN115619738A (zh) 一种模组侧缝焊焊后检测方法
CN111626995B (zh) 一种针对工件的智能嵌件检测方法和装置
CN105023018A (zh) 一种喷码检测方法及系统
CN114581368B (zh) 一种基于双目视觉的棒材焊牌方法及装置
CN114473309A (zh) 用于自动焊接系统的焊接位置识别方法及自动焊接系统
CN116228652A (zh) 一种基于三维点云曲率的管道焊缝表面缺陷检测方法
CN115546223A (zh) 一种列车车下设备紧固螺栓的缺失检测方法和系统
CN116091401A (zh) 基于目标检测和复合目标码的航天器装配件识别定位方法
CN105260989B (zh) 基于多图配准复原三维图像的方法
Wang et al. A binocular vision method for precise hole recognition in satellite assembly systems
TWI582721B (zh) 工件導電特徵檢查方法及工件導電特徵檢查系統
CN205120108U (zh) 一种基于摄像装置的精度补偿系统
CN115205356B (zh) 一种基于双目立体视觉的实训平台快速调试方法
CN117260003B (zh) 一种汽车座椅骨架自动摆件打钢刻码方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination