CN114473309A - 用于自动焊接系统的焊接位置识别方法及自动焊接系统 - Google Patents
用于自动焊接系统的焊接位置识别方法及自动焊接系统 Download PDFInfo
- Publication number
- CN114473309A CN114473309A CN202210272270.2A CN202210272270A CN114473309A CN 114473309 A CN114473309 A CN 114473309A CN 202210272270 A CN202210272270 A CN 202210272270A CN 114473309 A CN114473309 A CN 114473309A
- Authority
- CN
- China
- Prior art keywords
- welding
- welded
- point cloud
- data
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003466 welding Methods 0.000 title claims abstract description 153
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000013528 artificial neural network Methods 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims description 29
- 238000012549 training Methods 0.000 claims description 18
- 238000010586 diagram Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 5
- 238000009499 grossing Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 238000010845 search algorithm Methods 0.000 claims description 3
- 230000007547 defect Effects 0.000 abstract description 10
- 238000005516 engineering process Methods 0.000 description 6
- 238000009616 inductively coupled plasma Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 235000001968 nicotinic acid Nutrition 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K37/00—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Optics & Photonics (AREA)
- Mechanical Engineering (AREA)
- Laser Beam Processing (AREA)
Abstract
本发明公开了一种用于自动焊接系统的焊接位置识别方法，主要通过人工神经网络实现待焊接位置的预识别，再通过采集到的图像和构建的三维点云模型之间的关系，在三维点云模型中找到需要焊接的点云坐标；根据三维点云模型中的待焊接位置的点云坐标进行路径规划。本发明还提供了一种自动焊接系统，其主要采用上述焊接位置识别方法对需要焊接的位置进行识别。本发明提供的识别方法及系统的普适性更高，不仅能够识别出不同形状、不同部位的未焊接过的零件的焊接位置；还可以针对焊缝进行缺陷型的识别；适用于多样性的焊接情况。
Description
技术领域
本发明属于人工智能领域，特别涉及一种用于自动焊接系统的焊接位置识别方法及自动焊接系统。
背景技术
自从1960年诞生第一台工业机器人以来，机器人被大量应于用机械制造业，工人从繁重的工作中解放出来，降低了企业用人成本，提高了生产质量。机器人技术融合了控制学、动力学、仿生学、传感器技术、计算机技术等多种学科和技术。焊接领域即将迎来生产模式的全面升级，以焊接机器人为代表的新型焊接模式，将打破传统手工作业和试教焊接所带来的成本、环境、工作强度和专业要求等多重限制，推动工业焊接走向智能化、精准化、高效化的发展之路。因此，研发和推广高精度、智能化的焊接设备是实现大型结构件焊接作业的自动化，保障焊接作业的稳定性和一致性，提高焊接质量和效率，减轻工人劳动强度的根本途径。
如何准确的找到需要焊接位置并且精准的告诉焊接机械臂是实现自动焊接最重要的一个环节。需要焊接的位置包括还需要焊接且没有焊接过的地方和焊缝上针对缺陷需要修补焊接的地方。但是目前还没有针对两者一起进行识别的方法。现用的一些针对焊缝识别的方法，比如去除结构光特征法，以图像灰度结合图像处理技术检测焊缝缺陷, 利用灰度图像形态学处理方法,以边缘检测提取焊缝感兴趣区域(ROI),再以ROI内灰度值变化特征判断焊绛缺陷,但该方法需要设置固定的全局二值化阈值,易受环境扰动影响,且其只能检测明显改变焊缝边缘特征的焊缝、焊瘤等缺陷,检测灵敏度低,难以响应焊缝裂痕、凹槽等细微缺陷,同时焊缝缺陷成因多样,不易建立统的图像模板或特征提取规则,因此,常规的图像处理手段难以适应多样化缺陷特征的识别和检测需求。
发明内容
本发明针对现有技术中存在的问题，提出了一种能够适用于多样化焊接情况的用于自动焊接系统的焊接位置识别方法。
为实现上述目的，本发明提供一种用于自动焊接系统的焊接位置识别方法，包括以下步骤：
步骤1：对采用相机和激光雷达进行联合标定，获得相机的外参；
步骤2：分别通过相机和激光雷达对待焊接零件进行数据采集；
步骤3：根据步骤2得到的激光雷达采集的待焊接零件的三维点云数据进行处理，得到待焊接零件的三维点云模型；同时，通过训练好的人工神经网络对步骤2中相机采集得到的图像数据进行焊接位置预识别，获得图片中的待焊接位置；
步骤4：将步骤3中得到的图像中组成待焊接位置的像素点的坐标值转换成世界坐标系下的坐标值；从而得到世界坐标系下组成待焊接位置的点的二维坐标值；
步骤5：根据步骤4得到的世界坐标系下组成待焊接位置的点的二维坐标值得到对应的三维坐标，根据对应的三维坐标在步骤3中得到的待焊接零件的三维点云模型中识别出组成待焊接位置的点云。
进一步，所述步骤3中的人工神经网络为Fast RCNN人工神经网络。采用该人工神经网络能够有效提高识别效率；由于该人工神经网络占用的空间小，能够有效的降低方法和系统的使用成本。
进一步，所述Fast RCNN人工神经网络的训练方法为：包括以下步骤：
步骤：3-1：将训练图集和图集对应的数据输入到Fast RCNN人工神经网络；所述训练图集包括不同类型不同角度的待焊接零件；图集对应的数据为每个待焊接零件的焊接位置标签；
步骤3-2：通过选择搜索算法在输入的训练图片中得到多个感兴趣区域；同时对输入的训练图片进行多层卷积层和RoI池化层，得到特征图；
步骤3-3：根据映射关系，在特征图中找到每个感兴趣区域对应的感兴趣特征区域；
步骤3-4：将步骤3-3得到的每个感兴趣特征区域分别输入到RoI池化层，通过提取得到固定长度的感兴趣特征向量，输入到全连接层；
步骤3-5；根据输出的分类向量和每一类的回归向量，得到分类损失和回归损失；当分类损失和回归损失的值不大于0.02时，Fast RCNN人工神经网络训练完成。这样能够有效的提高识别精度。
进一步，所述步骤3中对激光雷达采集的带焊接零件的三维点云数据进行处理包括点云数据预处理、点云配准和点云融合。
进一步，所述点云数据预处理包括点云去噪、点云离群点去除和点云平滑。
进一步，所述点云配准采用迭代最近点算法。这样能够有效的提高所建立的待焊接零件的三维模型的准确性。方便后续实现准确的自动焊接。
进一步，所述步骤1中对采用相机和激光雷达进行联合标定，获得相机的外参的方法为：
步骤1-1：对相机和激光雷达获取的数据进行直线特征提取；
步骤1-2：对齐激光雷达数据和图像数据的时间戳，将激光雷达数据的直线特征投影到其下一时间戳的图像二维平面上；
步骤1-3：根据步骤1-2的投影结果组成对应的相机数据-激光雷达数据对，根据相机数据-激光雷达数据对优化重投影误差并计算相机外参；
步骤1-4：确保相机和激光雷达之间的相对位置不变，同时移动相机和激光雷达的位置，采集数据，然后重复步骤1-1-步骤1-3，迭代计算相机外参，选择相机数据-激光雷达数据对得重投影误差最小所对应的相机外参。这样能够有效的提高整体的识别精度，降低了误差率。
进一步，所述步骤2中，通过相机和激光雷达采集多组待焊接零件的数据，对齐每组三维点云数据和每个图像数据的时间戳，选择一组三维点云数据输入到步骤3中进行处理，并将选择的三维点云数据对应的下一时间戳的图像数据输入到步骤3中进行处理。有效的提高了整体的精度。
本发明还提供了一种自动焊接系统，包括传感器标定模块、数据采集处理模块、焊接位置识别模块、焊接路径规划模块；
其中，传感器标定模块用于对相机和激光雷达进行联合标定，获得相机的外参；
数据采集处理模块分别通过相机和激光雷达对待焊接零件进行数据采集；并对激光雷达采集到的点云数据进行处理，生成待焊接零件的点云模型；同时将相机采集到的图像数据发送到焊接位置识别模块；
焊接位置识别模块将得到的图像中组成待焊接位置的像素点的坐标值转换成世界坐标系下的坐标值；从而得到世界坐标系下组成待焊接位置的点的二维坐标值；再将世界坐标系下组成待焊接位置的点的二维坐标值转换得到对应的三维坐标，根据对应的三维坐标在待焊接零件的三维点云模型中识别出组成待焊接位置的点云；将识别出的待焊接零件中待焊接位置的点云数据发送给焊接路径规划模块；
焊接路径规划模块根据接收到的待焊接位置的点云数据对焊接路径进行规划。
进一步，所述焊接路径规划模块采用LPA*的方法对焊接路径进行规划。
工作原理：本发明主要通过人工神经网络实现待焊接位置的预识别，再通过采集到的图像和构建的三维点云模型之间的关系，在三维点云模型云中找到需要焊接的点云坐标；有效的通过图像识别出需要焊接的位置，再将图像数据转换成机器能够识别的数据，从而完成自动焊接的工作。
有益效果：与现有技术相比，本发明具有以下优点：
1、本发明提供的识别方法及系统的普适性更高，不仅能够识别出不同形状、不同部位的未焊接过的零件的焊接位置；还可以针对焊缝进行缺陷型的识别；适用于多样性的焊接情况。
2、本发明检测的灵敏度更高、识别和焊接位置更加精准，降低了整体的报错率。
3、本发明的使用成本低，也更加便捷；有效提高了施工安全性。
附图说明
图1为实施例1提供的动焊接系统的结构示意图；
图2为实施例1提供的用于自动焊接系统的焊接位置识别方法的工作流程图；
图3为对采用相机和激光雷达进行联合标定的工作流程图；
图4为数据采集处理模块示意图；
图5为Fast RCNN网络模型示意图；
图6为实施例2提供的动焊接系统的结构示意图；
图7为实施例1提供的用于自动焊接系统的焊接位置识别方法的工作流程图。
具体实施方式
下面将结合本发明实例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
如图1所示，本实施例公开了一种自动焊接系统，包括传感器标定模块、数据采集处理模块、焊接位置识别模块、焊接路径规划模块；传感器标定模块用于对相机和激光雷达进行联合标定，获得相机的外参，并将获得的相机外参供焊接位置识别模块在进行位置识别时使用；数据采集处理模块分别通过相机和激光雷达对待焊接零件进行数据采集；并对激光雷达采集到的点云数据进行处理，生成待焊接零件的点云模型；同时将相机采集到的图像数据发送到焊接位置识别模块；焊接位置识别模块先根据训练好的Fast RCNN人工神经网络对采集到的图像数据进行焊接位置预识别，并将预识别得到的焊接位置在图像数据中的坐标，结合相机的外参和内参，获得其对应在世界坐标系下的三维坐标值，从而可以获得焊接位置在待焊接零件的点云模型中的坐标；将待焊接位置的三维坐标值发送至焊接路径规划模块；焊接路径规划模块对焊接路径进行规划。
本实施例公开的用于自动焊接系统的焊接位置识别方法，如图2所示，包括以下步骤：
步骤1：对采用相机和激光雷达进行联合标定，获得相机的外参。本实施例中主要采用双目相机进行图像采集。其中，双目相机与激光雷达均设置在滑轨的滑块上，且双目相机与激光雷达之间的相对位置不变。如图3所示，具体包括以下步骤：
步骤1-1：对相机和激光雷达获取的数据进行直线特征提取；直线特征提取分别将激光雷达采集的三维点云图像和双目相机采集的二维图像均匀地划分为若干规则子块，然后对每个图像子块提取特征，并建立索引；
步骤1-2：对齐激光雷达数据和图像数据的时间戳，将激光雷达数据的直线特征投影到其下一时间戳的图像二维平面上；这样能够有效的提高转换的精度。
步骤1-3：根据步骤1-2的投影结果组成对应的相机数据-激光雷达数据对，根据相机数据-激光雷达数据对优化重投影误差并计算相机外参；相机外参数是在世界坐标系中的参数，本实施例中的相机外参包括相机的位置、旋转方向。相机外参主要用于将图像中的像素点的坐标值转换成世界坐标系下的坐标值。
步骤1-4：沿着滑轨缓慢滑块，双目相机和激光雷达数据实时采集数据，然后重复步骤1-1-步骤1-3，迭代计算相机外参，使对应的相机数据-激光雷达数据对的像平面的重投影误差最小，并进行全局优化。迭代计算外参能够使得获取数据更准确。
步骤2：分别通过双目相机和激光雷达对待焊接零件进行数据采集；
步骤3：根据步骤2得到的激光雷达采集的带焊接零件的三维点云数据进行处理，得到待焊接零件的三维点云模型；同时，焊接位置识别模块通过训练好的人工神经网络对步骤2中相机采集得到的图像数据进行焊接位置预识别，获得图像中的待焊接位置；
其中，获得待焊接零件的三维点云模型是在数据采集处理模块中完成；如图4所示，数据采集处理模块用于对激光雷达采集到的点云数据进行点云去噪、点云离群点去除、点云平滑等预处理操作，并采用点云配准算法将不同角度和位置扫描的待焊接工件的点云数据进行拼接以及融合成完整的待焊接零件的点云模型。主要包括以下几个部分：
(1)点云数据预处理：由于采集的点云数据不可避免要包含各种因素产生的噪声，为了获得有效的点云数据，所以需要对采集到的点云数据进行预处理，预处理主要包括点云去噪、点云离群点去除、点云平滑等预处理操作。
(2)点云配准：本实施例中点云配准算法使用迭代最近点算法(下文简称ICP)，ICP算法的实质是基于最小二乘法的最优匹配算法，它重复寻找对应点和计算最优刚体变换，直到某个表示正确匹配的收敛准则得到满足，迭代终止。本实施例中采用ICP算法将激光雷达从不同角度和不同位置采集到的待焊接零件的点云数据进行拼接；
(3)点云的融合：多幅点云数据拼接配准完成后，点云之间只是坐标的变换，还没有真正成为一个点云模型。本实施例采用ICP算法将不同角度和位置扫描的待焊接工件的点云数据拼接后，将点云之间的重叠区域融合为光滑的曲面，最后得到一个完整的待焊接零件的点云模型。
步骤4：将步骤3中得到的图像中组成待焊接位置的像素点的坐标值转换成世界坐标系下的坐标值；从而得到世界坐标系下组成待焊接位置的点的二维坐标值；
步骤5：根据步骤4得到的世界坐标系下组成待焊接位置的点的二维坐标值得到对应的三维坐标，根据对应的三维坐标在步骤3中得到的待焊接零件的三维点云模型中识别出组成待焊接位置的点云。
其中，步骤3中的对图像数据进行焊接位置预识别和步骤4、步骤5均是在焊接位置识别模块中完成。
本实施例中主要采用Fast RCNN人工神经网络实现图像中焊接位置预识别。FastRCNN网络模型示意图如图5所示，采用Fast RCNN人工神经网络之前需要对其进行训练，训练方法包括以下步骤：
步骤3-1：将训练图集和图集对应的数据输入到Fast RCNN人工神经网络；其中，训练图集包括不同类型不同角度的待焊接零件和焊接完成后，焊缝有缺陷需要补充焊接的零件；图集对应的数据为每个待焊接零件的焊接位置标签和对于需要补充焊接的位置标签。
步骤3-2：通过选择搜索算法在输入的训练图片中得到多个感兴趣区域；同时对输入的训练图片进行多层卷积层和RoI池化层，得到特征图；这里的感兴趣区域为步骤3-1 这种标签位置。
步骤3-3：根据映射关系，在特征图中找到每个感兴趣区域对应的感兴趣特征区域；
步骤3-4：将步骤3-3得到的每个感兴趣特征区域分别输入到RoI池化层，通过提取得到固定长度的感兴趣特征向量，输入到全连接层；
步骤3-5；根据输出的分类向量和每一类的回归向量，得到分类损失和回归损失；当分类损失和回归损失的值不大于0.1时，Fast RCNN人工神经网络训练完成。
将采集到的待焊接的零件的图像输入到采用训练好的Fast RCNN人工神经网络中， Fast RCNN人工神经网络完成待焊接零件的待焊接位置预识别，并结合步骤1中得到的相机外参将待焊接位置在图像中的像素点坐标值转换成世界坐标系下的坐标值；通过本发明采用的双目相机，可以得到对应像素点的深度值，即可以获得像素点在世界坐标系下的三维坐标。
焊接路径规划模块采用LPA*的方法对机械臂焊接的路径进行规划。本实施例中主要是针对直线型焊接位置进行路径规划，所以只需要将识别出的焊接位置的起点和终点坐标发送到焊接路径规划模块即可。
实施例2：
如图6所示，本实施例公开了一种自动焊接系统，包括传感器标定模块、数据采集处理模块、焊接位置识别模块、焊接路径规划模块和终端反馈模块；传感器标定模块用于对相机和激光雷达进行联合标定，获得相机的外参，并将获得的相机外参供焊接位置识别模块在进行位置识别时使用；数据采集处理模块分别通过相机和激光雷达对待焊接零件进行数据采集；并对激光雷达采集到的点云数据进行处理，生成待焊接零件的点云模型；同时将相机采集到的图像数据发送到焊接位置识别模块；焊接位置识别模块先根据训练好的FastRCNN人工神经网络对采集到的图像数据进行焊接位置预识别，并将预识别得到的焊接位置在图像数据中的坐标，结合相机的外参和内参，获得其对应在世界坐标系下的三维坐标值，从而可以获得焊接位置在待焊接零件的点云模型中的坐标；将待焊接位置的三维坐标值发送至焊接路径规划模块；焊接路径规划模块对焊接路径进行规划；用户同终端反馈模块可以实时查看焊接情况。
本实施例中公开的用于自动焊接系统的焊接位置识别方法，如图7所示，包括以下步骤：
步骤1：对采用相机和激光雷达进行联合标定，获得相机的外参。本实施例中主要采用双目相机进行图像采集。
步骤2：分别通过双目相机和激光雷达对待焊接零件进行多组数据采集；对齐每组三维点云数据和每个图像数据的时间戳，选择一组三维点云数据，该组三维点云数据清晰，能展示完整带焊接零件且点云中的点分布较为均匀且无缺失，待焊接零件周围无噪点；并将该组三维点云数据对应的下一时间戳的图像数据输入到步骤3中进行处理。
步骤3：根据步骤2中选择的三维点云数据进行处理，得到待焊接零件的三维点云模型；同时，焊接位置识别模块通过训练好的人工神经网络对步骤2中输出的图像数据进行焊接位置预识别，获得图像中的待焊接位置。
步骤4：将步骤3中得到的图像中组成待焊接位置的像素点的坐标值转换成世界坐标系下的坐标值；从而得到世界坐标系下组成待焊接位置的点的二维坐标值；
步骤5：根据步骤4得到的世界坐标系下组成待焊接位置的点的二维坐标值得到对应的三维坐标，根据对应的三维坐标在步骤3中得到的待焊接零件的三维点云模型中识别出组成待焊接位置的点云。
焊接路径规划模块采用LPA*的方法对机械臂焊接的路径进行规划，
LPA*的方法搜索起始点为所设起点，按照Key值的大小作为搜索前进的原则，迭代到目标点为下一搜索点时完成规划，Key值中包含启发式函数h项作为启发原则来影响搜索方向，处于动态环境时，LPA*可以适应环境中障碍物的变化而无需重新计算整个环境，方法是在当前搜索期间二次利用先前搜索得到的g值，以便重新规划路径，通过LPA* 的方法可以减少对焊接路径的人为干预，并统一解决各种不规则焊缝的路径规划。
其中，LPA*的方法的具体操作步骤为：按照Key值的大小作为搜索前进的原则，迭代到设定的焊接路径的目标点为下一搜索点时完成规划，Key值中包含启发式函数h项作为启发原则来影响搜索方向，处于动态环境时，LPA*可以适应环境中障碍物的变化而无需重新计算整个环境，方法是在当前搜索期间二次利用先前搜索得到的g值，即起点到当前点的距离度量，以便重新规划路径。通过LPA*的方法可以减少对焊接路径的人为干预，并统一解决各种不规则焊缝的路径规划。
本实施例中的终端反馈模块是基于上位机开发的可视化界面，实现多源传感器数据的获取、处理与传输，实时监测焊缝识别与执行路径规划，同时，提供人机交互接口，可人工再判断焊识别是否正确，避免出现错误焊接的情况。在数据接入方面使用了物联网架构下的订阅及发布模式以及MATT协议来进行数据的传输，改善了原系统使用驱动程序接入数据带来的弊端。本发明提供的可视化系统最终以网页形式呈现，使用到了 HTML，CSS与JavaScript技术来完成网页，实现相应功能。对于可视化监控站，设备的状态、摄像头捕捉画面、实时点云数据测量等属于实时数据，采用关系数据库MySQL进行存储；关键数据如距离测量等，为其增加时间戳属性成为时序数据，即按一定的时间间隔查询历史值，采用InfluxDB数据库完成距离数据存储；对于设备资产相应的全生命周期的信息属于非结构化数据，为了实现由不同人员维护各自数据的要求，采用 MediaWiki存储。使用Highcharts图表库生成用以展示时序数据的折线图。使用Layui 前端框架的table表格组件来实现各种数据表的展示。使用SVG动画来实现控制页面中三维点云数据和二维图像数据的融合显示。最后基于Android系统，使用Android Studio 开发环境编写移动终端应用程序。可视化界面主要接口如下:
(1)Highcharts图表库生成时序数据的折线图。
(2)Layui前端框架的table表格组件显示各种数据表。
(3)三维点云数据和二维图像数据的融合显示，以便人们及时观察数据及人工再判断焊缝是否识别准确。
Claims (10)
1.一种用于自动焊接系统的焊接位置识别方法，其特征在于：包括以下步骤：
步骤1：对采用相机和激光雷达进行联合标定，获得相机的外参；
步骤2：分别通过相机和激光雷达对待焊接零件进行数据采集；
步骤3：根据步骤2得到的激光雷达采集的带焊接零件的三维点云数据进行处理，得到待焊接零件的三维点云模型；同时，通过训练好的人工神经网络对步骤2中相机采集得到的图像数据进行焊接位置预识别，获得图片中的待焊接位置；
步骤4：将步骤3中得到的图像中组成待焊接位置的像素点的坐标值转换成世界坐标系下的坐标值；从而得到世界坐标系下组成待焊接位置的点的二维坐标值；
步骤5：根据步骤4得到的世界坐标系下组成待焊接位置的点的二维坐标值得到对应的三维坐标，根据对应的三维坐标在步骤3中得到的待焊接零件的三维点云模型中识别出组成待焊接位置的点云。
2.根据权利要求1所述的用于自动焊接系统的焊接位置识别方法，其特征在于：所述步骤3中的人工神经网络为Fast RCNN人工神经网络。
3.根据权利要求2所述的用于自动焊接系统的焊接位置识别方法，其特征在于：所述Fast RCNN人工神经网络的训练方法为：包括以下步骤：
步骤：3-1：将训练图集和图集对应的数据输入到Fast RCNN人工神经网络；所述训练图集包括不同类型不同角度的待焊接零件；图集对应的数据为每个待焊接零件的焊接位置标签；
步骤3-2：通过选择搜索算法在输入的训练图片中得到多个感兴趣区域；同时对输入的训练图片进行多层卷积层和RoI池化层，得到特征图；
步骤3-3：根据映射关系，在特征图中找到每个感兴趣区域对应的感兴趣特征区域；
步骤3-4：将步骤3-3得到的每个感兴趣特征区域分别输入到RoI池化层，通过提取得到固定长度的感兴趣特征向量，输入到全连接层；
步骤3-5；根据输出的分类向量和每一类的回归向量，得到分类损失和回归损失；当分类损失和回归损失的值不大于0.02时，Fast RCNN人工神经网络训练完成。
4.根据权利要求1所述的用于自动焊接系统的焊接位置识别方法，其特征在于：所述步骤3中对激光雷达采集的带焊接零件的三维点云数据进行处理包括点云数据预处理、点云配准和点云融合。
5.根据权利要求4所述的用于自动焊接系统的焊接位置识别方法，其特征在于：所述点云数据预处理包括点云去噪、点云离群点去除和点云平滑。
6.根据权利要求4所述的用于自动焊接系统的焊接位置识别方法，其特征在于：所述点云配准采用迭代最近点算法。
7.根据权利要求1～6中任意一项所述的用于自动焊接系统的焊接位置识别方法，其特征在于：所述步骤1中对采用相机和激光雷达进行联合标定，获得相机的外参的方法为：
步骤1-1：对相机和激光雷达获取的数据进行直线特征提取；
步骤1-2：对齐激光雷达数据和图像数据的时间戳，将激光雷达数据的直线特征投影到其下一时间戳的图像二维平面上；
步骤1-3：根据步骤1-2的投影结果组成对应的相机数据-激光雷达数据对，根据相机数据-激光雷达数据对优化重投影误差并计算相机外参；
步骤1-4：确保相机和激光雷达之间的相对位置不变，同时移动相机和激光雷达的位置，采集数据，然后重复步骤1-1-步骤1-3，迭代计算相机外参，选择相机数据-激光雷达数据对得重投影误差最小所对应的相机外参。
8.根据权利要求1～6中任意一项所述的用于自动焊接系统的焊接位置识别方法，其特征在于：所述步骤2中，通过相机和激光雷达采集多组待焊接零件的数据，对齐每组三维点云数据和每个图像数据的时间戳，选择一组三维点云数据输入到步骤3中进行处理，并将选择的三维点云数据对应的下一时间戳的图像数据输入到步骤3中进行处理。
9.一种自动焊接系统，其特征在于：包括传感器标定模块、数据采集处理模块、焊接位置识别模块、焊接路径规划模块；
其中，传感器标定模块用于对相机和激光雷达进行联合标定，获得相机的外参；
数据采集处理模块分别通过相机和激光雷达对待焊接零件进行数据采集；并对激光雷达采集到的点云数据进行处理，生成待焊接零件的点云模型；同时将相机采集到的图像数据发送到焊接位置识别模块；
焊接位置识别模块将得到的图像中组成待焊接位置的像素点的坐标值转换成世界坐标系下的坐标值；从而得到世界坐标系下组成待焊接位置的点的二维坐标值；再将世界坐标系下组成待焊接位置的点的二维坐标值转换得到对应的三维坐标，根据对应的三维坐标在待焊接零件的三维点云模型中识别出组成待焊接位置的点云；将识别出的待焊接零件中待焊接位置的点云数据发送给焊接路径规划模块；
焊接路径规划模块根据接收到的待焊接位置的点云数据对焊接路径进行规划。
10.根据权利要求9所述的自动焊接系统，其特征在于：所述焊接路径规划模块采用LPA*的方法对焊接路径进行规划。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210272270.2A CN114473309A (zh) | 2022-03-18 | 2022-03-18 | 用于自动焊接系统的焊接位置识别方法及自动焊接系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210272270.2A CN114473309A (zh) | 2022-03-18 | 2022-03-18 | 用于自动焊接系统的焊接位置识别方法及自动焊接系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114473309A true CN114473309A (zh) | 2022-05-13 |
Family
ID=81488571
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210272270.2A Pending CN114473309A (zh) | 2022-03-18 | 2022-03-18 | 用于自动焊接系统的焊接位置识别方法及自动焊接系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114473309A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114952102A (zh) * | 2022-06-10 | 2022-08-30 | 上海汽车集团股份有限公司 | 一种植钉焊接防错机构以及植钉焊接防错方法 |
| CN116168031B (zh) * | 2023-04-25 | 2023-08-29 | 中建科技集团有限公司 | 基于三维图像的焊接代码生成方法、焊接系统及相关设备 |
| CN116871727A (zh) * | 2023-06-29 | 2023-10-13 | 海波重型工程科技股份有限公司 | 隔板单元焊接机器人焊接方法、装置、设备及存储介质 |
-
2022
- 2022-03-18 CN CN202210272270.2A patent/CN114473309A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114952102A (zh) * | 2022-06-10 | 2022-08-30 | 上海汽车集团股份有限公司 | 一种植钉焊接防错机构以及植钉焊接防错方法 |
| CN116168031B (zh) * | 2023-04-25 | 2023-08-29 | 中建科技集团有限公司 | 基于三维图像的焊接代码生成方法、焊接系统及相关设备 |
| CN116871727A (zh) * | 2023-06-29 | 2023-10-13 | 海波重型工程科技股份有限公司 | 隔板单元焊接机器人焊接方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114473309A (zh) | 用于自动焊接系统的焊接位置识别方法及自动焊接系统 | |
| CN110530877B (zh) | 一种焊接外形质量检测机器人及其检测方法 | |
| CN111537517B (zh) | 一种无人智能化冲压缺陷识别方法 | |
| CN111805131B (zh) | 一种焊缝轨迹实时定位方法、装置、存储介质及终端 | |
| CN110065068B (zh) | 一种基于逆向工程的机器人装配作业演示编程方法及装置 | |
| CN112648934B (zh) | 一种自动化弯管几何形态检测方法 | |
| CN114474041A (zh) | 一种基于协作机器人的焊接自动化智能引导方法及系统 | |
| CN115330734A (zh) | 一种基于三维目标检测和点云缺陷补全的自动化机器人补焊系统 | |
| CN115601355A (zh) | 一种产品表面缺陷检测与分类方法、装置及存储介质 | |
| CN115131268A (zh) | 一种基于图像特征提取与三维模型匹配的自动化焊接系统 | |
| WO2021103558A1 (zh) | 基于rgb-d数据融合的机器人视觉引导方法和装置 | |
| Zhou et al. | Intelligent guidance programming of welding robot for 3D curved welding seam | |
| US11455767B1 (en) | Intelligent material completeness detection and configuration method based on digital twin and augmented reality (AR) | |
| CN114581368B (zh) | 一种基于双目视觉的棒材焊牌方法及装置 | |
| CN115546125A (zh) | 一种基于点云信息的增材制造熔敷层的误差检测并对轨迹纠偏的方法 | |
| CN114749848A (zh) | 一种基于3d视觉引导的钢筋焊接自动化系统 | |
| CN115018813A (zh) | 一种机器人自主识别与精确定位焊缝的方法 | |
| CN113269729B (zh) | 一种基于深度图像对比的装配体多视角检测方法和系统 | |
| Wang et al. | A binocular vision method for precise hole recognition in satellite assembly systems | |
| Fang et al. | A vision-based method for narrow weld trajectory recognition of arc welding robots | |
| Zou et al. | Laser-based precise measurement of tailor welded blanks: a case study | |
| CN113240629A (zh) | 基于边缘的图像匹配窄间隙焊缝初始点定位装置和方法 | |
| Lu et al. | Plate additive, seam-tracking technology based on feature segmentation | |
| CN111415384B (zh) | 一种基于深度学习的工业图像组件精准定位系统 | |
| CN114842144A (zh) | 双目视觉三维重构方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |