CN118023799A - 一种基于相机的人形焊接机器人自主焊接作业及规划方法 - Google Patents
一种基于相机的人形焊接机器人自主焊接作业及规划方法 Download PDFInfo
- Publication number
- CN118023799A CN118023799A CN202410430729.6A CN202410430729A CN118023799A CN 118023799 A CN118023799 A CN 118023799A CN 202410430729 A CN202410430729 A CN 202410430729A CN 118023799 A CN118023799 A CN 118023799A
- Authority
- CN
- China
- Prior art keywords
- welding
- rgb
- image
- humanoid
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003466 welding Methods 0.000 title claims abstract description 277
- 238000000034 method Methods 0.000 title claims abstract description 90
- 230000008569 process Effects 0.000 claims abstract description 35
- 230000004927 fusion Effects 0.000 claims abstract description 32
- 230000000007 visual effect Effects 0.000 claims abstract description 8
- 238000004140 cleaning Methods 0.000 claims description 45
- 239000011159 matrix material Substances 0.000 claims description 18
- 230000001133 acceleration Effects 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 15
- 238000005457 optimization Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 12
- 230000010354 integration Effects 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000004888 barrier function Effects 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 4
- 229910000831 Steel Inorganic materials 0.000 description 3
- 239000010959 steel Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K37/00—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
- B23K37/02—Carriages for supporting the welding or cutting element
- B23K37/0252—Steering means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Image Processing (AREA)
Abstract
本发明涉及人形焊接机器人技术领域，具体提供了一种基于相机的人形焊接机器人自主焊接作业及规划方法，基于人形焊接机器人实现；包括如下步骤：分别标定内参和外参；基于数据融合进行人形机器人自身位姿估计；基于数据融合进行视觉三维重建，得到人形焊接机器人运动场景三维重建点云，并识别出障碍物；搜索出待焊区域；控制人形焊接机器人移动至待焊区域；在控制人形焊接机器人移动过程中，运行基于改进RRT算法的人形焊接机器人路径规划方法；进行焊接操作。该方法利用相机模拟人类视觉，利用仿人视觉位姿估计及场景与仿人结构协同路径规划实现自主焊接作业，相比于人工焊接可大幅节约时间成本和人力成本。
Description
技术领域
本发明涉及人形焊接机器人技术领域，更具体地说，涉及一种基于相机的人形焊接机器人自主焊接作业及规划方法。
背景技术
焊接是钢结构的优选加工工艺之一，全世界约60%的钢铁需要焊接加工。舰船、核电、航空航天、高铁、海工等高端装备及大型桥隧、人工岛礁等重大工程大型结构的制造过程面临材料多样、形位约束复杂、制造尺寸极端、施工环境严酷等复杂-极端工况，亟需先进自动化焊接技术强力支撑。但是，现阶段约80%钢结构采用手工电弧焊，效率奇低，工人劳动强度非常大，作业环境也极其恶劣，导致焊接领域劳动力极其不足。
自动化焊接技术是传统焊接行业发展的必由之路。目前自动化焊接仍大比例使用传统示教型机器人，由人工识别待焊区域后，规划焊接路径和对应的工艺参数，效率极低且对操作人员经验要求高，在劳动力短缺的情况下，同时具备机械臂操作经验和焊接经验的工人少之又少。由于焊接是一个复杂的过程，在机器人结构方面，使用人形结构可以有效地提高传统焊接机器人的环境适应性。然而，人形焊接机器人中仿人视觉的位姿估计、场景三维重建和仿人双手的双机械臂路径规划是阻碍其发展的关键技术难题。现有视觉位姿估计、场景三维重建主要依靠双目相机或者RGB-D相机进行，双目相机深度估计困难，RGB-D相机位姿估计精度较差。现有机械臂路径规划问题大多使用RRT及其变种算法解决，然而其属于随机过程，规划效率低且难以规划出最优路径。因此，亟需开发具备完全自主焊接作业及规划能力的人形焊接机器人，研发高精度的视觉位姿估计和三维重建技术和高效率的双机械臂协同规划技术。
发明内容
为克服现有技术中的缺点与不足，本发明的目的在于提供一种基于相机的人形焊接机器人自主焊接作业及规划方法；该方法使用了仿人结构，利用相机模拟人类视觉，利用仿人视觉位姿估计及场景与仿人结构协同路径规划实现自主焊接作业，相比于人工焊接可大幅节约时间成本和人力成本。
为了达到上述目的，本发明通过下述技术方案予以实现：一种基于相机的人形焊接机器人自主焊接作业及规划方法，基于人形焊接机器人实现；人形焊接机器人包括头部和机械臂；头部的外壳上设置有双目相机、RGB-D相机及IMU；
基于相机的人形焊接机器人自主焊接作业及规划方法，包括如下步骤：
S1、分别标定双目相机、RGB-D相机内参，以及双目相机和RGB-D相机与IMU的外参；
S2、获取双目相机、RGB-D相机及IMU的数据；基于双目相机、RGB-D相机及IMU数据融合进行人形机器人自身位姿估计；基于RGB-D相机和双目相机数据融合进行视觉三维重建，得到人形焊接机器人运动场景三维重建点云；在人形焊接机器人运动场景三维重建点云中识别出障碍物；基于RGB-D相机数据进行待焊区域识别，搜索出待焊区域；
S3、控制人形焊接机器人移动至待焊区域；在控制人形焊接机器人移动过程中，运行基于改进RRT算法的人形焊接机器人路径规划方法，实现人形焊接机器人运动过程中的局部避障；
S4、人形焊接机器人进行焊接操作。
优选地，所述步骤S2，包括以下步骤：
S21、输入双目相机采集的双目图像、RGB-D相机采集的RGB-D图像、IMU采集的IMU数据；
S22、分别进行双目图像和RGB-D图像的特征提取、IMU数据预积分；将双目图像、RGB-D图像和IMU数据进行帧间图像匹配，优化双目图像的位姿和RGB-D图像的位姿；分别基于双目图像及RGB-D图像实现人形焊接机器人位姿估计，最后实现基于双目图像和RGB-D图像融合的人形焊接机器人位姿估计；
S23、基于双目图像估计深度图并形成双目图像三维点云，使用RGB-D图像生成RGB-D图像三维点云；叠加双目图像三维点云和RGB-D图像三维点云，形成基于RGB-D相机和双目相机融合的人形焊接机器人运动场景三维重建点云；
S24、对人形焊接机器人运动场景三维重建点云进行障碍物聚类识别；使用RGB-D图像进行基于深度学习的待焊区域识别，基于二维和三维信息融合来进行待焊区域搜索。
优选地，所述步骤S22，双目图像特征提取和RGB-D图像特征提取，均采用ORB特征提取方法；
IMU数据预积分是指，IMU采集得到IMU角速度观测值和IMU加速度观测值，分别由IMU陀螺仪和IMU加速度计检测得到；将IMU陀螺仪观测值/>和IMU加速度计观测值/>，转换为真实的IMU角速度/>和IMU加速度/>；转换方法为：
IMU陀螺仪观测值和IMU加速度计观测值/>表示公式分别为：
；
其中，代表重力加速度；/>，/>分别代表陀螺仪和加速度计的固定偏差；/>，/>分别代表陀螺仪和加速度计的观测噪声；/>代表t时刻IMU角度；
根据表示公式，计算IMU角速度和IMU加速度/>；
将t时刻IMU角度积分成角度变化/>，将IMU加速度/>积分成IMU速度，将速度/>积分成IMU位置/>，公式如下：
；
将t时刻IMU角度和IMU位置/>记为IMU的位姿/>，/>；
双目图像的帧间图像匹配和RGB-D图像的帧间图像匹配，是指：
设定双目图像特征提取和RGB-D图像特征提取后得到的特征点x i 二维像素坐标x i =[uv]，其中，u、v分别为特征点的u、v坐标值；
将特征点x i 二维像素坐标x i = [uv]转换为三维坐标X i =[X 0 Y 0 Z 0 ]：
；
其中，s d 为深度因子；d为深度，双目图像通过双目相机的双目视差获得深度，RGB-D图像直接提供深度；f x ，f y ，u 0 ，v 0 均为双目相机/RGB-D相机内参；f x ，f y 分别代表像素在X轴和Y轴方向上的焦距的长度；u 0 ，v 0 分别代表图像坐标系原点在像素坐标系中的坐标值；
分别使用bundle adjustment算法来优化双目图像的位姿，/>和RGB-D图像的位姿/>，/>，其中/>、/>均为旋转矩阵，/> 、/>均为平移矩阵。
优选地，所述步骤S22中，分别基于双目相机视觉及RGB-D相机视觉实现人形焊接机器人位姿估计，是指：输入双目图像位姿，/>和IMU的位姿/>，/>；利用卡尔曼滤波器和双目相机与IMU的外参得到融合结果，输出双目图像最优位姿估计；其中，t i 为时间序列；/>为各个时刻的双目图像最优位姿估计，/>；R c 、T c 分别为旋转和平移矩阵；
输入RGB-D图像位姿，/>和IMU的位姿/>，/>；利用卡尔曼滤波器和RGB-D相机与IMU的外参得到融合结果，输出RGB-D图像最优位姿估计/>；其中，t j 为时间序列；/>为各个时刻的RGB-D图像最优位姿估计，/>；R rgb 、T rgb 分别为旋转和平移矩阵；
设定为基于双目相机视觉及RGB-D相机视觉融合的人形焊接机器人位姿估计；使用Ceres方法估计/>：
；
其中，为各个时刻的最优位姿估计结果；/>为双目图像估计的bias系数；为核函数；f i 为目标优化函数，是双目图像最优位姿估计/>和RGB-D图像最优位姿估计/>的集合，其中RGB-D图像最优位姿估计/>均利用双目相机与RGB-D外参转换到双目相机坐标系下；
通过计算目标优化函数f i 关于自变量的雅可比矩阵确定梯度的方向，从而使目标优化函数f i 向下降最快的方向进行调整；优化过程中的雅可比矩阵定义为：
；
其中，为双目图像归一化矩阵；X i =[X 0 Y 0 Z 0 ]，为双目图像三维坐标；f x ，f y 均为双目相机内参；I为单位矩阵。
优选地，所述步骤S23是指，使用双目图像估计双目图像的深度图，并将二维的像素坐标转换为三维坐标，通过双目图像最优位姿估计，将每一帧双目图像以当前帧双目图像位姿为原点生成的点云数据转换到统一的坐标系下，把各帧双目图像的点云数据叠加形成最终的双目图像三维点云；
使用RGB-D图像的深度图，将二维的像素坐标转换为三维坐标，通过RGB-D图像最优位姿估计，将每一帧RGB-D图像以当前帧RGB-D图像位姿为原点生成的点云数据转换到统一的坐标系下，把各帧RGB-D图像的点云数据叠加形成最终的RGB-D图像三维点云；
使用3D NDT点云匹配方法叠加双目图像三维点云和RGB-D图像三维点云，实现基于RGB-D相机和双目相机融合的人形焊接机器人运动场景三维重建点云。
优选地，所述步骤S24中，对人形焊接机器人运动场景三维重建点云进行障碍物聚类识别，是指：将人形焊接机器人运动场景三维重建点云输入到训练好的PointPillars深度学习模型中，生成人形焊接机器人工作场景中障碍物三维检测框；
使用RGB-D图像进行基于深度学习的待焊区域识别，是指：将彩色的RGB-D图像转化为灰度图，输入到训练好的YoloV7深度学习模型中，得到待焊区域的二维检测框，将二维检测框中心点转化为三维坐标，得到待焊区域目标位置信息。
优选地，所述步骤S3，是指：将人形焊接机器人运动场景三维重建点云的三维空间分割为三维正方体，将三维正方体的三维点定义为均值点，n为三维正方体中的三维点的数量，并将三维正方体的体心作为均值点的三维坐标，从而将步骤S2得到的人形焊接机器人运动场景三维重建点云转化为低内存占用的栅格地图；之后运行基于改进RRT算法的人形焊接机器人路径规划方法；
基于改进RRT算法的人形焊接机器人路径规划方法，是指：以步骤S2得到的人形机器人自身位姿估计为起点作为规划起点，以步骤S2搜索出的待焊区域识别结果作为规划终点，以生成的包括障碍物信息的栅格地图作为地图信息，在三维栅格地图中进行随机扩展，规划出机械臂运动轨迹；在RRT算法的基础上，增加采样限制区域C、待焊区域的吸引势场和障碍物的排斥势场/>以加快运行速度，优化轨迹规划结果。
优选地，所述采样限制区域C为：
；
其中，为最短路径长度；length()为路径长度；/>，/>分别为人形焊接机器人路径的规划起点和规划终点；x为人形焊接机器人当前位姿估计结果；
待焊区域的吸引势场和障碍物的排斥势场/>分别为：
；
；
其中，为待焊区域的吸引力常数，/>为障碍物的排斥力常数，/>为障碍物中心点构成的点集，该点集通过三维栅格地图的障碍物信息得到。
优选地，所述人形焊接机器人，机械臂包括用于清洗待焊区域的清洗机械臂和用于进行焊接的焊接机械臂；所述步骤S4包括如下步骤：
S41、调整人形焊接机器人的位置，使清洗机械臂、焊接机械臂的操作范围同时覆盖待焊区域；清洗机械臂在清洗待焊区域过程中使用臂载双目相机进行待焊区域三维重建；
S42、基于待焊区域三维重建结果，设定焊接工艺参数；根据焊接工艺参数，焊接机械臂运动，焊接机械臂的焊枪工作，进行焊接工作；
S43、焊接完成后，关闭焊枪，控制清洗机械臂、焊接机械臂复位，控制人形焊接机器人返回初始位置。
优选地，所述步骤S41中，清洗机械臂、焊接机械臂的操作范围同时覆盖待焊区域是指，清洗机械臂、焊接机械臂均可以以任意末端位姿达到待焊区域；
清洗机械臂在清洗待焊区域过程中使用臂载双目相机进行待焊区域三维重建是指，清洗机械臂末端运动对待焊区域进行清洗；在清洗过程中，固定于清洗机械臂的臂载双目相机采集图像，进而进行待焊区域三维重建，得到待焊区域三维点云；
所述步骤S42，是指，利用待焊区域三维点云，判断待焊区域起点、终点及形状；根据焊接工艺参数库，选择焊接工艺参数，焊接工艺参数包括焊接电流、焊接速度、焊枪角度；根据焊接速度和焊枪角度，控制焊接机械臂运动；根据焊接电源，控制焊接机械臂的焊枪输出焊接电弧；
所述步骤S43，是指，在焊接机械臂运动到待焊区域终点时刻，切断焊接电源输出以关闭焊枪；控制清洗机械臂、焊接机械臂复位；控制人形焊接机器人返回初始位置。
与现有技术相比，本发明具有如下优点与有益效果：
1、本发明提出的方法使用了仿人结构（人形焊接机器人），利用相机模拟人类视觉，利用仿人视觉位姿估计及场景与仿人结构协同路径规划实现自主焊接作业，相比于人工焊接可大幅节约时间成本和人力成本；
2、本发明提出的方法同时使用了双目相机及RGB-D相机，将双目相机的高精度姿态估计与RGB-D相机的高性能三维重建相结合，利用点云层面的两种相机融合方法可提高环境三维重建精度13%以上，从而提高人形焊接机器人感知障碍物和待焊区域的准确率，为复杂环境人形焊接机器人运行提供更稳定的视觉感知方法；
3、本发明提出了一种基于二维和三维融合的人形焊接机器人待焊区域识别方法，该方法将传统二维图像目标识别与基于三维点云的目标识别方法相结合，借助于上述更高精度的三维重建可提高识别精度10.2%以上；同时，本发明提出了一种限制随机采样区域和增加了多种吸引排斥势场的改进RRT路径规划方法，可缩短规划距离23.4%以上，从而为人形焊接机器人提供更高性能的待焊区域搜索-自主焊接方案。
附图说明
图1是本发明人形焊接机器人自主焊接作业及规划方法的流程示意图；
图2是本发明人形焊接机器人自主焊接作业及规划方法的算法流程图；
图3是本发明人形焊接机器人的结构示意图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细的描述。
实施例
本实施例一种基于相机的人形焊接机器人自主焊接作业及规划方法，如图1和图2所示，基于人形焊接机器人实现。人形焊接机器人，如图3所示，包括头部1、颈部6、躯干7、底盘10和机械臂；头部的外壳上设置有双目相机、RGB-D相机3及IMU 5。底盘10带有轮子11；双目相机包括双目相机右相机2和双目相机左相机4；机械臂包括用于清洗待焊区域的清洗机械臂14和用于进行焊接的焊接机械臂8。焊接机械臂8带有焊枪9；清洗机械臂14带有清洗刷15和臂载双目相机16。躯干7中设有焊接电源12，以控制焊接电流输出；躯干7中还设有机器人端计算平台13，机器人端计算平台13与客户端计算平台17通过无线网络传输数据，用于运行三维重建算法、神经网络模型、路径规划算法等复杂计算；机器人端计算平台13通过有线连接与双目相机、RGB-D相机3、IMU 5、焊接机械臂8、焊接电源12、清洗机械臂14、臂载双目相机16通讯。
基于相机的人形焊接机器人自主焊接作业及规划方法，包括如下步骤：
S1、分别标定双目相机、RGB-D相机内参，以及双目相机和RGB-D相机与IMU的外参。内参和外参的标定可采用现有技术。
S2、获取双目相机、RGB-D相机及IMU的数据；基于双目相机、RGB-D相机及IMU数据融合进行人形机器人自身位姿估计；基于RGB-D相机和双目相机数据融合进行视觉三维重建，得到人形焊接机器人运动场景三维重建点云；在人形焊接机器人运动场景三维重建点云中识别出障碍物；基于RGB-D相机数据进行待焊区域识别，搜索出待焊区域。
步骤S2，包括以下步骤：
S21、输入双目相机采集的双目图像、RGB-D相机采集的RGB-D图像、IMU采集的IMU数据。
S22、分别进行双目图像和RGB-D图像的特征提取、IMU数据预积分；将双目图像、RGB-D图像和IMU数据进行帧间图像匹配，优化双目图像的位姿和RGB-D图像的位姿；分别基于双目图像及RGB-D图像实现人形焊接机器人位姿估计，最后实现基于双目图像和RGB-D图像融合的人形焊接机器人位姿估计。
所述步骤S22，双目图像特征提取和RGB-D图像特征提取，均采用ORB特征提取方法；
IMU数据预积分是指，IMU采集得到IMU角速度观测值和IMU加速度观测值，分别由IMU陀螺仪和IMU加速度计检测得到；将IMU陀螺仪观测值/>和IMU加速度计观测值/>，转换为真实的IMU角速度/>和IMU加速度/>；转换方法为：
IMU陀螺仪观测值和IMU加速度计观测值/>表示公式分别为：
；
其中，代表重力加速度；/>，/>分别代表陀螺仪和加速度计的固定偏差；/>，/>分别代表陀螺仪和加速度计的观测噪声；/>代表t时刻IMU角度；
根据表示公式，计算IMU角速度和IMU加速度/>；
将t时刻IMU角度积分成角度变化/>，将IMU加速度/>积分成IMU速度，将速度/>积分成IMU位置/>，公式如下：
；
将t时刻IMU角度和IMU位置/>记为IMU的位姿/>，/>；
双目图像的帧间图像匹配和RGB-D图像的帧间图像匹配，是指：
设定双目图像特征提取和RGB-D图像特征提取后得到的特征点x i 二维像素坐标x i =[uv]，其中，u、v分别为特征点的u、v坐标值；
将特征点x i 二维像素坐标x i = [uv]转换为三维坐标X i =[X 0 Y 0 Z 0 ]；
根据公式：
；
可变形为：
；
其中，s d 为深度因子；d为深度，双目图像通过双目相机的双目视差获得深度，RGB-D图像直接提供深度；f x ，f y ，u 0 ，v 0 均为双目相机/RGB-D相机内参；f x ，f y 分别代表像素在X轴和Y轴方向上的焦距的长度；u 0 ，v 0 分别代表图像坐标系原点在像素坐标系中的坐标值；
由于IMU、双目相机和RGB-D相机实际上每一帧的时间都是不对应的；又由于IMU数据单独使用会有漂移（数据不准），因此一般利用双目图像和IMU数据融合称为双目视觉SLAM获取外参，或者利用RGB-D图像和IMU数据融合称为RGB-D-SLAM获取外参；本发明分别使用bundle adjustment（BA）算法来优化双目图像的位姿，/>和RGB-D图像的位姿/>，，其中/>、/>均为旋转矩阵，/> 、/>均为平移矩阵。
分别基于双目相机视觉及RGB-D相机视觉实现人形焊接机器人位姿估计，是指：输入双目图像位姿，/>和IMU的位姿/>，/>；利用卡尔曼滤波器和双目相机与IMU的外参得到融合结果，输出双目图像最优位姿估计/>；其中，t i 为时间序列；/>为各个时刻的双目图像最优位姿估计，/>；R c 、T c 分别为旋转和平移矩阵；
输入RGB-D图像位姿，/>和IMU的位姿/>，/>；利用卡尔曼滤波器和RGB-D相机与IMU的外参得到融合结果，输出RGB-D图像最优位姿估计/>；其中，t j 为时间序列；/>为各个时刻的RGB-D图像最优位姿估计，/>；R rgb 、T rgb 分别为旋转和平移矩阵；
设定为基于双目相机视觉及RGB-D相机视觉融合的人形焊接机器人位姿估计；使用Ceres方法估计/>：
；
其中，为各个时刻的最优位姿估计结果；/>为双目图像估计的bias系数；为核函数；f i 为目标优化函数，是双目图像最优位姿估计/>和RGB-D图像最优位姿估计/>的集合，其中RGB-D图像最优位姿估计/>均利用双目相机与RGB-D外参转换到双目相机坐标系下；
通过计算目标优化函数f i 关于自变量的雅可比矩阵确定梯度的方向，从而使目标优化函数f i 向下降最快的方向进行调整；优化过程中的雅可比矩阵定义为：
；
其中，为双目图像归一化矩阵；X i =[X 0 Y 0 Z 0 ]，为双目图像三维坐标；f x ，f y 均为双目相机内参；I为单位矩阵。
S23、基于双目图像估计深度图并形成双目图像三维点云，使用RGB-D图像生成RGB-D图像三维点云；叠加双目图像三维点云和RGB-D图像三维点云，形成基于RGB-D相机和双目相机融合的人形焊接机器人运动场景三维重建点云。
步骤S23是指，使用双目图像估计双目图像的深度图，并将二维的像素坐标转换为三维坐标，通过双目图像最优位姿估计，将每一帧双目图像以当前帧双目图像位姿为原点生成的点云数据转换到统一的坐标系下（此处使用第一帧双目图像的坐标系），把各帧双目图像的点云数据叠加形成最终的双目图像三维点云；
使用RGB-D图像的深度图，将二维的像素坐标转换为三维坐标，通过RGB-D图像最优位姿估计，将每一帧RGB-D图像以当前帧RGB-D图像位姿为原点生成的点云数据转换到统一的坐标系下（此处使用第一帧双目图像的坐标系），把各帧RGB-D图像的点云数据叠加形成最终的RGB-D图像三维点云；
使用3D NDT点云匹配方法叠加双目图像三维点云和RGB-D图像三维点云，实现基于RGB-D相机和双目相机融合的人形焊接机器人运动场景三维重建点云。S24、对人形焊接机器人运动场景三维重建点云进行障碍物聚类识别；使用RGB-D图像进行基于深度学习的待焊区域识别，基于二维和三维信息融合来进行待焊区域搜索。
所述步骤S24中，对人形焊接机器人运动场景三维重建点云进行障碍物聚类识别，是指：将人形焊接机器人运动场景三维重建点云输入到训练好的PointPillars深度学习模型中，生成人形焊接机器人工作场景中障碍物三维检测框，用于人形焊接机器人运动场景的避障操作。
使用RGB-D图像进行基于深度学习的待焊区域识别，是指：将彩色的RGB-D图像转化为灰度图，输入到训练好的YoloV7深度学习模型中，得到待焊区域的二维检测框，将二维检测框中心点转化为三维坐标，得到待焊区域目标位置信息；YoloV7深度学习模型训练对象为人形焊接机器人焊接过程使用的工作台形貌。由于基于三维点云的检测模型位置精度高但准确率较低，所以先使用二维图像检测模型初步识别，在其基础上分割出待焊区域的位置，再使用三维检测模型生成高位置精度的待焊区域。
S3、控制人形焊接机器人移动至待焊区域；在控制人形焊接机器人移动过程中，运行基于改进RRT算法的人形焊接机器人路径规划方法，实现人形焊接机器人运动过程中的局部避障。
所述步骤S3，是指：将步骤S2得到的人形焊接机器人运动场景三维重建点云转化为低内存占用的栅格地图；具体地说，是指：将人形焊接机器人运动场景三维重建点云的三维空间分割为三维正方体，将三维正方体的三维点定义为均值点，n为三维正方体中的三维点的数量，并将三维正方体的体心作为均值点的三维坐标，从而转化为低内存占用的栅格地图，达到缩减三维点云数量并表示空间占用的目的；之后运行基于改进RRT算法的人形焊接机器人路径规划方法；
基于改进RRT算法的人形焊接机器人路径规划方法，是指：在传统RRT算法的基础上，以步骤S2得到的人形机器人自身位姿估计为起点（即第一帧双目图像坐标系）作为规划起点，以步骤S2搜索出的待焊区域识别结果作为规划终点，以生成的包括障碍物信息的栅格地图作为地图信息，在三维栅格地图中进行随机扩展，规划出机械臂运动轨迹。
由于三维栅格地图空间较大，传统RRT算法的随机采样过程需要庞大的计算量，所以本发明在RRT算法的基础上增加采样限制区域C、目标点（待焊区域）的吸引势场和障碍物的排斥势场/>以加快运行速度，优化轨迹规划结果。具体是指：在三维栅格地图内采样限制区域C为：
；
其中，为最短路径长度；length()为路径长度；/>，/>分别为人形焊接机器人路径的规划起点和规划终点；x为人形焊接机器人当前位姿估计结果；
目标点的吸引势场和障碍物的排斥势场/>分别为：
；
；
其中，为目标点的吸引力常数，/>为障碍物的排斥力常数，/>为障碍物中心点构成的点集，该点集通过三维栅格地图的障碍物信息得到。
S4、人形焊接机器人进行焊接操作。
步骤S4包括如下步骤：
S41、调整人形焊接机器人的位置，使清洗机械臂、焊接机械臂的操作范围同时覆盖待焊区域；清洗机械臂在清洗待焊区域过程中使用臂载双目相机进行待焊区域三维重建；
具体地说，清洗机械臂、焊接机械臂的操作范围同时覆盖待焊区域是指，清洗机械臂、焊接机械臂均可以以任意末端位姿达到待焊区域；
清洗机械臂在清洗待焊区域过程中使用臂载双目相机进行待焊区域三维重建是指，清洗机械臂末端运动对待焊区域进行清洗；在清洗过程中，固定于清洗机械臂的臂载双目相机采集图像，进而进行待焊区域三维重建，得到待焊区域三维点云。
S42、基于待焊区域三维重建结果，设定焊接工艺参数(焊接电流、焊接速度及焊枪角度)；根据焊接工艺参数，焊接机械臂运动，焊接机械臂的焊枪工作，进行焊接工作；
具体地说，利用待焊区域三维点云，判断待焊区域起点、终点及形状；根据焊接工艺参数库，选择焊接工艺参数，焊接工艺参数包括焊接电流、焊接速度、焊枪角度；其中，焊接电流由焊接电源控制，焊接速度及焊枪角度由焊接机械臂控制；根据焊接速度和焊枪角度，控制焊接机械臂运动；根据焊接电源，控制焊接机械臂的焊枪输出焊接电弧。
S43、焊接完成后，关闭焊枪，控制清洗机械臂、焊接机械臂复位，控制人形焊接机器人返回初始位置；
具体地说，在焊接机械臂运动到待焊区域终点时刻，切断焊接电源输出以关闭焊枪；控制清洗机械臂、焊接机械臂复位；控制人形焊接机器人返回初始位置；返回初始位置的路线可按步骤S3得到的规划路径，无需重新进行路径规划，但仍运行步骤S2所述的视觉三维重建，用于局部避障。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (10)
1.一种基于相机的人形焊接机器人自主焊接作业及规划方法，其特征在于：人形焊接机器人包括头部和机械臂；头部的外壳上设置有双目相机、RGB-D相机及IMU；
基于相机的人形焊接机器人自主焊接作业及规划方法，包括如下步骤：
S1、分别标定双目相机、RGB-D相机内参，以及双目相机和RGB-D相机与IMU的外参；
S2、获取双目相机、RGB-D相机及IMU的数据；基于双目相机、RGB-D相机及IMU数据融合进行人形机器人自身位姿估计；基于RGB-D相机和双目相机数据融合进行视觉三维重建，得到人形焊接机器人运动场景三维重建点云；在人形焊接机器人运动场景三维重建点云中识别出障碍物；基于RGB-D相机数据进行待焊区域识别，搜索出待焊区域；
S3、控制人形焊接机器人移动至待焊区域；在控制人形焊接机器人移动过程中，运行基于改进RRT算法的人形焊接机器人路径规划方法；
S4、人形焊接机器人进行焊接操作。
2.根据权利要求1所述的基于相机的人形焊接机器人自主焊接作业及规划方法，其特征在于：所述步骤S2，包括以下步骤：
S21、输入双目相机采集的双目图像、RGB-D相机采集的RGB-D图像、IMU采集的IMU数据；
S22、分别进行双目图像和RGB-D图像的特征提取、IMU数据预积分；将双目图像、RGB-D图像和IMU数据进行帧间图像匹配，优化双目图像的位姿和RGB-D图像的位姿；分别基于双目图像及RGB-D图像实现人形焊接机器人位姿估计，最后实现基于双目图像和RGB-D图像融合的人形焊接机器人位姿估计；
S23、基于双目图像估计深度图并形成双目图像三维点云，使用RGB-D图像生成RGB-D图像三维点云；叠加双目图像三维点云和RGB-D图像三维点云，形成基于RGB-D相机和双目相机融合的人形焊接机器人运动场景三维重建点云；
S24、对人形焊接机器人运动场景三维重建点云进行障碍物聚类识别；使用RGB-D图像进行基于深度学习的待焊区域识别，基于二维和三维信息融合来进行待焊区域搜索。
3.根据权利要求2所述的基于相机的人形焊接机器人自主焊接作业及规划方法，其特征在于：所述步骤S22，双目图像特征提取和RGB-D图像特征提取，均采用ORB特征提取方法；
IMU数据预积分是指，IMU采集得到IMU角速度观测值 和IMU加速度观测值/>，分别由IMU陀螺仪和IMU加速度计检测得到；将IMU陀螺仪观测值/>和IMU加速度计观测值/>，转换为真实的IMU角速度/>和IMU加速度/>；转换方法为：
IMU陀螺仪观测值和IMU加速度计观测值/>表示公式分别为：
；
其中，代表重力加速度；/>，/>分别代表陀螺仪和加速度计的固定偏差；/>，/>分别代表陀螺仪和加速度计的观测噪声；/>代表t时刻IMU角度；
根据表示公式，计算IMU角速度和IMU加速度/>；
将t时刻IMU角度积分成角度变化/>，将IMU加速度/>积分成IMU速度/>，将速度/>积分成IMU位置/>，公式如下：
；
将t时刻IMU角度和IMU位置/>记为IMU的位姿/>，/>；
双目图像的帧间图像匹配和RGB-D图像的帧间图像匹配，是指：
设定双目图像特征提取和RGB-D图像特征提取后得到的特征点x i 二维像素坐标x i =[uv]，其中，u、v分别为特征点的u、v坐标值；
将特征点x i 二维像素坐标x i = [uv]转换为三维坐标X i =[X 0 Y 0 Z 0 ]：
；
其中，s d 为深度因子；d为深度，双目图像通过双目相机的双目视差获得深度，RGB-D图像直接提供深度；f x ，f y ，u 0 ，v 0 均为双目相机/RGB-D相机内参；f x ，f y 分别代表像素在X轴和Y轴方向上的焦距的长度；u 0 ，v 0 分别代表图像坐标系原点在像素坐标系中的坐标值；
分别使用bundle adjustment算法来优化双目图像的位姿，/>和RGB-D图像的位姿，/>，其中/>、/>均为旋转矩阵，/> 、/>均为平移矩阵。
4.根据权利要求2所述的基于相机的人形焊接机器人自主焊接作业及规划方法，其特征在于：所述步骤S22中，分别基于双目相机视觉及RGB-D相机视觉实现人形焊接机器人位姿估计，是指：输入双目图像位姿，/>和IMU的位姿/>，/>；利用卡尔曼滤波器和双目相机与IMU的外参得到融合结果，输出双目图像最优位姿估计/>；其中，t i 为时间序列；/>为各个时刻的双目图像最优位姿估计，/>；R c 、T c 分别为旋转和平移矩阵；
输入RGB-D图像位姿，/>和IMU的位姿/>，/>；利用卡尔曼滤波器和RGB-D相机与IMU的外参得到融合结果，输出RGB-D图像最优位姿估计/>；其中，t j 为时间序列；/>为各个时刻的RGB-D图像最优位姿估计，/>；R rgb 、T rgb 分别为旋转和平移矩阵；
设定为基于双目相机视觉及RGB-D相机视觉融合的人形焊接机器人位姿估计；使用Ceres方法估计/>；
；
其中，为各个时刻的最优位姿估计结果；/>为双目图像估计的bias系数；/>为核函数；f i 为目标优化函数，是双目图像最优位姿估计/>和RGB-D图像最优位姿估计/>的集合，其中RGB-D图像最优位姿估计/>均利用双目相机与RGB-D外参转换到双目相机坐标系下；
通过计算目标优化函数f i 关于自变量的雅可比矩阵确定梯度的方向，从而使目标优化函数f i 向下降最快的方向进行调整；优化过程中的雅可比矩阵定义为：
；
其中，为双目图像归一化矩阵；X i =[X 0 Y 0 Z 0 ]，为双目图像三维坐标；f x ，f y 均为双目相机内参；I为单位矩阵。
5.根据权利要求2所述的基于相机的人形焊接机器人自主焊接作业及规划方法，其特征在于：所述步骤S23是指，使用双目图像估计双目图像的深度图，并将二维的像素坐标转换为三维坐标，通过双目图像最优位姿估计，将每一帧双目图像以当前帧双目图像位姿为原点生成的点云数据转换到统一的坐标系下，把各帧双目图像的点云数据叠加形成最终的双目图像三维点云；
使用RGB-D图像的深度图，将二维的像素坐标转换为三维坐标，通过RGB-D图像最优位姿估计，将每一帧RGB-D图像以当前帧RGB-D图像位姿为原点生成的点云数据转换到统一的坐标系下，把各帧RGB-D图像的点云数据叠加形成最终的RGB-D图像三维点云；
使用3D NDT点云匹配方法叠加双目图像三维点云和RGB-D图像三维点云，实现基于RGB-D相机和双目相机融合的人形焊接机器人运动场景三维重建点云。
6.根据权利要求2所述的基于相机的人形焊接机器人自主焊接作业及规划方法，其特征在于：所述步骤S24中，对人形焊接机器人运动场景三维重建点云进行障碍物聚类识别，是指：将人形焊接机器人运动场景三维重建点云输入到训练好的PointPillars深度学习模型中，生成人形焊接机器人工作场景中障碍物三维检测框；
使用RGB-D图像进行基于深度学习的待焊区域识别，是指：将彩色的RGB-D图像转化为灰度图，输入到训练好的YoloV7深度学习模型中，得到待焊区域的二维检测框，将二维检测框中心点转化为三维坐标，得到待焊区域目标位置信息。
7.根据权利要求1所述的基于相机的人形焊接机器人自主焊接作业及规划方法，其特征在于：所述步骤S3，是指：将人形焊接机器人运动场景三维重建点云的三维空间分割为三维正方体，将三维正方体的三维点定义为均值点，n为三维正方体中的三维点的数量，并将三维正方体的体心作为均值点的三维坐标，从而将步骤S2得到的人形焊接机器人运动场景三维重建点云转化为低内存占用的栅格地图；之后运行基于改进RRT算法的人形焊接机器人路径规划方法；
基于改进RRT算法的人形焊接机器人路径规划方法，是指：以步骤S2得到的人形机器人自身位姿估计为起点作为规划起点，以步骤S2搜索出的待焊区域识别结果作为规划终点，以生成的包括障碍物信息的栅格地图作为地图信息，在三维栅格地图中进行随机扩展，规划出机械臂运动轨迹；在RRT算法的基础上，增加采样限制区域C、待焊区域的吸引势场和障碍物的排斥势场/>以加快运行速度，优化轨迹规划结果。
8.根据权利要求7所述的基于相机的人形焊接机器人自主焊接作业及规划方法，其特征在于：所述采样限制区域C为：
；
其中，为最短路径长度；length()为路径长度；/>，/>分别为人形焊接机器人路径的规划起点和规划终点；x为人形焊接机器人当前位姿估计结果；
待焊区域的吸引势场和障碍物的排斥势场/>分别为：
；
；
其中，为待焊区域的吸引力常数，/>为障碍物的排斥力常数，/>为障碍物中心点构成的点集，点集通过三维栅格地图的障碍物信息得到。
9.根据权利要求1所述的基于相机的人形焊接机器人自主焊接作业及规划方法，其特征在于：所述人形焊接机器人，机械臂包括用于清洗待焊区域的清洗机械臂和用于进行焊接的焊接机械臂；所述步骤S4包括如下步骤：
S41、调整人形焊接机器人的位置，使清洗机械臂、焊接机械臂的操作范围同时覆盖待焊区域；清洗机械臂在清洗待焊区域过程中使用臂载双目相机进行待焊区域三维重建；
S42、基于待焊区域三维重建结果，设定焊接工艺参数；根据焊接工艺参数，焊接机械臂运动，焊接机械臂的焊枪工作，进行焊接工作；
S43、焊接完成后，关闭焊枪，控制清洗机械臂、焊接机械臂复位，控制人形焊接机器人返回初始位置。
10.根据权利要求9所述的基于相机的人形焊接机器人自主焊接作业及规划方法，其特征在于：所述步骤S41中，清洗机械臂、焊接机械臂的操作范围同时覆盖待焊区域是指，清洗机械臂、焊接机械臂均可以以任意末端位姿达到待焊区域；
清洗机械臂在清洗待焊区域过程中使用臂载双目相机进行待焊区域三维重建是指，清洗机械臂末端运动对待焊区域进行清洗；在清洗过程中，固定于清洗机械臂的臂载双目相机采集图像，进而进行待焊区域三维重建，得到待焊区域三维点云；
所述步骤S42，是指，利用待焊区域三维点云，判断待焊区域起点、终点及形状；根据焊接工艺参数库，选择焊接工艺参数，焊接工艺参数包括焊接电流、焊接速度、焊枪角度；根据焊接速度和焊枪角度，控制焊接机械臂运动；根据焊接电源，控制焊接机械臂的焊枪输出焊接电弧；
所述步骤S43，是指，在焊接机械臂运动到待焊区域终点时刻，切断焊接电源输出以关闭焊枪；控制清洗机械臂、焊接机械臂复位；控制人形焊接机器人返回初始位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410430729.6A CN118023799B (zh) | 2024-04-11 | 2024-04-11 | 一种基于相机的人形焊接机器人自主焊接作业及规划方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410430729.6A CN118023799B (zh) | 2024-04-11 | 2024-04-11 | 一种基于相机的人形焊接机器人自主焊接作业及规划方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118023799A true CN118023799A (zh) | 2024-05-14 |
| CN118023799B CN118023799B (zh) | 2024-07-16 |
Family
ID=90984434
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410430729.6A Active CN118023799B (zh) | 2024-04-11 | 2024-04-11 | 一种基于相机的人形焊接机器人自主焊接作业及规划方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118023799B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113333998A (zh) * | 2021-05-25 | 2021-09-03 | 绍兴市上虞区武汉理工大学高等研究院 | 一种基于协作机器人的自动化焊接系统及方法 |
| CN114219910A (zh) * | 2021-09-14 | 2022-03-22 | 陕西科技大学 | 一种融合激光雷达和机器视觉的自动驾驶车畜牧清洗方法 |
| CN114474041A (zh) * | 2021-12-07 | 2022-05-13 | 新拓三维技术(深圳)有限公司 | 一种基于协作机器人的焊接自动化智能引导方法及系统 |
| WO2023193362A1 (zh) * | 2022-04-08 | 2023-10-12 | 西安知象光电科技有限公司 | 一种复合机器人和三维视觉的大型结构件自动焊接系统及方法 |
-
2024
- 2024-04-11 CN CN202410430729.6A patent/CN118023799B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113333998A (zh) * | 2021-05-25 | 2021-09-03 | 绍兴市上虞区武汉理工大学高等研究院 | 一种基于协作机器人的自动化焊接系统及方法 |
| CN114219910A (zh) * | 2021-09-14 | 2022-03-22 | 陕西科技大学 | 一种融合激光雷达和机器视觉的自动驾驶车畜牧清洗方法 |
| CN114474041A (zh) * | 2021-12-07 | 2022-05-13 | 新拓三维技术(深圳)有限公司 | 一种基于协作机器人的焊接自动化智能引导方法及系统 |
| WO2023193362A1 (zh) * | 2022-04-08 | 2023-10-12 | 西安知象光电科技有限公司 | 一种复合机器人和三维视觉的大型结构件自动焊接系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118023799B (zh) | 2024-07-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111055281B (zh) | 一种基于ros的自主移动抓取系统与方法 | |
| WO2020134254A1 (zh) | 一种基于强化学习的喷涂机器人轨迹优化方法 | |
| CN108453738B (zh) | 一种基于Opencv图像处理的四旋翼飞行器空中自主抓取作业的控制方法 | |
| CN106826833B (zh) | 基于3d立体感知技术的自主导航机器人系统 | |
| CN110189399B (zh) | 一种室内三维布局重建的方法及系统 | |
| CN113379910A (zh) | 基于slam的移动机器人矿山场景重建方法及系统 | |
| CN111325768B (zh) | 一种基于3d视觉和模仿学习的自由漂浮目标抓捕方法 | |
| CN106845515A (zh) | 基于虚拟样本深度学习的机器人目标识别和位姿重构方法 | |
| CN106774310A (zh) | 一种机器人导航方法 | |
| CN107917710A (zh) | 一种基于单线激光的室内实时定位与三维地图构建方法 | |
| JP2009157430A (ja) | 座標補正方法、座標補正プログラム、及び自律移動ロボット | |
| CN111260649A (zh) | 一种近距离机械臂感知与校准方法 | |
| CN115299245B (zh) | 一种智能水果采摘机器人的控制方法及控制系统 | |
| CN112405490A (zh) | 一种具有自主导航定位功能的柔性装配机器人 | |
| CN110992487A (zh) | 手持式飞机油箱快速三维地图重建装置及重建方法 | |
| CN113096190A (zh) | 基于视觉建图的全向移动机器人导航方法 | |
| CN118092437A (zh) | 基于数字孪生的多车平行智能协同搜救系统及其构建方法 | |
| CN116429116A (zh) | 一种机器人定位方法及设备 | |
| Song et al. | Robot autonomous sorting system for intelligent logistics | |
| Moolan-Feroze et al. | Simultaneous drone localisation and wind turbine model fitting during autonomous surface inspection | |
| CN118023799B (zh) | 一种基于相机的人形焊接机器人自主焊接作业及规划方法 | |
| Wang et al. | Fast and Accurate 3D Eye-to-hand calibration for large-scale scene based on HALCON | |
| Xue et al. | Real-time 3D grid map building for autonomous driving in dynamic environment | |
| CN213999460U (zh) | 一种具有自主导航定位功能的柔性装配机器人 | |
| Sun et al. | Precise grabbing of overlapping objects system based on end-to-end deep neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |