CN114571153A - 一种基于3d点云的焊缝识别与机器人焊缝跟踪方法 - Google Patents

一种基于3d点云的焊缝识别与机器人焊缝跟踪方法 Download PDF

Info

Publication number
CN114571153A
CN114571153A CN202210361871.0A CN202210361871A CN114571153A CN 114571153 A CN114571153 A CN 114571153A CN 202210361871 A CN202210361871 A CN 202210361871A CN 114571153 A CN114571153 A CN 114571153A
Authority
CN
China
Prior art keywords
point cloud
point
robot
points
cloud data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210361871.0A
Other languages
English (en)
Other versions
CN114571153B (zh
Inventor
吴海彬
薛坤斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202210361871.0A priority Critical patent/CN114571153B/zh
Publication of CN114571153A publication Critical patent/CN114571153A/zh
Application granted granted Critical
Publication of CN114571153B publication Critical patent/CN114571153B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K37/00—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Automation & Control Theory (AREA)
  • Numerical Control (AREA)

Abstract

本发明提出一种基于3D点云的焊缝识别与机器人焊缝跟踪方法，包括以下步骤：步骤S1、利用结构光相机获取点云数据，通过手眼标定将点云数据从相机坐标系转换到相机坐标系；步骤S2、对点云数据进行点云预处理，提取出焊件点云数据；步骤S3、焊缝识别，通过RANSAC算法拟合平面，KD‑tree进行最邻域搜索，从焊件点云数据获取焊缝点云数据；步骤S4、轨迹规划，利用D‑H参数法进行机器人运动学建模，利用RANSAC拟合直线获取整条焊缝的空间直线；根据直线插补算法在焊缝空间直线上插值取点，利用运动学逆解求出各个插值点的位姿，将各个点的位姿信息发送给机器人，机器人根据各个点的位姿运动来完成焊缝跟踪；本发明具有识别准确，运算速度快等优点。

Description

一种基于3D点云的焊缝识别与机器人焊缝跟踪方法
技术领域
本发明涉及机器人焊接技术领域，尤其是一种基于3D点云的焊缝识别与机器人焊缝跟踪方法。
背景技术
焊接机器人相比人工焊接而言具有焊接精度高、焊接质量稳定、焊接效率高的特点，伴随着对从业人员要求的增加以及人工成本的增加，机器人代替人工进行焊接已经成为不可避免的趋势。第三代智能焊接机器人可以通过传感器检测环境变化，寻找工件，根据不同策略调整机器人焊接的轨迹最大程度上提高焊接机器人的智能化程度。目前部分焊接机器人已经配有触觉系统等传感器，其中搭配视觉传感器的机器人是焊接机器人的重大研究方向之一，视觉系统可以自主识别焊缝根据焊缝信息自主调节机器人运动轨迹，且具有焊接质量稳定，焊接效率高等优势，焊缝识别的核心内容在于图像识别算法，在复杂环境中准确的识别工件并提取出焊缝成为最核心的问题。目前国内工厂实际应用的焊接机器人极少通过视觉传感器，因此将视觉系统和焊接机器人相结合将是未来的发展趋势。
目前针对视觉传感器在焊接领域应用的绝大多数都是利用二维图像对焊缝进行处理，此类方法无法得到图像是深度信息，无法直接用于机器人焊接，采用结构光相机获取点云数据，点云数据包括工件表面的三维坐标信息且精度更高，研究结构光传感器利用点云数据将之与焊接机器人相结合，应用在焊接领域提高我国智能焊接机器人的发展是非常重要的研究方向。
发明内容
针对现有技术存在的问题，本发明提供一种基于3D点云的焊缝识别与机器人焊缝跟踪方法，涉及到针对角焊缝的焊缝检测方法，可以实现高度精度的检测，本发明针对角焊缝检测时精度高，在焊接之前拍取工件的位置便可以获取焊缝的信息，具有识别准确，运算速度快等优点。
本发明具体采用以下技术方案：
一种基于3D点云的焊缝识别与机器人焊缝跟踪方法具体包括以下步骤：
步骤S1,利用结构光相机获取点云数据，通过手眼标定将点云数据从相机坐标系转换到相机坐标系；
步骤S2,进行点云预处理，通过直通滤波，体素滤波器，统计滤波，欧式聚类，从所有点云数据中提取出焊件点云数据；
步骤S3焊缝识别，通过RANSAC算法拟合平面，KD-tree进行最邻域搜索获取焊缝点云数据。
步骤S4轨迹规划，利用D-H参数法进行机器人运动学建模，利用RANSAC拟合直线获取整条焊缝的空间直线。根据直线插补算法在焊缝空间直线上插值取点，利用运动学逆解求出各个插值点的位姿，将各个点的位姿信息发送给机器人，机器人根据各个点的位姿运动即可完成焊缝跟踪。
优选地，利用结构光相机获取点云数据，通过手眼标定将点云数据从相机坐标系转换到相机坐标系具体为：利用眼在手外的安装方式，固定相机与机器人的位置，利用手眼标定，将标定板固定在机械臂上，相机拍多张机器人不同姿态下标定板的照片，获得相机坐标系与机器人坐标系的转换矩阵即可转换点云数据的坐标系。
优先地，基于各个坐标系之间的转换关系，根据如下关系式引入原始点云数据Q1,得到坐标变换后点云数据Q2：
Figure BDA0003584121180000021
其中
Figure BDA0003584121180000022
为机器人末端坐标系到机器人基坐标系的转换矩阵，
Figure BDA0003584121180000023
为机器人基坐标系到相机坐标系的转换矩阵，
Figure BDA0003584121180000024
为标定板坐标系到相机坐标系的转换矩阵，
Figure BDA0003584121180000025
标定板坐标系到末端坐标系之间的转换矩阵；
优先地，进行点云预处理，通过直通滤波，体素滤波器，统计滤波，欧式聚类，从所有点云数据中提取出焊件点云数据具体为：通过直通滤波去除支撑平面的点云数据通过体素滤波器降低点云密度，通过统计滤波器去除离群点，通过欧式聚类将所有的工件点云作为一个类保持下来。
优先地，步骤S2的实现包括以下步骤：
步骤S2-1，基于直通滤波引入Q1得到坐标变换到滤波后去除支撑平面后的点云Q2：
Figure BDA0003584121180000031
其中Xl、Xh、Yl、Yh、Zl、Zh分别表示值域在X、Y、Z轴三个方向上的最小值和最大值，xi、yi、zi表示点云数据在X、Y、Z上的坐标。
步骤S2-2，基于体素滤波器引入Q2得到滤波后降采样后的的点云Q3：
Figure BDA0003584121180000032
将每个体素栅格里面的h从小到大按顺序排列，计算出栅格重心，并以重心代替栅格内所有点，其中
Figure BDA0003584121180000033
表示向下取整数，Dx、Dy、Dz分别表示体素栅格的尺寸，r为三维体素栅格的边长，xmin、ymin、zmin、xmax、ymax、zmax分别表示点云数据在X、Y、Z轴三个方向上的最小值和最大值。
步骤S2-3基于统计滤波器引入Q3得到滤波去除离群点后的点云Q4：
Figure BDA0003584121180000034
公式四；
其中Xn,Yn,Zn为点云中第n个点坐标，Xm,Ym,Zm为点云中的任意点的坐标，Smax为距离阈值。
步骤S2-4基于欧式聚类引入Q4得到聚类后的工件点云Q5：
对于空间的某点p通过KD-tree邻域搜索找到k个具体p点最近的点，将这些点中距离小于设定阈值的放到聚类集合R中，如果R中元素的数目不再增加时，整个聚类的过程结束，否则在集合R中选取p外的其余点，重复上述过程，直到R的数目不再增加。
优先地、步骤S3的实现包括以下步骤：
步骤S3-1基于RANSAC算法拟合平面，引入Q5，构建平面模型，得到焊接的两个平面点云Q6与Q7；
AC+BY+CZ＝D 公式五；
在所有点云数据中随机的抽取三个点然后根据平面方程计算平面模型参数A、B、C、D。用剩下的所有数据验证步骤平面参数模型，计算误差并与所设定的误差阈值进行比较，若误差小于阈值则该点确定为内点，找到含内点数量最多的平面模型参数。
步骤S3-2基于三维空间欧式距离公式，KD-tree数据结构建立点云拓扑关系引入Q6与Q7，得到焊缝点云Q8。
Figure BDA0003584121180000041
设置距离阈值，随机抽取Q6中的点云为中心，在Q7中利用KD-tree数据结构进行最邻域搜索，当欧式距离小于距离阈值的将该点定义为两片点云的重叠点即焊缝点。
优先地，步骤S4的实现包括以下步骤：
S4-1基于相邻关节之间的转换矩阵，引入输入机器人本体的参数，得到机器人基坐标系到末端坐标系的变换矩阵。
Figure BDA0003584121180000042
其中R表示旋转矩阵，T表示平移矩阵ci为cosθi的缩写，si为sinθi的缩写根据相邻关节之间的转换矩阵利用D-H参数法，进行机器人逆运动学建模。
步骤S4-2，基于RANSAC算法拟合直线，引入焊缝点云Q8，构建直线模型，得到焊缝空间直线。在焊缝点云数据中随机的抽取两个点然后根据直线模型计算直线模型参数m,n,p。用剩下的所有数据验证直线参数模型，计算误差并与所设定的误差阈值进行比较，若误差小于阈值则该点确定为内点，找到含内点数量最多的直线模型参数。
Figure BDA0003584121180000051
其中方向向量s＝(m,n,p),已知点(x0,y0,z0)。
S4-3基于直线插补算法。引入焊缝空间直线方程，得到焊缝中各个插补点的x,y,z坐标。
Figure BDA0003584121180000052
其中
Figure BDA0003584121180000053
其中起点P0(X0,Y0,Z0)与终点Pe(Xe,Ye,Ze),N为插补点的数量。
S4-4,基于机器人运动学建模，引入焊缝中的各个插补点x,y,z坐标，得到各个插补点所对应的机器人位姿参数。
S4-5，基于机器人运动指令，引入各个插补点的位姿参数，控制机器人进行焊缝跟踪。
与现有技术相比，本发明及其优选方案具有以下优势：
本发明所提及的一种基于3D点云的焊缝识别与机器人焊缝跟踪方法。利用直通滤波去除工作台支撑平面，通过体素滤波器降低点云的密度，再通过统计滤波去除噪点，最后通过欧式聚类从所有点云中将工件的点云数据分割出来。利用RANSAC算法进行平面拟合分割出焊件的两个面，最后利用KD-tree进行邻域搜索，求出两个平面点云的重叠部分即焊缝点云。利用D-H参数法进行机器人运动学建模，获得机器人的D-H参数，对焊缝点云进行RANSAC直线拟合再通过插值进行轨迹规划，反求各点机器人的位姿，进行焊缝跟踪。
本发明所提及的一种基于3D点云的焊缝识别与机器人焊缝跟踪方法，无需进行人工示教，只要通过结构光相机拍照就可以获取点云数据并通过处理即可求得焊缝信息且自主进行轨迹规划，解决了传统机器人焊接过程人工示教时间长且应用成本高的特点。
附图说明
下面结合附图和具体实施方式对本发明进一步详细的说明：
附图1是本发明所针对的焊缝类型示意图
附图2为本发明手眼标定坐标变换图解示意图；
附图3为本发明进行焊缝识别与机器人焊缝跟踪流程框示意图；
附图4为本发明进行焊缝识别与机器人焊缝跟踪方法的详细流程图；
图中：1、焊缝轨迹；2、待检测工件；3、结构光传感器；4、机械臂；5、机器人；6、焊枪。
具体实施方式
如图所示，一种基于3D点云的焊缝识别与机器人焊缝跟踪系统，所述系统硬件包括：机器人5、结构光传感器3、焊枪6、电脑、待检测工件2；
所述待检测工件安装于工作台；所述结构光传感器3固定在工作台，所述结构光传感器与所述电脑连接，电脑从结构光传感器读取点云数据以识别待检测工件中的焊缝轨迹1；所述机器人包含机械臂和机器人控制器；所述机械臂的底座设有可识别的基座坐标系，所述机械臂的末端设有可识别的工具坐标系；所述机器人控制器与所述电脑连接；所述焊枪安装于所述机器人的机械臂末端；电脑将识别出的焊缝轨迹发送给机器人。
一种基于3D点云的焊缝识别与机器人焊缝跟踪方法，所述方法采用基于3D点云的焊缝识别与机器人焊缝跟踪系统，所述结构光传感器为结构光相机，包括以下步骤：
步骤S1、利用结构光相机获取点云数据，通过手眼标定将点云数据从相机坐标系转换到相机坐标系；
步骤S2、对点云数据进行点云预处理，通过直通滤波、体素滤波器、统计滤波、欧式聚类的方法，从所有点云数据中提取出焊件点云数据；
步骤S3、焊缝识别，通过RANSAC算法拟合平面，KD-tree进行最邻域搜索，从焊件点云数据获取焊缝点云数据；
步骤S4、轨迹规划，利用D-H参数法进行机器人运动学建模，利用RANSAC拟合直线获取整条焊缝的空间直线；根据直线插补算法在焊缝空间直线上插值取点，利用运动学逆解求出各个插值点的位姿，将各个点的位姿信息发送给机器人，机器人根据各个点的位姿运动来完成焊缝跟踪。
所述步骤S2的实现包括以下步骤：
步骤S2-1，使用直通滤波，遍历输入的所有点云数据，将Z轴坐标大于0的点云数据保留，去除其余点云数据，便可以达到去除支撑平面的效果。
步骤S2-2，使用体素滤波器，设置体素栅格大小，用体素栅格内所有点的重心来代替体素栅格内的点，在可以降低点云密度的情况下，不破坏点云本身的结构。
步骤S2-3，使用统计滤波，设置搜索的邻近点个数为n，计算任意点与邻近n个点的平均距离，该距离大于距离阈值则判断为离群点，去除离群点达到去噪声的效果。
步骤S2-4，使用欧式聚类，设置欧式聚类邻域距离阈值利用KD-tree进行邻域搜索，以某点为中心找到k个与某点距离最近的点，将距离小于阈值的点设置为同一类点，随机的选取点云数据中的其他点重复上述邻域搜索的过程直到聚类中的点不再变化的时候至此聚类结束，即完成对焊件的点云数据提取。
步骤S3的实现包括以下步骤：
步骤S3-1，利用RANSAC算法进行平面拟合，在点云数据中随机的抽取三个点来建立平面模型，计算其他点到该平面模型的欧式距离，当距离小于阈值时将该点定义为平面内点，不断重复上述的过程，找到包含内点数量最多的平面模型，将符合平面模型的点记为平面模型1，将其余点作为第二次RANSAC平面拟合的原始点云数据，方法同上通过RANSAC算法进行平面拟合便可得到平面模型2；
在所有点云数据中随机的抽取三个点，然后根据平面方程计算平面模型参数A、B、C、D；用剩下的所有数据验证步骤平面参数模型，计算误差并与所设定的误差阈值进行比较，若误差小于阈值则该点确定为内点，找到含内点数量最多的平面模型参数；以公式表述为
AC+BY+CZ＝D。
步骤S3-2，利用KD-tree进行最邻近搜索，设置距离阈值，用平面模型1中的所有的在平面模型2中进行最邻近搜索，当平面模型1中的点与平面模型2中的最邻近点的欧氏距离小于阈值时，将该点设置为焊缝点云；以公式表述为
Figure BDA0003584121180000081
具体为：基于RANSAC算法拟合平面，引入Q5，构建平面模型，得到焊接的两个平面点云Q6与Q7；基于三维空间欧式距离公式，KD-tree数据结构建立点云拓扑关系引入Q6与Q7，得到焊缝点云Q8；设置距离阈值，随机抽取Q6中的点云为中心，在Q7中利用KD-tree数据结构进行最邻域搜索，当欧式距离小于距离阈值的将该点定义为两片点云的重叠点即焊缝点。
为了让本专利的特征和优点能更明显易懂，下文将结合具体实施例对本发明进行详细说明：
步骤1,利用结构光相机获取点云数据，通过手眼标定将点云数据从相机坐标系转换到相机坐标系；
获取点云数据的具体步骤为：
步骤1-1，结构光相机与机器人采用眼在手外的安装方式，将标定板固定在机器人末端，用相机拍摄标定板，记录下一组机器人的位姿信息与标定板在结构光相机中的坐标，重复上述过程，拍30组机器人在不同姿态下标定板的照片且记录30组数据，利用利用Tais方法求解出机器人基坐标系与相机坐标系的转换矩阵。
步骤1-2，利用转换矩阵可以将点云数据从相机坐标系转换到机器人基坐标系。
步骤2,点云预处理，通过直通滤波，体素滤波器，统计滤波，欧式聚类，从所有点云数据中提取出焊件点云数据；
点云预处理的基本步骤为：
步骤2-1，对转换坐标后的点云数据使用直通滤波器，设置Z轴的滤波范围(0，+∞)，遍历输入的所有点云数据将Z轴坐标大于0的点云数据保留其余直接取出，便可以达到去除支撑平面的效果。
步骤2-2，使用体素滤波器，设置体素栅格在XYZ方向上的栅格大小均为2mm，用体素栅格内所有点的重心来代替体素栅格内的点，在可以降低点云密度的情况下，不破坏点云本身的结构避免点云密度过大影响计算速度与精度。
步骤2-3，使用统计滤波，设置搜索的邻近点个数为500，距离阈值倍数位1，计算出某点与邻域500个点的平均距离，该距离大于距离阈值则判断为离群点，去除离群点达到去噪声的效果。
步骤2-4，使用欧式聚类，设置欧式聚类邻域距离阈值为20mm，一个聚类的最小与最大点云数目分别为1000与100000，利用KD-tree进行邻域搜索，以某点为中心找到500个与某点距离最近的点，将距离小于阈值的点设置为同一类点，随机的选取点云数据中的其他点重复上述邻域搜索的过程知道聚类中的点不再变化的时候至此聚类结束，即提取到工件的点云数据。
步骤S3焊缝识别，通过RANSAC算法拟合平面，KD-tree进行最邻域搜索获取焊缝点云数据。
焊缝识别的基本步骤为：
步骤3-1，利用RANSAC算法进行平面拟合，设置最大的迭代次数为100，距离阈值0.5mm，在点云数据中随机的抽取三个点建立平面模型，计算其他点到该平面模型的欧式距离，当距离小于0.5mm时讲该点定义为平面内点，不断重复上述的过程，当迭代次数达到100是，找到包含内点数量最多的平面模型，将符合平面模型的点记为平面模型1，其余点记为外点，将外点作为第二次RANSAC平面拟合的原始点云数据，方法与参数均和第一次平面拟合一致，便可得到平面模型2。
步骤3-2，利用以KD-tree进行最邻近搜索设置距离阈值为0.01mm，以平面模型1为基准，在平面模型1中随机的选择一个点作为中心点，利用KD-tree在平面模型2中进行最邻近搜索并计算距离，当距离小于阈值0.01是则讲该点记录为焊缝点，重复上述过程遍历完平面模型1中的所有点都进行最邻近搜索，最终得到所有的焊缝点。
步骤S4轨迹规划，利用D-H参数法进行机器人运动学建模，利用RANSAC拟合直线获取整条焊缝的空间直线。根据直线插补算法在焊缝空间直线上插值取点，利用运动学逆解求出各个插值点的位姿，将各个点的位姿信息发送给机器人，机器人根据各个点的位姿运动即可完成焊缝跟踪。
轨迹规划具体步骤为：
步骤S4-1,根据机器人的本体参数，采用D-H参数法利用matable运算求出机器人的运动学的逆解。
步骤S4-2，利用RANSAC算法进行直线拟合，设置距离阈值为0.05mm,迭代次数50，在焊缝点云数据中随机的抽取两个点建立直线模型，计算其余点到该直线模型的欧式距离，当距离小于0.05mm时将该点定义为直线的内点，重复上述过程，当迭代次数到达50时选出包含内点数量最多的直线模型。该直线模型便为焊缝直线。
步骤S4-3，根据拟合出来的焊缝空间直线和原始焊缝点云数据起点和终点，进行直线插补取50个点求得插补点的坐标。
步骤S4-4，通过S4-1的运动学逆解，求出各个插补点所对应的六个轴的角度。
步骤S4-5，编写机器人运动程序，将机器人作为TCP通讯的客户端等待电脑发送焊缝轨迹，接受到轨迹后利用MOVEL运动指令进行焊缝跟踪。
本专利不局限于上述最佳实施方式，任何熟悉本技术领域的技术人员在本专利的启示下都可以得出其他各种形式的焊缝识别方法。凡依本发明申请专利范围所做的均等变化与修饰，皆应属本专利的涵盖范围。

Claims (4)

1.一种基于3D点云的焊缝识别与机器人焊缝跟踪系统，其特征在于：所述系统硬件包括：机器人、结构光传感器、焊枪、电脑、待检测工件；
所述待检测工件安装于工作台；所述结构光传感器固定在工作台，所述结构光传感器与所述电脑连接，电脑从结构光传感器读取点云数据以识别待检测工件中的焊缝轨迹；所述机器人包含机械臂和机器人控制器；所述机械臂的底座设有可识别的基座坐标系，所述机械臂的末端设有可识别的工具坐标系；所述机器人控制器与所述电脑连接；所述焊枪安装于所述机器人的机械臂末端；电脑将识别出的焊缝轨迹发送给机器人。
2.一种基于3D点云的焊缝识别与机器人焊缝跟踪方法，其特征在于：所述方法采用基于3D点云的焊缝识别与机器人焊缝跟踪系统，所述结构光传感器为结构光相机，包括以下步骤：
步骤S1、利用结构光相机获取点云数据，通过手眼标定将点云数据从相机坐标系转换到相机坐标系；
步骤S2、对点云数据进行点云预处理，通过直通滤波、体素滤波器、统计滤波、欧式聚类的方法，从所有点云数据中提取出焊件点云数据；
步骤S3、焊缝识别，通过RANSAC算法拟合平面，KD-tree进行最邻域搜索，从焊件点云数据获取焊缝点云数据；
步骤S4、轨迹规划，利用D-H参数法进行机器人运动学建模，利用RANSAC拟合直线获取整条焊缝的空间直线；根据直线插补算法在焊缝空间直线上插值取点，利用运动学逆解求出各个插值点的位姿，将各个点的位姿信息发送给机器人，机器人根据各个点的位姿运动来完成焊缝跟踪。
3.根据权利要求2所述的一种基于3D点云的焊缝识别与机器人焊缝跟踪方法，其特征在于：所述步骤S2的实现包括以下步骤：
步骤S2-1，使用直通滤波，遍历输入的所有点云数据，将Z轴坐标大于0的点云数据保留，去除其余点云数据，便可以达到去除支撑平面的效果。
步骤S2-2，使用体素滤波器，设置体素栅格大小，用体素栅格内所有点的重心来代替体素栅格内的点，在可以降低点云密度的情况下，不破坏点云本身的结构。
步骤S2-3，使用统计滤波，设置搜索的邻近点个数为n，计算任意点与邻近n个点的平均距离，该距离大于距离阈值则判断为离群点，去除离群点达到去噪声的效果。
步骤S2-4，使用欧式聚类，设置欧式聚类邻域距离阈值利用KD-tree进行邻域搜索，以某点为中心找到k个与某点距离最近的点，将距离小于阈值的点设置为同一类点，随机的选取点云数据中的其他点重复上述邻域搜索的过程直到聚类中的点不再变化的时候至此聚类结束，即完成对焊件的点云数据提取。
4.根据权利要求2所述的一种基于3D点云的焊缝识别与机器人焊缝跟踪方法，其特征在于：步骤S3的实现包括以下步骤：
步骤S3-1，利用RANSAC算法进行平面拟合，在点云数据中随机的抽取三个点来建立平面模型，计算其他点到该平面模型的欧式距离，当距离小于阈值时将该点定义为平面内点，不断重复上述的过程，找到包含内点数量最多的平面模型，将符合平面模型的点记为平面模型1，将其余点作为第二次RANSAC平面拟合的原始点云数据，方法同上通过RANSAC算法进行平面拟合便可得到平面模型2；
在所有点云数据中随机的抽取三个点，然后根据平面方程计算平面模型参数A、B、C、D；用剩下的所有数据验证步骤平面参数模型，计算误差并与所设定的误差阈值进行比较，若误差小于阈值则该点确定为内点，找到含内点数量最多的平面模型参数；以公式表述为
AC+BY+CZ＝D。
步骤S3-2，利用KD-tree进行最邻近搜索，设置距离阈值，用平面模型1中的所有的在平面模型2中进行最邻近搜索，当平面模型1中的点与平面模型2中的最邻近点的欧氏距离小于阈值时，将该点设置为焊缝点云；以公式表述为
Figure FDA0003584121170000021
具体为：基于RANSAC算法拟合平面，引入Q5，构建平面模型，得到焊接的两个平面点云Q6与Q7；基于三维空间欧式距离公式，KD-tree数据结构建立点云拓扑关系引入Q6与Q7，得到焊缝点云Q8；设置距离阈值，随机抽取Q6中的点云为中心，在Q7中利用KD-tree数据结构进行最邻域搜索，当欧式距离小于距离阈值的将该点定义为两片点云的重叠点即焊缝点。
CN202210361871.0A 2022-04-07 2022-04-07 一种基于3d点云的焊缝识别与机器人焊缝跟踪方法 Active CN114571153B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210361871.0A CN114571153B (zh) 2022-04-07 2022-04-07 一种基于3d点云的焊缝识别与机器人焊缝跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210361871.0A CN114571153B (zh) 2022-04-07 2022-04-07 一种基于3d点云的焊缝识别与机器人焊缝跟踪方法

Publications (2)

Publication Number Publication Date
CN114571153A true CN114571153A (zh) 2022-06-03
CN114571153B CN114571153B (zh) 2023-10-10

Family

ID=81778029

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210361871.0A Active CN114571153B (zh) 2022-04-07 2022-04-07 一种基于3d点云的焊缝识别与机器人焊缝跟踪方法

Country Status (1)

Country Link
CN (1) CN114571153B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115032200A (zh) * 2022-08-10 2022-09-09 广东省智能机器人研究院 新能源圆柱形电池顶部封口焊缝3d缺陷检测方法及系统
CN115100416A (zh) * 2022-06-27 2022-09-23 佛山市南海区广工大数控装备协同创新研究院 一种不规则钢板位姿识别方法及相关设备
CN115249267A (zh) * 2022-09-22 2022-10-28 海克斯康制造智能技术(青岛)有限公司 一种基于转台及机器人位姿解算的自动检测方法及装置
CN115409862A (zh) * 2022-08-31 2022-11-29 深圳前海瑞集科技有限公司 焊缝位置的确定方法和装置、电子设备及存储介质
CN115556120A (zh) * 2022-09-30 2023-01-03 中建三局第三建设工程有限责任公司 一种基于随机自适应的焊缝路径规划无示教方法
CN116579955A (zh) * 2023-07-13 2023-08-11 厦门微图软件科技有限公司 一种新能源电芯焊缝反光点去噪和点云补全方法及系统
CN116690046A (zh) * 2023-08-04 2023-09-05 中国电力科学研究院有限公司 焊缝位置指示器、角焊缝的端点定位方法和焊接方法
CN116823735A (zh) * 2023-06-01 2023-09-29 上海赛威德机器人有限公司 焊缝打磨特征提取方法、焊缝检测与打磨方法
CN117047237A (zh) * 2023-10-11 2023-11-14 太原科技大学 一种异形件智能柔性焊接系统与方法
CN117576094A (zh) * 2024-01-15 2024-02-20 中铁科工集团有限公司 一种3d点云智能感知焊缝位姿提取方法、系统、设备
CN117884811A (zh) * 2024-01-31 2024-04-16 南京航空航天大学 一种基于dlp三维视觉的立体结构工件焊缝定位装置
CN117885096A (zh) * 2024-01-31 2024-04-16 宝应帆洋船舶电器配件制造有限公司 一种控制机器人末端焊枪的焊接作业的方法及装置
CN118275450A (zh) * 2024-05-30 2024-07-02 菲特（天津）检测技术有限公司 焊缝检测方法和装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104400279A (zh) * 2014-10-11 2015-03-11 南京航空航天大学 基于ccd的管道空间焊缝自动识别与轨迹规划的方法及系统
CN104708239A (zh) * 2015-02-12 2015-06-17 南京航空航天大学 基于ccd的大型海洋管道起始点识别与定位方法及系统
CN106238969A (zh) * 2016-02-23 2016-12-21 南京中建化工设备制造有限公司 基于结构光视觉的非标件自动化焊接加工系统
CN108453439A (zh) * 2018-03-14 2018-08-28 清华大学天津高端装备研究院洛阳先进制造产业研发基地 基于视觉传感的机器人焊接轨迹自主编程系统及方法
CN109514133A (zh) * 2018-11-08 2019-03-26 东南大学 一种基于线结构光感知的焊接机器人3d曲线焊缝自主示教方法
CN109541997A (zh) * 2018-11-08 2019-03-29 东南大学 一种面向平面/近似平面工件的喷涂机器人快速智能编程方法
CN112122840A (zh) * 2020-09-23 2020-12-25 西安知象光电科技有限公司 一种基于机器人焊接的视觉定位焊接系统及焊接方法
CN113218330A (zh) * 2021-04-27 2021-08-06 大连理工大学 基于pcl库的大型薄壁构件测量及数据处理方法
CN113298949A (zh) * 2021-05-11 2021-08-24 武汉工程大学 D类焊缝信息获取方法、装置及计算机存储介质
CN113592862A (zh) * 2021-09-27 2021-11-02 武汉科技大学 钢板表面缺陷的点云数据分割方法、系统、设备、介质
CN114170176A (zh) * 2021-12-02 2022-03-11 南昌大学 一种基于点云的钢格板焊缝自动检测方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104400279A (zh) * 2014-10-11 2015-03-11 南京航空航天大学 基于ccd的管道空间焊缝自动识别与轨迹规划的方法及系统
CN104708239A (zh) * 2015-02-12 2015-06-17 南京航空航天大学 基于ccd的大型海洋管道起始点识别与定位方法及系统
CN106238969A (zh) * 2016-02-23 2016-12-21 南京中建化工设备制造有限公司 基于结构光视觉的非标件自动化焊接加工系统
CN108453439A (zh) * 2018-03-14 2018-08-28 清华大学天津高端装备研究院洛阳先进制造产业研发基地 基于视觉传感的机器人焊接轨迹自主编程系统及方法
CN109514133A (zh) * 2018-11-08 2019-03-26 东南大学 一种基于线结构光感知的焊接机器人3d曲线焊缝自主示教方法
CN109541997A (zh) * 2018-11-08 2019-03-29 东南大学 一种面向平面/近似平面工件的喷涂机器人快速智能编程方法
CN112122840A (zh) * 2020-09-23 2020-12-25 西安知象光电科技有限公司 一种基于机器人焊接的视觉定位焊接系统及焊接方法
CN113218330A (zh) * 2021-04-27 2021-08-06 大连理工大学 基于pcl库的大型薄壁构件测量及数据处理方法
CN113298949A (zh) * 2021-05-11 2021-08-24 武汉工程大学 D类焊缝信息获取方法、装置及计算机存储介质
CN113592862A (zh) * 2021-09-27 2021-11-02 武汉科技大学 钢板表面缺陷的点云数据分割方法、系统、设备、介质
CN114170176A (zh) * 2021-12-02 2022-03-11 南昌大学 一种基于点云的钢格板焊缝自动检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
何银水等: "改进的近邻聚类算法用于水下焊缝图像的识别", 《电焊机》 *
杨泽鑫等: "基于PCL和Qt的点云处理系统设计与开发", 《广东工业大学学报》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100416A (zh) * 2022-06-27 2022-09-23 佛山市南海区广工大数控装备协同创新研究院 一种不规则钢板位姿识别方法及相关设备
CN115032200A (zh) * 2022-08-10 2022-09-09 广东省智能机器人研究院 新能源圆柱形电池顶部封口焊缝3d缺陷检测方法及系统
CN115032200B (zh) * 2022-08-10 2022-10-21 广东省智能机器人研究院 新能源圆柱形电池顶部封口焊缝3d缺陷检测方法及系统
CN115409862A (zh) * 2022-08-31 2022-11-29 深圳前海瑞集科技有限公司 焊缝位置的确定方法和装置、电子设备及存储介质
CN115409862B (zh) * 2022-08-31 2024-07-26 深圳前海瑞集科技有限公司 焊缝位置的确定方法和装置、电子设备及存储介质
CN115249267A (zh) * 2022-09-22 2022-10-28 海克斯康制造智能技术(青岛)有限公司 一种基于转台及机器人位姿解算的自动检测方法及装置
CN115556120A (zh) * 2022-09-30 2023-01-03 中建三局第三建设工程有限责任公司 一种基于随机自适应的焊缝路径规划无示教方法
CN115556120B (zh) * 2022-09-30 2023-08-04 中建三局第三建设工程有限责任公司 一种基于随机自适应的焊缝路径规划无示教方法
CN116823735A (zh) * 2023-06-01 2023-09-29 上海赛威德机器人有限公司 焊缝打磨特征提取方法、焊缝检测与打磨方法
CN116579955B (zh) * 2023-07-13 2023-10-20 厦门微图软件科技有限公司 一种新能源电芯焊缝反光点去噪和点云补全方法及系统
CN116579955A (zh) * 2023-07-13 2023-08-11 厦门微图软件科技有限公司 一种新能源电芯焊缝反光点去噪和点云补全方法及系统
CN116690046B (zh) * 2023-08-04 2023-09-29 中国电力科学研究院有限公司 焊缝位置指示器、角焊缝的端点定位方法和焊接方法
CN116690046A (zh) * 2023-08-04 2023-09-05 中国电力科学研究院有限公司 焊缝位置指示器、角焊缝的端点定位方法和焊接方法
CN117047237A (zh) * 2023-10-11 2023-11-14 太原科技大学 一种异形件智能柔性焊接系统与方法
CN117047237B (zh) * 2023-10-11 2024-01-19 太原科技大学 一种异形件智能柔性焊接系统与方法
CN117576094A (zh) * 2024-01-15 2024-02-20 中铁科工集团有限公司 一种3d点云智能感知焊缝位姿提取方法、系统、设备
CN117576094B (zh) * 2024-01-15 2024-04-19 中铁科工集团有限公司 一种3d点云智能感知焊缝位姿提取方法、系统、设备
CN117884811A (zh) * 2024-01-31 2024-04-16 南京航空航天大学 一种基于dlp三维视觉的立体结构工件焊缝定位装置
CN117885096A (zh) * 2024-01-31 2024-04-16 宝应帆洋船舶电器配件制造有限公司 一种控制机器人末端焊枪的焊接作业的方法及装置
CN118275450A (zh) * 2024-05-30 2024-07-02 菲特（天津）检测技术有限公司 焊缝检测方法和装置

Also Published As

Publication number Publication date
CN114571153B (zh) 2023-10-10

Similar Documents

Publication Publication Date Title
CN114571153B (zh) 一种基于3d点云的焊缝识别与机器人焊缝跟踪方法
CN109514133B (zh) 一种基于线结构光感知的焊接机器人3d曲线焊缝自主示教方法
CN110091333B (zh) 复杂曲面表面焊缝特征识别和自动磨抛的装置及方法
CN111251295B (zh) 一种应用于参数化零件的视觉机械臂抓取方法及装置
CN110227876A (zh) 基于3d点云数据的机器人焊接路径自主规划方法
CN110378325B (zh) 一种机器人抓取过程中的目标位姿识别方法
CN110455187B (zh) 一种基于三维视觉的盒体工件焊缝的检测方法
CN111923053A (zh) 基于深度视觉的工业机器人物件抓取示教系统及方法
CN112509063A (zh) 一种基于边缘特征匹配的机械臂抓取系统及方法
CN113715016B (zh) 一种基于3d视觉的机器人抓取方法、系统、装置及介质
Patil et al. Extraction of weld seam in 3d point clouds for real time welding using 5 dof robotic arm
CN111243017A (zh) 基于3d视觉的智能机器人抓取方法
CN112669385A (zh) 基于三维点云特征的工业机器人工件识别与位姿估计方法
CN115213896A (zh) 基于机械臂的物体抓取方法、系统、设备及存储介质
CN115965960A (zh) 一种基于深度学习与3d点云的焊缝识别方法
CN114800511B (zh) 一种基于复用结构的双阶段机械臂抓取规划方法和系统
CN116542914A (zh) 基于3d点云的焊缝提取与拟合方法
CN110363801B (zh) 工件实物与工件三维cad模型的对应点匹配方法
CN118122642A (zh) 一种板簧压力分拣方法及分拣系统
CN111709095A (zh) 一种面向复杂曲面6d虚拟夹具构造方法
Lin et al. Target recognition and optimal grasping based on deep learning
CN112123329B (zh) 一种机器人3d视觉手眼标定方法
CN110060330B (zh) 一种基于点云图像的三维建模方法、装置和机器人
Tian et al. Robotic Grasping of Pillow Spring Based on MG-YOLOv5s Object Detection Algorithm and Image-Based Visual Serving
Chavitranuruk et al. Vision System for Detecting and Locating Micro-Scale Objects with Guided Cartesian Robot

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant