CN116604212A - 一种基于面阵结构光的机器人焊缝识别方法和系统 - Google Patents

一种基于面阵结构光的机器人焊缝识别方法和系统 Download PDF

Info

Publication number
CN116604212A
CN116604212A CN202310518561.XA CN202310518561A CN116604212A CN 116604212 A CN116604212 A CN 116604212A CN 202310518561 A CN202310518561 A CN 202310518561A CN 116604212 A CN116604212 A CN 116604212A
Authority
CN
China
Prior art keywords
point
point cloud
distance
weld
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310518561.XA
Other languages
English (en)
Inventor
赵岚
唐国寅
陆大为
温秀兰
佘媛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Silicon Scene Automation Technology Co ltd
Nanjing Institute of Technology
Original Assignee
Nanjing Silicon Scene Automation Technology Co ltd
Nanjing Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Silicon Scene Automation Technology Co ltd, Nanjing Institute of Technology filed Critical Nanjing Silicon Scene Automation Technology Co ltd
Priority to CN202310518561.XA priority Critical patent/CN116604212A/zh
Publication of CN116604212A publication Critical patent/CN116604212A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
    • B23K31/02—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to soldering or welding
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K37/00—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
    • B23K37/02—Carriages for supporting the welding or cutting element
    • B23K37/0252—Steering means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Robotics (AREA)
  • Manipulator (AREA)

Abstract

本发明提供一种基于面阵结构光的机器人焊缝识别方法和系统，其中方法包括获取工件表面的第一点云；删除第一点云的噪声，得到第二点云；对第二点云中的点进行平面拟合，得到最佳拟合平面；删除第二点云中最佳拟合平面包含的点，得到第三点云；计算第三点云中的点到最佳拟合平面的距离，得到第一距离；将第一距离大于距离阈值对应的点确定为焊缝特征点，得到焊缝特征点集；对焊缝特征点集进行直线拟合，得到目标焊缝直线方程；将坐标值最小的点和最大的点作为目标焊缝的起始点和终止点，得到目标焊缝轨迹。本发明能够发现任意一点的局部异常值并删除异常值，为其局部邻域内的每个点找到轮廓，解决传统平面拟合算法无法满足实时焊缝跟踪的问题。

Description

一种基于面阵结构光的机器人焊缝识别方法和系统
技术领域
本发明属于机器人焊缝识别技术领域，尤其涉及一种基于面阵结构光的机器人焊缝识别方法和系统。
背景技术
焊接技术是人类工业化进程中的重要成果，广泛应用于工业制造、基础设施建设、航空航天等领域。随着计算机和机器人技术的发展，焊接机器人正在逐步替代传统手工焊接，能够在环境恶劣的情况下进行高强度工作。当今，机器视觉技术发展迅速，市场上出现了多种应用于机器人焊接的传感器，特别是视觉传感器，其具有可提供的信息量大、非接触和灵活性强等特点，将视觉系统和焊接机器人相结合将是未来的发展趋势。当前视觉传感器在焊接领域的应用多数是通过二维图像对焊缝进行处理，这种方法在确定焊接位置的过程中容易受到强烈的弧光、电弧噪声的影响导致难以对焊缝区域进行准确快速的定位，直接影响焊接的质量和效率。然而采用结构光相机能够得到工件的点云数据，点云数据包括了工件表面的高精度三维信息，因此研究将结构光传感器获得的点云数据与机器人焊接相结合是我国智能焊接机器人发展的重要研究方向。
申请号202210361871.0，专利名称为一种基于3D点云的焊缝识别与机器人焊缝跟踪方法提出使用直通滤波、体素滤波和统计滤波去除噪点，借助欧式聚类算法分割出工件点云，通过RANSAC算法分割出焊件的两个面，利用KD-tree搜索两个平面点云的重叠部分即焊缝点云，凭借D-H参数法进行机器人运动学建模，进行焊缝跟踪。但是，RANSAC算法需要进行大量迭代，计算时间较长，在高速焊接过程中往往无法满足实时焊缝跟踪的需求。另外，最小二乘法、主成分分析法等经典方法用于焊接环境光线良好、加工精度要求不高的焊缝识别时效果较好，而对于加工精度要求高，噪声多、强弧光的恶劣环境的焊缝识别还存在不足，难以满足实际焊接过程中对于焊接焊缝精度和速度的需求，导致焊接质量下降。
发明内容
本发明针对现有技术中的不足，提供一种基于面阵结构光的机器人焊缝识别方法和系统。
第一方面，本发明提供一种基于面阵结构光的机器人焊缝识别方法，包括：
获取工件表面的第一点云；
删除第一点云的噪声，得到第二点云；
对第二点云中的点进行平面拟合，得到最佳拟合平面；
删除第二点云中最佳拟合平面包含的点，得到第三点云；
计算第三点云中的点到最佳拟合平面的距离，得到第一距离；
将第一距离大于距离阈值对应的点确定为焊缝特征点，得到焊缝特征点集；
对焊缝特征点集进行直线拟合，得到目标焊缝的直线方程；
将目标焊缝的直线方程置于机器人基坐标系中，获取机器人基坐标系X轴上坐标值最小的点和最大的点，将坐标值最小的点和最大的点作为目标焊缝的起始点和终止点，得到目标焊缝的轨迹。
进一步地，所述对第二点云中的点进行平面拟合，得到最佳拟合平面，包括：
S301，令G＝1，G为迭代次数，新建列表S(λ)；
S302，采用最近邻域搜索法获取多个与第二点云中目标点距离最近的点，作为第二点云中目标点的局部邻域；
S303，从局部邻域中随机选取多个点组成第一子集；
S304，计算第一子集的秩；
S305，判断第一子集的秩是否等于秩的阈值；
S306，如果等于秩的阈值，则采用主成分分析法对第一子集进行平面拟合，得到拟合平面的最小特征值；
S307，如果不等于秩的阈值，则从局部邻域内再选取一个点添加至第一子集中，并返回执行步骤S304的操作；
S308，在秩等于秩的阈值的情况下，计算局部邻域内所有点到拟合平面的正交距离；
S309，将正交距离进行升序排序，选取排序靠前的多个正交距离对应的点组成第二子集，并将最小特征值及对应的第二子集存入列表S(λ)；
S310，判断步骤S303至步骤S309的迭代次数是否大于迭代阈值；
S311，如果不大于迭代阈值，则G＝G+1，返回执行步骤S303的操作；
S312，如果大于迭代阈值，则将列表S(λ)中所有最小特征值的最小值对应的第二子集作为局部邻域点集；
S313，在大于迭代阈值的情况下，计算第二点云中目标点与局部邻域的点集的稳健马氏距离；
S314，判断稳健马氏距离是否大于稳健马氏距离阈值；
S315，如果大于稳健马氏距离阈值，则删除第二点云中目标点；
S316，如果不大于稳健马氏距离阈值，则将第二点云中目标点的集合作为第四点云；
S317，采用主成分分析法对第四点云进行平面拟合，得到机器人基坐标系下的最佳拟合平面。
进一步地，所述将第一距离大于距离阈值对应的点确定为焊缝特征点，得到焊缝特征点集，包括：
判断第一距离是否大于距离阈值；
如果不大于距离阈值，则删除第一距离对应的第三点云中的点；
如果大于距离阈值，则将第一距离对应的第三点云中的点确定为焊缝特征点，得到焊缝特征点集。
进一步地，所述对焊缝特征点集进行直线拟合，得到目标焊缝的直线方程，包括：
根据以下公式计算焊缝特征点集中每个点的权重αr：
其中，σr为焊缝特征点集中第r个点的坐标分量的位置精度；
构建目标焊缝的直线方程为：
其中，(x,y,z)为最佳拟合平面上的点在机器人基坐标系下的坐标；a、b和c分别沿为机器人基坐标系的X、Y和Z轴的方向向量，a2+b2+c2＝1；(x0，y0，z0)为焊缝特征点集在机器人基坐标系下的加权质心坐标； R为焊缝特征点集中点的总数；焊缝特征点集中第r个点的坐标分量xr、yr和zr彼此独立且具有相同的位置精度σr；
构建焊缝特征点集中第r个点与目标焊缝的直线的法向距离Dr平方表达式：
其中，
构建目标优化函数Ω：
构建拉格朗日函数K，利用拉格朗日乘子法求解方向向量分量a、b、c及拉格朗日乘数w：
进一步地，所述将目标焊缝的直线方程置于机器人基坐标系中，获取机器人基坐标系X轴上坐标值最小的点和最大的点，将坐标值最小的点和最大的点作为目标焊缝的起始点和终止点，得到目标焊缝的轨迹，包括：
通过投影获取拟合焊缝X坐标最小和最大的点分别作为目标焊缝的起始点和终止点；令起始点和终止点的坐标分别为(xs,ys,zs)和(xe,ye,ze)；设焊接点数目为l，焊接步长为t，焊接步长在机器人基坐标系下沿X轴、Y轴和Z轴的分量分别为tx、ty和tz，得到焊缝轨迹为：
XΓ+1、YΓ+1和ZΓ+1表示每个焊接点在机器人基坐标系X轴、Y轴和Z轴上的坐标；Г为焊接点的序号。
第二方面，本发明提供一种基于面阵结构光的机器人焊缝识别系统，包括：
点云获取模块，用于获取工件表面的第一点云；
噪声删除模块，用于删除第一点云的噪声，得到第二点云；
平面拟合模块，用于对第二点云中的点进行平面拟合，得到最佳拟合平面；
点删除模块，用于删除第二点云中最佳拟合平面包含的点，得到第三点云；
距离计算模块，用于计算第三点云中的点到最佳拟合平面的距离，得到第一距离；
特征点确定模块，用于将第一距离大于距离阈值对应的点确定为焊缝特征点，得到焊缝特征点集；
直线拟合模块，用于对焊缝特征点集进行直线拟合，得到目标焊缝的直线方程；
焊缝轨迹获取模块，用于将目标焊缝的直线方程置于机器人基坐标系中，获取机器人基坐标系X轴上坐标值最小的点和最大的点，将坐标值最小的点和最大的点作为目标焊缝的起始点和终止点，得到目标焊缝的轨迹。
第三方面，本发明提供一种计算机设备，包括处理器和存储器；其中，处理器执行存储器中保存的计算机程序时实现第一方面所述的基于面阵结构光的机器人焊缝识别方法的步骤。
第四方面，本发明提供一种计算机可读存储介质，用于存储计算机程序；计算机程序被处理器执行时实现第一方面所述的基于面阵结构光的机器人焊缝识别方法的步骤。
本发明提供一种基于面阵结构光的机器人焊缝识别方法和系统，其中方法包括获取工件表面的第一点云；删除第一点云的噪声，得到第二点云；对第二点云中的点进行平面拟合，得到最佳拟合平面；删除第二点云中最佳拟合平面包含的点，得到第三点云；计算第三点云中的点到最佳拟合平面的距离，得到第一距离；将第一距离大于距离阈值对应的点确定为焊缝特征点，得到焊缝特征点集；对焊缝特征点集进行直线拟合，得到目标焊缝的直线方程；将目标焊缝的直线方程置于机器人基坐标系中，获取机器人基坐标系X轴上坐标值最小的点和最大的点，将坐标值最小的点和最大的点作为目标焊缝的起始点和终止点，得到目标焊缝的轨迹。本发明能够发现任意一点的局部异常值并剔除异常值，为其局部邻域内的每个点找到轮廓，便于从无离群点的本地邻域中产生更准确和鲁棒的本地显著特征，而且能够解决传统平面拟合算法无法满足实时焊缝跟踪的问题。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于面阵结构光的机器人焊缝识别方法的流程图；
图2为本发明实施例提供的获取工件点云装置结构示意图；
图3为本发明实施例提供的所针对的焊缝类型示意图；
图4为本发明实施例提供的CDRA方法获得最佳拟合平面流程图；
图5为本发明实施例提供的获取焊缝特征点集流程图；
图6为本发明实施例提供的焊缝直线拟合算法流程图；
图7为本发明实施例提供的本发明方法与RPCA、RANSAC算法平面拟合效果对比图；
图8为本发明实施例提供的本发明方法与RPCA、RANSAC算法平面拟合准确率对比图；
图9为本发明实施例提供的本发明方法与RPCA、RANSAC算法平面拟合所用时间对比图；
图10为发明实施例提供的一种基于面阵结构光的机器人焊缝识别系统法的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在一实施例中，如图1所示，本发明实施例提供一种基于面阵结构光的机器人焊缝识别方法，包括：
步骤101，获取工件表面的第一点云。
示例性地，如图2所示，利用ZividOne面结构光相机拍摄待焊工件，获得工件表面的第一点云U1，在本实施例中第一点云U1共2234000个点。其中，1、机器人控制箱；2、机器人本体；3、焊枪；4、结构光相机；5、相机支架；6、上位机终端；7、待焊工件。
步骤102，删除第一点云的噪声，得到第二点云。
建立机器人基坐标系，以机器人安装基座中心为原点O，以机器人前进方向为X轴，以垂直于机器人底座竖直向上的方向为Z轴，根据右手定则确定Y轴，建立机器人基坐标系OXYZ，通过直通滤波对第一点云U1进行处理，删除所有Z轴坐标值小于0的点，设定Z轴滤波的取值范围为(0，∞)，得到点云U2，在本实施例下点云U2共226342个点。
直通滤波可表示为：
其中Xmin和Xmax分别对应X轴值域的最小值和最大值；Ymin和Ymax对应Y轴值域的最小值和最大值；Zmin和Zmax对应Z轴值域的最小值和最大值；点云U2中各点在X、Y和Z轴上的坐标为xi、yi和zi。
使用体素滤波器对点云U2进行处理，将体素栅格在X、Y和Z各方向的尺寸均设置为cell，其中cell＝2mm，利用每个体素栅格中所有点的质心代表栅格内的点，获得第二点云U3，共f个点，在本实施例中f＝29619。这样可以在不影响点云本身结构的情况下，既降低点云的密度，也避免点云密度过大影响计算速度和精度。
体素滤波可表示为：
其中M、N和L分别为X、Y和Z各方向的等份数，表示向下取整。
步骤103，对第二点云中的点进行平面拟合，得到最佳拟合平面。
如图4所示，本步骤包括S301，令G＝1，G为迭代次数，新建列表S(λ)。
S302，采用最近邻域搜索法获取多个(k个)与第二点云U3中目标点P距离最近的点，作为第二点云中目标点的局部邻域Lp。本实施例中，k＝100。
S303，从局部邻域Lp中随机选取多个(h0个)点组成第一子集π。
S304，计算第一子集π的秩。将子集π中的所有点看作列向量，构成矩阵￡，对矩阵￡进行高斯消元，得到行最简矩阵γ，计算γ中非零行的个数，即为第一子集π的秩。
S305，判断第一子集的秩是否等于秩的阈值h0。本实施例中h0＝3。
S306，如果等于秩的阈值，则采用主成分分析法对第一子集进行平面拟合，得到拟合平面的最小特征值λ0。
S307，如果不等于秩的阈值，则从局部邻域内再选取一个点添加至第一子集中，并返回执行步骤S304的操作。
S308，在秩等于秩的阈值的情况下，计算局部邻域内所有点到拟合平面的正交距离ξ。
点到拟合平面的正交距离ξ表示为：
pΔ表示局部邻域中第Δ个点在机器人基坐标系下的坐标向量；和/>分别表示拟合平面的均值向量及法向量，T为转置算子。
S309，将正交距离进行升序排序，选取排序靠前的多个(h个)正交距离对应的点组成第二子集θ，并将最小特征值λ0及对应的第二子集存入列表S(λ)。本实施例中h＝0.5k。
S310，判断步骤S303至步骤S309的迭代次数G是否大于迭代阈值It。本实施例中It＝70。
S311，如果不大于迭代阈值，则则G＝G+1，返回执行步骤S303的操作。
S312，如果大于迭代阈值，则将列表S(λ)中所有最小特征值的最小值对应的第二子集作为局部邻域的点集MRS。
S313，在大于迭代阈值的情况下，计算第二点云U3中目标点Eq与局部邻域的点集MRS的稳健马氏距离βq。
示例性地，MRS的稳健平均值向量表示为：
px、py和pz分别表示MRS中点在X轴、Y轴和Z轴的坐标；
MRS的协方差矩阵Ψ表示为：
和/>分别表示MRS中点在X轴、Y轴和Z轴的坐标，/>和/>分别表示MRS中所有点在X轴、Y轴和Z轴上坐标的平均值；
稳健马氏距离βq表示为：
表示MRS的稳健平均值向量，Ψ-1表示协方差矩阵Ψ的逆矩阵。
S314，判断稳健马氏距离是否大于稳健马氏距离阈值
S315，如果大于稳健马氏距离阈值则删除第二点云中目标点。
S316，如果不大于稳健马氏距离阈值则将第二点云中目标点的集合作为第四点云U4。
S317，采用主成分分析法对第四点云U4进行平面拟合，得到机器人基坐标系下的最佳拟合平面Ax+By+Cz+D＝0；其中x、y和z是最佳拟合平面上点在机器人基坐标系下的坐标，A、B和C是平面方程系数，D是平面到原点的距离,最佳拟合平面包含第四点云U4中的g个点，本实施例中g＝20461。
步骤104，删除第二点云中最佳拟合平面包含的点，得到第三点云。
如图3和图5所示，输入预处理后的第二点云U3，设定阈值系数为0.98，删除最佳拟合平面包含的点云，得到第三点云U5(即凹槽点云)，共f-g个点，在本实施例中f-g＝9158。图3中，11为凹槽，12为焊缝，13为平面。
步骤105，计算第三点云中的点到最佳拟合平面的距离，得到第一距离dj。
步骤106，将第一距离大于距离阈值对应的点确定为焊缝特征点，得到焊缝特征点集。
如图5所示，本步骤中，判断第一距离dj是否大于距离阈值(阈值系数*dmax)，dmax为dj中的最大值。
如果不大于距离阈值，则删除第一距离对应的第三点云中的点。
如果大于距离阈值，则将第一距离对应的第三点云中的点确定为焊缝特征点，得到焊缝特征点集U6。
步骤107，对焊缝特征点集进行直线拟合，得到目标焊缝的直线方程。
如图6所示，设焊缝特征点集U6中点Nr(r＝1,2,3,…,463)的坐标分量xr、yr和zr彼此独立且具有相同的位置精度σr，即采用最小二乘法计算σr，则其权重αr表示为：
构建目标焊缝的直线方程为：
其中，(x,y,z)为最佳拟合平面上的点在机器人基坐标系下的坐标；a、b和c分别沿为机器人基坐标系的X、Y和Z轴的方向向量，a2+b2+c2＝1；(x0，y0，z0)为焊缝特征点集在机器人基坐标系下的加权质心坐标； R为焊缝特征点集中点的总数，本实施例中R＝463；焊缝特征点集中第r个点的坐标分量xr、yr和zr彼此独立且具有相同的位置精度σr。
构建焊缝特征点集中第r个点与目标焊缝的直线的法向距离Dr平方表达式：
其中，和/>为点/>各方向的残差。
其中，
构建目标优化函数Ω：
构建拉格朗日函数K，利用拉格朗日乘子法求解方向向量分量a、b、c及拉格朗日乘数w：
步骤108，将目标焊缝的直线方程置于机器人基坐标系中，获取机器人基坐标系X轴上坐标值最小的点和最大的点，将坐标值最小的点和最大的点作为目标焊缝的起始点和终止点，得到目标焊缝的轨迹。
示例性地，通过投影获取拟合焊缝X坐标最小和最大的点分别作为目标焊缝的起始点和终止点；令起始点和终止点的坐标分别为(xs,ys,zs)和(xe,ye,ze)；设焊接点数目为l，焊接步长在机器人基坐标系下沿X轴、Y轴和Z轴的分量分别为tx、ty和tz，得到焊缝轨迹为：
XΓ+1、YΓ+1和ZΓ+1表示每个焊接点在机器人基坐标系X轴、Y轴和Z轴上的坐标；Г为焊接点序号。
如图7所示，本发明实施例提供了本发明方法与现有经典稳健主成分分析算法(RPCA)和随机抽样一致算法(RANSAC)平面拟合效果对比图。图7中，(a)是实例点云原图，(b)是RPCA算法拟合效果图，(c)是RANSAC算法拟合效果图，(d)是本发明方法拟合效果图。由图7可见，本发明方法与RPCA和RANSAC相比较能够更准确地剔除点云数据中的离群点，提高平面拟合的精度。
如图8所示，为本发明方法与现有经典稳健主成分分析算法(RPCA)和随机抽样一致算法(RANSAC)平面拟合准确率对比图。图8中当初始点云离群点比例为5％时，RPCA和RANSAC方法识别离群点的准确率分别为94.62％和36.35％，本发明方法识别离群点的准确率为97.94％，本发明方法相对RPCA和RANSAC方法识别离群点的准确率分别提高了3.32％和61.59％。当初始点云离群点比例为20％时，RPCA和RANSAC方法识别离群点的准确率分别为97.05％和47.06％，本发明方法识别离群点的准确率为98.2％；本发明方法相对RPCA和RANSAC识别离群点的准确率分别提高了1.15％和51.14％。当初始点云离群点比例为40％时，RPCA和RANSAC识别离群点的准确率分别为98.97％和61.44％，本发明方法识别离群点的准确率为99.27％；本发明方法相对RPCA和RANSAC方法识别离群点的准确率分别提高了0.3％和37.83％。由此可见，本发明方法与现有经典方法相比明显提高了识别点云数据中离群点的准确率。
如图9所示，本发明方法与现有经典稳健主成分分析算法(RPCA)、随机抽样一致算法(RANSAC)平面拟合所用时间对比图。图9中，当点云共有20个点时，RPCA和RANSAC方法的运行时间分别为0.8289s和0.0714s，本发明方法的运行时间为0.0079s；本发明方法相对RPCA和RANSAC方法的运行时间分别减少了0.821s和0.0635s。当点云共有50个点时，RPCA和RANSAC方法的运行时间分别为0.8365s和0.1282s，本发明方法的运行时间为0.0084s；本发明方法相对RPCA和RANSAC方法的运行时间分别减少了0.8281s和0.1198s。当点云共有100个点时，RPCA和RANSAC方法的运行时间分别为0.8553s和0.1845s，本发明方法的运行时间为0.0092s；本发明方法相对RPCA和RANSAC方法的运行时间分别减少了0.8461s和0.1753s。当点云共有1000个点时，RPCA和RANSAC方法的运行时间分别为1.0751s和0.4318s，本发明方法的运行时间为0.011s；本发明方法相对RPCA和RANSAC方法的运行时间分别减少了1.0641s和0.4208s。当点云共有10000个点时，RPCA和RANSAC方法的运行时间分别为1.2691s和2.3934s，本发明方法的运行时间为0.0376s；本发明方法相对RPCA和RANSAC方法的运行时间分别减少了1.2315s和2.3558s。由此可见，本发明方法有效减少了点云平面拟合的运行时间。
基于同一发明构思，本发明实施例还提供了一种基于面阵结构光的机器人焊缝识别系统，由于该系统解决问题的原理与基于面阵结构光的机器人焊缝识别方法相似，因此该系统的实施可以参见基于面阵结构光的机器人焊缝识别方法的实施，重复之处不再赘述。
在另一实施例中，本发明实施例提供的基于面阵结构光的机器人焊缝识别系统，如图10所示，包括：
点云获取模块10，用于获取工件表面的第一点云。
噪声删除模块20，用于删除第一点云的噪声，得到第二点云。
平面拟合模块30，用于对第二点云中的点进行平面拟合，得到最佳拟合平面。
点删除模块40，用于删除第二点云中最佳拟合平面包含的点，得到第三点云。
距离计算模块50，用于计算第三点云中的点到最佳拟合平面的距离，得到第一距离。
特征点确定模块60，用于将第一距离大于距离阈值对应的点确定为焊缝特征点，得到焊缝特征点集。
直线拟合模块70，用于对焊缝特征点集进行直线拟合，得到目标焊缝的直线方程。
焊缝轨迹获取模块80，用于将目标焊缝的直线方程置于机器人基坐标系中，获取机器人基坐标系X轴上坐标值最小的点和最大的点，将坐标值最小的点和最大的点作为目标焊缝的起始点和终止点，得到目标焊缝的轨迹。
关于上述各个模块更加具体的工作过程可以参考前述实施例公开的相应内容，在此不再进行赘述。
在另一实施例中，本发明提供一种计算机设备，包括处理器和存储器；其中，处理器执行存储器中保存的计算机程序时实现上述基于面阵结构光的机器人焊缝识别方法的步骤。
关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
在另一实施例中，本发明提供一种计算机可读存储介质，用于存储计算机程序；计算机程序被处理器执行时实现上述基于面阵结构光的机器人焊缝识别方法的步骤。
关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的系统、设备和存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
以上结合具体实施方式和范例性实例对本发明进行了详细说明，不过这些说明并不能理解为对本发明的限制。本领域技术人员理解，在不偏离本发明精神和范围的情况下，可以对本发明技术方案及其实施方式进行多种等价替换、修饰或改进，这些均落入本发明的范围内。本发明的保护范围以所附权利要求为准。

Claims (8)

1.一种基于面阵结构光的机器人焊缝识别方法，其特征在于，包括：
获取工件表面的第一点云；
删除第一点云的噪声，得到第二点云；
对第二点云中的点进行平面拟合，得到最佳拟合平面；
删除第二点云中最佳拟合平面包含的点，得到第三点云；
计算第三点云中的点到最佳拟合平面的距离，得到第一距离；
将第一距离大于距离阈值对应的点确定为焊缝特征点，得到焊缝特征点集；
对焊缝特征点集进行直线拟合，得到目标焊缝的直线方程；
将目标焊缝的直线方程置于机器人基坐标系中，获取机器人基坐标系X轴上坐标值最小的点和最大的点，将坐标值最小的点和最大的点作为目标焊缝的起始点和终止点，得到目标焊缝的轨迹。
2.根据权利要求1所述的基于面阵结构光的机器人焊缝识别方法，其特征在于，所述对第二点云中的点进行平面拟合，得到最佳拟合平面，包括：
S301，令G＝1，G为迭代次数，新建列表S(λ)；
S302，采用最近邻域搜索法获取多个与第二点云中目标点距离最近的点，作为第二点云中目标点的局部邻域；
S303，从局部邻域中随机选取多个点组成第一子集；
S304，计算第一子集的秩；
S305，判断第一子集的秩是否等于秩的阈值；
S306，如果等于秩的阈值，则采用主成分分析法对第一子集进行平面拟合，得到拟合平面的最小特征值；
S307，如果不等于秩的阈值，则从局部邻域内再选取一个点添加至第一子集中，并返回执行步骤S304的操作；
S308，在秩等于秩的阈值的情况下，计算局部邻域内所有点到拟合平面的正交距离；
S309，将正交距离进行升序排序，选取排序靠前的多个正交距离对应的点组成第二子集，并将最小特征值及对应的第二子集存入列表S(λ)；
S310，判断步骤S303至步骤S309的迭代次数是否大于迭代阈值；
S311，如果不大于迭代阈值，则G＝G+1，返回执行步骤S303的操作；
S312，如果大于迭代阈值，则将列表S(λ)中所有最小特征值的最小值对应的第二子集作为局部邻域的点集；
S313，在大于迭代阈值的情况下，计算第二点云中目标点与局部邻域的点集的稳健马氏距离；
S314，判断稳健马氏距离是否大于稳健马氏距离阈值；
S315，如果大于稳健马氏距离阈值，则删除第二点云中目标点；
S316，如果不大于稳健马氏距离阈值，则将第二点云中目标点的集合作为第四点云；
S317，采用主成分分析法对第四点云进行平面拟合，得到机器人基坐标系下的最佳拟合平面。
3.根据权利要求1所述的基于面阵结构光的机器人焊缝识别方法，其特征在于，所述将第一距离大于距离阈值对应的点确定为焊缝特征点，得到焊缝特征点集，包括：
判断第一距离是否大于距离阈值；
如果不大于距离阈值，则删除第一距离对应的第三点云中的点；
如果大于距离阈值，则将第一距离对应的第三点云中的点确定为焊缝特征点，得到焊缝特征点集。
4.根据权利要求3所述的基于面阵结构光的机器人焊缝识别方法，其特征在于，所述对焊缝特征点集进行直线拟合，得到目标焊缝的直线方程，包括：
根据以下公式计算焊缝特征点集中每个点的权重αr：
其中，σr为焊缝特征点集中第r个点的坐标分量的位置精度；
构建目标焊缝的直线方程为：
其中，(x,y,z)为最佳拟合平面上的点在机器人基坐标系下的坐标；a、b和c分别沿为机器人基坐标系的X、Y和Z轴的方向向量，a2+b2+c2＝1；(x0，y0，z0)为焊缝特征点集在机器人基坐标系下的加权质心坐标；R为焊缝特征点集中点的总数；焊缝特征点集中第r个点的坐标分量xr、yr和zr彼此独立且具有相同的位置精度σr；
构建焊缝特征点集中第r个点与目标焊缝的直线的法向距离Dr平方表达式：
其中，
构建目标优化函数Ω：
构建拉格朗日函数K，利用拉格朗日乘子法求解方向向量分量a、b、c及拉格朗日乘数w：
5.根据权利要求1所述的基于面阵结构光的机器人焊缝识别方法，其特征在于，所述将目标焊缝的直线方程置于机器人基坐标系中，获取机器人基坐标系X轴上坐标值最小的点和最大的点，将坐标值最小的点和最大的点作为目标焊缝的起始点和终止点，得到目标焊缝的轨迹，包括：
通过投影获取拟合焊缝X坐标最小和最大的点分别作为目标焊缝的起始点和终止点；令起始点和终止点的坐标分别为(xs,ys,zs)和(xe,ye,ze)；设焊接点数目为l，焊接步长为t，焊接步长在机器人基坐标系下沿X轴、Y轴和Z轴的分量分别为tx、ty和tz，得到焊缝轨迹为：
XΓ+1、YΓ+1和ZΓ+1表示每个焊接点在机器人基坐标系X轴、Y轴和Z轴上的坐标；Г为焊接点的序号。
6.一种基于面阵结构光的机器人焊缝识别系统，其特征在于，包括：
点云获取模块，用于获取工件表面的第一点云；
噪声删除模块，用于删除第一点云的噪声，得到第二点云；
平面拟合模块，用于对第二点云中的点进行平面拟合，得到最佳拟合平面；
点删除模块，用于删除第二点云中最佳拟合平面包含的点，得到第三点云；
距离计算模块，用于计算第三点云中的点到最佳拟合平面的距离，得到第一距离；
特征点确定模块，用于将第一距离大于距离阈值对应的点确定为焊缝特征点，得到焊缝特征点集；
直线拟合模块，用于对焊缝特征点集进行直线拟合，得到目标焊缝的直线方程；
焊缝轨迹获取模块，用于将目标焊缝的直线方程置于机器人基坐标系中，获取机器人基坐标系X轴上坐标值最小的点和最大的点，将坐标值最小的点和最大的点作为目标焊缝的起始点和终止点，得到目标焊缝的轨迹。
7.一种计算机设备，其特征在于，包括处理器和存储器；其中，处理器执行存储器中保存的计算机程序时实现权利要求1-5任一项所述的基于面阵结构光的机器人焊缝识别方法的步骤。
8.一种计算机可读存储介质，其特征在于，用于存储计算机程序；计算机程序被处理器执行时实现权利要求1-5任一项所述的基于面阵结构光的机器人焊缝识别方法的步骤。
CN202310518561.XA 2023-05-10 2023-05-10 一种基于面阵结构光的机器人焊缝识别方法和系统 Pending CN116604212A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310518561.XA CN116604212A (zh) 2023-05-10 2023-05-10 一种基于面阵结构光的机器人焊缝识别方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310518561.XA CN116604212A (zh) 2023-05-10 2023-05-10 一种基于面阵结构光的机器人焊缝识别方法和系统

Publications (1)

Publication Number Publication Date
CN116604212A true CN116604212A (zh) 2023-08-18

Family

ID=87681052

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310518561.XA Pending CN116604212A (zh) 2023-05-10 2023-05-10 一种基于面阵结构光的机器人焊缝识别方法和系统

Country Status (1)

Country Link
CN (1) CN116604212A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117830297A (zh) * 2024-03-01 2024-04-05 法奥意威(苏州)机器人系统有限公司 焊缝识别方法、焊接方法、装置及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117830297A (zh) * 2024-03-01 2024-04-05 法奥意威(苏州)机器人系统有限公司 焊缝识别方法、焊接方法、装置及电子设备
CN117830297B (zh) * 2024-03-01 2024-05-28 法奥意威(苏州)机器人系统有限公司 焊缝识别方法、焊接方法、装置及电子设备

Similar Documents

Publication Publication Date Title
Wang et al. A robust weld seam recognition method under heavy noise based on structured-light vision
CN110116407B (zh) 柔性机器人位姿测量方法及装置
CN113427168A (zh) 一种焊接机器人实时焊缝跟踪装置及方法
CN105021124A (zh) 一种基于深度图的平面零件三维位置和法向量计算方法
CN113042939B (zh) 基于三维视觉信息的工件焊缝定位方法及系统
Zhang et al. Point cloud based three-dimensional reconstruction and identification of initial welding position
CN116604212A (zh) 一种基于面阵结构光的机器人焊缝识别方法和系统
Patil et al. Extraction of weld seam in 3d point clouds for real time welding using 5 dof robotic arm
Feng et al. A novel feature-guided trajectory generation method based on point cloud for robotic grinding of freeform welds
Zhou et al. Intelligent guidance programming of welding robot for 3D curved welding seam
Tian et al. Robust identification of weld seam based on region of interest operation
Zou et al. Seam tracking investigation via striped line laser sensor
CN115810133A (zh) 基于图像处理和点云处理的焊接控制方法及相关设备
Ma et al. An efficient and robust complex weld seam feature point extraction method for seam tracking and posture adjustment
Zhang et al. Deep learning-based robot vision: High-end tools for smart manufacturing
CN117162098B (zh) 一种狭小空间机器人姿态自主规划系统及方法
Wang et al. Recognition of initial welding position based on structured-light for arc welding robot
JP2778430B2 (ja) 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置
Li et al. Method for detecting pipeline spatial attitude using point cloud alignment
CN109615603B (zh) 一种基于任务驱动的视觉注意模型提取激光条纹的方法
RU2679860C1 (ru) Способ обработки легкодеформируемых изделий
Dong et al. Pose estimation of components in 3c products based on point cloud registration
Nakhaeinia et al. Surface following with an RGB-D vision-guided robotic system for automated and rapid vehicle inspection
Sun et al. Accurate Pose Tracking of Mobile Robot Using Entropy-based TrimICP in Dynamic Environment
CN115283172B (zh) 一种基于点云处理的机器人自动喷涂方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination