CN115570310B - 焊缝点云动态重建方法、装置、系统、设备及存储介质 - Google Patents

焊缝点云动态重建方法、装置、系统、设备及存储介质 Download PDF

Info

Publication number
CN115570310B
CN115570310B CN202211330645.2A CN202211330645A CN115570310B CN 115570310 B CN115570310 B CN 115570310B CN 202211330645 A CN202211330645 A CN 202211330645A CN 115570310 B CN115570310 B CN 115570310B
Authority
CN
China
Prior art keywords
line
image
point cloud
welding robot
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211330645.2A
Other languages
English (en)
Other versions
CN115570310A (zh
Inventor
王念峰
傅钰
张宪民
郑永忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanji Precision Technology Guangdong Co ltd
South China University of Technology SCUT
Original Assignee
Sanji Precision Technology Guangdong Co ltd
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanji Precision Technology Guangdong Co ltd, South China University of Technology SCUT filed Critical Sanji Precision Technology Guangdong Co ltd
Priority to CN202211330645.2A priority Critical patent/CN115570310B/zh
Publication of CN115570310A publication Critical patent/CN115570310A/zh
Application granted granted Critical
Publication of CN115570310B publication Critical patent/CN115570310B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K37/00—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
    • B23K37/02—Carriages for supporting the welding or cutting element
    • B23K37/0252—Steering means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0081—Programme-controlled manipulators with master teach-in means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30172—Centreline of tubular or elongated structure

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Robotics (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种焊缝点云动态重建方法、装置、系统、设备及存储介质，所述方法包括：获取待测焊缝的示教轨迹；运行所述示教轨迹，同时，获取运行时所述示教轨迹的多帧激光线图像；对激光线图像进行激光线的中心线提取，以获得图像坐标系下的中心线点集；基于所述中心线点集，根据焊接机器人位姿和线结构光视觉传感器标定结果，将图像坐标系下的二维点转换为空间点；对不断输入的空间点进行更新和显示，直至完成待测焊缝的点云重建。本发明可以实现焊接机器人对焊缝的动态三维重建，焊缝的三维点云具有比图像更加全面的信息，为从三维点云的角度分析焊缝奠定了研究基础。

Description

焊缝点云动态重建方法、装置、系统、设备及存储介质
技术领域
本发明涉及一种焊缝点云动态重建方法、装置、系统、设备及存储介质，属于机器视觉技术领域。
背景技术
随着智能制造的发展和人工成本的上升，自动化及精密化焊接的需求日渐增大。由于焊接参数的选择不当，比如：使用潮湿的焊丝、保护气供给不足、焊接速度过快等因素，焊好的焊缝往往具有表面缺陷，这将引发质量问题。
随着三维重建技术的发展，使用三维重建技术对焊缝表面进行点云重建，从三维整体的角度分析焊缝的形貌特征，将为焊缝的表面缺陷检测提供一种新的检测方案。但是，目前结构光三维重建多使用编码结构光，依赖于三角测量原理，进而获得物体相对于扫描仪的深度信息。但在焊接场景中，编码结构光往往不能适用于结构复杂的工件，从而会使三维重建效果不佳。
发明内容
有鉴于此，本发明提供了一种焊缝点云动态重建方法、装置、系统、计算机设备及存储介质，其可以实现焊接机器人对焊缝的动态三维重建，焊缝的三维点云具有比图像更加全面的信息，为从三维点云的角度分析焊缝奠定了研究基础。
本发明的第一个目的在于提供一种焊缝点云动态重建方法。
本发明的第二个目的在于提供一种焊缝点云动态重建装置。
本发明的第二个目的在于提供一种焊缝点云动态重建系统。
本发明的第四个目的在于提供一种计算机设备。
本发明的第五个目的在于提供一种存储介质。
本发明的第一个目的可以通过采取如下技术方案达到：
一种焊缝点云动态重建方法，所述方法包括：
获取待测焊缝的示教轨迹，其中，所述示教轨迹通过焊接机器人及线结构光视觉传感器对初始安装工件进行示教而得；
运行所述示教轨迹，同时，获取运行时所述示教轨迹的多帧激光线图像；
对激光线图像进行激光线的中心线提取，以获得图像坐标系下的中心线点集，其中，所述中心线点集包括多个二维点；
基于所述中心线点集，根据焊接机器人位姿和线结构光视觉传感器标定结果，将图像坐标系下的二维点转换为空间点；
对不断输入的空间点进行更新和显示，直至完成待测焊缝的点云重建。
进一步的，所述对激光线图像进行激光线的中心线提取之前，还包括：
将每帧激光线图像存入预设的图像队列中；
判断所述图像队列是否为空集，并输出判断结果；
若判断结果为否，则以先进先出的原则输出激光线图像。
进一步的，所述对激光线图像进行激光线的中心线提取，以获得图像坐标系下的中心线点集，包括：
根据中值滤波算法，对激光线图像进行处理；
为处理后的激光线图像的每个像素点建立矩阵H，其中，所述矩阵H，如下式：
其中，g(x，y)表示处理后的激光线图像；
根据条件计算所述矩阵H的特征值λi和特征向量
根据最大特征值所对应的特征向量和每个像素点，得到所述中心线点集。
进一步的，所述根据最大特征值所对应的特征向量和每个像素点，得到所述中心线点集，具体包括：
将最大特征值所对应的特征向量记为(nx，ny)；
以像素点(x0，y0)为例，则对应激光线的中心点位置(px，py)，如下式：
(px，py)＝(x0+tnx，y0+tny)
其中，gx表示x方向梯度，gy表示y方向梯度，gxy表示二阶梯度，先对x求导，再对y求导，gxx和gyy同理；
若tnx和tny的绝对值小于或等于阈值，则像素点(x0，y0)为激光线的中心点，保存像素点(x0，y0)对应的亚像素坐标(px，py)并作为中心线点；
对其余像素点重复以上操作，得到所述中心线点集。
进一步的，所述线结构光视觉传感器包括相机；
所述基于所述中心线点集，根据焊接机器人位姿和线结构光视觉传感器标定结果，将图像坐标系下的二维点转换为空间点，包括：
获取所述中心线点集所对应的焊接机器人手眼关系矩阵和相机标定矩阵；
基于二维点，根据所述焊接机器人手眼关系矩阵和相机标定矩阵，计算相对于焊接机器人基座坐标系的空间点。
进一步的，在所述对不断输入的空间点进行更新和显示，直至完成待测焊缝的点云重建中，包括：
使用可视化开源库对不断输入的空间点进行更新并显示；
在显示过程中，通过不断重置可视化开源库的内部参数，使点云保持在相机视野中央。
本发明的第二个目的可以通过采取如下技术方案达到：
一种焊缝点云动态重建装置，所述装置包括：
第一获取模块，用于获取待测焊缝的示教轨迹，其中，所述示教轨迹通过焊接机器人及线结构光视觉传感器对初始安装工件进行示教而得；
第二获取模块，用于运行所述示教轨迹，同时，获取运行时所述示教轨迹的多帧激光线图像；
提取模块，用于对激光线图像进行激光线的中心线提取，以获得图像坐标系下的中心线点集，其中，所述中心线点集包括多个二维点；
转换模块，用于基于所述中心线点集，根据焊接机器人位姿和线结构光视觉传感器标定结果，将图像坐标系下的二维点转换为空间点；
动态重建模块，用于对不断输入的空间点进行更新和显示，直至完成待测焊缝的点云重建。
本发明的第三个目的可以通过采取如下技术方案达到：
一种焊缝点云动态重建系统，所述系统包括终端设备、焊接机器人和线结构光视觉传感器，所述终端设备与焊接机器人连接，所述线结构光视觉传感器安装在焊接机器人的焊接执行机构上；
所述线结构光视觉传感器包括相机；
所述终端设备，用于实现上述的焊缝点云动态重建方法。
本发明的第四个目的可以通过采取如下技术方案达到：
一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述的焊缝点云动态重建方法。
本发明的第五个目的可以通过采取如下技术方案达到：
一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的焊缝点云动态重建方法。
本发明相对于现有技术具有如下的有益效果：
本发明提供的基于线结构光视觉传感器扫描的焊缝点云动态重建方法，可以对焊缝进行三维重建，具体地，将线结构光视觉传感器固定在焊枪上，在焊枪运动过程中，对初始安装工件进行扫描；在焊枪扫描过程中，相机捕获结构光视频，并对其逐帧进行中心线点提取，得到中心线点集；结合当前机器人位姿及相机标定矩阵，将中心线点集转换为空间点类型，并不断更新三维点云，完成重建。因此，对于结构复杂的工件来说，本发明可以精确重建形貌。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例1的焊缝点云动态重建方法的具体流程图。
图2为本发明实施例1的焊缝点云动态重建方法的简要流程图。
图3为本发明实施例1的VTK相机的参数设置示意图。
图4为本发明实施例2的焊缝点云动态重建装置的结构框图。
图5为本发明实施例3的计算机设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请的说明书和权利要求书中，术语“第一”、“第二”等是用于区别类似的对象，而不用于描述指定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”所区别的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和”表示所连接对象的至少其中之一，字符“/”一般表示前后关联对象是一种“或”的关系。
实施例1：
如图1-图2所示，本实施例提供了一种焊缝点云动态重建方法，该方法包括以下步骤：
S101、获取待测焊缝的示教轨迹。
本步骤之前，打开安装在焊接机器人焊枪末端的线结构光视觉传感器，运行焊接机器人对初始安装工件进行示教，得到待测焊缝的示教轨迹。
根据本步骤之前的操作可知，所述示教轨迹通过焊接机器人及线结构光视觉传感器对初始安装工件进行示教而得。
本步骤中，获取能够保证线结构光扫描完整的待测焊缝的示教轨迹。
本实施例中，线结构光视觉传感器固定在焊枪末端上，可以随着焊枪移动到工件的不同位置，适用于扫描复杂工件的情况。
S102、运行所述示教轨迹，同时，获取运行时所述示教轨迹的多帧激光线图像。
本步骤中，使用线结构光传感器中的相机采集激光线图像。
S103、对激光线图像进行激光线的中心线提取，以获得图像坐标系下的中心线点集。
本步骤之前，还包括：
S1031a、将每帧激光线图像存入预设的图像队列中。
S1032a、判断所述图像队列是否为空集，并输出判断结果。
S1033a、若判断结果为否，则以先进先出的原则输出激光线图像。
本步骤，包括：
S1031b、根据中值滤波算法，对激光线图像进行处理。
S1032b、为处理后的激光线图像的每个像素点建立矩阵H，其中，所述矩阵H，如下式：
其中，g(x，y)表示处理后的激光线图像，即本实施例将处理后的激光线图像看作函数g(x，y)。
S1033b、根据条件计算所述矩阵H的特征值λi和特征向量
需要说明的是，特征值的大小表示该函数的局部变化大小。应用在图像中，即当特征值较大时，该图像的局部像素值变化较大，对应的特征向量为该变化方向。在图像中，特征值较大的点所对应的法向量为该点的法线方向，较小的点对应的特征向量为该点的切线方向。
S1034b、根据最大特征值所对应的特征向量和每个像素点，得到所述中心线点集。
本步骤，具体包括：
s10341b、将最大特征值所对应的特征向量记为(nx，ny)。
S10342b、以像素点(x0，y0)为例，则该光条的中心点位置(px，py)，如下式：
(px，py)＝(x0+tnx，y0+tny)
其中，gx表示x方向梯度，gy表示y方向梯度，gxy表示二阶梯度，先对x求导，再对y求导，gxx和gyy同理。
在所述图像中，一条光条就是一条激光线，它包括若干个像素值不为0的像素点；该光条为像素点(x0，y0)所在的光条。
s10343b、若tnx和tny的绝对值小于或等于0.5，则像素点(x0，y0)为激光线的中心点，保存像素点(x0，y0)对应的亚像素坐标(px，py)并作为中心线点。
对其余像素点重复执行步骤S10341-步骤S10343，得到所述中心线点集，其中，所述中心线点集包括多个二维点。
需要说明的是，若tnx和tny的绝对值小于或等于0.5，说明一阶导数等于0的点位于当前像素内。
S104、基于所述中心线点集，根据焊接机器人位姿和线结构光视觉传感器标定结果，将图像坐标系下的二维点转换为空间点。
本步骤中，焊接机器人位姿是机械臂末端的姿态，包括它的x、y、z坐标值以及r1、r2、r3旋转角。
本步骤，包括：
S1041、获取所述中心线点集所对应的焊接机器人手眼关系矩阵和相机标定矩阵。
本步骤的焊接机器人手眼关系矩阵中，相机(眼)是安装在机械臂上(手)的，该矩阵描述的是相机和机械臂末端之间的位置关系(包括旋转和平移)。
S1042、基于二维点，根据所述焊接机器人手眼关系矩阵和相机标定矩阵，计算相对于焊接机器人基座坐标系的空间点(三维点)。
S105、对不断输入的空间点进行更新和显示，直至完成待测焊缝的点云重建。
本步骤中，重复执行步骤S103、步骤S104和本步骤的更新和显示操作，直至预设的图像队列为空，即直至完成待测焊缝的点云重建。
本步骤中，使用可视化开源库(VTK)进行动态显示重建点云。
在显示过程中，通过不断重置VTK内部相机的参数，使点云保持在相机视野中央，其中，所述参数包括相机向上方向、机器人扫描方向、相机投影方向。
如图3所示，所述通过不断重置VTK内部相机的参数，使点云保持在视野中央，即为：根据输入点云的位置和方向变化，对相机位姿进行自适应调整，具体为：通过实时计算点云质心，设置相机位置、相机视点、机器人扫描方向和相机向上方向等，对相机进行定位。因为点云是通过视觉传感器扫描而得到的，因此相机位置设置为扫描过程中机器人焊枪位姿的中间位置；相机视点设置为当前所显示点云的质心，相机视点会随着点云的动态增加而变化；相机向上方向设置为当前质心和第一个质心所组成的向量。
本实施例还提供了一种焊缝点云动态重建系统，该系统包括终端设备、焊接机器人和线结构光视觉传感器，所述终端设备与焊接机器人连接，所述线结构光视觉传感器安装在焊接机器人的焊接执行机构上，即机械臂和焊枪；
所述线结构光视觉传感器包括相机；
所述终端设备，用于实现上述的焊缝点云动态重建方法。
本领域技术人员可以理解，实现上述实施例的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，相应的程序可以存储于计算机可读存储介质中。
应当注意，尽管在附图中以特定顺序描述了上述实施例的方法操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
实施例2：
如图4所示，本实施例提供了一种焊缝点云动态重建装置，该装置包括第一获取模块401、第二获取模块402、提取模块403、转换模块404和动态重建模块405，各个模块的具体功能如下：
第一获取模块401，用于获取待测焊缝的示教轨迹，其中，所述示教轨迹通过焊接机器人及线结构光视觉传感器对初始安装工件进行示教而得；
第二获取模块402，用于运行所述示教轨迹，同时，获取运行时所述示教轨迹的多帧激光线图像；
提取模块403，用于对激光线图像进行激光线的中心线提取，以获得图像坐标系下的中心线点集，其中，所述中心线点集包括多个二维点；
转换模块404，用于基于所述中心线点集，根据焊接机器人位姿和线结构光视觉传感器标定结果，将图像坐标系下的二维点转换为空间点；
动态重建模块405，用于对不断输入的空间点进行更新和显示，直至完成待测焊缝的点云重建。
实施例3：
如图5所示，本实施例提供了一种计算机设备，其包括通过系统总线501连接的处理器502、存储器、输入装置503、显示装置504和网络接口505。其中，处理器502用于提供计算和控制能力，存储器包括非易失性存储介质506和内存储器507，该非易失性存储介质506存储有操作系统、计算机程序和数据库，该内存储器507为非易失性存储介质506中的操作系统和计算机程序的运行提供环境，计算机程序被处理器502执行时，实现上述实施例1的焊缝点云动态重建方法，如下：
获取待测焊缝的示教轨迹，其中，所述示教轨迹通过焊接机器人及线结构光视觉传感器对初始安装工件进行示教而得；
运行所述示教轨迹，同时，获取运行时所述示教轨迹的多帧激光线图像；
对激光线图像进行激光线的中心线提取，以获得图像坐标系下的中心线点集，其中，所述中心线点集包括多个二维点；
基于所述中心线点集，根据焊接机器人位姿和线结构光视觉传感器标定结果，将图像坐标系下的二维点转换为空间点；
对不断输入的空间点进行更新和显示，直至完成待测焊缝的点云重建。
实施例4：
本实施例提供一种存储介质，该存储介质为计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时，实现上述实施例1的焊缝点云动态重建方法，如下：
获取待测焊缝的示教轨迹，其中，所述示教轨迹通过焊接机器人及线结构光视觉传感器对初始安装工件进行示教而得；
运行所述示教轨迹，同时，获取运行时所述示教轨迹的多帧激光线图像；
对激光线图像进行激光线的中心线提取，以获得图像坐标系下的中心线点集，其中，所述中心线点集包括多个二维点；
基于所述中心线点集，根据焊接机器人位姿和线结构光视觉传感器标定结果，将图像坐标系下的二维点转换为空间点；
对不断输入的空间点进行更新和显示，直至完成待测焊缝的点云重建。
需要说明的是，本实施例的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
在本实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读存储介质可以以一种或多种程序设计语言或其组合来编写用于执行本实施例的计算机程序，上述程序设计语言包括面向对象的程序设计语言-诸如Java、Python、C++，还包括常规的过程式程序设计语言-诸如C语言或类似的程序设计语言。程序可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
综上所述，本发明可以实现焊接机器人对焊缝的动态三维重建，焊缝的三维点云具有比图像更加全面的信息，为从三维点云的角度分析焊缝奠定了研究基础。
以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims (5)

1.一种焊缝点云动态重建方法，其特征在于，所述方法包括：
获取待测焊缝的示教轨迹，其中，所述示教轨迹通过焊接机器人及线结构光视觉传感器对初始安装工件进行示教而得；
运行所述示教轨迹，同时，获取运行时所述示教轨迹的多帧激光线图像；
将每帧激光线图像存入预设的图像队列中；
判断所述图像队列是否为空集，并输出判断结果；
若判断结果为否，则以先进先出的原则输出激光线图像；
对激光线图像进行激光线的中心线提取，以获得图像坐标系下的中心线点集，其中，所述中心线点集包括多个二维点；
基于所述中心线点集，根据焊接机器人位姿和线结构光视觉传感器标定结果，将图像坐标系下的二维点转换为空间点；
对不断输入的空间点进行更新和显示，直至完成待测焊缝的点云重建；
所述对激光线图像进行激光线的中心线提取，以获得图像坐标系下的中心线点集，包括：
根据中值滤波算法，对激光线图像进行处理；
为处理后的激光线图像的每个像素点建立矩阵H，其中，所述矩阵H，如下式：
其中，g(x,y)表示处理后的激光线图像；
根据条件计算所述矩阵H的特征值λi和特征向量
根据最大特征值所对应的特征向量和每个像素点，得到所述中心线点集；
所述根据最大特征值所对应的特征向量和每个像素点，得到所述中心线点集，具体包括：
将最大特征值所对应的特征向量记为(nx,ny)；
以像素点(x0,y0)为例，则对应激光线的中心点位置(px,py)，如下式：
(px,py)＝(x0+tnx,y0+tny)
其中，gx表示x方向梯度，gy表示y方向梯度，gxy表示二阶梯度，先对x求导，再对y求导，gxx和gyy同理；
若tnx和tny的绝对值小于或等于阈值，则像素点(x0,y0)为激光线的中心点，保存像素点(x0,y0)对应的亚像素坐标(px,py)并作为中心线点；
对其余像素点重复以上操作，得到所述中心线点集；
所述线结构光视觉传感器包括相机；
所述基于所述中心线点集，根据焊接机器人位姿和线结构光视觉传感器标定结果，将图像坐标系下的二维点转换为空间点，包括：
获取所述中心线点集所对应的焊接机器人手眼关系矩阵和相机标定矩阵；
基于二维点，根据所述焊接机器人手眼关系矩阵和相机标定矩阵，计算相对于焊接机器人基座坐标系的空间点；
在所述对不断输入的空间点进行更新和显示，直至完成待测焊缝的点云重建中，包括：
使用可视化开源库对不断输入的空间点进行更新并显示；
在显示过程中，通过不断重置可视化开源库的内部参数，使点云保持在相机视野中央。
2.一种焊缝点云动态重建装置，应用于权利要求1所述的方法，其特征在于，所述装置包括：
第一获取模块，用于获取待测焊缝的示教轨迹，其中，所述示教轨迹通过焊接机器人及线结构光视觉传感器对初始安装工件进行示教而得；
第二获取模块，用于运行所述示教轨迹，同时，获取运行时所述示教轨迹的多帧激光线图像；
提取模块，用于对激光线图像进行激光线的中心线提取，以获得图像坐标系下的中心线点集，其中，所述中心线点集包括多个二维点；
转换模块，用于基于所述中心线点集，根据焊接机器人位姿和线结构光视觉传感器标定结果，将图像坐标系下的二维点转换为空间点；
动态重建模块，用于对不断输入的空间点进行更新和显示，直至完成待测焊缝的点云重建。
3.一种焊缝点云动态重建系统，其特征在于，所述系统包括终端设备、焊接机器人和线结构光视觉传感器，所述终端设备与焊接机器人连接，所述线结构光视觉传感器安装在焊接机器人的焊接执行机构上；
所述线结构光视觉传感器包括相机；
所述终端设备，用于实现权利要求1所述的方法。
4.一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1所述的方法。
5.一种存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1所述的方法。
CN202211330645.2A 2022-10-27 2022-10-27 焊缝点云动态重建方法、装置、系统、设备及存储介质 Active CN115570310B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211330645.2A CN115570310B (zh) 2022-10-27 2022-10-27 焊缝点云动态重建方法、装置、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211330645.2A CN115570310B (zh) 2022-10-27 2022-10-27 焊缝点云动态重建方法、装置、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN115570310A CN115570310A (zh) 2023-01-06
CN115570310B true CN115570310B (zh) 2024-08-09

Family

ID=84587646

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211330645.2A Active CN115570310B (zh) 2022-10-27 2022-10-27 焊缝点云动态重建方法、装置、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115570310B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106181162A (zh) * 2016-08-12 2016-12-07 中国矿业大学 一种基于机器视觉的实时焊缝跟踪检测系统及方法
CN108817613A (zh) * 2018-06-11 2018-11-16 华南理工大学 一种弧焊机器人焊缝纠偏系统及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2585975B1 (en) * 2010-06-28 2018-03-21 Precitec GmbH & Co. KG A method for classifying a multitude of images recorded by a camera observing a processing area and laser material processing head using the same
CN112894209A (zh) * 2021-01-19 2021-06-04 常州英迈乐智能系统有限公司 一种基于十字激光的管板智能焊接机器人自动平面校正方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106181162A (zh) * 2016-08-12 2016-12-07 中国矿业大学 一种基于机器视觉的实时焊缝跟踪检测系统及方法
CN108817613A (zh) * 2018-06-11 2018-11-16 华南理工大学 一种弧焊机器人焊缝纠偏系统及方法

Also Published As

Publication number Publication date
CN115570310A (zh) 2023-01-06

Similar Documents

Publication Publication Date Title
JP6551184B2 (ja) シミュレーション装置、シミュレーション方法、およびシミュレーションプログラム
CN112839764B (zh) 用于焊接路径生成的系统和方法
US10393515B2 (en) Three-dimensional scanner and measurement assistance processing method for same
CN110276826A (zh) 一种电网作业环境地图的构建方法及系统
CN109986172A (zh) 一种焊缝定位方法、设备及系统
CN111241615A (zh) 一种高度真实感的变电站多源融合三维建模方法
US6718074B1 (en) Method and apparatus for inspection for under-resolved features in digital images
WO2023019833A1 (zh) 基于激光线扫的点云处理方法及装置
CN111421553A (zh) 基于轮廓识别的机器人控制方法、存储介质及移动机器人
CN115570310B (zh) 焊缝点云动态重建方法、装置、系统、设备及存储介质
CN114029952A (zh) 机器人操作控制方法、装置和系统
CN113723389A (zh) 一种支柱式绝缘子定位方法及装置
CN117522830A (zh) 用于检测锅炉腐蚀的点云扫描系统
CN113793349A (zh) 目标检测方法及装置、计算机可读存储介质、电子设备
Jin et al. A multi-vision-based system for tube inspection
CN111414508A (zh) 一种在设计模型中搜索并实现可视化的方法及终端
CN113920020B (zh) 一种基于深度生成模型的人体点云实时修复方法
CN117916581A (zh) 检查支援系统、检查支援方法及检查支援程序
US20200334904A1 (en) Articulated model registration apparatus and method
CN114211164A (zh) 一种水下焊接机器人焊缝跟踪系统的焊缝跟踪控制方法
CN113814982A (zh) 一种焊接机器人机械手控制方法
CN113776517A (zh) 地图生成方法、装置、系统、存储介质及电子设备
CN112507838A (zh) 一种指针表计识别方法、装置和电力巡检机器人
Huang et al. Engineering Applications based on Industrial Robots and Machine Vision
CN116402497B (zh) 基于ar的设备检修维护方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant