CN117576094B - 一种3d点云智能感知焊缝位姿提取方法、系统、设备 - Google Patents
一种3d点云智能感知焊缝位姿提取方法、系统、设备 Download PDFInfo
- Publication number
- CN117576094B CN117576094B CN202410054063.9A CN202410054063A CN117576094B CN 117576094 B CN117576094 B CN 117576094B CN 202410054063 A CN202410054063 A CN 202410054063A CN 117576094 B CN117576094 B CN 117576094B
- Authority
- CN
- China
- Prior art keywords
- welding
- point cloud
- data
- plane
- welding seam
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 22
- 238000003466 welding Methods 0.000 claims abstract description 305
- 238000000034 method Methods 0.000 claims abstract description 57
- 238000012545 processing Methods 0.000 claims abstract description 18
- 230000008569 process Effects 0.000 claims abstract description 16
- 238000004422 calculation algorithm Methods 0.000 claims description 34
- 239000013598 vector Substances 0.000 claims description 27
- 238000012216 screening Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 abstract description 10
- 238000004364 calculation method Methods 0.000 abstract description 5
- 230000011218 segmentation Effects 0.000 description 8
- 238000005259 measurement Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30152—Solder
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供一种3D点云智能感知焊缝位姿提取方法、系统、设备及存储介质，涉及焊接机器人技术，该方法包括：获取待焊目标的点云数据并进行区域划分，得到待焊目标的焊接区域；根据焊接区域的点云数据，对焊接区域进行分割以得到多个平面子区域，确定焊缝区域；根据焊缝区域的点云数据，得到焊缝的形状数据和焊缝的起止点位置数据；通过机器人运动学模型和焊接工艺需求，根据焊缝的形状数据、起止点位置数据和焊缝对应平面子区域方程，得到所述焊缝的姿态数据。本发明通过点云处理和机器人运动学计算，实现了对焊缝和焊缝起止点的三维位态提取，并直接下发给机器人进行焊接，减少了机器人姿态设置的复杂性，提高了精确度和工作效率。
Description
技术领域
本发明涉及焊接机器人技术领域，具体而言，涉及一种3D点云智能感知焊缝位姿提取方法、系统、设备及存储介质。
背景技术
目前市场上焊接机器人使用非接触焊缝精确定位的方法主要有点激光和线激光技术。点激光技术是机械臂带着点激光传感器沿着XYZ方向移动采集数据，然后计算焊缝的起点和终点位置。线激光技术是使用线激光传感器进行测量，通过机械臂带着线激光传感器在固定位置采集待焊接板子的数据。通过捕捉线激光在焊缝上的变形和偏移，从而计算出焊缝的位置数据，实现对焊缝位置的定位。
在现有技术中，点激光方式存在板件放置角度变化范围严格，需要机器人移动时间较长，以及只能提取XYZ偏移值并需要预先设置焊枪的姿态等问题。线激光技术虽一定程度上改善了一些问题，但线激光技术仍然只能提取XYZ偏移值，并需要约束待焊板件的旋转角度。
发明内容
本发明解决的问题是如何检测焊缝位姿和提高焊缝位姿定位精度及效率。
为解决上述问题，本发明提供一种3D点云智能感知焊缝位姿提取方法、系统、设备及存储介质。
第一方面，本发明提供一种3D点云智能感知焊缝位姿提取方法，包括获取待焊目标的点云数据；
根据焊接需求，在所述点云数据中进行区域划分，得到所述待焊目标的焊接区域；
根据所述焊接区域的所述点云数据，通过点云平面分割算法，对所述焊接区域进行分割以得到多个平面子区域，根据多个所述平面子区域确定焊缝区域；
根据所述焊缝区域的点云数据，得到焊缝的形状数据和所述焊缝的起止点位置数据；
通过机器人运动学模型和焊接工艺需求，根据焊缝的所述形状数据、所述起止点位置数据和焊缝对应的平面子区域方程，得到所述焊缝的姿态数据。
可选地，所述获取待焊目标的点云数据，包括：
对所述待焊目标的待焊区域按照预设路径进行单次扫描，得到所述待焊区域的图像数据，其中，所述图像数据包括深度图像和颜色图像；
根据所述深度图像和所述颜色图像，通过三维视觉算法，得到所述待焊目标的所述点云数据。
可选地，所述根据所述深度图像和所述颜色图像，通过三维视觉算法，得到所述待焊目标的所述点云数据，包括：
将所述深度图像和所述颜色图像通过特征匹配算法进行图像配准，得到所述深度图像和所述颜色图像的相匹配的坐标系；
根据所述深度图像中每个像素点的深度值，得到所述深度图像在所述坐标系的三维坐标；
根据所述像素点在所述颜色图像中对应的颜色值，得到所述像素点的颜色信息；
根据所述深度图像中每个像素点在所述坐标系的所述三维坐标和所述像素点的所述颜色信息，得到所述点云数据。
可选地，所述根据焊接需求，在所述点云数据中进行区域划分，得到所述待焊目标的焊接区域，包括：
根据所述焊接需求，得到所述焊缝在所述待焊目标上的焊接特征，所述焊接特征包括所述焊缝的形状、长度和宽度；
根据所述焊缝的所述形状、所述长度、所述宽度，通过点云条件滤波算法对所述点云数据进行区域划分；
根据划分后的所述点云数据，得到符合所述焊接特征的所述待焊目标的所述焊接区域。
可选地，所述根据所述焊接区域的所述点云数据，通过点云平面分割算法，对所述焊接区域进行分割以得到多个平面子区域，根据多个所述平面子区域确定焊缝区域，包括：
对所述焊接区域的所述点云数据进行预处理；
根据预处理后的所述点云数据，使用点云平面分割算法对所述焊接区域进行分割，将所述点云数据分割成多个平面子区域；
根据所述焊缝的所述焊接特征，对所述平面子区域进行筛选，得到与所述焊缝相关的所述平面子区域，根据筛选得到的所述平面子区域，确定所述焊缝区域。
可选地，所述根据所述焊缝的所述焊接特征，对所述平面子区域进行筛选，得到与所述焊缝相关的所述平面子区域，包括：
获取每个所述平面子区域的法线向量；
获取每个所述平面子区域的所述法线向量与其他所述平面子区域的所述法线向量的夹角；
若某个所述平面子区域的所述法线向量与设定数量的所述其他子区域的所述法线向量的夹角在预设角度阈值范围内，则判定该所述平面子区域为与所述焊缝相关的所述平面子区域。
可选地，所述根据所述焊缝区域的点云数据，得到焊缝的形状数据和所述焊缝的起止点位置数据，包括：
根据所述焊缝区域的点云数据，得到所述焊缝的曲线信息，其中，所述曲线信息包括曲线长度、曲线形状以及曲线参数；
根据所述曲线长度、所述曲线形状以及所述曲线参数，得到所述焊缝的所述形状数据；
根据所述形状数据，通过预设路径规划策略，得到所述焊缝在坐标系中的起点坐标与终点坐标，并将所述起点坐标和所述终点坐标作为所述起止点位置数据。
第二方面，本发明提供一种3D点云智能感知焊缝位姿提取系统，包括：
获取单元：用于获取待焊目标的点云数据；
第一划分单元：用于根据焊接需求，在所述点云数据中进行区域划分，得到所述待焊目标的焊接区域；
第二划分单元：用于根据所述焊接区域的所述点云数据，通过点云平面分割算法，对所述焊接区域进行分割以得到多个平面子区域，根据多个所述平面子区域确定焊缝区域；
第一数据处理单元：用于根据所述焊缝区域的点云数据，得到焊缝的形状数据和所述焊缝的起止点位置数据；
第二数据处理单元：用于通过机器人运动学模型和焊接工艺需求，根据焊缝的所述形状数据、所述起止点位置数据和焊缝对应的平面子区域方程，得到所述焊缝的姿态数据。
第三方面，本发明提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述所述的3D点云智能感知焊缝位姿提取方法。
第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现上述所述的3D点云智能感知焊缝位姿提取方法。
本发明的3D点云智能感知焊缝位姿提取方法、系统、设备及存储介质，首先通过采集焊缝的点云数据，并在焊缝区域内进行划分和分割，得到待焊目标的焊接区域，进而得到焊缝的形状数据和起止点位置数据，从而提高焊缝识别和测量的精确度，减少测量偏差和误差。并利用焊缝的形状数据、起止点位置数据和焊缝对应平面子区域方程，使用机器人运动学模型和焊接工艺需求计算出适合的焊缝姿态数据，实现对焊缝的精确定位，进而控制焊接机器人的焊枪依照焊缝的位姿数据进行焊枪的位姿调整，实现精确的焊接操作。本发明通过点云处理和机器人运动学计算，实现了对焊缝位姿的提取，可将焊缝姿态直接下发给机器人进行焊接。与传统的焊缝定位方法相比，该技术手段无需预先设置机器人的姿态，可通过点云处理技术直接提取焊缝位置和姿态信息，减少了现场操作员的要求和工作量；同时，还减少了机器人姿态设置的复杂性，提高了精确度和工作效率。
附图说明
图1为本发明3D点云智能感知焊缝位姿提取方法的流程图之一；
图2为本发明3D点云智能感知焊缝位姿提取方法的流程图之二；
图3为本发明3D点云智能感知焊缝位姿提取方法的流程图之三；
图4为本发明3D点云智能感知焊缝位姿提取方法的流程图之四；
图5为本发明3D点云智能感知焊缝位姿提取方法的流程图之五；
图6为本发明3D点云智能感知焊缝位姿提取方法的流程图之六；
图7为本发明3D点云智能感知焊缝位姿提取方法的流程图之七。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
第一方面，结合图1所示，本发明提供一种3D点云智能感知焊缝位姿提取方法，包括以下步骤：
获取待焊目标的点云数据。
具体地，在本实施例中，采用一次拍照模式获取焊缝的点云数据，通过三维相机设备，根据实际情况，设置相机的参数，如曝光时间、增益、焦距等，从而获得清晰、准确的图像。将相机固定在适当的位置，使其能够看到待焊板子表面的焊缝区域。确保相机的位置和姿态稳定。采用一次拍照模式，触发相机进行拍摄，从而得到焊缝的点云数据。并且在拍摄时，无需机器人进行复杂移动，只需保持焊缝区域在相机视野范围内，从而减少了现场操作员的要求和工作量。
根据焊接需求，在所述点云数据中进行区域划分，得到所述待焊目标的焊接区域。
具体地，根据焊接的需求，提取出点云数据中与焊缝相关的特征信息。在本实施例中，可根据焊接的效果或用途，基于提取的特征信息，使用点云条件滤波算法来将点云数据进行区域划分，采用设置空间X,Y,Z范围提取焊接区域点云数据。
根据所述焊接区域的所述点云数据，通过点云平面分割算法，对所述焊接区域进行分割以得到多个平面子区域，根据多个所述平面子区域确定焊缝区域。
具体地，在确定焊接区域之后，采用点云平面分割算法来将焊缝区域从整个焊接区域中分割出来得到多个平面子区域，根据多个平面子区域确定焊缝区域。使用点云平面分割算法，可将焊接区域根据点云数据分为多个平面，并通过筛选法向量和距离的方法，从而确定焊缝区域。在进行点云平面分割算法时，算法会将点云数据分成不同的平面区域，并划分为独立的子区域，从而根据多个平面子区域确定焊缝区域。因此，通过点云平面分割算法，可以将焊接区域划分为多个平面子区域。
根据所述焊缝区域的点云数据，得到焊缝的形状数据和所述焊缝的起止点位置数据。
具体地，通过对焊缝区域进行形状分析，提取出焊缝区域的形状数据，其中，形状数据包括焊缝的宽度、长度、曲率、边界点，这些数据可通过对点云数据进行曲率计算、边界提取等方法得到，在此不再赘述。根据焊缝的形状和拓扑结构，计算出焊缝的起止点位置数据。
通过机器人运动学模型和焊接工艺需求，根据焊缝的所述形状数据、所述起止点位置数据和焊缝对应的平面子区域方程，得到所述焊缝的姿态数据。
具体地，首先，根据焊缝的形状数据，如宽度、长度和曲率，对数据进行处理，其中，可使用数据平滑和插值等方法，使得焊缝的形状数据更加平滑和连续。根据所述焊缝的起止点位置数据，确定焊缝的起点和终点在点云数据中的位置坐标，利用机器人运动学模型、焊接工艺需求和焊缝对应的平面子区域方程，得到焊缝的姿态数据，基于焊缝的姿态数据，可以计算机器人末端执行器的位置和姿态信息，从而为机器人的路径规划和姿态控制提供准确的目标点和姿态，以实现对焊接过程的精确控制。
本发明的3D点云智能感知焊缝位姿提取方法、系统、设备及存储介质，首先通过采集焊缝的点云数据，并在焊缝区域内进行划分和分割，得到待焊目标的焊接区域，进而得到焊缝的形状数据和起止点位置数据，从而提高焊缝识别和测量的精确度，减少测量偏差和误差。并利用焊缝的形状数据、起止点位置数据和焊缝对应平面子区域方程，使用机器人运动学模型和焊接工艺需求计算出适合的焊缝姿态数据，实现对焊缝的精确定位，进而控制焊接机器人的焊枪依照焊缝的姿态数据进行焊枪的姿态调整，实现精确的焊接操作。本发明通过点云处理、机器人运动学和焊接工艺需求计算，实现了对焊缝姿态的提取，可将焊缝姿态直接下发给机器人进行焊接。与传统的焊缝定位方法相比，该技术手段无需预先设置机器人的姿态，可通过点云处理技术直接提取焊缝位置和姿态信息，减少了现场操作员的要求和工作量；同时，还减少了机器人姿态设置的复杂性，提高了精确度和工作效率。
可选地，结合图2所示，所述获取待焊目标的点云数据，包括：
对所述待焊目标的待焊区域按照预设路径进行单次扫描，得到所述待焊区域的图像数据，其中，所述图像数据包括深度图像和颜色图像；
根据所述深度图像和所述颜色图像，通过三维视觉算法，得到所述待焊目标的所述点云数据。
具体地，对待焊目标的待焊区域进行扫描，得到图像数据，在机器人运动控制系统的控制下，使焊枪按照预设路径对待焊目标的待焊区域进行单次扫描。在扫描过程中，通过视觉传感器获取待焊区域的图像数据，其中，图像数据包括深度图像和颜色图像。使用三维视觉算法，将深度图像和颜色图像结合起来，得到待焊目标的点云数据，具体包括：对获取的深度图像和颜色图像进行预处理，如去噪、滤波等，以提高图像质量。从预处理后的图像中提取特征，如边缘、角点等。利用深度图像和颜色图像中的信息，基于双目标定原理，将二维图像转换为三维点云数据。对生成的点云数据进行进一步处理，如滤波、降采样等，以去除冗余数据，提高数据质量。在本实施例中，还可以将生成的点云数据进行可视化显示，以便进行进一步分析和处理。可以使用专业的三维可视化工具，如PointCloudLibrary (PCL)等。
在本实施例中，通过得到待焊目标的点云数据，为后续的焊接路径规提供准确的三维信息。
可选地，结合图3所示，所述根据所述深度图像和所述颜色图像，通过三维视觉算法，得到所述待焊目标的所述点云数据，包括：
将所述深度图像和所述颜色图像通过特征匹配算法进行图像配准，得到所述深度图像和所述颜色图像的相匹配的坐标系；
根据所述深度图像中每个像素点的深度值，得到所述深度图像在所述坐标系的三维坐标；
根据所述像素点在所述颜色图像中对应的颜色值，得到所述像素点的颜色信息；
根据所述深度图像中每个像素点在所述坐标系的所述三维坐标和所述像素点的所述颜色信息，得到所述点云数据。
具体地，首先，检测深度图像和颜色图像中的关键点，例如使用SIFT、SURF或ORB等算法。通过比较这些关键点的描述子（如SIFT描述子或SURF描述子）来找到深度图像和颜色图像之间的匹配点，根据匹配的关键点，估计深度图像和颜色图像之间的变换模型，如仿射变换或透视变换。根据估计的变换模型，对深度图像进行重采样和变换，使其与颜色图像对齐。从而得到深度图像和颜色图像在相同坐标系下的配准。当深度图像和颜色图像被配准后，每个像素点的深度值就可以转换为三维坐标。利用已知的相机内参（如焦距、主点坐标等），将像素深度值转换为相机坐标系下的深度。对于深度图像中的每个像素点，都可以得到其在目标坐标系下的三维坐标。将每个像素点的三维坐标和颜色信息组合起来，从而得到点云数据。
在本实施例中，通过深度图像和颜色信息中生成点云数据，从而可以用于后续的计算机视觉任务。
可选地，结合图4所示，所述根据焊接需求，在所述点云数据中进行区域划分，得到所述待焊目标的焊接区域，包括：
根据所述焊接需求，得到所述焊缝在所述待焊目标上的焊接特征，所述焊接特征包括所述焊缝的形状、长度和宽度；
根据所述焊缝的所述形状、所述长度、所述宽度，通过点云条件算法对所述点云数据进行区域划分；
根据划分后的所述点云数据，得到符合所述焊接特征的所述待焊目标的所述焊接区域。
具体地，根据焊接需求，得到焊缝在待焊目标上的焊接特征，包括焊缝的形状、长度和宽度。根据焊缝的形状、长度和宽度，通过分割算法对点云数据进行区域划分。从而将点云数据划分为与焊接特征相对应的区域，以便后续的处理和操作。根据划分后的点云数据，得到符合焊接特征的待焊目标的焊接方案。
在本实施例中，根据焊接需求和待焊目标的特点，从而生成符合要求的焊接方案，提高了焊接的精度和效率。
可选地，结合图5所示，所述根据所述焊接区域的所述点云数据，通过点云平面分割算法，对所述焊接区域进行分割以得到多个平面子区域，根据多个所述平面子区域确定焊缝区域，包括：
对所述焊接区域的所述点云数据进行预处理；
根据预处理后的所述点云数据，使用点云平面分割算法对所述焊接区域进行分割，将所述点云数据分割成多个平面子区域；
根据所述焊缝的所述焊接特征，对所述平面子区域进行筛选，得到与所述焊缝相关的所述平面子区域，根据筛选得到的所述平面子区域，确定所述焊缝区域。
具体地，对焊接区域的点云数据进行预处理。通常情况下，点云数据会存在噪声、重叠等问题，需要先进行去噪、过滤等预处理操作。使用点云平面分割算法对焊接区域进行分割，得到多个平面子区域。再根据焊缝的焊接特征，对平面子区域进行筛选，得到与焊缝相关的平面子区域，其中，需要对焊缝进行特征分析，包括焊缝长度、方向等方面的特征，根据焊缝的特征，在所提取的平面子区域中进行筛选，选择与焊缝特征相匹配的平面子区域，具体的筛选条件可以根据实际情况设定，例如焊缝长度、方向与平面子区域的相对关系。在筛选过程中，将符合条件的平面子区域提取出来，这些平面子区域可以被认为与焊缝相关。
在本实施例中，基于点云数据的焊接预处理和分割过程，从而得到多个平面子区域。这些区域将成为后续操作的处理对象，可用于焊接路径规划、参数优化和焊缝填充等任务。
可选地，结合图6所示，所述根据所述焊缝的所述焊接特征，对所述平面子区域进行筛选，得到与所述焊缝相关的所述平面子区域，包括：
获取每个所述平面子区域的法线向量；
获取每个所述平面子区域的所述法线向量与其他所述平面子区域的所述法线向量的夹角；
若某个所述平面子区域的所述法线向量与设定数量的所述其他子区域的所述法线向量的夹角在预设角度阈值范围内，则判定该所述平面子区域为与所述焊缝相关的所述平面子区域。
具体地，对于每个平面子区域，可以通过点云数据平面分割方式计算该平面的法线向量，再通过向量之间的点积或余弦函数计算得到与其他平面子区域的法线向量之间的夹角，如果某个平面子区域与其他平面子区域的法线向量夹角在预设的角度阈值范围内，则判定该平面子区域为与焊缝相关的平面子区域。预设的角度阈值可以根据具体应用需求设定。
在本实施例中，通过对点云数据中的平面子区域进行判定，并识别出焊缝相关的平面子区域，用于进一步的点云处理和分析，如去除噪声、提取几何特征等。
可选地，结合图7所示，所述根据所述焊缝区域的点云数据，得到焊缝的形状数据和所述焊缝的起止点位置数据，包括：
根据所述焊缝区域的点云数据，得到所述焊缝的曲线信息，其中，所述曲线信息包括曲线长度、曲线形状以及曲线参数；
根据所述曲线长度、所述曲线形状以及所述曲线参数，得到所述焊缝的所述形状数据；
根据所述形状数据，通过预设路径规划策略，得到所述焊缝在坐标系中的起点坐标与终点坐标，并将所述起点坐标和所述终点坐标作为所述起止点位置数据。
具体地，根据焊缝区域的点云数据，得到焊缝的曲线信息，其中，曲线信息包括曲线长度、曲线形状以及曲线参数等，用于计算焊缝的形状数据。利用焊缝的曲线信息，可以计算焊缝的曲率、角度、长度等形状数据，描述了焊缝的几何形状，并根据形状数据用于制定路径规划策略。根据焊缝的形状数据，制定预设路径规划策略，例如，可以采用最短路径规划、基于样条的平滑路径规划等方法，计算出焊缝在坐标系中的起点坐标和终点坐标，将预设的起点坐标和终点坐标作为焊缝的起止点位置数据，用于机器人的运动规划和控制。
在本实施例中，根据焊缝的曲线信息计算出焊缝的形状数据和起止点位置数据，用于实现精确的焊接操作。
第二方面，本发明提供一种3D点云智能感知焊缝位姿提取系统，包括：
获取单元：用于获取待焊目标的点云数据；
第一划分单元：用于根据焊接需求，在所述点云数据中进行区域划分，得到所述待焊目标的焊接区域；
第二划分单元：用于根据所述焊接区域的所述点云数据，通过点云平面分割算法，对所述焊接区域进行分割以得到多个平面子区域，根据多个所述平面子区域确定焊缝区域；
第一数据处理单元：用于根据所述焊缝区域的点云数据，得到焊缝的形状数据和所述焊缝的起止点位置数据；
第二数据处理单元：用于通过机器人运动学模型和焊接工艺需求，根据焊缝的所述形状数据、所述起止点位置数据和焊缝对应的平面子区域方程，得到所述焊缝的姿态数据。
第三方面，本发明提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述所述的3D点云智能感知焊缝位姿提取方法。
第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现上述所述的3D点云智能感知焊缝位姿提取方法。
本发明的3D点云智能感知焊缝位姿提取方法、系统、设备及存储介质，首先通过采集焊缝的点云数据，并在焊缝区域内进行划分和分割，得到待焊目标的焊接区域，进而得到焊缝的形状数据和起止点位置数据，从而提高焊缝识别和测量的精确度，减少测量偏差和误差。并利用焊缝的形状数据和起止点位置数据和焊缝对应平面子区域方程，使用机器人运动学模型和焊接工艺需求计算出适合的焊缝姿态数据，实现对焊缝的精确定位，进而控制焊接机器人的焊枪依照焊缝的姿态数据进行焊枪的姿态调整，实现精确的焊接操作。本发明通过点云处理、机器人运动学和焊接工艺需求计算，实现了对焊缝位姿的提取，可将焊缝位姿直接下发给机器人进行焊接。与传统的焊缝定位方法相比，该技术手段无需预先设置机器人的姿态，可通过点云处理技术直接提取焊缝信息和焊缝位姿，减少了现场操作员的要求和工作量；同时，还减少了机器人姿态设置的复杂性，提高了精确度和工作效率。
虽然本发明披露如上，但本发明的保护范围并非仅限于此。本领域技术人员在不脱离本发明的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。
Claims (8)
1.一种3D点云智能感知焊缝位姿提取方法，其特征在于，包括：
获取待焊目标的点云数据；
根据焊接需求，在所述点云数据中进行区域划分，得到所述待焊目标的焊接区域；
根据所述焊接区域的所述点云数据，通过点云平面分割算法，对所述焊接区域进行分割以得到多个平面子区域，根据多个所述平面子区域确定焊缝区域，具体包括：对所述焊接区域的所述点云数据进行预处理；
根据预处理后的所述点云数据，使用点云平面分割算法对所述焊接区域进行分割，将所述点云数据分割成多个平面子区域；
根据所述焊缝的焊接特征，对所述平面子区域进行筛选，得到与所述焊缝相关的所述平面子区域，根据筛选得到的所述平面子区域，确定所述焊缝区域；
其中，所述根据所述焊缝的所述焊接特征，对所述平面子区域进行筛选，得到与所述焊缝相关的所述平面子区域，具体包括：获取每个所述平面子区域的法线向量；
获取每个所述平面子区域的所述法线向量与其他所述平面子区域的所述法线向量的夹角；
若某个所述平面子区域的所述法线向量与设定数量的其他子区域的所述法线向量的夹角在预设角度阈值范围内，则判定该所述平面子区域为与所述焊缝相关的所述平面子区域；
根据所述焊缝区域的点云数据，得到焊缝的形状数据和所述焊缝的起止点位置数据；
通过机器人运动学模型和焊接工艺需求，根据焊缝的所述形状数据、所述起止点位置数据和焊缝对应的平面子区域方程，得到所述焊缝的姿态数据。
2.根据权利要求1所述的3D点云智能感知焊缝位姿提取方法，其特征在于，所述获取待焊目标的点云数据，包括：
对所述待焊目标的待焊区域按照预设路径进行单次扫描，得到所述待焊区域的图像数据，其中，所述图像数据包括深度图像和颜色图像；
根据所述深度图像和所述颜色图像，通过三维视觉算法，得到所述待焊目标的所述点云数据。
3.根据权利要求2所述的3D点云智能感知焊缝位姿提取方法，其特征在于，所述根据所述深度图像和所述颜色图像，通过三维视觉算法，得到所述待焊目标的所述点云数据，包括：
将所述深度图像和所述颜色图像通过特征匹配算法进行图像配准，得到所述深度图像和所述颜色图像的相匹配的坐标系；
根据所述深度图像中每个像素点的深度值，得到所述深度图像在所述坐标系的三维坐标；
根据所述像素点在所述颜色图像中对应的颜色值，得到所述像素点的颜色信息；
根据所述深度图像中每个像素点在所述坐标系的所述三维坐标和所述像素点的所述颜色信息，得到所述点云数据。
4.根据权利要求1所述的3D点云智能感知焊缝位姿提取方法，其特征在于，所述根据焊接需求，在所述点云数据中进行区域划分，得到所述待焊目标的焊接区域，包括：
根据所述焊接需求，得到所述焊缝在所述待焊目标上的焊接特征，所述焊接特征包括所述焊缝的形状、长度和宽度；
根据所述焊缝的所述形状、所述长度、所述宽度，通过点云条件滤波算法对所述点云数据进行区域划分；
根据划分后的所述点云数据，得到符合所述焊接特征的所述待焊目标的所述焊接区域。
5.根据权利要求1所述的3D点云智能感知焊缝位姿提取方法，其特征在于，所述根据所述焊缝区域的点云数据，得到焊缝的形状数据和所述焊缝的起止点位置数据，包括：
根据所述焊缝区域的点云数据，得到所述焊缝的曲线信息，其中，所述曲线信息包括曲线长度、曲线形状以及曲线参数；
根据所述曲线长度、所述曲线形状以及所述曲线参数，得到所述焊缝的所述形状数据；
根据所述形状数据，通过预设路径规划策略，得到所述焊缝在坐标系中的起点坐标与终点坐标，并将所述起点坐标和所述终点坐标作为所述起止点位置数据。
6.一种3D点云智能感知焊缝位姿提取系统，其特征在于，包括：
获取单元：用于获取待焊目标的点云数据；
第一划分单元：用于根据焊接需求，在所述点云数据中进行区域划分，得到所述待焊目标的焊接区域；
第二划分单元：用于根据所述焊接区域的所述点云数据，通过点云平面分割算法，对所述焊接区域进行分割以得到多个平面子区域，根据多个所述平面子区域确定焊缝区域，具体包括：对所述焊接区域的所述点云数据进行预处理；
根据预处理后的所述点云数据，使用点云平面分割算法对所述焊接区域进行分割，将所述点云数据分割成多个平面子区域；
根据所述焊缝的焊接特征，对所述平面子区域进行筛选，得到与所述焊缝相关的所述平面子区域，根据筛选得到的所述平面子区域，确定所述焊缝区域；
其中，所述根据所述焊缝的所述焊接特征，对所述平面子区域进行筛选，得到与所述焊缝相关的所述平面子区域，具体包括：获取每个所述平面子区域的法线向量；
获取每个所述平面子区域的所述法线向量与其他所述平面子区域的所述法线向量的夹角；
若某个所述平面子区域的所述法线向量与设定数量的其他子区域的所述法线向量的夹角在预设角度阈值范围内，则判定该所述平面子区域为与所述焊缝相关的所述平面子区域；
第一数据处理单元：用于根据所述焊缝区域的点云数据，得到焊缝的形状数据和所述焊缝的起止点位置数据；
第二数据处理单元：用于通过机器人运动学模型和焊接工艺需求，根据焊缝的所述形状数据、所述起止点位置数据和焊缝对应的平面子区域方程，得到所述焊缝的姿态数据。
7.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的3D点云智能感知焊缝位姿提取方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1至5中任一项所述的3D点云智能感知焊缝位姿提取方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410054063.9A CN117576094B (zh) | 2024-01-15 | 2024-01-15 | 一种3d点云智能感知焊缝位姿提取方法、系统、设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410054063.9A CN117576094B (zh) | 2024-01-15 | 2024-01-15 | 一种3d点云智能感知焊缝位姿提取方法、系统、设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117576094A CN117576094A (zh) | 2024-02-20 |
| CN117576094B true CN117576094B (zh) | 2024-04-19 |
Family
ID=89864701
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410054063.9A Active CN117576094B (zh) | 2024-01-15 | 2024-01-15 | 一种3d点云智能感知焊缝位姿提取方法、系统、设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117576094B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022009710A1 (ja) * | 2020-07-06 | 2022-01-13 | ジャパンマリンユナイテッド株式会社 | 溶接ロボットの動作自動生成方法及び動作自動生成システム |
| CN114170176A (zh) * | 2021-12-02 | 2022-03-11 | 南昌大学 | 一种基于点云的钢格板焊缝自动检测方法 |
| CN114283139A (zh) * | 2021-12-27 | 2022-04-05 | 常熟理工学院 | 一种基于面阵结构光3d视觉的焊缝检测分割方法及装置 |
| CN114571153A (zh) * | 2022-04-07 | 2022-06-03 | 福州大学 | 一种基于3d点云的焊缝识别与机器人焊缝跟踪方法 |
| CN115358965A (zh) * | 2022-07-08 | 2022-11-18 | 广东工业大学 | 焊接变形量自适应的直线焊缝打磨轨迹生成方法及装置 |
| CN115415694A (zh) * | 2022-08-29 | 2022-12-02 | 无锡达诺精密钣金有限公司 | 一种钣金工艺用焊接方法、系统及装置 |
| CN115578534A (zh) * | 2022-09-28 | 2023-01-06 | 西咸新区大熊星座智能科技有限公司 | 用于焊缝的3d模型重构方法 |
| CN115965960A (zh) * | 2023-01-31 | 2023-04-14 | 河北中电信普智能科技有限公司 | 一种基于深度学习与3d点云的焊缝识别方法 |
| CN116596883A (zh) * | 2023-05-17 | 2023-08-15 | 合肥工业大学 | 基于机器视觉的金属结构件焊缝识别方法、系统及设备 |
| CN116839473A (zh) * | 2023-06-29 | 2023-10-03 | 上海市机械施工集团有限公司 | 焊缝定位及尺寸计算方法、装置、存储介质及电子设备 |
| CN116921932A (zh) * | 2023-08-14 | 2023-10-24 | 湖北文理学院 | 焊接轨迹识别方法、装置、设备及存储介质 |
| CN117162098A (zh) * | 2023-10-07 | 2023-12-05 | 合肥市普适数孪科技有限公司 | 一种狭小空间机器人姿态自主规划系统及方法 |
| CN117226154A (zh) * | 2023-10-11 | 2023-12-15 | 广东工贸职业技术学院 | 一种基于3d视觉引导的焊道铣削方法和系统 |
| CN117274167A (zh) * | 2023-08-30 | 2023-12-22 | 长春工业大学 | 一种基于三维信息的成形焊缝外观缺陷提取方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023092302A1 (zh) * | 2021-11-23 | 2023-06-01 | 宁德时代新能源科技股份有限公司 | 图像识别方法、装置和计算机可读存储介质 |
-
2024
- 2024-01-15 CN CN202410054063.9A patent/CN117576094B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022009710A1 (ja) * | 2020-07-06 | 2022-01-13 | ジャパンマリンユナイテッド株式会社 | 溶接ロボットの動作自動生成方法及び動作自動生成システム |
| CN114170176A (zh) * | 2021-12-02 | 2022-03-11 | 南昌大学 | 一种基于点云的钢格板焊缝自动检测方法 |
| CN114283139A (zh) * | 2021-12-27 | 2022-04-05 | 常熟理工学院 | 一种基于面阵结构光3d视觉的焊缝检测分割方法及装置 |
| CN114571153A (zh) * | 2022-04-07 | 2022-06-03 | 福州大学 | 一种基于3d点云的焊缝识别与机器人焊缝跟踪方法 |
| CN115358965A (zh) * | 2022-07-08 | 2022-11-18 | 广东工业大学 | 焊接变形量自适应的直线焊缝打磨轨迹生成方法及装置 |
| CN115415694A (zh) * | 2022-08-29 | 2022-12-02 | 无锡达诺精密钣金有限公司 | 一种钣金工艺用焊接方法、系统及装置 |
| CN115578534A (zh) * | 2022-09-28 | 2023-01-06 | 西咸新区大熊星座智能科技有限公司 | 用于焊缝的3d模型重构方法 |
| CN115965960A (zh) * | 2023-01-31 | 2023-04-14 | 河北中电信普智能科技有限公司 | 一种基于深度学习与3d点云的焊缝识别方法 |
| CN116596883A (zh) * | 2023-05-17 | 2023-08-15 | 合肥工业大学 | 基于机器视觉的金属结构件焊缝识别方法、系统及设备 |
| CN116839473A (zh) * | 2023-06-29 | 2023-10-03 | 上海市机械施工集团有限公司 | 焊缝定位及尺寸计算方法、装置、存储介质及电子设备 |
| CN116921932A (zh) * | 2023-08-14 | 2023-10-24 | 湖北文理学院 | 焊接轨迹识别方法、装置、设备及存储介质 |
| CN117274167A (zh) * | 2023-08-30 | 2023-12-22 | 长春工业大学 | 一种基于三维信息的成形焊缝外观缺陷提取方法 |
| CN117162098A (zh) * | 2023-10-07 | 2023-12-05 | 合肥市普适数孪科技有限公司 | 一种狭小空间机器人姿态自主规划系统及方法 |
| CN117226154A (zh) * | 2023-10-11 | 2023-12-15 | 广东工贸职业技术学院 | 一种基于3d视觉引导的焊道铣削方法和系统 |
Non-Patent Citations (3)
| Title |
|---|
| A new welding path planning method based on point cloud and deep learning;Chuqiao Xu et.al;《2020 IEEE 16th International Conference on Automation Science and Engineering (CASE)》;20201008;786-791 * |
| A novel feature-guided trajectory generation method based on point cloud for robotic grinding of freeform welds;Hengjian Feng et.al;《The International Journal of Advanced Manufacturing Technology》;20210517(第115期);1763–1781 * |
| 焊接机器人焊缝识别跟踪技术研究;许海涛;《中国优秀硕士学位论文全文数据库 信息科技辑》;20200515;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117576094A (zh) | 2024-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8265425B2 (en) | Rectangular table detection using hybrid RGB and depth camera sensors | |
| KR101049266B1 (ko) | 이동형 로봇 | |
| CN110926330B (zh) | 图像处理装置和图像处理方法 | |
| JP2016099257A (ja) | 情報処理装置及び情報処理方法 | |
| CN108907526A (zh) | 一种具有高鲁棒性的焊缝图像特征识别方法 | |
| CN113920060A (zh) | 焊接机器人自主作业方法、装置、电子设备及存储介质 | |
| Papanikolopoulos | Selection of features and evaluation of visual measurements during robotic visual servoing tasks | |
| Hou et al. | A teaching-free welding method based on laser visual sensing system in robotic GMAW | |
| CN113781561B (zh) | 基于自适应高斯权快速点特征直方图的目标位姿估计方法 | |
| CN112365439B (zh) | 一种镀锌钢gmaw焊缝成形特征与焊枪方向同步实时检测方法 | |
| CN113172659B (zh) | 基于等效中心点识别的柔性机器人臂形测量方法及系统 | |
| JP6936974B2 (ja) | 位置姿勢推定装置、位置姿勢推定方法及びプログラム | |
| JP2016148649A (ja) | 情報処理装置、情報処理装置の制御方法、およびプログラム | |
| CN117576094B (zh) | 一种3d点云智能感知焊缝位姿提取方法、系统、设备 | |
| KR20190121830A (ko) | 변형 가공 지원 시스템 및 변형 가공 지원 방법 | |
| CN116921932A (zh) | 焊接轨迹识别方法、装置、设备及存储介质 | |
| KR20230081963A (ko) | 딥러닝을 이용한 용접 자동화 시스템 및 이의 용접 자동화 방법 | |
| JP2020016446A (ja) | 情報処理装置、情報処理装置の制御方法、プログラム、計測装置、及び物品製造方法 | |
| EP3738725B1 (en) | Measurement system, measurement device, measurement method, and measurement program | |
| KR102452315B1 (ko) | 딥러닝과 마커를 이용한 비전인식을 통한 로봇 제어장치 및 그 방법 | |
| CN114972414A (zh) | 一种获取目标物体6DoF数据的方法、设备和存储介质 | |
| JP6719925B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
| CN112074868A (zh) | 基于结构光的工业机器人定位方法和装置、控制器、介质 | |
| US11348280B2 (en) | Method and computer readable medium for pose estimation | |
| Cai et al. | A structured light-based visual sensing system for detecting multi-layer and multi-track welding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |