CN114227054B - 一种基于3d点云的管板焊缝自动检测方法 - Google Patents

一种基于3d点云的管板焊缝自动检测方法 Download PDF

Info

Publication number
CN114227054B
CN114227054B CN202210007616.6A CN202210007616A CN114227054B CN 114227054 B CN114227054 B CN 114227054B CN 202210007616 A CN202210007616 A CN 202210007616A CN 114227054 B CN114227054 B CN 114227054B
Authority
CN
China
Prior art keywords
point cloud
welding
point clouds
cloud data
contour
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210007616.6A
Other languages
English (en)
Other versions
CN114227054A (zh
Inventor
李渭
谢斯敬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang University
Original Assignee
Nanchang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang University filed Critical Nanchang University
Priority to CN202210007616.6A priority Critical patent/CN114227054B/zh
Publication of CN114227054A publication Critical patent/CN114227054A/zh
Application granted granted Critical
Publication of CN114227054B publication Critical patent/CN114227054B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
    • B23K31/12—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to investigating the properties, e.g. the weldability, of materials
    • B23K31/125—Weld quality monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于3D点云的管板焊缝自动检测方法，包括：S1，采集工件的3D点云获取焊缝数据，利用深度相机对钢件进行扫描，获得工件的3D点云数据；S2，对点云数据进行滤波处理，包括直通滤波，哈希下采样等进行噪声去除；S3，对点云数据的平面进行提取，提取焊缝的周围区域，去除工件的多余部分；S4，获取轮廓平面的点云，提取点云的内外轮廓，使用欧式类聚进行分离，过滤掉差别比较大的轮廓点云，对轮廓点云拟合焊缝圆轨迹；S5，输出结果，输出拟合圆形轨迹轮廓的圆心和半径的参数。本发明能够在强烈弧光、飞溅和电弧噪声等干扰下，准确地提取出管板焊缝位置，极大地提升了抗干扰能力，保证了焊接质量，提高了自动焊接系统的鲁棒能力。

Description

一种基于3D点云的管板焊缝自动检测方法
技术领域
本发明属于焊缝检测技术领域，具体涉及一种基于3D点云的管板焊缝自动检测方法。
背景技术
焊接技术已经成为工业生产中最为广泛使用的连接方式之一，主要应用有：宇宙航天领域、电子制造领域、机械制造领域以及船舶制造领域等。焊接所面临的场景十分多样，同时在某些领域的焊接场景中，焊工所面临的现场环境十分的恶劣，在焊接过程中焊枪所产生的有害气体以及焊接时焊枪所产生的刺眼弧光，不仅污染了大气环境，而且会对焊工工人产生极大的健康危害。
计算机行业高速发展吗，已经广泛的应用于各行各业中并且表现出了强大信息数据处理能力。制造行业高速发展的今天，仅通过焊工工人来完成焊接任务已经难以满足现今的焊接需求，因此将计算机技术应用到焊接行业是大势所趋。
无人流水线、无灯工厂，国家制造自动化的进程不断加快，其中生产制造过程中的金属焊接是必不可缺的一环。然而在目前的焊接方法中，仍然采用的是基于2D图像的定位焊接方法，这种方法在确定焊接位置的过程中容易收到焊接过程中的强烈的弧光，电弧噪声的影响导致难以对焊缝区域进行准确快速的定位，从而影响焊接的效果和效率。基于此，找到一种快速、准确并且抗干扰的焊缝识别方法对于实现第三代智能焊接机器人具有巨大的工程意义。
目前基于点云的焊缝检测方法有基于图像类型的，有基于深度学习方法的，和基于激光扫描的，以及基于点云的，例如：基于线结构点云的焊缝检测方法、基于3D视觉机器动力电池焊缝质量检测方法、用于焊接环境三维建模的稀疏点云拟合、基于激光扫描的焊缝三维重构系统研究等多种方法。然而，这些方法目前仅能够应用于一些一般的，对与加工精度较低，工作环境相对良好的环境的焊缝检测中，但是对于工作环境更为复杂，加工精度要求更高的管板焊缝检测还存在改进的地方，因此难以满足实际焊接过程中对于焊接焊缝精度和速度的需求。
最近一些年来，基于3D点云的焊接机器人、自动化的焊接手臂技术得到了高速的发展，加快了制造行业的生产力，同时也对焊接的质量和速度提出了更高的要求。如何找到一种快速、准确的高质量管板钢材焊缝检测方法，能够在干扰因素多、工作环境复杂的背景下完成管板焊缝的提取，成为加快第三代焊接器人的一个重要技术。
对于以上问题，本发明提出了一种基于3D点云的管板钢材焊缝自动检测方法，本发明能够在图像成像效果不佳，基于2D图像的管板缝检测方法差的环境下通过激光扫描而提取的工件3D点云，提取出钢管和孔板工件的焊缝。本发明具有抗干扰能力强，生成焊缝区域速度快、准确的特点。
发明内容
针对现有技术中的不足与难题，本发明旨在提供一种基于3D点云的管板焊缝自动检测方法，以解决针对特定类管板钢件设计的焊缝检测方法能够实现高精度的检测，由于是使用深度相机采集工件的深度信息能产生数量密集的3D点云，对于其中的噪声，可以比较方便使用滤波、下采样等方法去除。所以具有抗干扰能力强、识别准确等优点。
本发明通过以下技术方案予以实现：
一种基于3D点云的管板焊缝自动检测方法，具体包括以下步骤：
步骤S1，采集工件的3D点云获取焊缝数据，利用深度相机对工件进行扫描，获得工件的3D点云数据；
步骤S2，对点云数据进行滤波处理，包括直通滤波，哈希下采样等进行噪声去除；
步骤S3，对经步骤S2哈希下采样处理后的点云数据的平面进行提取，提取焊缝的周围区域，去除工件的多余部分；
步骤S4，获取轮廓平面的点云，提取点云的内外轮廓，使用欧式类聚进行分离，过滤掉差别比较大的轮廓点云，对轮廓点云拟合焊缝圆轨迹；
步骤S5，输出结果，输出拟合圆形轨迹轮廓的圆心和半径的参数，进而系统会输出拟合好应该进行焊接的焊接路径的圆心参数和半径。
进一步地，步骤S1采用深度相机采集的3D点云数据来获取管板焊缝轨迹，进而能够获取更加详细的工件信息，具体地步骤S1中根据钢管与平板之间是否存在间隙来决定深度相机扫描的次数，以获取到精确的点云数据，包括以下两种情况：
(1)钢管与平板之间不存在间隙，此时为常规工作模式，焊接轨迹为平板圆孔内壁或钢管外壁；
(2)钢管与平板之间存在间隙，45度扫描两次，钢管圆与平板圆孔并非圆心对齐，此时的焊接轨迹就是钢管外壁与平面孔内壁之间的中心轨迹。
进一步地，步骤S2使用直通滤波和哈希下采样的方式，减少需要进行算点云的数量，减少了计算量加快了检测速度，步骤S2具体包括：
步骤S2-1，将深度相机扫描得到的数据转为CSV格式；
步骤S2-2，对输入的数据进行直通滤波，直通滤波的原理为：对于在空间分布有一定空间特征的点云数据，比如使用线结构光扫描的方式采集点云，沿z向分布较广，但x，y向的分布处于有限范围内，此时可使用直通滤波器，确定点云在x或y方向上的范围，可较快剪除离群点，达到将其中偏离中心区域较远的点过滤目的，使结果更加准确；
步骤S2-3，对输入数据进行哈希下采样，能够从大量的点云中抓获到关键点的位置，减少特征冗余的数据点，来达到使点云稀疏化，减少计算量的目的。
进一步地，步骤S4中具体包括：
步骤S4-1，利用点云数据的角度标准来确定一组点是否是位于边界上，利用每个点云数据的表面法线来确定轮廓所处的平面，进而提取焊缝的工作平面；
步骤S4-2，对整个轮廓点云使用欧式聚类进行分离，过滤掉差别比较大的轮廓点云；计算方式如下式所示，可以将轮廓点云中各个空洞圆找出来，
Figure BDA0003455922220000031
其中x，y代表两个不同的点，x1，x2，xn代表点在第n个维度上的信息；
步骤S4-3，根据得的空洞圆点云数据，去拟合满足空洞圆的焊缝圆轨迹参数：R焊接圆半径、圆心位置。
与现有技术相比，本发明有益效果包括：
1)由于提取的是工件的3D点云数据，具有较强的去噪能力，在强烈弧光、飞溅和电弧噪声等干扰下，相比较其他方法，本发明方法能够在管板焊接领域准确、快速地提取出焊缝位置、焊接圆的半径和圆心位置，具有较高准确性和鲁棒性。
2)本发明在处理过程中使用直通滤波、下采样的方法减少点的数量，从而专注于需要处理的焊缝临近区域，降低了计算难度。
3)本发明能够通过计算机的模拟，完成基于不同焊缝路径的圆心半径模拟在计算机上预先获得焊接的效果展示。
4)基于现有的工业焊接设备，本发明尽量少或者不更新设备的情况下完成对于管状钢材焊接路径的自动检测。
附图说明
图1为本发明的总体流程图；
图2为本发明的实例的点云数据图；
图3为本发明的实例的焊缝圆可视化效果图；
图4为本发明的钢管和平板的焊缝原理图。
具体实施方式
下面结合附图对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例公开了一种基于3D点云的管板焊缝自动检测方法，其流程如图1所示，包括以下步骤：
步骤S1，采集工件的3D点云获取焊缝数据，利用深度相机对钢管和平板钢件进行扫描，来获得工件点云数据，如图2(其中钢管1示意的待焊接钢管、内孔圆2示意的是钢板上的内孔圆、平板3示意的是钢制平板平面)，使用3D点云进行信息的采集，能够获得更丰富的工件信息，便于后期功能的调整，有更强的可拓展性。其中根据钢管和平板之间是否存在距离分为不同的情况进行扫描，(1)钢管1和平板3之间不存在间隙，此时的扫描方式为垂直扫描；(2)钢管1和平板3之间存在间隙，此时的扫描方式为两次45度角扫描，一次为左45度扫描，一次为右45度扫描。
步骤S2，对点云数据括直通滤波、哈希下采样等进行噪声去除等处理，具体包括：
步骤S2-1，深度相机得到的数据需要先转为CSV格式；
步骤S2-2，对点云数据进行滤波处理，进行直通滤波，将Y轴不在(100，300)范围的点过滤掉，将剩余的点存储起来。
步骤S2-3，对直通滤波后的数据进行哈希下采样，得到带有轮廓特征的点云，降低点云信息的冗余程度，在得到稀疏点云的情况下来减少计算量，加快点云处理的速度。
步骤S3，提取哈希下采样后平面点云，去除工件的多余部分。
步骤S4，获取轮廓平面的点云，提取点云的内外轮廓，使用欧式类聚进行分离，过滤掉差别比较大的轮廓点云，将分离的轮廓点云分别拟合焊缝圆轨迹的参数，具体包括：
步骤S4-1，焊缝的工作平面提取是利用点云数据的角度标准来确定一组点是否是位于边界上，利用每个点云数据的表面法线来确定轮廓所处的平面；
步骤S4-2，对整个轮廓点云使用欧式聚类进行分离，过滤掉差别比较大的轮廓点云；计算方式如下式所示，可以将轮廓点云中各个空洞圆找出来，
Figure BDA0003455922220000041
其中x，y代表两个不同的点，x1，x2，xn代表点在第n个维度上的信息。
步骤S4-3，根据得的空洞圆，去拟合满足空洞圆的参数的焊缝圆轨迹参数：R焊接圆半径、圆心位置如图3所示，其中焊缝圆环4为实例中本发明检测出的4个焊缝轨迹，钢板点云5为钢板的点云图像，钢管点云6为钢管的点云图像。
步骤S5，计算检测结果，输出本次计算出来的拟合圆的圆心参数和半径参数如表1。
表1本发明的实例的焊缝圆的参数表
Figure BDA0003455922220000051
图4中显示的有钢管圆和钢板内孔圆和本发明检测出的焊缝轨迹圆，其中钢管圆环7为钢管圆的圆环的示意、焊接圆环8为本方法检测出的待焊接轨迹示意图、平板圆环9为钢制平板上内孔圆形空环示意图。
以上所述仅表达了本发明的优选实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形、改进及替代，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (1)

1.一种基于3D点云的管板焊缝自动检测方法，其特征在于，所述方法包括以下步骤：
步骤S1，采集工件的3D点云获取焊缝数据，利用深度相机对工件进行扫描，获得工件的3D点云数据；
根据钢管与平板之间是否存在间隙来决定深度相机扫描的次数，以获取到精确的点云数据，包括以下两种情况：（1）钢管与平板之间不存在间隙，此时为常规工作模式，焊接轨迹为平板圆孔内壁或钢管外壁；（2）钢管与平板之间存在间隙，45度扫描两次，钢管圆与平板圆孔并非圆心对齐，此时的焊接轨迹就是钢管外壁与平面孔内壁之间的中心轨迹；
步骤S2，对点云数据进行滤波处理，包括直通滤波、哈希下采样进行噪声去除；
步骤S2-1，将深度相机扫描得到的数据转为CSV格式；
步骤S2-2，对输入的数据进行直通滤波，具体为：对于在空间分布有一定空间特征的点云数据，使用线结构光扫描的方式采集点云，沿z向分布较广，但x,y向的分布处于有限范围内，通过直通滤波器，确定点云在x或y方向上的范围，进而快速剪除离群点，将其中偏离中心区域较远的点进行过滤；
步骤S2-3，对输入数据进行哈希下采样，从大量的点云中抓获到关键点的位置，减少特征冗余的数据点；
步骤S3，对经步骤S2哈希下采样处理后的点云数据的平面进行提取，提取焊缝的周围区域，去除工件的多余部分；
步骤S4，获取轮廓平面的点云，提取点云的内外轮廓，使用欧式类聚进行分离，过滤掉差别比较大的轮廓点云，对轮廓点云拟合焊缝圆轨迹；
步骤S4-1，利用点云数据的角度标准来确定一组点是否是位于边界上，利用每个点云数据的表面法线来确定轮廓所处的平面，进而提取焊缝的工作平面；
步骤S4-2，对整个轮廓点云使用欧式聚类进行分离，过滤掉差别比较大的轮廓点云；计算方式如下式所示，将轮廓点云中各个空洞圆找出来，
Figure DEST_PATH_IMAGE002
其中
Figure DEST_PATH_IMAGE004
代表两个不同的点，
Figure DEST_PATH_IMAGE006
，
Figure DEST_PATH_IMAGE008
，
Figure DEST_PATH_IMAGE010
代表点在第n个维度上的信息；
步骤S4-3，根据得的空洞圆点云数据，去拟合满足空洞圆的焊缝圆轨迹参数：R焊接圆半径、圆心位置；
步骤S5，输出结果，输出拟合圆形轨迹轮廓的圆心和半径的参数，进而输出拟合好的焊接路径的圆心参数和半径。
CN202210007616.6A 2022-01-05 2022-01-05 一种基于3d点云的管板焊缝自动检测方法 Active CN114227054B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210007616.6A CN114227054B (zh) 2022-01-05 2022-01-05 一种基于3d点云的管板焊缝自动检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210007616.6A CN114227054B (zh) 2022-01-05 2022-01-05 一种基于3d点云的管板焊缝自动检测方法

Publications (2)

Publication Number Publication Date
CN114227054A CN114227054A (zh) 2022-03-25
CN114227054B true CN114227054B (zh) 2023-01-31

Family

ID=80745811

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210007616.6A Active CN114227054B (zh) 2022-01-05 2022-01-05 一种基于3d点云的管板焊缝自动检测方法

Country Status (1)

Country Link
CN (1) CN114227054B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114952173A (zh) * 2022-05-31 2022-08-30 熵智科技(深圳)有限公司 管板焊接中圆环外轮廓提取方法、装置、设备及存储介质
CN115008092A (zh) * 2022-05-31 2022-09-06 熵智科技(深圳)有限公司 管板焊轨迹生成方法、装置、设备及计算机存储介质
CN114998381A (zh) * 2022-05-31 2022-09-02 熵智科技(深圳)有限公司 管板焊接中焊接轨迹拟合方法、装置、设备及存储介质
CN115810133B (zh) * 2023-02-09 2023-05-23 中建科技集团有限公司 基于图像处理和点云处理的焊接控制方法及相关设备
CN116787019B (zh) * 2023-08-22 2023-10-27 北京互时科技股份有限公司 一种管道焊接数字化管理方法及其系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102565081A (zh) * 2012-01-12 2012-07-11 北京化工大学 基于圆结构光视觉检测三维数据点的管道缺陷检测方法
CN110154034A (zh) * 2019-06-21 2019-08-23 成都钧诺威视智能科技有限公司 一种基于激光三维建模的机器人管板焊接方法
CN111445401A (zh) * 2020-03-19 2020-07-24 熵智科技(深圳)有限公司 圆柱棒料无序分拣的视觉识别方法、装置、设备及介质
CN111745266A (zh) * 2020-06-09 2020-10-09 宝冠科技(苏州)有限公司 基于3d视觉寻位的瓦楞板焊接轨迹生成方法及系统
CN113793344A (zh) * 2021-08-31 2021-12-14 无锡砺成智能装备有限公司 一种基于三维点云的叶轮焊缝定位方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8144193B2 (en) * 2009-02-09 2012-03-27 Recognition Robotics, Inc. Work piece tracking system and method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102565081A (zh) * 2012-01-12 2012-07-11 北京化工大学 基于圆结构光视觉检测三维数据点的管道缺陷检测方法
CN110154034A (zh) * 2019-06-21 2019-08-23 成都钧诺威视智能科技有限公司 一种基于激光三维建模的机器人管板焊接方法
CN111445401A (zh) * 2020-03-19 2020-07-24 熵智科技(深圳)有限公司 圆柱棒料无序分拣的视觉识别方法、装置、设备及介质
CN111745266A (zh) * 2020-06-09 2020-10-09 宝冠科技(苏州)有限公司 基于3d视觉寻位的瓦楞板焊接轨迹生成方法及系统
CN113793344A (zh) * 2021-08-31 2021-12-14 无锡砺成智能装备有限公司 一种基于三维点云的叶轮焊缝定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于PCL的3D点云视觉数据预处理;李朋超等;《计算机应用》;20191230;全文 *
基于视觉注意机制的机器人厚板焊接焊缝轮廓的识别;何银水等;《焊接学报》;20151225(第12期);全文 *

Also Published As

Publication number Publication date
CN114227054A (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
CN114227054B (zh) 一种基于3d点云的管板焊缝自动检测方法
CN110227876B (zh) 基于3d点云数据的机器人焊接路径自主规划方法
CN110434671B (zh) 一种基于特征测量的铸造件表面机加工轨迹校准方法
CN111069976B (zh) 一种车间或产线用刀具损伤智能化移动监测系统及方法
CN114170176B (zh) 一种基于点云的钢格板焊缝自动检测方法
CN110455187B (zh) 一种基于三维视觉的盒体工件焊缝的检测方法
CN114571153B (zh) 一种基于3d点云的焊缝识别与机器人焊缝跟踪方法
CN104674210A (zh) 一种工件激光自动化修复方法
CN112191993B (zh) 一种氩弧焊焊缝跟踪系统及方法
CN113798634B (zh) 空间环形焊缝示教与焊缝跟踪方法、系统及设备
CN111376270B (zh) 一种机器人切割复杂工件的激光视觉寻位修正方法
CN116213884B (zh) 管-法兰微分阵列式划分及自适应焊接路径规划方法
CN110788446B (zh) 基于激光传感器的变姿态实时焊缝跟踪方法
CN114473309A (zh) 用于自动焊接系统的焊接位置识别方法及自动焊接系统
CN115546125A (zh) 一种基于点云信息的增材制造熔敷层的误差检测并对轨迹纠偏的方法
CN114406425A (zh) 一种用于超薄金属精密焊接的焊缝跟踪方法
Hong et al. Real-time quality monitoring of ultrathin sheets edge welding based on microvision sensing and SOCIFS-SVM
CN114066752A (zh) 面向焊缝跟踪的线结构光骨架提取及毛刺去除方法
CN110238699B (zh) 无基准大型双层复杂曲面工件的机械加工定位方法
CN111179255B (zh) 一种膜式水冷壁自动化制备过程中特征识别方法
CN115770988A (zh) 一种基于点云环境理解的焊接机器人智能示教方法
CN219114109U (zh) 焊接机器人视觉传感器装置
CN111230259A (zh) 非平整面自主识别机器人增材制造成形精度控制装置
CN116933549B (zh) 基于点云数据的大长径比筒件装配界面快速余量计算方法
CN117047787B (zh) 基于双目结构光视觉的水轮机顶盖在位机器人编程方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Li Wei

Inventor after: Xie Sijing

Inventor before: Xie Sijing

Inventor before: Li Wei

GR01 Patent grant
GR01 Patent grant