CN114170176B - 一种基于点云的钢格板焊缝自动检测方法 - Google Patents
一种基于点云的钢格板焊缝自动检测方法 Download PDFInfo
- Publication number
- CN114170176B CN114170176B CN202111471745.2A CN202111471745A CN114170176B CN 114170176 B CN114170176 B CN 114170176B CN 202111471745 A CN202111471745 A CN 202111471745A CN 114170176 B CN114170176 B CN 114170176B
- Authority
- CN
- China
- Prior art keywords
- welding
- point
- point cloud
- plane
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003466 welding Methods 0.000 title claims abstract description 204
- 229910000831 Steel Inorganic materials 0.000 title claims abstract description 32
- 239000010959 steel Substances 0.000 title claims abstract description 32
- 238000001514 detection method Methods 0.000 title claims abstract description 22
- 238000006243 chemical reaction Methods 0.000 claims abstract description 4
- 238000005520 cutting process Methods 0.000 claims abstract description 3
- 239000013598 vector Substances 0.000 claims description 32
- 238000000034 method Methods 0.000 claims description 16
- 239000012535 impurity Substances 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000010845 search algorithm Methods 0.000 claims description 2
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims 1
- 238000000638 solvent extraction Methods 0.000 claims 1
- 230000009466 transformation Effects 0.000 claims 1
- 238000000605 extraction Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 5
- 229910000679 solder Inorganic materials 0.000 description 3
- 206010063385 Intellectualisation Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000004021 metal welding Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30152—Solder
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于点云的钢格板焊缝自动检测方法，包括以下步骤：步骤S1，获取焊缝数据；步骤S2，点云降采样；步骤S3，分割出框面点云集；步骤S4，分割出焊面点云集；步骤S5，确定框面；步骤S6，确定焊面和焊缝起始端；步骤S7，确定起始焊点、中间焊点、结束焊点和安全点；步骤S8，坐标转换。本发明具有针对钢格板焊缝进行检测时精度高，在强烈弧光、飞溅和电弧噪声等干扰下准确地提取出焊缝位置，特征点位置，具有抗干扰能力强、识别准确等优点。
Description
技术领域
本发明属于焊缝检测技术领域，具体涉及一种基于点云的钢格板焊缝自动检测方法。
背景技术
焊接技术已经成为广泛使用的连接方式之一，主要应用在宇宙航天领域、电子制造领域、机械制造领域以及船舶制造领域等。然而，焊接的现场环境十分的恶劣，在焊接时焊枪所产生的有害气体和焊接时焊枪所产生的刺眼弧光，非常的容易使焊工们的生命安全受到威胁。随着人口老龄化，焊接工人逐年减少，焊接需求却在逐年增加，传统的人工焊接无法承担当前社会的需求。
而随着人工智能行业以及电子制造技术的发展为焊接行业提供了新思路和新技术，人工智能将会为实现焊接自动化、智能化提供更强有力的技术支撑，能够解决新时代焊接需求，而焊缝检测技术是实现焊接自动化与智能化的关键技术。高效精确的焊缝识别与检测对于实现第三代自主式智能焊接机器人具有极大的工程实际意义。
随着制造行业自动化进程的迅速发展，金属焊接成为生产过程中必不可少的环节。钢格板作为其中一种需求量较大，使用范围较广的一种特定类钢件，其焊缝检测技术，也更加被社会所需要。
发明内容
针对现有技术中的不足与难题，本发明旨在提供一种基于点云的钢格板焊缝自动检测方法，针对钢格板设计的焊缝检测方法能够实现高精度的检测，本发明具有针对钢格板焊缝进行检测时精度高，在强烈弧光、飞溅和电弧噪声等干扰下准确地提取出焊缝位置，特征点位置，具有抗干扰能力强、识别准确等优点。
本发明通过以下技术方案予以实现：
一种基于点云分析的钢格板焊缝自动检测方法，具体包括以下步骤：
步骤S1，获取焊缝数据，利用工业相机和红外激光线对钢格板进行扫描，获得焊缝数据；
步骤S2，点云降采样；
读取数据，使用VoxelGrid体素滤波器对读取的点云数据进行降采样，以便提高后续操作计算速度；
步骤S3，分割出框面点云集；
使用SACMODEL_PLANE模型，利用随机采样一致性算法(RANSAC)算法提取点云中较大的平面，RANSAC通过反复选择数据中一组随机子集来达到目标，所以并不能保证结果一定正确；步骤S1获得了足够多的数据，且钢格板的规格基本一致，获取的数据也较为典型，在不过千的迭代次数中，足以提取出最佳点云平面，通过Segmentation不断对点云数据进行提取分割，并获取平面的参数数据；在剩余不到60％点云数据时，则不再使用基于随机采样的分割方法。如此，一般则将钢格板长的一面和激光扫到的底面分割出来，后续需要对这一步分割出的平面进行判断，以确定唯一的框面，以检测出需要得到的钢格板焊缝；
步骤S4，分割出焊面点云集；
使用统计滤波器StatisticalOutlierRemoval对余下的不到60％的点云数据进行滤波，去除离群点，以便后续进一步将焊缝另一边的平面完整分割出来；滤波后对剩下的点云进行欧式聚类分割，对于空间中的一点P，通过Kd-Tree临近搜索算法找到K个距离P点最近的点，这些点中距离小于设定阈值的便聚合到集合Q中；若Q中元素不在增加，整个聚类过程便结束；否则，在选取集合Q以外的点，重复上述过程，直到Q中元素不在增加，这样将焊缝另一边的平面完整分割出来，但也会分割出其他杂质，后续将进一步排除杂质；分割点云同时使用随机采样平面模型估计分割出的点云平面模型参数；
步骤S5，确定框面；
根据平面方程系数，即平面法向量方向，平面法向量更靠近x，y，z中某一轴，则说明平面更垂直于某一轴，可以简单根据所有平面与x，y，z轴的垂直倾向，对所有平面进行分类，其中平面最多的一类，可以确定为所要焊的一面的平面的集合；根据钢格板结构可以得到，框面与构成焊缝的另一面最靠近框面的点距离一定最短；则算法根据这一类平面中的极值点，与S3步骤中分割的较大的平面的距离，进一步判断，得到较大面中唯一的最大框面，即所要焊的另一面；
步骤S6，确定焊面和焊缝起始端；
根据确定的框面，对另一边平面的集合，在通过两平面是否几乎垂直，进一步排除非焊面的平面，确定焊缝另一边的面。
通过构成焊缝的两平面，可以计算出焊缝的方向向量，可以得到焊缝与x，y，z轴的靠近情况；
再根据靠近情况，进一步，根据焊面极值点在焊缝靠近轴的值，得到焊缝略微大于焊接长度的直线线段，焊接点则位于该线段上；
根据激光扫描得到点云的特点，焊面上部完整，底部不完整，及上部点云多，下部点云少；可以取三个焊面，根据过焊面中心点的垂直于焊面和框面的面，将焊面分成两部分，得到一部分的点云数，判断是否大于另一部分，若大于，则该部分为焊面的上部分；再进一步确定，焊缝线段开始的端点；
根据焊面法向量的方向，对于某轴的倾向性，根据焊面在该轴的极值对焊面和焊缝端点进行排序，以便按顺序输入深度，得到中间和结束焊点；
进一步根据相邻焊缝之间的距离，对两焊缝距离过小的焊缝中，排除焊缝长度短的杂质；
步骤S7，确定起始焊点，中间焊点，结束焊点，和安全点；
以焊缝开始的端点为搜索点，以对应每条焊缝线段长度为半径，用Kd-Tree半径r内临近搜索方式，得到距离焊缝直线小于1，且距离搜索点最近的点；在根据焊缝直线方向与某一轴的倾向性，根据搜索到的点在该轴上的值为最终起始焊点在该轴上的值，进一步根据焊缝线段得到其他轴上的值，确定唯一在直线上的起始焊点；
根据设置的深度，确定中间焊点，和结束焊点；
根据焊缝两边面的法向量以及焊缝方向向量，可设置一定长度得到安全点；
步骤S8，坐标转换，建立根据以前进方向为X，焊接方向为Z的坐标系
将点云数据和焊点和安全点，经过坐标转换，建立根据以前进方向为X，焊接方向为Z的坐标系，以固定起点和结束点，避免混乱。
进一步地，步骤S6，根据两平面求交线向量：
两平面方程：
A1x+B1y+C1z+D1＝0 (1)
A2x+B2y+C2z+D2＝0 (2)
交线向量：(A3，B3，C3)，其中设置向量模长为1：
交线垂直于两平面法向量，可得方程：
A1A3+B1B3+C1C3+D1＝0 (4)
A2A3+B2B3+C2C3+D2＝0 (5)
(3)(4)(5)联立，可得：
即求出两平面交线向量(A3，B3，C3)；
进一步地，步骤S6，求焊缝线段两端点：
根据焊缝向量(A3，B3，C3)倾向性：
若则焊缝倾向于X轴，则以焊面在X轴上的极大值x大加上一定长度x1，极小值x小减去一定长度x2，固定一条包含焊缝的线段：
根据两平面方程：
A1x+B1y+C1z+D1＝0 (1)
A2x+B2y+C2z+D2＝0 (2)
当x取x1可得：
B1y+C1z＝-D1-A1x1 (6)
B2y+C2z＝-D2-A2x1 (7)
(6)(7)联立，可求出：
z＝(B1D2+B1A2x1-B2D1-B2A1x1)/(B2C1-B1C2)
y＝(C1D2+C1A2x1-C2D1-C2A1x1)/(B1C2-B2C1)
x＝x1
即求出焊缝一端端点(x，y，z)；另一端同理；其他倾向也同理；
进一步地，步骤S7，求空间某一点O(x0，y0，z0)到两点A(x1，y1，z1)，B(x2，y2，z2)确定的直线的距离d：
即可得出点到两点确定直线距离d。
与现有技术相比，本发明能够在强烈弧光、飞溅和电弧噪声等干扰下，准确地提取出钢格板焊缝位置，该方法极大地提升了抗干扰能力，保证了焊接质量，提高了自动焊接系统的自适应能力。
附图说明
图1为本发明流程图。
图2为两种情况下得到的焊缝、焊点、安全点对比示意图；其中(a)为在步骤S4未使用统计滤波器，未除去离群点后的示意图；(b)为步骤S4中使用统计滤波器，除去离群点后的示意图。
图3为两种情况下焊缝、焊点和安全点对比示意图；其中(a)为在步骤S6未排除焊面杂质得到的示意图；(b)为排除焊面杂质得到的示意图。
图4为两种情况下焊点和安全点对比示意图；其中(a)为在步骤S6未确定焊点开始端得到的示意图；(b)为在步骤S6确定焊点开始端得到的示意图。
图5为本发明建立坐标系前得到的焊点和安全点的示意图。
图6为本发明建立坐标系后得到的焊点和安全点示意图。
具体实施方式
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
本实施例公开了一种基于点云分析的钢格板焊缝自动检测方法，如图1所示，包括以下步骤：
步骤S1，获取焊缝数据，利用工业相机和红外激光线对钢格板进行扫描，获得焊缝数据“下水道网速度两米”；
步骤S2，读取数据，使用VoxelGrid体素滤波器，设置体素栅格叶大小XYZ方向上尺寸都为0.5，对读取的点云数据进行降采样，以便提高后续操作计算速度；
步骤S3，使用SACMODEL PLANE模型，利用随机采样一致性算法(RANSAC)算法提取点云中较大的平面，设置迭代次数为500，点到模型的距离阈值为1，提取出点云平面，通过Segmentation不断对点云数据进行提取分割，并获取平面的参数数据；
在剩余不到60％点云数据时，则不再使用基于随机采样的分割方法。如此，一般则将钢格板长的一面和激光扫到的底面分割出来，后续需要对这一步分割出的平面进行判断，以确定唯一的框面，以检测出需要得到的钢格板焊缝；到此步，得到3个平面。
步骤S4，使用统计滤波器StatisticalOutlierRemoval对余下的不到60％的点云数据进行滤波，设置用于计算平均距离估计时用的邻域点的数量为50，设置标准差倍数阈值为1，去除离群点，以便后续进一步将焊缝另一边的平面完整分割出来；
滤波后对剩下的点云进行欧式聚类分割，设置临近搜索半径为3，一个聚类最少需要点数目为500，最大点数目为25000，用Kd-Tree搜索方式，将焊缝另一边的平面完整分割出来，但也会分割出其他杂质，后续将进一步排除杂质；再使用随机采样平面模型估计分割出的点云平面模型参数；到此步，共得到21个平面。
如图2所示，直线为焊缝，直线上的白点为焊点，焊缝外的白点为安全点，安全点靠近的一端的焊点为开始焊点，沿焊缝向另一端依次为中间焊点和结束焊点。其中(a)为在步骤S4未使用统计滤波器，未除去离群点时，最终得到的焊缝、焊点、安全点示意图：部分焊面未能分离，被聚类为一个点云，导致部分焊缝不能提取出来；(b)为本实施例使用了统计滤波器，除去离群点后的焊缝、焊点、安全点提取结果示意图，焊面被很好的分离了出来。
步骤S5，根据平面方程系数，即平面法向量方向，得到法向量最靠近Z轴的平面最多，有13个平面，可以确定这一类平面为所要焊的一面的平面的集合；
根据钢格板结构可以得到，框面与构成焊缝的另一面最靠近框面的点距离一定最短；则算法根据这一类平面中的极值点，与S3步骤中分割的较大的平面的距离，进一步判断，可排除平面1，得到较大面中唯一的最大框面平面0，即所要焊的另一面；
步骤S6，根据确定的框面0，对另一边平面的集合平面进行垂直判断，满足条件的有{3，4，5，6，7，8，9，10，11，12，13，14，17}，确定13个焊面。
通过构成焊缝的两平面，以一半焊面为例，计算统计出焊缝平均的方向向量(-0.0069259，0.856397，0.0255783)，可以得到焊缝更靠近于Y轴；
再根据靠近情况，进一步，根据焊面极值点在Y轴的值，得到焊缝略微大于焊接长度的直线线段，焊接点则位于该线段上；
根据激光扫描得到点云的特点，焊面上部完整，底部不完整，及上部点云多，下部点云少；可以取三个焊面，根据过焊面中心点的垂直于焊面和框面的面即近乎垂直于Y轴的平面，将焊面分成两部分，得到一部分的点云数，Y轴值大的半部分的点数小于值小部分的点数；可以确定，焊缝线段上Y轴值极大值的点为开始焊点的一端；
根据焊面法向量(-0.0346242，-0.0140233，-0.924466)，得到焊面在Z轴排列，且值为负，说明，焊面在Z轴由大到小扫描，根据焊面在Z轴的极值对焊面和焊缝端点由大到小进行排序，以便按扫描顺序输入深度，得到中间和结束焊点；
进一步根据相邻焊缝之间的距离，对两焊缝距离过小的焊缝中，排除焊缝相对不垂直于框面的杂质；本实施例排除了排序后的焊缝2，焊面3；若没有其他杂质，则无需排除；
图3(a)为在步骤S6未排除焊面杂质得到的焊缝、焊点和安全点示意图；(b)为该实施例进一步排除焊面杂质得到的焊缝、焊点和安全点示意图。
图4(a)为在步骤S6未确定焊点开始端得到的焊点和安全点示意图；(b)为该实施例确定焊点开始端得到的焊点和安全点示意图。
步骤S7，以焊缝开始的端点为搜索点，以对应每条焊缝线段长度为半径，用Kd-Tree半径r内临近搜索方式，得到距离焊缝直线小于1，且距离搜索点最近的点；在根据焊缝直线方向与Z轴的倾向性，根据搜索到的点在Z轴上的值为最终起始焊点在Z轴上的值，进一步根据焊缝线段得到XY轴上的值，确定唯一在直线上的起始焊点；
根据设置的深度，确定中间焊点，和结束焊点；
根据焊缝两边面的法向量以及焊缝方向向量，可设置一定长度5得到安全点；
步骤S8，计算得到焊面法向量倾向于Y轴，通过判断安全点和起始焊点Y轴上坐标大小，判断扫描前进方向，经过坐标转换，建立根据以前进方向为X，焊接方向为Z的坐标系，以固定起点和结束点，避免混乱。图5为本发明建立坐标系前得到的焊点和安全点的示意图；图6为本发明建立坐标系后得到的焊点和安全点示意图。
以上所述仅表达了本发明的优选实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形、改进及替代，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (9)
1.一种基于点云的钢格板焊缝自动检测方法，其特征在于，所述方法包括以下步骤：
步骤S1，获取焊缝数据：利用工业相机和红外激光线对钢格板进行扫描，获得焊缝数据；
步骤S2，点云降采样：读取数据，使用VoxelGrid体素滤波器对读取的点云数据进行降采样；
步骤S3，分割出框面点云集：基于随机采样一致性算法(RANSAC)提取点云中较大的平面，通过Segmentation不断对点云数据进行提取分割，并获取平面的参数数据；在剩余不到60％点云数据时，则不再使用基于随机采样的分割方法；
步骤S4，分割出焊面点云集：对步骤S3中余下的不到60％的点云数据进行滤波，去除离群点；滤波后对剩下的点云进行欧式聚类分割，同时使用模型估计分割出的点云平面模型参数；
步骤S5，确定框面：基于平面方程系数，确定所要焊的一面的平面的集合；依据平面中的极值点与S3步骤中分割的较大平面的距离，确定所要焊的另一面；
步骤S6，确定焊面和焊缝起始端；
步骤S7，确定起始焊点、中间焊点、结束焊点和安全点；
步骤S8，坐标转换：将点云数据和焊点和安全点，经过坐标转换，建立根据以前进方向为X，焊接方向为Z的坐标系。
2.根据权利要求1所述的一种基于点云的钢格板焊缝自动检测方法，其特征在于，所述步骤S4具体包括：
S4-1、使用统计滤波器StatisticalOutlierRemoval对余下的不到60％的点云数据进行滤波，去除离群点；
S4-2、滤波后对剩下的点云进行欧式聚类分割，对于空间中的一点P，通过Kd-Tree临近搜索算法找到K个距离P点最近的点，这些点中距离小于设定阈值的便聚合到集合Q中；
S4-3、若Q中元素不在增加，整个聚类过程便结束；否则，在选取集合Q以外的点，重复S4-1和S4-2，直到Q中元素不再增加；
S4-4、分割点云同时使用随机采样平面模型估计分割出的点云平面模型参数。
3.根据权利要求1所述的一种基于点云的钢格板焊缝自动检测方法，其特征在于，所述步骤S5具体包括：
S5-1、根据平面方程系数，即平面法向量方向，平面法向量更靠近x，y，z中某一轴，则说明平面更垂直于某一轴，根据所有平面与x，y，z轴的垂直倾向，对所有平面进行分类，其中平面最多的一类，确定为所要焊的一面的平面的集合；
S5-2、根据钢格板结构可以得到，框面与构成焊缝的另一面最靠近框面的点距离一定最短；则算法根据这一类平面中的极值点，与S3步骤中分割的较大的平面的距离，进行筛选和判断，得到较大面中唯一的最大框面，即所要焊的另一面。
4.根据权利要求1所述的一种基于点云的钢格板焊缝自动检测方法，其特征在于，所述步骤S6具体包括：
S6-1、根据确定的框面，对另一边平面的集合，在通过两平面是否几乎垂直，进一步排除非焊面的平面，确定焊缝另一边的面；
S6-2、通过构成焊缝的两平面，可以计算出焊缝的方向向量，可以得到焊缝与x，y，z轴的靠近情况；
S6-3、根据靠近情况，进一步，根据焊面极值点在焊缝靠近轴的值，得到焊缝略微大于焊接长度的直线线段，焊接点则位于该线段上；
S6-4、根据激光扫描得到点云的特点，焊面上部完整，底部不完整，及上部点云多，下部点云少；可以取三个焊面，根据过焊面中心点的垂直于焊面和框面的面，将焊面分成两部分，得到一部分的点云数，判断是否大于另一部分，若大于，则该部分为焊面的上部分；再进一步确定，焊缝线段开始的端点；
S6-5、根据焊面法向量的方向，对于某轴的倾向性，根据焊面在该轴的极值对焊面和焊缝端点进行排序，以便按顺序输入深度，得到中间和结束焊点。
5.根据权利要求4所述的一种基于点云的钢格板焊缝自动检测方法，其特征在于，所述步骤S6还包括：根据相邻焊缝之间的距离，对两焊缝距离过小的焊缝中，排除焊缝相对不垂直于框面的杂质。
6.根据权利要求4所述的一种基于点云的钢格板焊缝自动检测方法，其特征在于，所述步骤S6-2中两平面的交线向量计算方法如下：
两平面方程：
A1x+B1y+C1z+D1＝0 (1)
A2x+B2y+C2z+D2＝0 (2)
交线向量：(A3，B3，C3)，其中设置向量模长为1：
交线垂直于两平面法向量，可得方程：
A1A3+B1B3+C1C3+D1＝0 (4)
A2A3+B2B3+C2C3+D2＝0 (5)
(3)(4)(5)联立，可得：
即求出两平面交线向量，式中，A1，B1，C1，D1为第一个平面方程的已知系数，A2，B2，C2，D2为第二个平面方程的已知系数，A3，B3，C3为所要求的两平面交线向量XYZ方向上的值。
7.根据权利要求6所述的一种基于点云的钢格板焊缝自动检测方法，其特征在于，所述步骤S6-4中焊缝线段两端点计算方法如下：
根据焊缝向量(A3，B3，C3)倾向性：
若则焊缝倾向于X轴，则以焊面在X轴上的极大值x大加上一定长度得到x1，极小值x小减去一定长度得到x2，固定一条包含焊缝的线段：
根据步骤S6-2中两平面方程，x取x1可得：
B1y+C1z＝-D1-A1x1 (6)
B2y+C2z＝-D2-A2x1 (7)
(6)(7)联立，可求出：
z＝(B1D2+B1A2x1-B2D1-B2A1x1)/(B2C1-B1C2)
y＝(C1D2+C1A2x1-C2D1-C2A1x1)/(B1C2-B2C1)
x＝x1
式中，A1，B1，C1，D1为第一个平面方程的已知系数，A2，B2，C2，D2为第二个平面方程的已知系数，x1为确定的所要求的点的x坐标值，y，z为所要求的点的y，z坐标值；即求出焊缝一端端点；另一端同理；其他倾向也同理。
8.根据权利要求1所述的一种基于点云的钢格板焊缝自动检测方法，其特征在于，所述步骤S7具体包括：
S7-1、以焊缝开始的端点为搜索点，以对应每条焊缝线段长度为半径，用Kd-Tree半径r内临近搜索方式，得到距离焊缝直线小于1且距离搜索点最近的点；
S7-2、在根据焊缝直线方向与某一轴的倾向性，根据搜索点在该轴上的值为最终起始焊点在该轴上的值，进一步根据焊缝线段得到其他轴上的值，确定唯一在直线上的起始焊点；
S7-3、根据设置的深度，确定中间焊点，和结束焊点；
S7-4、根据焊缝两边面的法向量以及焊缝方向向量，可设置一定长度得到安全点。
9.根据权利要求1所述的一种基于点云的钢格板焊缝自动检测方法，其特征在于，所述步骤S7中，求空间某一点O(x0，y0，z0)到两点A(x1，y1，z1)，B(x2，y2，z2)确定的直线距离d：
即可得出点到两点确定直线距离d。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111471745.2A CN114170176B (zh) | 2021-12-02 | 2021-12-02 | 一种基于点云的钢格板焊缝自动检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111471745.2A CN114170176B (zh) | 2021-12-02 | 2021-12-02 | 一种基于点云的钢格板焊缝自动检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114170176A CN114170176A (zh) | 2022-03-11 |
| CN114170176B true CN114170176B (zh) | 2024-04-02 |
Family
ID=80482952
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111471745.2A Active CN114170176B (zh) | 2021-12-02 | 2021-12-02 | 一种基于点云的钢格板焊缝自动检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114170176B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114419046B (zh) * | 2022-03-30 | 2022-06-28 | 季华实验室 | H型钢的焊缝识别方法、装置、电子设备和存储介质 |
| CN114571153B (zh) * | 2022-04-07 | 2023-10-10 | 福州大学 | 一种基于3d点云的焊缝识别与机器人焊缝跟踪方法 |
| CN115641462B (zh) * | 2022-12-26 | 2023-03-17 | 电子科技大学 | 一种雷达图像目标识别方法 |
| CN117576094B (zh) * | 2024-01-15 | 2024-04-19 | 中铁科工集团有限公司 | 一种3d点云智能感知焊缝位姿提取方法、系统、设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110455187A (zh) * | 2019-08-21 | 2019-11-15 | 哈尔滨工业大学 | 一种基于三维视觉的盒体工件焊缝的检测方法 |
| WO2019242174A1 (zh) * | 2018-06-21 | 2019-12-26 | 华南理工大学 | 基于激光雷达的建筑结构自动测量及3d模型生成方法 |
| CN113177983A (zh) * | 2021-03-25 | 2021-07-27 | 埃夫特智能装备股份有限公司 | 基于点云几何特征的角焊缝定位方法 |
| CN113298833A (zh) * | 2021-05-20 | 2021-08-24 | 山东大学 | 目标物点云特征线面提取方法及系统 |
| CN113570550A (zh) * | 2021-07-01 | 2021-10-29 | 南京航空航天大学 | 一种基于三维点云的金丝键合尺寸检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10909650B2 (en) * | 2017-06-23 | 2021-02-02 | Cloud 9 Perception, LP | System and method for sensing and computing of perceptual data in industrial environments |
-
2021
- 2021-12-02 CN CN202111471745.2A patent/CN114170176B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019242174A1 (zh) * | 2018-06-21 | 2019-12-26 | 华南理工大学 | 基于激光雷达的建筑结构自动测量及3d模型生成方法 |
| CN110455187A (zh) * | 2019-08-21 | 2019-11-15 | 哈尔滨工业大学 | 一种基于三维视觉的盒体工件焊缝的检测方法 |
| CN113177983A (zh) * | 2021-03-25 | 2021-07-27 | 埃夫特智能装备股份有限公司 | 基于点云几何特征的角焊缝定位方法 |
| CN113298833A (zh) * | 2021-05-20 | 2021-08-24 | 山东大学 | 目标物点云特征线面提取方法及系统 |
| CN113570550A (zh) * | 2021-07-01 | 2021-10-29 | 南京航空航天大学 | 一种基于三维点云的金丝键合尺寸检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| 基于RANSAC分割的点云数据K-近邻去噪算法研究;郭宁博;陈向宁;何艳华;;电子测量技术;20171215(第12期);全文 * |
| 基于平面特征的箱型钢结构点云角点自动提取;王国利;王晏民;郭明;;工程勘察;20161001(第10期);全文 * |
| 强光干扰下的焊缝图像激光条纹提取算法研究;郭宏阳;周建平;薛瑞雷;许燕;;组合机床与自动化加工技术;20200620(第06期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114170176A (zh) | 2022-03-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114170176B (zh) | 一种基于点云的钢格板焊缝自动检测方法 | |
| CN110227876B (zh) | 基于3d点云数据的机器人焊接路径自主规划方法 | |
| Wang et al. | A robust weld seam recognition method under heavy noise based on structured-light vision | |
| CN114227054B (zh) | 一种基于3d点云的管板焊缝自动检测方法 | |
| CN110717872B (zh) | 一种激光辅助定位下的v型焊缝图像特征点提取方法及提取系统 | |
| CN111103291A (zh) | 基于产品焊缝特征的图像识别与质量智能评价系统 | |
| CN114354639B (zh) | 一种基于3d点云的焊缝缺陷实时检测方法及系统 | |
| CN110223345B (zh) | 基于点云的配电线路作业对象位姿估计方法 | |
| CN105345237A (zh) | 一种直缝埋弧焊自动控制焊缝形貌的装置及其工艺方法 | |
| CN114571153A (zh) | 一种基于3d点云的焊缝识别与机器人焊缝跟踪方法 | |
| CN113393426B (zh) | 一种轧钢板表面缺陷检测方法 | |
| CN116091404A (zh) | 一种基于图像-点云信息融合的焊线缺陷检测及模式识别方法 | |
| CN115464669B (zh) | 基于智能焊接机器人的智能光学感知处理系统及焊接方法 | |
| CN114119504A (zh) | 一种基于级联卷积神经网络的钢件焊缝自动检测方法 | |
| Hong et al. | Real-time quality monitoring of ultrathin sheets edge welding based on microvision sensing and SOCIFS-SVM | |
| CN114453809A (zh) | 一种腔体焊接定位方法 | |
| CN118023791B (zh) | 一种精密壳体的焊接方法及系统 | |
| CN114406425A (zh) | 一种用于超薄金属精密焊接的焊缝跟踪方法 | |
| CN114066752A (zh) | 面向焊缝跟踪的线结构光骨架提取及毛刺去除方法 | |
| CN114740006B (zh) | 一种基于3d视觉传感的焊件表面缺陷在线检测方法及装置 | |
| CN115213563B (zh) | 激光智能焊接方法及系统 | |
| CN117455831A (zh) | 一种基于图像轮廓二阶差分的直角焊缝特征点识别方法 | |
| CN116944763A (zh) | 基于3d点云数据的焊缝识别方法 | |
| CN115609110A (zh) | 基于多模融合的电弧复合增材熔深预测方法 | |
| He et al. | Weld seam profile extraction of T-joints based on orientation saliency for path planning and seam tracking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |