CN116228652A - 一种基于三维点云曲率的管道焊缝表面缺陷检测方法 - Google Patents
一种基于三维点云曲率的管道焊缝表面缺陷检测方法 Download PDFInfo
- Publication number
- CN116228652A CN116228652A CN202211668124.8A CN202211668124A CN116228652A CN 116228652 A CN116228652 A CN 116228652A CN 202211668124 A CN202211668124 A CN 202211668124A CN 116228652 A CN116228652 A CN 116228652A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- curvature
- data
- pipeline
- dimensional point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0006—Industrial image inspection using a design-rule based approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/64—Analysis of geometric attributes of convexity or concavity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
本发明公开了一种基于三维点云曲率的管道焊缝表面缺陷检测方法,其特征在于:包括如下步骤:步骤1,采图获取管道焊缝的多位置图像;步骤2,对采集图像进行处理得到三维点云数据;步骤3,对三维点云数据进行基于B‑样条曲线的光顺预处理;步骤4,计算焊缝点云各点的表面曲率;步骤5,将计算出的曲率与合格点云曲率进行对比,找出缺陷位置并标记;本发明提供的一种基于三维点云曲率的管道焊缝表面缺陷识别方法,不受场地、天气等外界条件影响;可以在焊接结束后立刻采集焊缝图片进行处理,高效高质量地完成管道焊缝表面缺陷识别工作。
Description
技术领域
本发明涉及一种基于三维点云曲率的管道焊缝表面缺陷检测方法,属于焊缝缺陷检测技术领域。
背景技术
一直以来,我国的石油化工产业对国家的经济发展有着举足轻重的影响,石油化工产业涉及的管道焊接作业量巨大,现场作业环境恶劣,自动化程度低。如果因为焊接后没有及时发现焊缝存在缺陷而继续使用,可能会导致无法挽回的后果;因此在完成焊接的第一时间检测焊缝的表面缺陷并进行记录尤为重要。
目前工业上最常使用的焊缝表面缺陷方法主要为:人工检测、磁粉检测、渗透检测、涡流检测、机器视觉检测等表面缺陷的检测方法;各种方法都有其最适宜的检测对象、适用的范围和场合,也各有其特点和不足之处。人工检测劳动强度大,容易出现漏检、错检等现象。磁粉检测方法虽然比较成熟,但对不同缺陷的敏感度不同,漏检率较高,且由于使用条件的限制,难以大规模推广。而超声波和涡流检测容易受到检测对象的形状、种类所影响,因此不适用于表面复杂的管道焊缝。
发明内容
目的:为了克服现有技术中存在的不足,本发明提供一种基于三维点云曲率的管道焊缝表面缺陷检测方法。
技术方案:为解决上述技术问题,本发明采用的技术方案为:
一种基于三维点云曲率的管道焊缝表面缺陷检测方法,包括如下步骤:
步骤1,采图获取管道焊缝的多位置图像;
步骤2,对采集图像进行处理得到三维点云数据;
步骤3,对三维点云数据进行基于B-样条曲线的光顺预处理;
步骤4,计算焊缝点云各点的表面曲率;
步骤5,将计算出的曲率与合格点云曲率进行对比,找出缺陷位置并标记。
本发明进一步设置为,所述步骤1中通过全位置焊接机器人上的CCD相机进行采图,且对管道焊缝多位置图像进行实时获取。
本发明进一步设置为,所述步骤2中将采集的图像转换成三维点云数据模型步骤包括,
对获取到的焊缝图片进行特征提取及匹配;
利用增量式Structure-From-Motion算法进行稀疏点云重建;
对稀疏点云进行稠密点云重建,得到三维点云模型。
本发明进一步设置为,所述步骤3中利用B-样条光顺法对点云进行预处理。
本发明进一步设置为,所述步骤4中分别计算出点云中各点所对应的曲率。
本发明进一步设置为,对所述步骤4中的各点进行点云预处理,所述点云预处理的步骤包括:定义点集点数PN,列数XN,行数YN;
设定每块点数BPN(BLOCKPNUM),计算每块行数BYN=BPN/XN;点集块数BN=YN/BYN计算最后一块剩余行数:
lastYN=YN-BYN-(BN-2)*(BYN-w),w为保证块与块之间衔接保留的行数,第一块数据读取BYN,之后的数据块每次读取BYN-w行,直至最后一块数据;
对读入数据块的数据进行领域处理:
BZi,j=Zi-1,j-1+Zi,j-1+Zi-1,j+Zi,j+Zi+1,j+Zi-1,j+1+Zi,j+1+Zi+1,j+1;计算原始点云数据与领域平均后的插值:dzi,j=Zi,j-BZi,j;
计算每块数据点集中各个点的平均曲率,提取平均曲率大于2的点;
计算点云数据中点pi与1-领域内其他数据点的平均曲率之和,记为Σ|kHi|,用于判断边缘轮廓点;
计算点云数据中点pi与1-领域内其他数据点法向距离的高度差,记为Σ|ΔZNi|。
本发明进一步设置为,所述S5中的点云曲率计算步骤包括:
设待检测管道的圆心为O,在焊缝三维点云模型上任取一点P,以O为圆心连接点P和P相邻的点P’形成的曲线记为r,r的表达式为:r=r(x(t),y(t));
有益效果:本发明提供一种基于三维点云曲率的管道焊缝表面缺陷检测方法,通过全位置焊接小车实时采集管道焊缝的图像,利用三维重建方法获得其点云模型,根据B-样条光顺算法对点云进行预处理,以获得较清晰的点云模型,根据处理后的点云曲率信息判断出存在缺陷的位置并做出标记。本方法不受场地、天气等外界条件影响;可以在焊接结束后立刻采集焊缝图片进行处理,高效高质量地完成管道焊缝表面缺陷识别工作。
附图说明
图1为图像采集装置示意图。
图2为点云获取流程图。
图3为点云光顺算法流程图。
图4为缺陷(气孔)实物及检测结果。
图中标记:1-管道全位置焊接小车,2-滑轨电机,3-CCD相机,4-待检测焊缝,5-焊枪,6-相机固定连杆,7-滑轨
具体实施方式
下面结合具体实施例对本发明作更进一步的说明。
一种基于三维点云曲率的管道焊缝表面缺陷检测方法,包括如下步骤:
通过全位置焊接机器人上的CCD相机实时采图获取管道焊缝的多位置图像;
对采集图像进行处理得到三维点云数据;
对三维点云数据进行基于B-样条曲线的光顺预处理;
计算焊缝点云各点的表面曲率;
将计算出的曲率与合格点云曲率进行对比,找出缺陷位置并标记。
实施例1:
本发明设计的实验系统由1个CCD相机、焊接小车、计算机和待检测管道组成,如图1所示,图中标记:1-管道全位置焊接小车,2-滑轨电机,3-CCD相机,4-待检测焊缝,5-焊枪,6-相机固定连杆,7-滑轨。相机型号为MER-500-14GM/C-P,分辨率为2592(H)×1944(V),像素尺寸2.2μm×2.2μm,镜头焦距16mm。将CCD相机安装在可滑动导轨上,按照每一段焊缝图像与上一段图像的重复率大于1/3的原则,在图中所示3个CCD相机所在位置进行图像的采集工作,相机在最左和最右位置时与竖直方向的夹角均为45°。为保证每次都能采集到清晰的图像,相机距离焊缝的距离约为130mm,采集到的图像传输到计算机进行实时的图像处理工作。
对采集到的图像进行稀疏重建重做,首先在加入第一对环焊缝图像后进行特征点的匹配,以及利用三角测量求出三维点深度,接着计算重投影误差优化深度信息;然后逐渐加入剩下的管道环焊缝图像,根据计算得到的点云信息不断迭代更新初始生成的三维点云,以及新加入图像所对应的相机运动和位置信息,从而得到环焊缝的三维结构信息;最后利用光束法平差优化摄像机位姿和场景使得稀疏重建误差降低到最小。
对得到的稀疏点云进行稠密重建工作,其过程主要分为三个步骤:(1)初始化特征匹配;(2)表面切片的生成;(3)表面切片的过滤。通过特征匹配并三角化后既可以初始化得到稀疏表面切片,之后生成更多的表面切片并对错误的表面切片进行过滤,这两个过程迭代多次来生成更多的表面切片并对错误的表面切片进行过滤。PMVS算法中使用高斯差分算子和Harris角点提取算子来提取图像的特征,之后对特征点进行匹配,通过三角化的方式可以根据匹配点对生成稀疏空间点云,然后将这些点按照点到对应相机光心的距离从小到大排序,依次尝试生成表面切片直到成功为止,初始化后得到初始表面切片。之后根据这些表面切片重复生成新的表面切片,具体来说就是对每一个表面切片,首先定义其满足一定条件的邻域图像集合,在此集合中尝试生成新的表面切片。最后是对表面切片进行过滤来剔除错误的表面切片PMVS算法中使用了三个过滤器,一个是通过可见一致性标准来过滤,剔除掉不满足可视一致性标准的表面切片;另一个过滤器也考虑了可见一致性,对于每个表面切片计算其通过深度测试的可见图像总数,剔除那些总数没有超过一定阈值的表面切片;最后的过滤器过滤掉那些孤立的表面切片。
对获得的稠密点云根据B-样条光顺算法进行预处理,首先定义点集点数PN,列数XN,行数YN;
设定每块点数BPN(BLOCKPNUM),计算每块行数BYN=BPN/XN;点集块数BN=YN/BYN计算最后一块剩余行数:
lastYN=YN-BYN-(BN-2)*(BYN-w),w为保证块与块之间衔接保留的行数,第一块数据读取BYN,之后的数据块每次读取BYN-w行,直至最后一块数据;
对读入数据块的数据进行领域处理:
BZi,j=Zi-1,j-1+Zi,j-1+Zi-1,j+Zi,j+Zi+1,j+Zi-1,j+1+Zi,j+1+Zi+1,j+1;计算原始点云数据与领域平均后的插值:dzi,j=Zi,j-BZi,j;
计算每块数据点集中各个点的平均曲率,提取平均曲率大于2的点;
计算点云数据中点pi与1-领域内其他数据点的平均曲率之和,记为Σ|kHi|,用于判断边缘轮廓点;
计算点云数据中点pi与1-领域内其他数据点法向距离的高度差,记为Σ|ΔZNi|。
所述S5中的点云曲率计算步骤包括:
设待检测管道的圆心为O,在焊缝三维点云模型上任取一点P,以O为圆心连接点P和P相邻的点P’形成的曲线记为r,r的表达式为:r=r(x(t),y(t));
实施例2:
管道焊缝表面缺陷检测中,采用了计算点云曲率的方法首先利用单目相机获取管道焊缝图像,进行稀疏、稠密点云重建,并利用B-样条光顺预处理得到的稠密点云;最后根据点云表面曲率是否发生突变,确定缺陷位置并进行标记,如图4所示。结果表明,该方法能较好地完成焊缝表面缺陷检测。
本发明的目的是可以在焊接结束后立刻采集焊缝图片进行处理,高效高质量地完成管道焊缝表面缺陷识别工作,降低焊工劳动强度,提高焊接检测效率,有效解决石油化工行业管道焊接工程焊接现场作业时,需要人工检测焊缝成型质量,导致焊接效率低下的问题,本发明提供一种基于三维点云曲率的管道焊缝表面缺陷检测方法,来实现管道焊缝表面缺陷的检测。
以上所述仅是本发明的优选实施方式,应当指出:对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (7)
1.一种基于三维点云曲率的管道焊缝表面缺陷检测方法,其特征在于:包括如下步骤:
步骤1,采图获取管道焊缝的多位置图像;
步骤2,对采集图像进行处理得到三维点云数据;
步骤3,对三维点云数据进行基于B-样条曲线的光顺预处理;
步骤4,计算焊缝点云各点的表面曲率;
步骤5,将计算出的曲率与合格点云曲率进行对比,找出缺陷位置并标记。
2.根据权利要求1所述的一种基于三维点云曲率的管道焊缝表面缺陷检测方法,其特征在于:所述步骤1中通过全位置焊接机器人上的CCD相机进行采图,且对管道焊缝多位置图像进行实时获取。
3.根据权利要求1所述的一种基于三维点云曲率的管道焊缝表面缺陷检测方法,其特征在于:所述步骤2中将采集的图像转换成三维点云数据模型步骤包括,
对获取到的焊缝图片进行特征提取及匹配;
利用增量式Structure-From-Motion算法进行稀疏点云重建;
对稀疏点云进行稠密点云重建,得到三维点云模型。
4.根据权利要求1所述的一种基于三维点云曲率的管道焊缝表面缺陷检测方法,其特征在于:所述步骤3中利用B-样条光顺法对点云进行预处理。
5.根据权利要求1所述的一种基于三维点云曲率的管道焊缝表面缺陷检测方法,其特征在于:所述步骤4中分别计算出点云中各点所对应的曲率。
6.根据权利要求4所述的一种基于三维点云曲率的管道焊缝表面缺陷检测方法,其特征在于:对所述步骤4中的各点进行点云预处理,所述点云预处理的步骤包括:定义点集点数PN,列数XN,行数YN;
设定每块点数BPN(BLOCKPNUM),计算每块行数BYN=BPN/XN;点集块数BN=YN/BYN计算最后一块剩余行数:
lastYN=YN-BYN-(BN-2)*(BYN-w),w为保证块与块之间衔接保留的行数,第一块数据读取BYN,之后的数据块每次读取BYN-w行,直至最后一块数据;
对读入数据块的数据进行领域处理:
BZi,j=Zi-1,j-1+Zi,j-1+Zi-1,j+Zi,j+Zi+1,j+Zi-1,j+1+Zi,j+1+Zi+1,j+1;计算原始点云数据与领域平均后的插值:dzi,j=Zi,j-BZi,j;
计算每块数据点集中各个点的平均曲率,提取平均曲率大于2的点;
计算点云数据中点pi与1-领域内其他数据点的平均曲率之和,记为Σ|kHi|,用于判断边缘轮廓点;
计算点云数据中点pi与1-领域内其他数据点法向距离的高度差,记为Σ|ΔZNi|。
7.根据权利要求5所述的一种基于三维点云曲率的管道焊缝表面缺陷检测方法,其特征在于:所述S5中的点云曲率计算步骤包括:
设待检测管道的圆心为O,在焊缝三维点云模型上任取一点P,以O为圆心连接点P和P相邻的点P’形成的曲线记为r,r的表达式为:r=r(x(t),y(t));
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211668124.8A CN116228652A (zh) | 2022-12-23 | 2022-12-23 | 一种基于三维点云曲率的管道焊缝表面缺陷检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211668124.8A CN116228652A (zh) | 2022-12-23 | 2022-12-23 | 一种基于三维点云曲率的管道焊缝表面缺陷检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116228652A true CN116228652A (zh) | 2023-06-06 |
Family
ID=86575802
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211668124.8A Pending CN116228652A (zh) | 2022-12-23 | 2022-12-23 | 一种基于三维点云曲率的管道焊缝表面缺陷检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116228652A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116699428A (zh) * | 2023-08-08 | 2023-09-05 | 深圳市杰成镍钴新能源科技有限公司 | 退役电池的缺陷检测方法及装置 |
CN117371222A (zh) * | 2023-10-23 | 2024-01-09 | 内蒙古工业大学 | 一种基于离散曲率及多级优化点的曲线光顺优化方法 |
CN117371222B (zh) * | 2023-10-23 | 2024-04-26 | 内蒙古工业大学 | 一种基于离散曲率及多级优化点的曲线光顺优化方法 |
-
2022
- 2022-12-23 CN CN202211668124.8A patent/CN116228652A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116699428A (zh) * | 2023-08-08 | 2023-09-05 | 深圳市杰成镍钴新能源科技有限公司 | 退役电池的缺陷检测方法及装置 |
CN117371222A (zh) * | 2023-10-23 | 2024-01-09 | 内蒙古工业大学 | 一种基于离散曲率及多级优化点的曲线光顺优化方法 |
CN117371222B (zh) * | 2023-10-23 | 2024-04-26 | 内蒙古工业大学 | 一种基于离散曲率及多级优化点的曲线光顺优化方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111721259B (zh) | 基于双目视觉的水下机器人回收定位方法 | |
CN112067233B (zh) | 一种用于风洞模型六自由度运动捕获方法 | |
CN109658456A (zh) | 罐体内角焊缝激光视觉三维视觉定位方法 | |
CN107392849B (zh) | 基于图像细分的靶标识别与定位方法 | |
CN110766669B (zh) | 一种基于多目视觉的管线测量方法 | |
CN109615654B (zh) | 基于双目视觉的排水管道内表面腐蚀深度及面积测量方法 | |
CN107767456A (zh) | 一种基于rgb‑d相机的物体三维重建方法 | |
CN110751604A (zh) | 一种基于机器视觉的钢管焊缝缺陷在线检测方法 | |
CN109470149B (zh) | 一种管路位姿的测量方法及装置 | |
CN107358628B (zh) | 基于靶标的线阵图像处理方法 | |
CN106996748A (zh) | 一种基于双目视觉的轮径测量方法 | |
CN109986172B (zh) | 一种焊缝定位方法、设备及系统 | |
CN114140439A (zh) | 基于深度学习的激光焊接焊缝特征点识别方法及装置 | |
CN113920060A (zh) | 焊接机器人自主作业方法、装置、电子设备及存储介质 | |
CN111667470B (zh) | 一种基于数字图像的工业管道探伤内壁检测方法 | |
CN111784655B (zh) | 一种水下机器人回收定位方法 | |
CN116228652A (zh) | 一种基于三维点云曲率的管道焊缝表面缺陷检测方法 | |
CN113134683A (zh) | 基于机器学习的激光标刻方法及装置 | |
CN115131268A (zh) | 一种基于图像特征提取与三维模型匹配的自动化焊接系统 | |
CN114280075A (zh) | 一种管类零件表面缺陷在线视觉检测系统及检测方法 | |
CN111738971B (zh) | 一种基于线激光双目立体视觉的电路板立体扫描检测方法 | |
CN113393524B (zh) | 一种结合深度学习和轮廓点云重建的目标位姿估计方法 | |
CN113947583A (zh) | 基于深度学习二维时间序列图像的焊缝无损检测方法 | |
CN113705564A (zh) | 一种指针式仪表识别读数方法 | |
CN116596987A (zh) | 一种基于双目视觉的工件三维尺寸高精度测量方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |