CN112258521A - 基于单张椭圆成像射线照片的管道焊缝三维重建方法 - Google Patents
基于单张椭圆成像射线照片的管道焊缝三维重建方法 Download PDFInfo
- Publication number
- CN112258521A CN112258521A CN202011109269.5A CN202011109269A CN112258521A CN 112258521 A CN112258521 A CN 112258521A CN 202011109269 A CN202011109269 A CN 202011109269A CN 112258521 A CN112258521 A CN 112258521A
- Authority
- CN
- China
- Prior art keywords
- weld
- beading
- curve
- welding seam
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000003384 imaging method Methods 0.000 title claims abstract description 31
- 238000003466 welding Methods 0.000 claims abstract description 121
- 230000009466 transformation Effects 0.000 claims abstract description 37
- 230000002093 peripheral effect Effects 0.000 claims abstract description 12
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 9
- 238000001514 detection method Methods 0.000 claims abstract description 5
- 238000004381 surface treatment Methods 0.000 claims abstract description 4
- 230000035515 penetration Effects 0.000 claims description 40
- 239000011159 matrix material Substances 0.000 claims description 21
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 10
- 230000005855 radiation Effects 0.000 claims description 10
- 238000007689 inspection Methods 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 7
- 239000011324 bead Substances 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000002194 synthesizing effect Effects 0.000 claims description 6
- 230000005484 gravity Effects 0.000 claims description 5
- 230000014759 maintenance of location Effects 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 230000000149 penetrating effect Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 235000013405 beer Nutrition 0.000 claims description 3
- 239000002131 composite material Substances 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000002601 radiography Methods 0.000 claims 1
- 238000010248 power generation Methods 0.000 abstract description 4
- 241001016380 Reseda luteola Species 0.000 description 85
- 230000007547 defect Effects 0.000 description 8
- 238000011160 research Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000010438 heat treatment Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 238000003912 environmental pollution Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 206010070834 Sensitisation Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000011900 installation process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000009659 non-destructive testing Methods 0.000 description 1
- 238000013021 overheating Methods 0.000 description 1
- 238000007665 sagging Methods 0.000 description 1
- 230000008313 sensitization Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/203—Drawing of straight lines or curves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
- G06T17/205—Re-meshing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
- G06T3/604—Rotation of whole images or parts thereof using coordinate rotation digital computer [CORDIC] devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于单张椭圆成像射线照片的管道焊缝三维重建方法,包括:焊缝图像识别及分割;根据焊缝及管子图像灰度差异还原焊缝根部成形及焊瘤;根据焊缝椭圆开口影像运用逆透视变换还原焊缝根部成形及焊瘤;对焊缝根部成形及焊瘤的外形曲线进行修正;根据焊缝根部焊瘤径向高度曲线坐标生成焊缝区域的外围边界曲线,对通流面曲线和外围边界曲线插值得到能够表征焊瘤区域的三维散点;对三维点云网格化处理,实现由点到面,生成焊瘤三维模型。本发明在不增加火力发电或其他行业小径管焊接质量检测成本的情况下,能准确有效地根据单张二维管道焊缝射线照片进行焊缝三维重建,实现对管子通流具有重要影响的焊缝根部焊瘤进行精确合理的识别控制。
Description
技术领域
本发明涉及基于单张椭圆成像射线照片的管道焊缝三维重建方法,属于工业故障检测自动化技术领域。
背景技术
能源是人类赖以生存和发展的重要基础,随着全球能源消耗量的日益增长和全球生态环境的不断恶化,世界各国开始共同面对能源和环境问题。火力发电是许多国家电力供应的主要方式之一,提高火力发电效率,减少环境污染是现在世界各国共同追求的目标。现在技术成熟的大容量超临界锅炉机组,能够很大程度地提高能源的利用率,解决电力短缺、减少环境污染等问题。因此,大容量超临界锅炉机组是我国火力发电的主要发展方向。
大型电站锅炉的受热面是由成千上万根小径承压管道构成,而这些小径管焊接接头质量的好坏直接关系大型电站锅炉的运行安全可靠性。因此,工程上对超临界压力以上的大型电站锅炉受热面管对接焊接接头均要求进行高比例(50%~100%)的工业射线无损检测。水冷壁是大型电站锅炉的主要受热面之一,由于其运行工况的特殊性,要求其对接焊接接头既不能有影响其承压的焊接缺陷,同时其焊缝根部焊瘤也不能影响冷却工质通流。锅炉制造厂焊接接头的根部焊瘤一般通过“通球”手段进行排查,而现场安装的焊接接头根部焊瘤已经不能采用简单的“通球”手段进行排除了。因此早期超临界和超超临界锅炉水冷壁经常发生短期或长期过热爆泄,后证实有很大一部分是由于焊接接头根部焊瘤控制不当直接或间接导致的。由于超临界以上的大型电站锅炉在安装过程中一般对水冷壁现场安装焊接接头进行高比例的椭圆成像法工业射线照相检验,如果能利用这一现成的水冷壁对接焊接接头椭圆成像射线检测二维数码影像中的既有信息,复原焊接接头(特别是根部焊瘤)的三维影像,得出该焊接接头根部焊瘤对管道通流截面的损失率大小,将对今后高效高参数大型电站锅炉建设质量和成本的最优控制带来革命性的进步。
射线检测是利用射线能够穿透物体来发现物体内部缺陷的一种检测方法。其原理为,当射线进入被检物体内时,强度会减小,减小多少不仅与射线能量有关,还与被检物体的体积、密度、性质等有关,若被检物体内有缺陷,必然会影响到射线强度的减少。射线能够使胶片感光或者激发材料发出荧光。射线在穿透物体过程中按照一定的规律衰减,利用衰减程度与射线感光或者激发荧光的关系可检查物体内部的缺陷,也可以通过对焊缝根部影像轮廓位置、尺寸及影像黑度差异等信息,合理还原焊缝根部焊瘤高度(即径向)尺寸及周向分布。
近年来,国内外在三维重建的研究已经取得了不少成果。显而易见,只通过一幅图像是没有办法实现整个图像的三维重建的。为了实现单幅图像的三维重建,人们必须借助一些先验知识来建立一些约束,从而实现完全重建。基于约束的类型,单幅图像的三维重建主要可以分为三大类方法:(1)基于特征统计的方法;(2)基于明暗形状恢复;(3)基于几何约束的三维重建。
基于单幅未标定图像的三维重建不管选择何种方法,都需要引入先验知识或者利用人机交互才能完成。虽然通过几何方法对单幅未标定图像的重建有不少的研究,但是标定和重建的适用范围均有局限。大部分的研究是针对平行六面体物体或由多个面组成的物体进行重建,对于曲面,例如球体、圆柱、圆锥等物体的重建研究很少。目前国内关于单幅图三维重建的研究还处于科研探索阶段,在对单幅图的三维重建过程中所受局限性较大,重建效果不理想。
发明内容
本发明所要解决的技术问题在于克服现有技术的不足,提供一种基于单张椭圆成像射线照片的管道焊缝三维重建方法。该方法依据单张二维图片进行三维重建,解决传统重建方法中对单幅图重建时耗时、重建效果太差的弊端。
本发明具体采用以下技术方案解决上述技术问题:
一种基于单张椭圆成像射线照片的管道焊缝三维重建算法,包括以下步骤:
步骤S1:读取单张管道焊缝射线图片,并对图像进行预处理,以减小图像因素对水冷壁管整体的影响;
步骤S2:计算焊缝的焊瘤灰度与厚度之间的关系,初步估计出射线的穿透厚度;
步骤S3:运用逆透视变换,检测出焊瘤区域,并根据检测出的焊瘤区域,提取出焊瘤边缘曲线;
步骤S4:对提取出的焊瘤边缘曲线进行区域划分,考虑焊瘤形成的实际情况,修正提取出的焊瘤边缘曲线,得出修正的较为真实的焊瘤边缘曲线;
步骤S5:分析步骤S2和步骤S4得出两个焊缝穿透厚度,综合出最终的焊瘤穿透厚度信息,并根据该信息绘出焊瘤边缘曲线;
步骤S6:依据绘出的焊瘤边缘曲线坐标生成焊缝外围边界曲线,对绘出的焊瘤边缘曲线和焊缝外围边界曲线插值得到能够表征焊瘤区域的三维散点;
步骤S7:对三维散点云网格化处理,实现由点到面,生成焊瘤三维模型。
进一步地,作为本发明的一种优选技术方案,所述步骤1输入单张小径管焊缝椭圆成像射线照相图片,读取图片的高度和宽度,对图片进行平滑化处理,使其更加服从高斯分布,消除像素为0的点对图像处理的影响,以减小图像因素对小径管整体的影响。
进一步地,作为本发明的一种优选技术方案,所述步骤2计算焊瘤灰度与厚度之间的关系,初步估计出射线的穿透厚度,包括:
步骤S2.1:焊缝射线检测成像时,射线的衰减符合Beer定律,而射线检测得到的图像灰度值与成像平面接收到的射线强度成正比,所以图像灰度值与射线穿透厚度的关系可以表示如下式所示:
G=G0e-μT
上式中,G为图像灰度,T为穿透厚度,μ为射线衰减系数,G0为常数。
步骤S2.2:对式G=G0e-μT两边同时作对数变换,可以建立图像灰度值和射线穿透厚度之间的线性关系,变换后的关系如下式所示:
F=-μT+F0
上式中,F为对数变换后的图像灰度值,F0为常数。
步骤S2.3:设图像中已知两点的灰度值分别为F1、F2,对应的穿透厚度分别为T1、T2,则已知任一点的灰度值为F,可以通过计算得到该点处射线的穿透厚度T,T的表达式如下式所示:
根据上式和焊缝图像上任意两点的像素值和穿透厚度可以得到经过所有焊缝点的射线穿透厚度。
步骤S2.4:上述步骤S2.1~S2.3计算出的是小径管焊缝椭圆成像上所有点的灰度与射线穿透厚度之间的函数关系,通过焊瘤部分的灰度增量,计算出焊瘤在射线穿透方向的厚度,并估算出焊瘤在管子径向的高度。这样将得到的焊缝根部所有点的径向高度值还原出焊缝根部焊瘤形貌,并计算出焊缝根部焊瘤处小径管的通流截面损失。
进一步地,作为本发明的一种优选技术方案,所述步骤3中运用逆透视变换,将小径管焊缝椭圆成像二维图像中的根部焊瘤边缘曲线,投影到三维空间,提取出根据图像曲线还原出的小径管焊缝根部焊瘤边缘曲线,包括:
步骤S3.1:逆透视变换可以认为是焊瘤上一点在多个坐标系中的转换。以三维空间中焊缝上一点为原点建立直角坐标系,称为世界坐标系;以射线检测的射线源为原点建立直角坐标系,称为相机坐标系;
设焊缝上任一点在世界坐标系中的坐标为(Xw,Yw,Zw),该焊缝点在相机坐标中的坐标为(Xc,Yc,Zc),则两个坐标系中该点坐标之间的变换如下式所示:
上式中,R表示从世界坐标系到相机坐标系经过的坐标轴旋转变换矩阵,是一个3×3的矩阵,T表示从世界坐标系到相机坐标系转换过程中坐标原点的平移变换矩阵,是一个3×1的矩阵。
步骤S3.2:(Xc,Yc,Zc)表示焊缝点在相机坐标系中的坐标,(x,y)表示焊缝点在投影坐标系中的坐标,则两个坐标系中的坐标变换关系如下式所示:
上式中,F表示射线源到成像平面的距离,即相机的焦距。
步骤S3.3:xy(0,0)表示投影坐标系的原点,uv(0,0)表示像素坐标系的原点。对于其中一个像素点,(x,y)表示投影点在投影坐标系中的实际坐标,(u,v)表示该像素点在计算机图像存储数组中行数和列数。则两个坐标系中的坐标变换关系如下式所示:
步骤S3.4:综合步骤S3.1~步骤S3.3,得到从焊缝上任意一个点在世界坐标系下的坐标到计算机像素平面上像素点的坐标之间的映射关系如下式所示:
由上式可以发现焊缝点在像素平面上的坐标(u,v)不仅与射线相机的焦距F这些固定量有关,还与该点在相机坐标系中的位置高度Zc有关。用一个矩阵M表示变换中固定的部分,则上式可以简化为如下式所示:
步骤S3.5:根据以上公式,通过矩阵变换关系将二维图像中的小径管焊缝根部焊瘤边缘曲线,投影到三维空间,还原出空间中的小径管焊缝根部焊瘤边缘曲线。
进一步地,作为本发明的一种优选技术方案,所述步骤4中对提取出的二维图像中的小径管焊缝根部焊瘤边缘曲线进行区域划分,考虑焊缝根部焊瘤形成的实际情况,修正原有小径管焊缝根部焊瘤边缘曲线,得出较为真实的焊瘤边缘曲线,包括:
步骤S4.1:读取已经还原出的小径管焊缝根部焊瘤边缘曲线,根据图像的高度和宽度信息将小径管焊缝根部焊瘤边缘曲线划分成上下左右四个区域,还应考虑焊缝形成时的实际焊接位置等信息,对焊缝根部焊瘤边缘曲线进行适当修正。(注:由于受到重力的作用,不同的焊接位置形成的焊缝根部焊瘤形态特点不同,平焊位置的焊缝根部焊瘤呈水滴状,仰焊位置的焊缝根部表面一般较平且容易形成内凹,立焊位置焊缝根部焊瘤一般居于焊缝根部中心,而横焊位置焊缝根部焊瘤则会偏向一侧,呈下挂状态。)
步骤S4.2:对修正后的上下左右四个区域的焊瘤边缘曲线进行合成,去除四条焊瘤边缘曲线合成后多余的部分,对空缺的部分进行插值,补全合成后曲线中的空缺,得到完整的合成焊瘤边缘曲线。
进一步地,作为本发明的一种优选技术方案,所述步骤5中分析步骤S2和步骤S4得出两个焊瘤穿透厚度,综合出最终的焊瘤穿透厚度信息,并根据该信息绘出焊瘤边缘曲线,包括:
步骤S5.1:步骤S2是根据水冷壁管的厚度与灰度函数关系模拟焊瘤的厚度与灰度的函数关系得出的水冷壁管焊瘤通流面,将这个通流面中能表征焊瘤边缘的曲线记为P0;
步骤S5.2:步骤S4是利用矩阵变换将二维图像中焊瘤边缘曲线还原到三维空间中,并考虑实际中重力的作用对焊瘤边缘曲线进行修正,得到完整的合成焊瘤边缘曲线,将这条曲线记为P1;
步骤S5.3:合成曲线P0、P1,对于曲线P0和P1中重合较高的区域,选择保留曲线P0在该区域中的部分,记为P3;对于曲线P0和P1中差异较大的区域,选择保留曲线P1在该区域中的部分,记为P4;
步骤S5.4:合成曲线P3和P4,对曲线P3和P4中不连续的部分进行插值,使其合成为连续的曲线,得到最终的焊瘤边缘曲线。
进一步地,作为本发明的一种优选技术方案,所述步骤6依据焊瘤边缘曲线和焊缝外围边界曲线,对焊瘤边缘曲线和焊缝外围边界曲线的数据进行处理,得到能够表征焊瘤区域的空间散点。
进一步地,作为本发明的一种优选技术方案,所述步骤7对三维点云网格化处理,实现由点到面,生成焊瘤三维模型,包括:
步骤S7.1:引入图卷积神经网络,使空间散点与二维图像对应,优化三维散点,图卷积算子的计算公式如下所示:
步骤S7.2:对优化的三维散点进行三角剖分,每三个点连接形成一个三角形,散点网格化实现由点到面;
步骤S7.3:引入图片的上池化层,更新网格的形状,增加点的数量,优化网格形状,由粗网格到细网格,既保留了焊瘤区域的整体轮廓,又兼顾焊瘤区域的细节特征。
本发明采用上述技术方案,能产生如下技术效果:
本发明所采用的基于单张椭圆成像射线照片的管道焊缝三维重建方法,克服现有技术的不足,依据单张二维图片进行三维重建,解决传统重建方法中对单幅图重建时耗时、重建效果太差的弊端,保证了超临界锅炉的安全运行,对国家能源的安全生产起到了积极作用。
附图说明
图1为本发明方法的方法流程图。
具体实施方式
下面结合说明书附图对本发明的实施方式进行描述。
如图1所示,本发明设计了一种基于单张椭圆成像射线照片的管道焊缝三维重建方法,该方法具体包括以下步骤:
步骤S1:读取单张管道焊缝射线图像,并对图像进行预处理,以减小图像因素对水冷壁管整体的影响;
步骤S2:计算焊瘤灰度与射线穿透厚度之间的关系,初步估计出射线的穿透厚度;
包括以下具体步骤:
S2.1:焊缝射线检测成像时,射线的衰减符合Beer定律,而射线检测得到的图像灰度值与成像平面接收到的射线强度成正比,所以图像灰度值与射线穿透厚度的关系可以表示如下式所示:
G=G0e-μT
上式中,G为图像灰度,T为射线穿透厚度,μ为射线衰减系数,G0为常数。
S2.2:对式G=G0e-μT两边同时作对数变换,可以建立图像灰度值和射线穿透厚度之间的线性关系,变换后的关系如下式所示:
F=-μT+F0
上式中,F为对数变换后的图像灰度值,F0为常数。
S2.3:设图像中已知两点的灰度值分别为F1、F2,对应的穿透厚度分别为T1、T2,则已知任一点的灰度值为F,可以通过计算得到该点处射线的穿透厚度T,T的表达式如下式所示:
根据上式和焊缝射线图像上任意两点的像素值和射线穿透厚度可以得到所有焊缝点的射线穿透厚度。
S2.4:上述步骤S2.1~S2.3计算出的是水冷壁管的图像灰度与射线穿透厚度之间的函数关系,忽略水冷壁管和焊瘤材料上的差异,把这个函数关系等价于焊瘤的厚度与图像灰度的函数关系,根据函数关系通过读取图像中焊瘤部分的图像灰度,估计出射线对焊瘤的穿透厚度。
步骤S3:运用逆透视变换,检测出焊瘤区域,并根据检测出的焊瘤区域,提取出焊瘤边缘曲线;
S3.1:逆透视变换可以认为是焊瘤上一点在多个坐标系中的转换。以三维空间中焊缝上一点为原点建立直角坐标系,称为世界坐标系;以射线检测的射线源为原点建立直角坐标系,称为相机坐标系;
设焊缝上任一点在世界坐标系中的坐标为(Xw,Yw,Zw),该焊缝点在相机坐标系中的坐标为(Xc,Yc,Zc),则世界坐标系、相机坐标系两个坐标系中该点坐标之间的变换如下式所示:
上式中,R表示从世界坐标系到相机坐标系经过的坐标轴旋转变换矩阵,是一个3×3的矩阵,T表示从世界坐标系到相机坐标系转换过程中坐标原点的平移变换矩阵,0表示零矩阵。
S3.2:(Xc,Yc,Zc)表示焊瘤点在相机坐标系中的坐标,(x,y)表示焊瘤点在投影坐标系中的坐标,则相机坐标系、投影坐标系两个坐标系中的坐标变换关系如下式所示:
上式中,F表示射线源到成像平面的距离,即相机的焦距。
S3.3:xy(0,0)表示投影坐标系的原点,uv(0,0)表示像素坐标系的原点。对于其中一个像素点,(u,v)表示该像素点在计算机图像存储数组中行数和列数。则投影坐标系、像素坐标系两个坐标系中的坐标变换关系如下式所示:
S3.4:综合步骤S3.1~步骤S3.3,得到从焊缝上任意一个点在世界坐标系下的坐标到像素坐标系中计算机像素平面上像素点的坐标之间的映射关系如下式所示:
由上式可以发现焊缝点在像素平面上的坐标(u,v)不仅与相机的焦距F等这些固定量有关,还与该点在相机坐标系中的位置高度Zc有关。用一个矩阵M表示变换中固定的部分,则上式可以简化为如下式所示:
S3.5:根据以上公式,通过矩阵变换关系将二维图像中的焊瘤边缘曲线,投影到三维空间,还原出空间中的焊瘤边缘曲线。
步骤S4:对提取出的焊瘤边缘曲线进行区域划分,考虑焊瘤形成的实际情况,修正原有焊瘤边缘曲线,得出较为真实的焊瘤边缘曲线;
S4.1:读取已经还原出的焊瘤边缘曲线,根据图像的高度和宽度信息将焊瘤边缘曲线划分成上下左右四个焊缝区域,考虑焊瘤的实际情况,由于受到重力的作用,不同的焊缝区域实际情况会有些许的差别,上焊瘤和下焊瘤区域的焊瘤会有部分下垂,需要将上、下焊瘤边缘曲线整体向下修正;同理,左、右焊瘤区域的焊瘤边缘曲线也需要向下修正。
S4.2:对修正后的上下左右四个区域的焊瘤边缘曲线进行合成,去除四条焊瘤边缘曲线合成后多余的部分,对空缺的部分进行插值,补全合成后曲线中的空缺,得到完整的合成焊瘤边缘曲线。
步骤S5:分析步骤S2和步骤S4得出两个焊缝穿透厚度,综合出最终的焊瘤穿透厚度信息,并根据该信息绘出焊瘤边缘曲线,包括:
S5.1:步骤S2是根据水冷壁管的射线穿透厚度与图像灰度函数关系模拟焊瘤的厚度与图像灰度的函数关系得出的水冷壁管焊瘤通流面,将这个通流面中能表征焊瘤边缘的曲线记为P0;
S5.2:步骤S4是利用矩阵变换将二维图像中焊瘤边缘曲线还原到三维空间中,并考虑实际中重力的作用对焊瘤边缘曲线进行修正,得到完整的合成焊瘤边缘曲线,将这条曲线记为P1;
S5.3:合成曲线P0、P1,对于曲线P0和P1中重合较高的区域,选择保留曲线P0在该区域中的部分,记为P3;对于曲线P0和P1中差异较大的区域,选择保留曲线P1在该区域中的部分,记为P4;合成曲线P3和P4,这样就得到最终的焊瘤边缘曲线;
合成曲线P3和P4时,对曲线P3和P4中不连续的部分进行插值,使其合成为连续的曲线,得到最终的焊瘤边缘曲线。
S6:依据焊瘤边缘曲线和焊缝外围边界曲线,对焊瘤边缘曲线和焊缝外围边界曲线的数据进行处理,得到能够表征焊瘤区域的空间三维散点。
S7:对三维散点网格化处理,实现由点到面,生成焊瘤三维模型。
S7.1:引入图卷积神经网络,使空间三维散点与二维图像对应,优化三维散点,图卷积算子的计算公式如下所示:
S7.2:对优化的三维散点进行三角剖分,每三个点连接形成一个三角形,散点网格化实现由点到面;
S7.3:引入图片的上池化层,更新网格的形状,增加点的数量,优化网格形状,由粗网格到细网格,既保留了焊瘤区域的整体轮廓,又兼顾焊瘤区域的细节特征。
综上,本发明方法避免了三维重建过程中需要多幅图片,以及重建过程复杂、不能直观地显示重建模型的问题,能够准确可靠的对单张椭圆成像射线照片进行管道焊缝三维重建。
上面结合附图对本发明的实施方式作了详细说明,但是本发明并不限于上述实施方式,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下做出各种变化。
Claims (8)
1.基于单张椭圆成像射线照片的管道焊缝三维重建方法,其特征在于,包括以下步骤:
步骤S1:读取单张管道焊缝射线图片,并对图片进行预处理;
步骤S2:计算焊缝的焊瘤灰度与厚度之间的关系,初步估计出射线的穿透厚度;
步骤S3:对图片运用逆透视变换,检测出焊瘤区域,并根据检测出的焊瘤区域,提取出焊瘤边缘曲线;
步骤S4:对提取出的焊瘤边缘曲线进行区域划分,考虑焊瘤形成的实际情况,修正提取出的焊瘤边缘曲线,得出修正的焊瘤边缘曲线;
步骤S5:分析步骤S2和步骤S4得出两个焊缝穿透厚度,综合出最终的焊瘤穿透厚度信息,并根据该信息绘出焊瘤边缘曲线;
步骤S6:依据绘出的焊瘤边缘曲线坐标生成焊缝外围边界曲线,对绘出的焊瘤边缘曲线和焊缝外围边界曲线插值得到能够表征焊瘤区域的三维散点;
步骤S7:对三维散点云网格化处理,实现由点到面,生成焊瘤三维模型。
2.根据权利要求1所述基于单张椭圆成像射线照片的管道焊缝三维重建方法,其特征在于,所述步骤1中,输入单张管道焊缝射线照相图片,读取图片的高度和宽度,对图片进行平滑化处理,消除像素为0的点对图像的影响。
3.根据权利要求1所述基于单张椭圆成像射线照片的管道焊缝三维重建方法,其特征在于,所述步骤2计算焊缝的焊瘤灰度与厚度之间的关系,初步估计出射线的穿透厚度,包括:
步骤S2.1:焊缝射线检测成像时,射线的衰减符合Beer定律,而射线检测得到的图像灰度值与成像平面接收到的射线强度成正比,所以图像灰度值与射线穿透厚度的关系表示如下式所示:
上式中,G为图像灰度,T为穿透厚度,μ为射线衰减系数,G0为常数;
F=-μT+F0
上式中,F为对数变换后的图像灰度值,F0为常数;
步骤S2.3:设图像中已知两点的灰度值分别为F1、F2,对应的穿透厚度分别为T1、T2,则已知任一点的灰度值为F,通过计算得到该点处射线的穿透厚度T,T的表达式如下式所示:
根据上式和焊缝图像上任意两点的像素值和穿透厚度得到所有焊缝点的穿透厚度;
步骤S2.4:上述步骤S2.1~S2.3计算出的是小径管焊缝椭圆成像上所有点的灰度与射线穿透厚度之间的函数关系,通过焊瘤部分的灰度增量,计算出焊瘤在射线穿透方向的厚度,并估算出焊瘤在管子径向的高度。
4.根据权利要求1所述基于单张椭圆成像射线照片的管道焊缝三维重建方法,其特征在于,所述步骤3中运用逆透视变换,将二维图像中的根部焊瘤边缘曲线,投影到三维空间,提取出根据图像曲线还原出的根部焊瘤边缘曲线,包括:
步骤S3.1:以三维空间中焊缝上一点为原点建立直角坐标系,称为世界坐标系;以射线检测的射线源为原点建立直角坐标系,称为相机坐标系;
设焊缝上任一点在世界坐标系中的坐标为(Xw,Yw,Zw),该焊缝点在相机坐标中的坐标为(Xc,Yc,Zc),则两个坐标系中该点坐标之间的变换如下式所示:
上式中,R表示从世界坐标系到相机坐标系经过的坐标轴旋转变换矩阵,是一个3×3的矩阵,T表示从世界坐标系到相机坐标系转换过程中坐标原点的平移变换矩阵,是一个3×1的矩阵;
步骤S3.2:(Xc,Yc,Zc)表示焊缝点在相机坐标系中的坐标,(x,y)表示焊缝点在投影坐标系中的坐标,则两个坐标系中的坐标变换关系如下式所示:
上式中,F表示射线源到成像平面的距离,即相机的焦距;
步骤S3.3:xy(0,0)表示投影坐标系的原点,uv(0,0)表示像素坐标系的原点;对于其中一个像素点,(x,y)表示投影点在投影坐标系中的实际坐标,(u,v)表示该像素点在计算机图像存储数组中行数和列数;则两个坐标系中的坐标变换关系如下式所示:
步骤S3.4:综合步骤S3.1~步骤S3.3,得到从焊缝上任意一个点在世界坐标系下的坐标到计算机像素平面上像素点的坐标之间的映射关系如下式所示:
用一个矩阵M表示变换中固定的部分,则上式简化为如下式所示:
步骤S3.5:根据以上公式,通过矩阵变换关系将二维图像中的小径管焊缝根部焊瘤边缘曲线,投影到三维空间,还原出空间中的小径管焊缝根部焊瘤边缘曲线。
5.根据权利要求1所述基于单张椭圆成像射线照片的管道焊缝三维重建方法,其特征在于,所述步骤4对提取出的焊瘤边缘曲线进行区域划分,考虑焊瘤形成的实际情况,修正原有焊瘤边缘曲线,得出修正的焊瘤边缘曲线,包括:
步骤S4.1:读取已经还原出的小径管焊缝根部焊瘤边缘曲线,根据图像的高度和宽度信息将小径管焊缝根部焊瘤边缘曲线划分成上下左右四个焊缝区域,对焊缝根部焊瘤边缘曲线进行修正;
步骤S4.2:对修正后的上下左右四个区域的焊瘤边缘曲线进行合成,去除四条焊瘤边缘曲线合成后多余的部分,对空缺的部分进行插值,补全合成后曲线中的空缺,得到完整的合成焊瘤边缘曲线。
6.根据权利要求1所述基于单张椭圆成像射线照片的管道焊缝三维重建方法,其特征在于,所述步骤5中分析步骤S2和步骤S4得出两个焊缝穿透厚度,综合出最终的焊瘤穿透厚度信息,并根据该信息绘出焊瘤边缘曲线,包括:
步骤S5.1:步骤S2是根据水冷壁管的厚度与灰度函数关系模拟焊瘤的厚度与灰度的函数关系得出的水冷壁管焊瘤通流面,将这个通流面中能表征焊瘤边缘的曲线记为P0;
步骤S5.2:步骤S4是利用矩阵变换将二维图像中焊瘤边缘曲线还原到三维空间中,并考虑实际中重力的作用对焊瘤边缘曲线进行修正,得到完整的合成焊瘤边缘曲线,将这条曲线记为P1;
步骤S5.3:合成曲线P0、P1,对于曲线P0和P1中重合度大于设定值的区域,选择保留曲线P0在该区域中的部分,记为P3;对于曲线P0和P1中差异大于设定值的区域,选择保留曲线P1在该区域中的部分,记为P4;
步骤S5.4:合成曲线P3和P4,对曲线P3和P4中不连续的部分进行插值,使其合成为连续的曲线,得到最终的焊瘤边缘曲线。
7.根据权利要求1所述基于单张椭圆成像射线照片的管道焊缝三维重建方法,其特征在于,所述步骤6依据焊瘤边缘曲线和焊缝外围边界曲线,对焊瘤边缘曲线和焊缝外围边界曲线的数据进行处理,得到表征焊瘤区域的空间散点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011109269.5A CN112258521B (zh) | 2020-10-16 | 2020-10-16 | 基于单张椭圆成像射线照片的管道焊缝三维重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011109269.5A CN112258521B (zh) | 2020-10-16 | 2020-10-16 | 基于单张椭圆成像射线照片的管道焊缝三维重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112258521A true CN112258521A (zh) | 2021-01-22 |
CN112258521B CN112258521B (zh) | 2022-06-07 |
Family
ID=74245321
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011109269.5A Active CN112258521B (zh) | 2020-10-16 | 2020-10-16 | 基于单张椭圆成像射线照片的管道焊缝三维重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112258521B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112935473A (zh) * | 2021-02-03 | 2021-06-11 | 北华航天工业学院 | 一种基于机器视觉的自动焊机及其控制方法 |
CN113470117A (zh) * | 2021-06-28 | 2021-10-01 | 上海交通大学 | 基于圆球逆透视投影的单位姿三维结构光标定系统及方法 |
CN115601369A (zh) * | 2022-12-16 | 2023-01-13 | 国网山东省电力公司东营供电公司(Cn) | 一种输变电工程用变电设备支架质量评估方法 |
WO2023124579A1 (zh) * | 2021-12-29 | 2023-07-06 | 广东利元亨智能装备股份有限公司 | 焊缝质量检测区域确定方法、装置、计算机以及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105931227A (zh) * | 2016-04-14 | 2016-09-07 | 北京工业大学 | 一种基于图像灰度b扫曲线的焊缝表面缺陷特征提取方法 |
CN111489310A (zh) * | 2020-04-09 | 2020-08-04 | 江苏方天电力技术有限公司 | 小径管焊接接头射线检验图像焊缝区域的搜索方法 |
CN111489363A (zh) * | 2020-04-09 | 2020-08-04 | 江苏方天电力技术有限公司 | 一种小径管焊缝根部二维图像焊瘤尺寸测量方法 |
-
2020
- 2020-10-16 CN CN202011109269.5A patent/CN112258521B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105931227A (zh) * | 2016-04-14 | 2016-09-07 | 北京工业大学 | 一种基于图像灰度b扫曲线的焊缝表面缺陷特征提取方法 |
CN111489310A (zh) * | 2020-04-09 | 2020-08-04 | 江苏方天电力技术有限公司 | 小径管焊接接头射线检验图像焊缝区域的搜索方法 |
CN111489363A (zh) * | 2020-04-09 | 2020-08-04 | 江苏方天电力技术有限公司 | 一种小径管焊缝根部二维图像焊瘤尺寸测量方法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112935473A (zh) * | 2021-02-03 | 2021-06-11 | 北华航天工业学院 | 一种基于机器视觉的自动焊机及其控制方法 |
CN113470117A (zh) * | 2021-06-28 | 2021-10-01 | 上海交通大学 | 基于圆球逆透视投影的单位姿三维结构光标定系统及方法 |
WO2023124579A1 (zh) * | 2021-12-29 | 2023-07-06 | 广东利元亨智能装备股份有限公司 | 焊缝质量检测区域确定方法、装置、计算机以及存储介质 |
EP4231231A4 (en) * | 2021-12-29 | 2024-02-14 | Guangdong Lyric Robot Automation Co Ltd | METHOD AND APPARATUS FOR DETERMINING A QUALITY INSPECTION AREA OF WELD BEAD, COMPUTER AND STORAGE MEDIUM |
CN115601369A (zh) * | 2022-12-16 | 2023-01-13 | 国网山东省电力公司东营供电公司(Cn) | 一种输变电工程用变电设备支架质量评估方法 |
CN115601369B (zh) * | 2022-12-16 | 2023-03-03 | 国网山东省电力公司东营供电公司 | 一种输变电工程用变电设备支架质量评估方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112258521B (zh) | 2022-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112258521B (zh) | 基于单张椭圆成像射线照片的管道焊缝三维重建方法 | |
Ham et al. | An automated vision-based method for rapid 3D energy performance modeling of existing buildings using thermal and digital imagery | |
Wang et al. | Curvature-guided adaptive T-spline surface fitting | |
CN109470149A (zh) | 一种管路位姿的测量方法及装置 | |
Jin et al. | A new multi-vision-based reconstruction algorithm for tube inspection | |
CN116229017A (zh) | 一种基于逆向投影的管件三维模型重建方法 | |
CN115965960A (zh) | 一种基于深度学习与3d点云的焊缝识别方法 | |
Jin et al. | Automatic multi-stereo-vision reconstruction method of complicated tubes for industrial assembly | |
Chen et al. | 3D cumulus cloud scene modelling and shadow analysis method based on ground-based sky images | |
CN114612412A (zh) | 三维点云数据的处理方法及其用途、电子设备、存储介质 | |
Wang et al. | 3-D reconstruction of bubble flow field based on the method of multivision by rough-precise location algebraic reconstruction technique | |
Lu et al. | Image-based 3D reconstruction for Multi-Scale civil and infrastructure Projects: A review from 2012 to 2022 with new perspective from deep learning methods | |
Son et al. | Automatic 3D reconstruction of as-built pipeline based on curvature computations from laser-scanned data | |
CN115828642A (zh) | 基于Unity的GPU加速X射线数字成像仿真方法 | |
Möller et al. | 3D reconstruction of on-/offshore wind turbines for manual and computational visual inspection | |
Ohtake et al. | Thickness-driven sheet metal segmentation of ct-scanned body-in-white. e | |
Zhang et al. | Deformation visual inspection of industrial parts with image sequence | |
Kortaberria et al. | Theoretical accuracy assessment of model-based photogrammetric approach for pose estimation of cylindrical elements | |
CN117557553B (zh) | 一种核电站管道焊缝检测方法及装置 | |
CN115345775B (zh) | 一种面向椭圆状管件外形检测的图像展开方法及装置 | |
Ye et al. | A Modified Method for Welding Seam Location of Tube-Sheet Welding Based on Image Edge Segmentation | |
Zhenyu et al. | Three-dimensional Reconstruction of Single Pipeline Radiographic Image | |
Yang et al. | Three-dimensional reconstruction filtering algorithm based on single ray picture of pipe welds | |
Yu et al. | Three-dimensional Design of Architectural Appearance in Coastal Areas Based on Digital Media Technology | |
Bootsma et al. | Automated 3-D reconstruction of the surface of live early-stage amphibian embryos |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |