CN112258521B - 基于单张椭圆成像射线照片的管道焊缝三维重建方法 - Google Patents

基于单张椭圆成像射线照片的管道焊缝三维重建方法 Download PDF

Info

Publication number
CN112258521B
CN112258521B CN202011109269.5A CN202011109269A CN112258521B CN 112258521 B CN112258521 B CN 112258521B CN 202011109269 A CN202011109269 A CN 202011109269A CN 112258521 B CN112258521 B CN 112258521B
Authority
CN
China
Prior art keywords
weld
beading
curve
welding seam
welding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011109269.5A
Other languages
English (en)
Other versions
CN112258521A (zh
Inventor
杨贤彪
王舒涛
杨庆旭
万瑜
杨超
刘叙笔
马君鹏
石仁强
孙震宇
王立辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Fangtian Power Technology Co Ltd
Original Assignee
Jiangsu Fangtian Power Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Fangtian Power Technology Co Ltd filed Critical Jiangsu Fangtian Power Technology Co Ltd
Priority to CN202011109269.5A priority Critical patent/CN112258521B/zh
Publication of CN112258521A publication Critical patent/CN112258521A/zh
Application granted granted Critical
Publication of CN112258521B publication Critical patent/CN112258521B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/203Drawing of straight lines or curves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205Re-meshing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/60Rotation of a whole image or part thereof
    • G06T3/604Rotation of a whole image or part thereof using a CORDIC [COordinate Rotation Digital Compute] device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics

Abstract

本发明公开了一种基于单张椭圆成像射线照片的管道焊缝三维重建方法,包括:焊缝图像识别及分割;根据焊缝及管子图像灰度差异还原焊缝根部成形及焊瘤;根据焊缝椭圆开口影像运用逆透视变换还原焊缝根部成形及焊瘤;对焊缝根部成形及焊瘤的外形曲线进行修正;根据焊缝根部焊瘤径向高度曲线坐标生成焊缝区域的外围边界曲线,对通流面曲线和外围边界曲线插值得到能够表征焊瘤区域的三维散点;对三维点云网格化处理,实现由点到面,生成焊瘤三维模型。本发明在不增加火力发电或其他行业小径管焊接质量检测成本的情况下,能准确有效地根据单张二维管道焊缝射线照片进行焊缝三维重建,实现对管子通流具有重要影响的焊缝根部焊瘤进行精确合理的识别控制。

Description

基于单张椭圆成像射线照片的管道焊缝三维重建方法
技术领域
本发明涉及基于单张椭圆成像射线照片的管道焊缝三维重建方法,属于工业故障检测自动化技术领域。
背景技术
能源是人类赖以生存和发展的重要基础,随着全球能源消耗量的日益增长和全球生态环境的不断恶化,世界各国开始共同面对能源和环境问题。火力发电是许多国家电力供应的主要方式之一,提高火力发电效率,减少环境污染是现在世界各国共同追求的目标。现在技术成熟的大容量超临界锅炉机组,能够很大程度地提高能源的利用率,解决电力短缺、减少环境污染等问题。因此,大容量超临界锅炉机组是我国火力发电的主要发展方向。
大型电站锅炉的受热面是由成千上万根小径承压管道构成,而这些小径管焊接接头质量的好坏直接关系大型电站锅炉的运行安全可靠性。因此,工程上对超临界压力以上的大型电站锅炉受热面管对接焊接接头均要求进行高比例(50%~100%)的工业射线无损检测。水冷壁是大型电站锅炉的主要受热面之一,由于其运行工况的特殊性,要求其对接焊接接头既不能有影响其承压的焊接缺陷,同时其焊缝根部焊瘤也不能影响冷却工质通流。锅炉制造厂焊接接头的根部焊瘤一般通过“通球”手段进行排查,而现场安装的焊接接头根部焊瘤已经不能采用简单的“通球”手段进行排除了。因此早期超临界和超超临界锅炉水冷壁经常发生短期或长期过热爆泄,后证实有很大一部分是由于焊接接头根部焊瘤控制不当直接或间接导致的。由于超临界以上的大型电站锅炉在安装过程中一般对水冷壁现场安装焊接接头进行高比例的椭圆成像法工业射线照相检验,如果能利用这一现成的水冷壁对接焊接接头椭圆成像射线检测二维数码影像中的既有信息,复原焊接接头(特别是根部焊瘤)的三维影像,得出该焊接接头根部焊瘤对管道通流截面的损失率大小,将对今后高效高参数大型电站锅炉建设质量和成本的最优控制带来革命性的进步。
射线检测是利用射线能够穿透物体来发现物体内部缺陷的一种检测方法。其原理为,当射线进入被检物体内时,强度会减小,减小多少不仅与射线能量有关,还与被检物体的体积、密度、性质等有关,若被检物体内有缺陷,必然会影响到射线强度的减少。射线能够使胶片感光或者激发材料发出荧光。射线在穿透物体过程中按照一定的规律衰减,利用衰减程度与射线感光或者激发荧光的关系可检查物体内部的缺陷,也可以通过对焊缝根部影像轮廓位置、尺寸及影像黑度差异等信息,合理还原焊缝根部焊瘤高度(即径向)尺寸及周向分布。
近年来,国内外在三维重建的研究已经取得了不少成果。显而易见,只通过一幅图像是没有办法实现整个图像的三维重建的。为了实现单幅图像的三维重建,人们必须借助一些先验知识来建立一些约束,从而实现完全重建。基于约束的类型,单幅图像的三维重建主要可以分为三大类方法:(1)基于特征统计的方法;(2)基于明暗形状恢复;(3)基于几何约束的三维重建。
基于单幅未标定图像的三维重建不管选择何种方法,都需要引入先验知识或者利用人机交互才能完成。虽然通过几何方法对单幅未标定图像的重建有不少的研究,但是标定和重建的适用范围均有局限。大部分的研究是针对平行六面体物体或由多个面组成的物体进行重建,对于曲面,例如球体、圆柱、圆锥等物体的重建研究很少。目前国内关于单幅图三维重建的研究还处于科研探索阶段,在对单幅图的三维重建过程中所受局限性较大,重建效果不理想。
发明内容
本发明所要解决的技术问题在于克服现有技术的不足,提供一种基于单张椭圆成像射线照片的管道焊缝三维重建方法。该方法依据单张二维图片进行三维重建,解决传统重建方法中对单幅图重建时耗时、重建效果太差的弊端。
本发明具体采用以下技术方案解决上述技术问题:
一种基于单张椭圆成像射线照片的管道焊缝三维重建算法,包括以下步骤:
步骤S1:读取单张管道焊缝射线图片,并对图像进行预处理,以减小图像因素对水冷壁管整体的影响;
步骤S2:计算焊缝的焊瘤灰度与厚度之间的关系,初步估计出射线的穿透厚度;
步骤S3:运用逆透视变换,检测出焊瘤区域,并根据检测出的焊瘤区域,提取出焊瘤边缘曲线;
步骤S4:对提取出的焊瘤边缘曲线进行区域划分,考虑焊瘤形成的实际情况,修正提取出的焊瘤边缘曲线,得出修正的较为真实的焊瘤边缘曲线;
步骤S5:分析步骤S2和步骤S4得出两个焊缝穿透厚度,综合出最终的焊瘤穿透厚度信息,并根据该信息绘出焊瘤边缘曲线;
步骤S6:依据绘出的焊瘤边缘曲线坐标生成焊缝外围边界曲线,对绘出的焊瘤边缘曲线和焊缝外围边界曲线插值得到能够表征焊瘤区域的三维散点;
步骤S7:对三维散点云网格化处理,实现由点到面,生成焊瘤三维模型。
进一步地,作为本发明的一种优选技术方案,所述步骤1输入单张小径管焊缝椭圆成像射线照相图片,读取图片的高度和宽度,对图片进行平滑化处理,使其更加服从高斯分布,消除像素为0的点对图像处理的影响,以减小图像因素对小径管整体的影响。
进一步地,作为本发明的一种优选技术方案,所述步骤2计算焊瘤灰度与厚度之间的关系,初步估计出射线的穿透厚度,包括:
步骤S2.1:焊缝射线检测成像时,射线的衰减符合Beer定律,而射线检测得到的图像灰度值与成像平面接收到的射线强度成正比,所以图像灰度值与射线穿透厚度的关系可以表示如下式所示:
G=G0e-μT
上式中,G为图像灰度,T为穿透厚度,μ为射线衰减系数,G0为常数。
步骤S2.2:对式G=G0e-μT两边同时作对数变换,可以建立图像灰度值和射线穿透厚度之间的线性关系,变换后的关系如下式所示:
F=-μT+F0
上式中,F为对数变换后的图像灰度值,F0为常数。
步骤S2.3:设图像中已知两点的灰度值分别为F1、F2,对应的穿透厚度分别为T1、T2,则已知任一点的灰度值为F,可以通过计算得到该点处射线的穿透厚度T,T的表达式如下式所示:
Figure BDA0002728046410000031
根据上式和焊缝图像上任意两点的像素值和穿透厚度可以得到经过所有焊缝点的射线穿透厚度。
步骤S2.4:上述步骤S2.1~S2.3计算出的是小径管焊缝椭圆成像上所有点的灰度与射线穿透厚度之间的函数关系,通过焊瘤部分的灰度增量,计算出焊瘤在射线穿透方向的厚度,并估算出焊瘤在管子径向的高度。这样将得到的焊缝根部所有点的径向高度值还原出焊缝根部焊瘤形貌,并计算出焊缝根部焊瘤处小径管的通流截面损失。
进一步地,作为本发明的一种优选技术方案,所述步骤3中运用逆透视变换,将小径管焊缝椭圆成像二维图像中的根部焊瘤边缘曲线,投影到三维空间,提取出根据图像曲线还原出的小径管焊缝根部焊瘤边缘曲线,包括:
步骤S3.1:逆透视变换可以认为是焊瘤上一点在多个坐标系中的转换。以三维空间中焊缝上一点为原点建立直角坐标系,称为世界坐标系;以射线检测的射线源为原点建立直角坐标系,称为相机坐标系;
设焊缝上任一点在世界坐标系中的坐标为(Xw,Yw,Zw),该焊缝点在相机坐标中的坐标为(Xc,Yc,Zc),则两个坐标系中该点坐标之间的变换如下式所示:
Figure BDA0002728046410000032
上式中,R表示从世界坐标系到相机坐标系经过的坐标轴旋转变换矩阵,是一个3×3的矩阵,T表示从世界坐标系到相机坐标系转换过程中坐标原点的平移变换矩阵,是一个3×1的矩阵。
步骤S3.2:(Xc,Yc,Zc)表示焊缝点在相机坐标系中的坐标,(x,y)表示焊缝点在投影坐标系中的坐标,则两个坐标系中的坐标变换关系如下式所示:
Figure BDA0002728046410000041
上式中,F表示射线源到成像平面的距离,即相机的焦距。
步骤S3.3:xy(0,0)表示投影坐标系的原点,uv(0,0)表示像素坐标系的原点。对于其中一个像素点,(x,y)表示投影点在投影坐标系中的实际坐标,(u,v)表示该像素点在计算机图像存储数组中行数和列数。则两个坐标系中的坐标变换关系如下式所示:
Figure BDA0002728046410000042
上式中,(u0,v0)表示图像坐标系中的原点uv(0,0)在投影坐标系xoy中的坐标,
Figure BDA0002728046410000043
Figure BDA0002728046410000044
分别表示像素点在投影坐标系中沿x轴和y轴方向上的物理尺寸。
步骤S3.4:综合步骤S3.1~步骤S3.3,得到从焊缝上任意一个点在世界坐标系下的坐标到计算机像素平面上像素点的坐标之间的映射关系如下式所示:
Figure BDA0002728046410000045
由上式可以发现焊缝点在像素平面上的坐标(u,v)不仅与射线相机的焦距F这些固定量有关,还与该点在相机坐标系中的位置高度Zc有关。用一个矩阵M表示变换中固定的部分,则上式可以简化为如下式所示:
Figure BDA0002728046410000046
步骤S3.5:根据以上公式,通过矩阵变换关系将二维图像中的小径管焊缝根部焊瘤边缘曲线,投影到三维空间,还原出空间中的小径管焊缝根部焊瘤边缘曲线。
进一步地,作为本发明的一种优选技术方案,所述步骤4中对提取出的二维图像中的小径管焊缝根部焊瘤边缘曲线进行区域划分,考虑焊缝根部焊瘤形成的实际情况,修正原有小径管焊缝根部焊瘤边缘曲线,得出较为真实的焊瘤边缘曲线,包括:
步骤S4.1:读取已经还原出的小径管焊缝根部焊瘤边缘曲线,根据图像的高度和宽度信息将小径管焊缝根部焊瘤边缘曲线划分成上下左右四个区域,还应考虑焊缝形成时的实际焊接位置等信息,对焊缝根部焊瘤边缘曲线进行适当修正。(注:由于受到重力的作用,不同的焊接位置形成的焊缝根部焊瘤形态特点不同,平焊位置的焊缝根部焊瘤呈水滴状,仰焊位置的焊缝根部表面一般较平且容易形成内凹,立焊位置焊缝根部焊瘤一般居于焊缝根部中心,而横焊位置焊缝根部焊瘤则会偏向一侧,呈下挂状态。)
步骤S4.2:对修正后的上下左右四个区域的焊瘤边缘曲线进行合成,去除四条焊瘤边缘曲线合成后多余的部分,对空缺的部分进行插值,补全合成后曲线中的空缺,得到完整的合成焊瘤边缘曲线。
进一步地,作为本发明的一种优选技术方案,所述步骤5中分析步骤S2和步骤S4得出两个焊瘤穿透厚度,综合出最终的焊瘤穿透厚度信息,并根据该信息绘出焊瘤边缘曲线,包括:
步骤S5.1:步骤S2是根据水冷壁管的厚度与灰度函数关系模拟焊瘤的厚度与灰度的函数关系得出的水冷壁管焊瘤通流面,将这个通流面中能表征焊瘤边缘的曲线记为P0
步骤S5.2:步骤S4是利用矩阵变换将二维图像中焊瘤边缘曲线还原到三维空间中,并考虑实际中重力的作用对焊瘤边缘曲线进行修正,得到完整的合成焊瘤边缘曲线,将这条曲线记为P1
步骤S5.3:合成曲线P0、P1,对于曲线P0和P1中重合较高的区域,选择保留曲线P0在该区域中的部分,记为P3;对于曲线P0和P1中差异较大的区域,选择保留曲线P1在该区域中的部分,记为P4
步骤S5.4:合成曲线P3和P4,对曲线P3和P4中不连续的部分进行插值,使其合成为连续的曲线,得到最终的焊瘤边缘曲线。
进一步地,作为本发明的一种优选技术方案,所述步骤6依据焊瘤边缘曲线和焊缝外围边界曲线,对焊瘤边缘曲线和焊缝外围边界曲线的数据进行处理,得到能够表征焊瘤区域的空间散点。
进一步地,作为本发明的一种优选技术方案,所述步骤7对三维点云网格化处理,实现由点到面,生成焊瘤三维模型,包括:
步骤S7.1:引入图卷积神经网络,使空间散点与二维图像对应,优化三维散点,图卷积算子的计算公式如下所示:
Figure BDA0002728046410000061
其中,
Figure BDA0002728046410000062
为节点i在第l层的特征表达,cij为归一化因子,Ni为节点i的邻居(包含自身),
Figure BDA0002728046410000063
表示Rj类型节点的变换权重参数;
步骤S7.2:对优化的三维散点进行三角剖分,每三个点连接形成一个三角形,散点网格化实现由点到面;
步骤S7.3:引入图片的上池化层,更新网格的形状,增加点的数量,优化网格形状,由粗网格到细网格,既保留了焊瘤区域的整体轮廓,又兼顾焊瘤区域的细节特征。
本发明采用上述技术方案,能产生如下技术效果:
本发明所采用的基于单张椭圆成像射线照片的管道焊缝三维重建方法,克服现有技术的不足,依据单张二维图片进行三维重建,解决传统重建方法中对单幅图重建时耗时、重建效果太差的弊端,保证了超临界锅炉的安全运行,对国家能源的安全生产起到了积极作用。
附图说明
图1为本发明方法的方法流程图。
具体实施方式
下面结合说明书附图对本发明的实施方式进行描述。
如图1所示,本发明设计了一种基于单张椭圆成像射线照片的管道焊缝三维重建方法,该方法具体包括以下步骤:
步骤S1:读取单张管道焊缝射线图像,并对图像进行预处理,以减小图像因素对水冷壁管整体的影响;
步骤S2:计算焊瘤灰度与射线穿透厚度之间的关系,初步估计出射线的穿透厚度;
包括以下具体步骤:
S2.1:焊缝射线检测成像时,射线的衰减符合Beer定律,而射线检测得到的图像灰度值与成像平面接收到的射线强度成正比,所以图像灰度值与射线穿透厚度的关系可以表示如下式所示:
G=G0e-μT
上式中,G为图像灰度,T为射线穿透厚度,μ为射线衰减系数,G0为常数。
S2.2:对式G=G0e-μT两边同时作对数变换,可以建立图像灰度值和射线穿透厚度之间的线性关系,变换后的关系如下式所示:
F=-μT+F0
上式中,F为对数变换后的图像灰度值,F0为常数。
S2.3:设图像中已知两点的灰度值分别为F1、F2,对应的穿透厚度分别为T1、T2,则已知任一点的灰度值为F,可以通过计算得到该点处射线的穿透厚度T,T的表达式如下式所示:
Figure BDA0002728046410000071
根据上式和焊缝射线图像上任意两点的像素值和射线穿透厚度可以得到所有焊缝点的射线穿透厚度。
S2.4:上述步骤S2.1~S2.3计算出的是水冷壁管的图像灰度与射线穿透厚度之间的函数关系,忽略水冷壁管和焊瘤材料上的差异,把这个函数关系等价于焊瘤的厚度与图像灰度的函数关系,根据函数关系通过读取图像中焊瘤部分的图像灰度,估计出射线对焊瘤的穿透厚度。
步骤S3:运用逆透视变换,检测出焊瘤区域,并根据检测出的焊瘤区域,提取出焊瘤边缘曲线;
S3.1:逆透视变换可以认为是焊瘤上一点在多个坐标系中的转换。以三维空间中焊缝上一点为原点建立直角坐标系,称为世界坐标系;以射线检测的射线源为原点建立直角坐标系,称为相机坐标系;
设焊缝上任一点在世界坐标系中的坐标为(Xw,Yw,Zw),该焊缝点在相机坐标系中的坐标为(Xc,Yc,Zc),则世界坐标系、相机坐标系两个坐标系中该点坐标之间的变换如下式所示:
Figure BDA0002728046410000072
上式中,R表示从世界坐标系到相机坐标系经过的坐标轴旋转变换矩阵,是一个3×3的矩阵,T表示从世界坐标系到相机坐标系转换过程中坐标原点的平移变换矩阵,0表示零矩阵。
S3.2:(Xc,Yc,Zc)表示焊瘤点在相机坐标系中的坐标,(x,y)表示焊瘤点在投影坐标系中的坐标,则相机坐标系、投影坐标系两个坐标系中的坐标变换关系如下式所示:
Figure BDA0002728046410000081
上式中,F表示射线源到成像平面的距离,即相机的焦距。
S3.3:xy(0,0)表示投影坐标系的原点,uv(0,0)表示像素坐标系的原点。对于其中一个像素点,(u,v)表示该像素点在计算机图像存储数组中行数和列数。则投影坐标系、像素坐标系两个坐标系中的坐标变换关系如下式所示:
Figure BDA0002728046410000082
上式中,(u0,v0)表示像素坐标系中的原点uv(0,0)在投影坐标系xoy中的坐标,
Figure BDA0002728046410000083
Figure BDA0002728046410000084
分别表示像素点在投影坐标系中沿x轴和y轴方向上的物理尺寸。
S3.4:综合步骤S3.1~步骤S3.3,得到从焊缝上任意一个点在世界坐标系下的坐标到像素坐标系中计算机像素平面上像素点的坐标之间的映射关系如下式所示:
Figure BDA0002728046410000085
由上式可以发现焊缝点在像素平面上的坐标(u,v)不仅与相机的焦距F等这些固定量有关,还与该点在相机坐标系中的位置高度Zc有关。用一个矩阵M表示变换中固定的部分,则上式可以简化为如下式所示:
Figure BDA0002728046410000086
S3.5:根据以上公式,通过矩阵变换关系将二维图像中的焊瘤边缘曲线,投影到三维空间,还原出空间中的焊瘤边缘曲线。
步骤S4:对提取出的焊瘤边缘曲线进行区域划分,考虑焊瘤形成的实际情况,修正原有焊瘤边缘曲线,得出较为真实的焊瘤边缘曲线;
S4.1:读取已经还原出的焊瘤边缘曲线,根据图像的高度和宽度信息将焊瘤边缘曲线划分成上下左右四个焊缝区域,考虑焊瘤的实际情况,由于受到重力的作用,不同的焊缝区域实际情况会有些许的差别,上焊瘤和下焊瘤区域的焊瘤会有部分下垂,需要将上、下焊瘤边缘曲线整体向下修正;同理,左、右焊瘤区域的焊瘤边缘曲线也需要向下修正。
S4.2:对修正后的上下左右四个区域的焊瘤边缘曲线进行合成,去除四条焊瘤边缘曲线合成后多余的部分,对空缺的部分进行插值,补全合成后曲线中的空缺,得到完整的合成焊瘤边缘曲线。
步骤S5:分析步骤S2和步骤S4得出两个焊缝穿透厚度,综合出最终的焊瘤穿透厚度信息,并根据该信息绘出焊瘤边缘曲线,包括:
S5.1:步骤S2是根据水冷壁管的射线穿透厚度与图像灰度函数关系模拟焊瘤的厚度与图像灰度的函数关系得出的水冷壁管焊瘤通流面,将这个通流面中能表征焊瘤边缘的曲线记为P0
S5.2:步骤S4是利用矩阵变换将二维图像中焊瘤边缘曲线还原到三维空间中,并考虑实际中重力的作用对焊瘤边缘曲线进行修正,得到完整的合成焊瘤边缘曲线,将这条曲线记为P1
S5.3:合成曲线P0、P1,对于曲线P0和P1中重合较高的区域,选择保留曲线P0在该区域中的部分,记为P3;对于曲线P0和P1中差异较大的区域,选择保留曲线P1在该区域中的部分,记为P4;合成曲线P3和P4,这样就得到最终的焊瘤边缘曲线;
合成曲线P3和P4时,对曲线P3和P4中不连续的部分进行插值,使其合成为连续的曲线,得到最终的焊瘤边缘曲线。
S6:依据焊瘤边缘曲线和焊缝外围边界曲线,对焊瘤边缘曲线和焊缝外围边界曲线的数据进行处理,得到能够表征焊瘤区域的空间三维散点。
S7:对三维散点网格化处理,实现由点到面,生成焊瘤三维模型。
S7.1:引入图卷积神经网络,使空间三维散点与二维图像对应,优化三维散点,图卷积算子的计算公式如下所示:
Figure BDA0002728046410000091
其中,
Figure BDA0002728046410000092
为三维散点j在第l层的特征表达,cij为归一化因子,Ni为三维散点i的邻居数量(包含自身),
Figure BDA0002728046410000093
表示Rj类型三维散点在第l层的变换权重参数;
S7.2:对优化的三维散点进行三角剖分,每三个点连接形成一个三角形,散点网格化实现由点到面;
S7.3:引入图片的上池化层,更新网格的形状,增加点的数量,优化网格形状,由粗网格到细网格,既保留了焊瘤区域的整体轮廓,又兼顾焊瘤区域的细节特征。
综上,本发明方法避免了三维重建过程中需要多幅图片,以及重建过程复杂、不能直观地显示重建模型的问题,能够准确可靠的对单张椭圆成像射线照片进行管道焊缝三维重建。
上面结合附图对本发明的实施方式作了详细说明,但是本发明并不限于上述实施方式,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (7)

1.基于单张椭圆成像射线照片的管道焊缝三维重建方法,其特征在于,包括以下步骤:
步骤S1:读取单张管道焊缝射线图片,并对图片进行预处理;
步骤S2:计算焊缝的焊瘤灰度与厚度之间的关系,初步估计出射线的穿透厚度;
步骤S3:对图片运用逆透视变换,检测出焊瘤区域,并根据检测出的焊瘤区域,提取出焊瘤边缘曲线;
步骤S4:对提取出的焊瘤边缘曲线进行区域划分,考虑焊瘤形成的实际情况,修正提取出的焊瘤边缘曲线,得出修正的焊瘤边缘曲线;
步骤S5:分析步骤S2和步骤S4得出的结果,综合出最终的焊瘤穿透厚度信息,并根据该信息绘出焊瘤边缘曲线;
步骤S6:依据绘出的焊瘤边缘曲线坐标生成焊缝外围边界曲线,对绘出的焊瘤边缘曲线和焊缝外围边界曲线插值得到能够表征焊瘤区域的三维散点;
步骤S7:对三维散点云网格化处理,实现由点到面,生成焊瘤三维模型;
所述步骤S2计算焊缝的焊瘤灰度与厚度之间的关系,初步估计出射线的穿透厚度,包括:
步骤S2.1:焊缝射线检测成像时,射线的衰减符合Beer定律,而射线检测得到的图像灰度值与成像平面接收到的射线强度成正比,所以图像灰度值与射线穿透厚度的关系表示如下式所示:
G=G0e-μT
上式中,G为图像灰度,T为穿透厚度,μ为射线衰减系数,G0为常数;
步骤S2.2:对式G=G0e-μT两边同时作对数变换,建立图像灰度值和射线穿透厚度之间的线性关系,变换后的关系如下式所示:
F=-μT+F0
上式中,F为对数变换后的图像灰度值,F0为常数;
步骤S2.3:设图像中已知两点的灰度值分别为F1、F2,对应的穿透厚度分别为T1、T2,则已知任一点的灰度值为F,通过计算得到该点处射线的穿透厚度T,T的表达式如下式所示:
Figure FDA0003590010950000011
根据上式和焊缝图像上任意两点的像素值和穿透厚度得到所有焊缝点的穿透厚度;
步骤S2.4:上述步骤S2.1~S2.3计算出的是小径管焊缝椭圆成像上所有点的灰度与射线穿透厚度之间的函数关系,通过焊瘤部分的灰度增量,计算出焊瘤在射线穿透方向的厚度,并估算出焊瘤在管子径向的高度。
2.根据权利要求1所述基于单张椭圆成像射线照片的管道焊缝三维重建方法,其特征在于,所述步骤S1中,输入单张管道焊缝射线照相图片,读取图片的高度和宽度,对图片进行平滑化处理,消除像素为0的点对图像的影响。
3.根据权利要求1所述基于单张椭圆成像射线照片的管道焊缝三维重建方法,其特征在于,所述步骤S3中对图片运用逆透视变换,检测出焊瘤区域,并根据检测出的焊瘤区域,提取出焊瘤边缘曲线,包括:
步骤S3.1:以三维空间中焊缝上一点为原点建立直角坐标系,称为世界坐标系;以射线检测的射线源为原点建立直角坐标系,称为相机坐标系;
设焊缝上任一点在世界坐标系中的坐标为(Xw,Yw,Zw),坐标为(Xw,Yw,Zw)的焊缝点在相机坐标中的坐标为(Xc,Yc,Zc),则两个坐标系中该点坐标之间的变换如下式所示:
Figure FDA0003590010950000021
上式中,R表示从世界坐标系到相机坐标系经过的坐标轴旋转变换矩阵,是一个3×3的矩阵,T表示从世界坐标系到相机坐标系转换过程中坐标原点的平移变换矩阵,是一个3×1的矩阵;
步骤S3.2:(Xc,Yc,Zc)表示焊缝点在相机坐标系中的坐标,(x,y)表示焊缝点在投影坐标系中的坐标,则两个坐标系中的坐标变换关系如下式所示:
Figure FDA0003590010950000022
上式中,F表示射线源到成像平面的距离,即相机的焦距;
步骤S3.3:xy(0,0)表示投影坐标系的原点,uv(0,0)表示像素坐标系的原点;对于其中一个像素点,(x,y)表示投影点在投影坐标系中的实际坐标,(u,v)表示该像素点在计算机图像存储数组中行数和列数;则两个坐标系中的坐标变换关系如下式所示:
Figure FDA0003590010950000023
上式中,(u0,v0)表示图像坐标系中的原点uv(0,0)在投影坐标系xoy中的坐标,
Figure FDA0003590010950000024
Figure FDA0003590010950000025
分别表示像素点在投影坐标系中沿x轴和y轴方向上的物理尺寸;
步骤S3.4:综合步骤S3.1~步骤S3.3,得到从焊缝上任意一个点在世界坐标系下的坐标到计算机像素平面上像素点的坐标之间的映射关系如下式所示:
Figure FDA0003590010950000031
用一个矩阵M表示变换中固定的部分,则上式简化为如下式所示:
Figure FDA0003590010950000032
步骤S3.5:根据以上公式,通过矩阵变换关系将二维图像中的小径管焊缝根部焊瘤边缘曲线,投影到三维空间,还原出空间中的小径管焊缝根部焊瘤边缘曲线。
4.根据权利要求1所述基于单张椭圆成像射线照片的管道焊缝三维重建方法,其特征在于,所述步骤S4对提取出的焊瘤边缘曲线进行区域划分,考虑焊瘤形成的实际情况,修正原有焊瘤边缘曲线,得出修正的焊瘤边缘曲线,包括:
步骤S4.1:读取已经还原出的小径管焊缝根部焊瘤边缘曲线,根据图像的高度和宽度信息将小径管焊缝根部焊瘤边缘曲线划分成上下左右四个焊缝区域,对焊缝根部焊瘤边缘曲线进行修正;
步骤S4.2:对修正后的上下左右四个区域的焊瘤边缘曲线进行合成,去除四条焊瘤边缘曲线合成后多余的部分,对空缺的部分进行插值,补全合成后曲线中的空缺,得到完整的合成焊瘤边缘曲线。
5.根据权利要求1所述基于单张椭圆成像射线照片的管道焊缝三维重建方法,其特征在于,所述步骤S5中分析步骤S2和步骤S4得出的结果,综合出最终的焊瘤穿透厚度信息,并根据该信息绘出焊瘤边缘曲线,包括:
步骤S5.1:步骤S2是根据水冷壁管的厚度与灰度函数关系模拟焊瘤的厚度与灰度的函数关系得出的水冷壁管焊瘤通流面,将这个通流面中能表征焊瘤边缘的曲线记为P0
步骤S5.2:步骤S4是利用矩阵变换将二维图像中焊瘤边缘曲线还原到三维空间中,并考虑实际中重力的作用对焊瘤边缘曲线进行修正,得到完整的合成焊瘤边缘曲线,将这条曲线记为P1
步骤S5.3:合成曲线P0、P1,对于曲线P0和P1中重合度大于设定值的区域,选择保留曲线P0在该区域中的部分,记为P3;对于曲线P0和P1中差异大于设定值的区域,选择保留曲线P1在该区域中的部分,记为P4
步骤S5.4:合成曲线P3和P4,对曲线P3和P4中不连续的部分进行插值,使其合成为连续的曲线,得到最终的焊瘤边缘曲线。
6.根据权利要求1所述基于单张椭圆成像射线照片的管道焊缝三维重建方法,其特征在于,所述步骤S6依据焊瘤边缘曲线和焊缝外围边界曲线,对焊瘤边缘曲线和焊缝外围边界曲线的数据进行处理,得到表征焊瘤区域的空间散点。
7.根据权利要求1所述基于单张椭圆成像射线照片的管道焊缝三维重建方法,其特征在于,所述步骤S7对三维散点云网格化处理,实现由点到面,生成焊瘤三维模型,具体包括以下步骤:
步骤S7.1:引入图卷积神经网络,使空间散点与二维图像对应,优化三维散点,图卷积算子的计算公式如下所示:
Figure FDA0003590010950000041
其中,
Figure FDA0003590010950000042
为节点i在第l层的特征表达,cij为归一化因子,Ni为节点i的邻居,
Figure FDA0003590010950000043
表示Rj类型节点的变换权重参数;
步骤S7.2:对优化的三维散点进行三角剖分,每三个点连接形成一个三角形,散点网格化实现由点到面;
步骤S7.3:引入图片的上池化层,更新网格的形状,增加点的数量,优化网格形状,由粗网格到细网格。
CN202011109269.5A 2020-10-16 2020-10-16 基于单张椭圆成像射线照片的管道焊缝三维重建方法 Active CN112258521B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011109269.5A CN112258521B (zh) 2020-10-16 2020-10-16 基于单张椭圆成像射线照片的管道焊缝三维重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011109269.5A CN112258521B (zh) 2020-10-16 2020-10-16 基于单张椭圆成像射线照片的管道焊缝三维重建方法

Publications (2)

Publication Number Publication Date
CN112258521A CN112258521A (zh) 2021-01-22
CN112258521B true CN112258521B (zh) 2022-06-07

Family

ID=74245321

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011109269.5A Active CN112258521B (zh) 2020-10-16 2020-10-16 基于单张椭圆成像射线照片的管道焊缝三维重建方法

Country Status (1)

Country Link
CN (1) CN112258521B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112935473B (zh) * 2021-02-03 2022-09-16 北华航天工业学院 一种基于机器视觉的自动焊机及其控制方法
CN113470117B (zh) * 2021-06-28 2022-12-27 上海交通大学 基于圆球逆透视投影的单位姿三维结构光标定系统及方法
CN116416183A (zh) * 2021-12-29 2023-07-11 广东利元亨智能装备股份有限公司 焊缝质量检测区域确定方法、装置、计算机以及存储介质
CN115601369B (zh) * 2022-12-16 2023-03-03 国网山东省电力公司东营供电公司 一种输变电工程用变电设备支架质量评估方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105931227A (zh) * 2016-04-14 2016-09-07 北京工业大学 一种基于图像灰度b扫曲线的焊缝表面缺陷特征提取方法
CN111489363A (zh) * 2020-04-09 2020-08-04 江苏方天电力技术有限公司 一种小径管焊缝根部二维图像焊瘤尺寸测量方法
CN111489310A (zh) * 2020-04-09 2020-08-04 江苏方天电力技术有限公司 小径管焊接接头射线检验图像焊缝区域的搜索方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105931227A (zh) * 2016-04-14 2016-09-07 北京工业大学 一种基于图像灰度b扫曲线的焊缝表面缺陷特征提取方法
CN111489363A (zh) * 2020-04-09 2020-08-04 江苏方天电力技术有限公司 一种小径管焊缝根部二维图像焊瘤尺寸测量方法
CN111489310A (zh) * 2020-04-09 2020-08-04 江苏方天电力技术有限公司 小径管焊接接头射线检验图像焊缝区域的搜索方法

Also Published As

Publication number Publication date
CN112258521A (zh) 2021-01-22

Similar Documents

Publication Publication Date Title
CN112258521B (zh) 基于单张椭圆成像射线照片的管道焊缝三维重建方法
Wang et al. Curvature-guided adaptive T-spline surface fitting
CN109470149A (zh) 一种管路位姿的测量方法及装置
Jin et al. A new multi-vision-based reconstruction algorithm for tube inspection
CN116229017A (zh) 一种基于逆向投影的管件三维模型重建方法
CN113763562B (zh) 基于双目视觉的立面特征检测及立面特征处理方法
CN107103610A (zh) 立体测绘卫星影像匹配可疑区域自动检测方法
CN115965960A (zh) 一种基于深度学习与3d点云的焊缝识别方法
Jin et al. Automatic multi-stereo-vision reconstruction method of complicated tubes for industrial assembly
Chen et al. 3D cumulus cloud scene modelling and shadow analysis method based on ground-based sky images
CN114612412A (zh) 三维点云数据的处理方法及其用途、电子设备、存储介质
CN110910349A (zh) 一种基于航拍视觉的风电机组状态获取方法
Wang et al. 3-D reconstruction of bubble flow field based on the method of multivision by rough-precise location algebraic reconstruction technique
CN112634145A (zh) 基于三维深度卷积生成对抗网络的三维模型修复方法
Baglio et al. Measurements of the 3-D scour process around a pile in an oscillating flow through a stereo vision approach
Son et al. Automatic 3D reconstruction of as-built pipeline based on curvature computations from laser-scanned data
CN115828642A (zh) 基于Unity的GPU加速X射线数字成像仿真方法
CN116152594A (zh) 一种构建焊缝x光片人工智能训练集的标注方法
Möller et al. 3D reconstruction of on-/offshore wind turbines for manual and computational visual inspection
Ohtake et al. Thickness-driven sheet metal segmentation of ct-scanned body-in-white. e
Lu et al. Image-based 3D reconstruction for Multi-Scale civil and infrastructure Projects: A review from 2012 to 2022 with new perspective from deep learning methods
Zhang et al. Deformation visual inspection of industrial parts with image sequence
Ye et al. A Modified Method for Welding Seam Location of Tube-Sheet Welding Based on Image Edge Segmentation
CN115345775B (zh) 一种面向椭圆状管件外形检测的图像展开方法及装置
Kortaberria et al. Theoretical accuracy assessment of model-based photogrammetric approach for pose estimation of cylindrical elements

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant