CN108537831B - 对增材制造工件进行ct成像的方法及装置 - Google Patents

对增材制造工件进行ct成像的方法及装置 Download PDF

Info

Publication number
CN108537831B
CN108537831B CN201810193230.2A CN201810193230A CN108537831B CN 108537831 B CN108537831 B CN 108537831B CN 201810193230 A CN201810193230 A CN 201810193230A CN 108537831 B CN108537831 B CN 108537831B
Authority
CN
China
Prior art keywords
image
workpiece
points
dimensional
reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810193230.2A
Other languages
English (en)
Other versions
CN108537831A (zh
Inventor
孔慧华
李毅红
陈平
樊亚红
潘晋孝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North University of China
Original Assignee
North University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North University of China filed Critical North University of China
Priority to CN201810193230.2A priority Critical patent/CN108537831B/zh
Publication of CN108537831A publication Critical patent/CN108537831A/zh
Application granted granted Critical
Publication of CN108537831B publication Critical patent/CN108537831B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00Image generation
    • G06T2211/40Computed tomography
    • G06T2211/424Iterative

Abstract

本发明提出对增材制造工件进行CT成像的方法及装置。方法包括:工件顶部上方放置双目摄像头,以使得双目摄像头在增材制造过程中实时采集工件的图像,实时对双目摄像头同一时刻采集的左、右两幅图像进行特征提取,根据提取的特征点,对工件进行三维重构,得到工件的三维表面图像;根据工件的三维表面图像,提取工件的边缘;根据提取的工件的边缘以及预定义的CT重建图像的大小,生成边缘强度描述矩阵H;将边缘强度描述矩阵H作为CT图像重建算法的约束条件,计算工件的CT重建图像。本发明实现了对增材制造工件的实时而精确的CT图像重建。

Description

对增材制造工件进行CT成像的方法及装置
技术领域
本发明涉及增材制造技术领域,尤其涉及对增材制造工件进行CT成像的方法及装置。
背景技术
增材制造作为革命性的制造工艺,实现了零件“自由制造”,解决了许多复杂结构零件的成形,大大减少了加工工序,缩短了加工周期。然而增材制造过程中,某些缺陷的产生和扩展是无法避免的。
目前对于增材制造缺陷的无损检测均是离线检测模式,检测设备及检测方法较多,无法满足增材制造工艺的闭环控制要求。增材制造中的微孔、变形、裂纹等问题严重影响构件的质量性能,十分有必要实现在线检测/监测,以便及时调整工艺或者停止构件的加工,提高增材制造构件的可靠性。而对于增材制造的在线检测,往往受限于增材制造工艺及环境影响,超声、电磁等检测方法存在一定的局限性。
发明内容
本发明提供对增材制造工件进行CT成像的方法及装置,以实现在增材制造过程中对工件进行实时而精确的CT图像重建。
本发明的技术方案是这样实现的:
一种对增材制造工件进行CT成像的方法,以电滑环的中心轴作为工件的中心轴,采用增材制造技术制造工件,X射线源和平板探测器相对放置在电滑环上并以同样速度滑动,以便在增材制造过程中对工件进行多角度CT扫描,工件顶部上方放置双目摄像头,以使得双目摄像头在增材制造过程中实时采集工件的图像,该方法包括:
实时对双目摄像头同一时刻采集的左、右两幅图像进行特征提取,根据提取的特征点,查找左、右两幅图像中相互匹配的特征点;根据左、右两幅图像中的每一对匹配的特征点的二维坐标,计算出该对特征点对应的工件的三维空间点的三维坐标,根据所有匹配的特征点对应的工件的三维空间点的三维坐标,对工件进行三维重构,得到工件的三维表面图像;
根据工件的三维表面图像,提取工件的边缘;
根据提取的工件的边缘以及预定义的CT重建图像的大小,生成边缘强度描述矩阵H,其中,边缘强度描述矩阵H的行、列数分别与CT重建图像的行、列数相同,对于边缘强度描述矩阵H中的任一元素h(m,n),若根据提取的工件的边缘确认该h(m,n)在CT重建图像上对应的像素点位于工件内,则h(m,n)=1;否则,h(m,n)=0,其中,1≤m≤M,1≤n≤N,M为CT重建图像的行数,N为CT重建图像的列数;
将边缘强度描述矩阵H作为CT图像重建算法的约束条件,计算工件的CT重建图像。
所述将边缘强度描述矩阵H作为CT图像重建算法的约束条件计算工件的CT重建图像包括:
采用如下迭代公式计算CT重建图像:
Figure BDA0001592316990000021
其中,k为CT重建算法的迭代次数;i表示X射线源发出的第i条射线,1≤i≤I,I为X射线源发出的射线的总数;j为当前X射线所通过的像素点的索引,1≤j≤M×N;λ为松弛因子(0<λ<2);fj为当前X射线所通过的像素点在CT重建图像上的像素值;hj为边缘强度描述矩阵H中的第j个元素;aij代表第j个像素点对第i条X射线投影的加权值;pi为所测得的第i条射线投影值;
Figure BDA0001592316990000022
为第i条射线的投影估计值,N为第i条射线通过的像素点的总数;
Figure BDA0001592316990000031
c为预设常数。
所述生成边缘强度描述矩阵H之后进一步包括:对边缘强度描述矩阵H进行平滑滤波。
所述对边缘强度描述矩阵H进行平滑滤波包括:
对于H内的任一元素h(m,n),将h(m,n)的值更新为h(m,n)与其周围预设数目个元素值的平均值。
所述实时对双目摄像头同一时刻采集的左、右两幅图像进行特征提取包括:
实时对双目摄像头同一时刻采集的左、右两幅图像进行尺度不变特征转换SIFT特征提取,得到每幅图像的SIFT关键点的位置和该SIFT关键点的SIFT特征向量;
且,所述根据提取的特征点查找左、右两幅图像中相互匹配的特征点包括:
根据同一时刻采集的左、右两幅图像的SIFT关键点和SIFT特征向量,查找左、右两幅图像中相互匹配的SIFT关键点。
所述根据同一时刻采集的左、右两幅图像的SIFT关键点和SIFT特征向量,查找左、右两幅图像中相互匹配的SIFT关键点包括:
从左图像中依次取出一个SIFT关键点,从右图像中查找与该SIFT关键点的欧氏距离最近和次近的两个SIFT关键点,设右图像中的两个SIFT关键点与左图像中的SIFT关键点的欧氏距离分别为d1、d2,且d1≤d2,则若d1/d2<D,D为小于1的预设比例阈值,则确认右图像中欧氏距离最近的SIFT关键点与左图像中的该SIFT关键点匹配,其中,两个SIFT关键点的欧氏距离采用该两个SIFT关键点的SIFT特征向量进行计算。
所述计算工件的CT重建图像之后进一步包括:
采用TV最小化方法,对当前CT重建图像求梯度,根据求得的梯度对当前CT重建图像进行一次修正,进入下一次CT图像重建的迭代过程。
所述得到工件的三维表面图像之后进一步包括:
根据工件的三维表面图像,计算当前工件的深度;根据当前工件的深度、X射线源的扫描范围以及当前电滑环的高度,判断当前工件的深度是否超过了X射线源的扫描范围,若是,则调整电滑环的高度。
所述方法进一步包括:
在增材制造过程开始前,根据要制造的工件的尺寸,若确定工件的尺寸小于预设尺寸阈值,则选择电刷滑环放置X射线源和平板探测器;否则,选择电缆滑环放置X射线源和平板探测器。
所述实时对双目摄像头同一时刻采集的左、右两幅图像进行尺度不变特征转换SIFT特征提取之前进一步包括:
实时对双目摄像头同一时刻采集的左、右两幅图像进行立体标定,并根据立体标定的结果进行立体校正,使得双目摄像头在同一时刻采集的左、右两幅工件图像同行对准。
一种对增材制造工件进行CT成像的装置,以电滑环的中心轴作为工件的中心轴,采用增材制造技术制造工件,X射线源和平板探测器相对放置在电滑环上并以同样速度滑动,以便在增材制造过程中对工件进行多角度CT扫描,工件顶部上方放置双目摄像头,以使得双目摄像头在增材制造过程中实时采集工件的图像,该装置包括:
特征提取及匹配模块,用于实时对双目摄像头同一时刻采集的左、右两幅图像进行特征提取,根据提取的特征点,查找左、右两幅图像中相互匹配的特征点;
三维重构模块,用于根据左、右两幅图像中的每一对匹配的特征点的二维坐标,计算出该对特征点对应的工件的三维空间点的三维坐标,根据所有匹配的特征点对应的工件的三维空间点的三维坐标,对工件进行三维重构,得到工件的三维表面图像;
边缘提取模块,用于根据工件的三维表面图像,提取工件的边缘;
边缘强度描述矩阵生成模块,用于根据提取的工件的边缘以及预定义的CT重建图像的大小,生成边缘强度描述矩阵H,其中,边缘强度描述矩阵H的行、列数分别与CT重建图像的行、列数相同,对于边缘强度描述矩阵H中的任一元素h(m,n),若根据提取的工件的边缘确认该h(m,n)在CT重建图像上对应的像素点位于工件内,则h(m,n)=1;否则,h(m,n)=0,其中,1≤m≤M,1≤n≤N,M为CT重建图像的行数,N为CT重建图像的列数;
CT图像重建模块,用于将边缘强度描述矩阵H作为CT图像重建算法的约束条件,计算工件的CT重建图像。
所述CT图像重建模块具体用于,
采用如下迭代公式计算CT重建图像:
Figure BDA0001592316990000051
其中,k为CT重建算法的迭代次数;i表示X射线源发出的第i条射线,1≤i≤I,I为X射线源发出的射线的总数;j为当前X射线所通过的像素点的索引,1≤j≤M×N;λ为松弛因子(0<λ<2);fj为当前X射线所通过的像素点在CT重建图像上的像素值;hj为边缘强度描述矩阵H中的第j个元素;aij代表第j个像素点对第i条X射线投影的加权值;pi为所测得的第i条射线投影值;
Figure BDA0001592316990000052
为第i条射线的投影估计值,N为第i条射线通过的像素点的总数;
Figure BDA0001592316990000053
c为预设常数。
所述CT图像重建模块计算工件的CT重建图像之后进一步用于,
采用TV最小化方法,对当前CT重建图像求梯度,根据求得的梯度对当前CT重建图像进行一次修正,进入下一次CT图像重建的迭代过程。
所述三维重构模块得到工件的三维表面图像之后进一步用于,
根据工件的三维表面图像,计算当前工件的深度;根据当前工件的深度、X射线源的扫描范围以及当前电滑环的高度,判断当前工件的深度是否超过了X射线源的扫描范围,若是,则调整电滑环的高度。
本发明实现了在增材制造过程中对工件进行实时而精确的CT图像重建,从而使得检测人员能够根据实时重建的CT图像实时检测出工件的缺陷。
附图说明
图1为本发明实施例提供的对增材制造工件进行CT成像的方法流程图;
图2为本发明一实施例提供的对增材制造工件进行三维边缘提取的方法流程图;
图3为本发明实施例提供的采用电刷滑环对增材制造小工件进行CT图像重建的示意图;
图4为本发明实施例提供的采用电缆滑环对增材制造大工件进行CT图像重建的场景的示意图;
图5为本发明实施例提供的双目视觉系统中各坐标系之间的关系图;
图6为简单的平视双目立体成像原理图;
图7为本发明实施例提供的增加电刷滑环高度的示意图;
图8为本发明一实施例提供的对增材制造工件进行CT图像重建的方法流程图;
图9为本发明实施例提供的对增材制造工件进行CT成像的装置的组成示意图。
具体实施方式
下面结合附图及具体实施例对本发明再作进一步详细的说明。
图1为本发明实施例提供的对增材制造工件进行CT成像的方法流程图,其具体步骤如下:
步骤101:以电滑环的中心轴作为工件的中心轴,采用增材制造技术制造工件,X射线源和平板探测器相对放置在电滑环上并以同样速度滑动,以便在增材制造过程中对工件进行多角度CT扫描,工件顶部上方放置双目摄像头,以使得双目摄像头在增材制造过程中实时采集工件的图像。
步骤102:实时对双目摄像头同一时刻采集的左、右两幅图像进行SIFT(ScaleInvariant Feature Transform,尺度不变特征转换)特征提取,得到每幅图像的SIFT关键点的位置和该SIFT关键点的SIFT特征向量。
步骤103:根据同一时刻采集的左、右两幅图像的SIFT关键点和SIFT特征向量,查找左、右两幅图像中相互匹配的SIFT关键点。
步骤104:根据左、右两幅图像中的每一对匹配的SIFT关键点的二维坐标,计算出该对SIFT关键点对应的工件的三维空间点的三维坐标,根据所有匹配的SIFT关键点对应的工件的三维空间点的三维坐标,对工件进行三维重构,得到工件的三维表面图像。
步骤105:根据工件的三维表面图像,提取工件的边缘。
步骤106:根据提取的工件的边缘以及预定义的CT重建图像的大小,生成边缘强度描述矩阵H,其中,边缘强度描述矩阵H的行、列数分别与CT重建图像的行、列数相同,对于边缘强度描述矩阵H中的任一元素h(m,n),若根据提取的工件的边缘确认该h(m,n)在CT重建图像上对应的像素点位于工件内,则h(m,n)=1;否则,h(m,n)=0,其中,1≤m≤M,1≤n≤N,M为CT重建图像的行数,N为CT重建图像的列数。
步骤107:将边缘强度描述矩阵H作为CT图像重建算法的约束条件,计算工件的CT重建图像。
图2为本发明一实施例提供的对增材制造工件进行三维边缘提取的方法流程图,其具体步骤如下:
步骤201:在增材制造开始前,根据要制造的目标工件的尺寸,确定选择电刷滑环还是电缆滑环放置X射线源和平板探测器。
具体地,若目标工件的尺寸(主要指横向尺寸如:横向最大长度)小于预设尺寸阈值,则选择电刷滑环,相应地,选择较小的X射线源和平板探测器;否则,选择电缆滑环,相应地,选择较大的X射线源和平板探测器。
步骤202:在选择的电刷滑环或者电缆滑环上相对放置X射线源和平板探测器。
即,X射线源和平板探测器分别位于电刷滑环或者电缆滑环直径的两端。
步骤203:确定电刷滑环或者电缆滑环的中心轴即为目标工件的中心轴,开始采用增材制造技术制造目标工件,并在目标工件顶部的左、右上方以目标工件的中心轴为对称轴对称放置双目摄像头。
图3为本发明实施例提供的采用电刷滑环对增材制造小工件进行CT图像重建的示意图。其中,31为目标工件,32为双目摄像头,33为电刷滑环,34为X射线源,35为平板探测器。
图4为本发明实施例提供的采用电缆滑环对增材制造大工件进行CT图像重建的场景的示意图。其中,41为目标工件,42为双目摄像头,43为电缆滑环,44为X射线源,45为平板探测器。
在增材制造过程中,滑环不断旋转,使得X射线源对工件进行连续扫描,从而得到工件的多组投影数据。
步骤204:在增材制造过程中,双目摄像头实时采集各自视角下的工件图像。
步骤205:实时对双目摄像头在同一时刻采集的左、右两幅工件图像进行立体标定,并根据立体标定的结果进行立体校正,使得双目摄像头在同一时刻采集的左、右两幅工件图像同行对准。
立体标定是指,对三维场景中的点在左、右摄像机图像平面上的坐标P1(u1,v1)、P2(u2,v2)与该点的世界坐标P(Xw,Yw,Zw)之间的映射关系的确立。此时,需先计算左、右摄像机的内部参数矩阵和外部参数矩阵及两个摄像机之间的相对位置关系,即计算两个摄像机之间的旋转矩阵R和平移矩阵T,具体过程如下:
为定量描述光学成像的过程,定义4个坐标系:图像平面坐标系UOV,成像平面坐标系XO1Y,摄像机坐标系OcXcYcZc,世界坐标系OwXwYwZw
图5给出了双目视觉系统中各坐标系之间的关系图。
根据4个坐标系之间的对应关系,可以建立相互的关系式。设世界空间任意一点P(Xw,Yw,Zw)在图像平面上的投影为p(u,v),则两者之间的关系如下:
Figure BDA0001592316990000091
其中,M为投影矩阵,包含了摄像机所有参数。通过矩阵分解可得到具体的摄像机内部参数A和外部参数R、t,如:
Figure BDA0001592316990000092
其中,fx,fy分别表示x和y方向焦距,s表示摄像机晶片的歪斜系数;(u0,v0)为主点坐标;摄像机坐标系与世界坐标系之间的空间关系用旋转矩阵R和平移向量t来描述。
标定流程为寻找一幅黑白棋盘格;变动棋盘格的位置(旋转、平移),拍摄不同姿态的棋盘格;提取角点进行匹配,获得单应性矩阵;计算出摄像机的内部参数A和外部参数R、t。
立体校正就是根据立体标定的结果,将实际中非共面行对准的两幅图像校正成共面行对准。两个摄像机图像平面在方向上相差一个旋转矩阵,校正过程中将两个图像平面各旋转一半,把两个棋盘格标定的图像平面拉回同一平面,最后在同一平面上再旋转图像使得两幅图像同行对准。
步骤206:分别对立体校正后的左、右两幅图像进行SIFT特征提取,分别记录提取到的每幅图像的SIFT关键点的位置和该SIFT关键点的SIFT特征向量。
SIFT是一种成熟的图像特征匹配算法,具有较强的匹配能力和鲁棒性,对图像的旋转、尺度缩放和亮度变换保持不变性,对视角变换和仿射变换保持一定程度的稳定性。
SIFT算法主要包括:检测尺度空间的极值点、精确定位关键点、确定关键点的方向、生成SIFT特征向量。具体过程如下:
步骤01:根据原始图像构建DoG(高斯差分)尺度空间。
构建高斯金字塔,金字塔中第1组第1层为原始图像,对原始图像进行高斯模糊得到第2层,以此类推构建至顶层,第2组第1层由第1组倒数第3层图像降采样得到,按上述方法得到多组多层图像高斯金字塔,每组包含的层数相等,将高斯金字塔每一组相邻的两层相减得到DoG尺度空间。
步骤02:对于图像上的每个像素点,计算该像素点在每一尺度下DoG算子的响应值。
步骤03:对于DoG尺度空间每组中的所有中间层(除最底层和最顶层外)的每个像素点,将该像素点与其同一层相邻的8个像素点和它上一层和下一层中相邻的9×2个像素点共26个点进行比较,当该像素点的DoG算子的响应值大于(或者小于)所有相邻点时,则该像素点就是极值点;否则,该像素点不是极值点。
步骤04:对DoG尺度空间进行拟合处理去除不稳定的极值点,剩余的极值点即为关键点。
步骤05:对于每个关键点,对该关键点的邻域进行梯度计算,计算邻域内各个像素点的梯度的幅角和幅值,使用直方图对梯度的幅角进行统计,直方图的横轴是梯度的方向,纵轴为梯度方向对应梯度幅值的累加值,直方图中最高峰所对应的方向即为该关键点的方向。
步骤06:以该关键点为中心,将坐标轴旋转为该关键点的方向,并取16×16像素的邻域作为采样窗口,再将该领域分为4×4个子区域,在每个子区域计算8个梯度方向的直方图(每个子区域的梯度直方图在0~360°之间划分为8个方向区间,每个区间为45度,将子区域中像素点的梯度强度信息经高斯加权后得到8个方向的梯度强度信息),最后获得4×4×8=128维特征描述子,即为该关键点的SIFT特征向量。
步骤207:从左图像中依次取出一个SIFT关键点,从右图像中查找与该SIFT关键点的欧氏距离最近和次近的两个SIFT关键点,设右图像中的两个SIFT关键点与左图像中的SIFT关键点的欧氏距离分别为d1、d2,且d1≤d2,则若d1/d2<D,D为预设的小于1的比例阈值,则确认右图像中欧氏距离最近的SIFT关键点为左图像中的该SIFT关键点的匹配点,其中,两个SIFT关键点的欧氏距离采用该两个SIFT关键点的SIFT特征向量进行计算。
步骤208:当对左图像中的所有SIFT关键点都执行完步骤207后,根据左、右图像中的每一对匹配的SIFT关键点的二维坐标,计算出该对匹配的SIFT关键点对应的工件的三维空间点的三维坐标,结合预定义的工件的形状进行三维重构,得到工件的三维表面图像,并计算工件的深度。
图6所示为简单的平视双目立体成像原理图,两摄像机的投影中心的连线的距离,即基线距为b。摄像机坐标系的原点在摄像机镜头的光心处,坐标系如图6所示。事实上摄像机的成像平面在镜头的光心后,图6中将左右成像平面绘制在镜头的光心前f(即焦距:摄像机光心到左右成像平面原点O1/O2的实际物理长度)处,这个虚拟的图像平面坐标系O1uv的u轴和v轴与和摄像机坐标系的x轴和y轴方向一致,这样可以简化计算过程。左、右图像坐标系的原点在摄像机光轴与平面的交点O1和O2。空间中某点P在左图像和右图像中相应的坐标分别为P1(u1,v1)和P2(u2,v2)。假定两摄像机的图像在同一个平面上,则点P的左、右图像坐标的Y坐标相同,即v1=v2。由三角几何关系得到:
Figure BDA0001592316990000111
上式中(xc,yc,zc)为点P在左摄像机坐标系中的坐标,b为基线距(两摄像机的投影中心的连线的距离),f为两个摄像机的焦距,(u1,v1)和(u2,v2)分别为点P在左图像和右图像中的坐标。
视差定义为某一点在左、右图像中的两成像点之间的位置差:
Figure BDA0001592316990000112
由此可计算出空间中某点P在左摄像机坐标系中的坐标为:
Figure BDA0001592316990000121
因此,只要能够找到空间中某点在左、右两个摄像机成像平面上的相应点,且通过摄像机标定获得摄像机的内外参数,就可以确定该点的三维坐标。
由于双目摄像机采集到的都是工件表面上的点,因此,最终得到的也是工件表面上的点的三维坐标,这些三维点重构得到了工件的三维表面图像。
步骤209:根据当前工件的深度、X射线源的扫描范围以及当前滑环的高度,判断工件的深度是否超过了X射线源的扫描范围,若是,则调整滑环的高度,如:增加滑环的高度。
图7为增加电刷滑环高度的示意图。
步骤210:根据工件的三维表面图像,提取工件的边缘。
工件的边缘信息可以以工件的各边缘点的三维坐标等表示。例如:若工件为长方体,则以工件的上表面(或下表面)的4个角点以及工件的深度表示。
图8为本发明一实施例提供的对增材制造工件进行CT图像重建的方法流程图,其具体步骤如下:
步骤801:根据提取的工件的边缘以及预定义的CT重建图像的大小,生成边缘强度描述矩阵H,其中,边缘强度描述矩阵H的行、列数分别与CT重建图像的行、列数相同,对于边缘强度描述H中的任一元素h(m,n),若根据提取的工件的边缘确认该h(m,n)在CT重建图像上对应的像素点位于工件内,则h(m,n)=1;否则,h(m,n)=0,其中,1≤m≤M,1≤n≤N,M为CT重建图像的行数,N为CT重建图像的列数。
CT重建图像的大小应该不小于工件的CT扫描截面。
例如:若以矩形A代表CT重建图像,矩形A的两边长分别为M、N(单位:像素点),长方体B为提取出的工件的边缘,则对于矩形A内的任一像素点h(m,n),若该像素点h(m,n)位于长方体B内,则h(m,n)=1;否则,h(m,n)=0。
步骤802:对边缘强度描述矩阵H进行平滑滤波。
平滑滤波算法如:对于H内的任一元素h(m,n),将h(m,n)的值更新为h(m,n)与其上、下、左、右四个元素(共5个元素)的值的均值;平滑滤波后,0≤h(m,n)≤1。
步骤803:将边缘强度描述矩阵H作为约束条件,计算工件的CT重建图像,具体地,CT图像重建的迭代算法如下:
Figure BDA0001592316990000131
其中,其中,k为CT重建算法的迭代次数;i表示X射线源发出的第i条射线,1≤i≤I,I为X射线源发出的射线的总数;j为当前X射线所通过的像素点的索引,1≤j≤M×N;λ为松弛因子(0<λ<2),λk为第k次迭代使用的λ;fj为当前X射线所通过的像素点在CT重建图像上的像素值,fj (k)为第k次迭代过程中当前X射线所通过的像素点在CT重建图像上的像素值;hj为边缘强度描述矩阵H中的第j个元素;aij代表第j个像素点对第i条X射线投影的加权值;pi为所测得的第i条射线投影值;
Figure BDA0001592316990000132
为第i条射线的投影估计值,N为第i条射线通过的像素点的总数;
Figure BDA0001592316990000133
c为预设常数,可根据多次试验得到,一般地,0<c<100,较佳地,10<c<50。
CT图像重建的迭代算法的结束条件本发明并不做限定,可与现有技术相同。
步骤804:采用TV最小化方法,对当前CT重建图像求梯度,根据求得的梯度对当前CT重建图像进行一次修正,进入下一次CT图像重建的迭代过程,令k=k+1,返回步骤803,直至满足迭代结束条件。
在CT迭代重建过程中引入TV最小化处理,能重建出具有良好边缘的图像,TV最小化方法在去噪的同时可以有效保护图像的边缘纹理等细节信息,有着保留图像边缘特征、平滑噪声和改进图像质量的作用。
在得到工件的CT重建图像后,将CT重建图像实时提供给检测人员,检测人员可以实时根据CT重建图像观测工件是否存在缺陷,如气孔、变形和裂纹等,揭示增材制造特有的冶金缺陷形成机理、特征及缺陷检测特征。同时,还可将识别结果信息进行反馈,若在重建图像中检测到明显的缺陷问题,则及时调整工艺或者停止对工件的加工。
图9为本发明实施例提供的对增材制造工件进行CT成像的装置的组成示意图,其中,以电滑环的中心轴作为工件的中心轴,采用增材制造技术制造工件,X射线源和平板探测器相对放置在电滑环上并以同样速度滑动,以便在增材制造过程中对工件进行多角度CT扫描,工件顶部上方放置双目摄像头,以使得双目摄像头在增材制造过程中实时采集工件的图像,该装置主要包括:特征提取及匹配模块91、三维重构模块92、边缘提取模块93、边缘强度描述矩阵生成模块94和CT图像重建模块95,其中:
特征提取及匹配模块91,用于实时对双目摄像头同一时刻采集的左、右两幅图像进行特征提取,根据提取的特征点,查找左、右两幅图像中相互匹配的特征点。
三维重构模块92,用于根据特征提取及匹配模块91得到的左、右两幅图像中的每一对匹配的特征点的二维坐标,计算出该对特征点对应的工件的三维空间点的三维坐标,根据所有匹配的特征点对应的工件的三维空间点的三维坐标,对工件进行三维重构,得到工件的三维表面图像。
边缘提取模块93,用于根据三维重构模块92得到的工件的三维表面图像,提取工件的边缘。
边缘强度描述矩阵生成模块94,用于根据边缘提取模块93提取的工件的边缘以及预定义的CT重建图像的大小,生成边缘强度描述矩阵H,其中,边缘强度描述矩阵H的行、列数分别与CT重建图像的行、列数相同,对于边缘强度描述矩阵H中的任一元素h(m,n),若根据提取的工件的边缘确认该h(m,n)在CT重建图像上对应的像素点位于工件内,则h(m,n)=1;否则,h(m,n)=0,其中,1≤m≤M,1≤n≤N,M为CT重建图像的行数,N为CT重建图像的列数。
CT图像重建模块95,用于将边缘强度描述矩阵生成模块94生成的边缘强度描述矩阵H作为CT图像重建算法的约束条件,计算工件的CT重建图像。
实际应用中,CT图像重建模块95具体用于,采用如下迭代公式计算CT重建图像:
Figure BDA0001592316990000151
其中,k为CT重建算法的迭代次数;i表示X射线源发出的第i条射线,1≤i≤I,I为X射线源发出的射线的总数;j为当前X射线所通过的像素点的索引,1≤j≤M×N;λ为松弛因子(0<λ<2);fj为当前X射线所通过的像素点在CT重建图像上的像素值;hj为边缘强度描述矩阵H中的第j个元素;aij代表第j个像素点对第i条X射线投影的加权值;pi为所测得的第i条射线投影值;
Figure BDA0001592316990000152
为第i条射线的投影估计值,N为第i条射线通过的像素点的总数;
Figure BDA0001592316990000153
c为预设常数。
实际应用中,边缘强度描述矩阵生成模块94生成边缘强度描述矩阵H之后进一步用于,对边缘强度描述矩阵H进行平滑滤波。
实际应用中,边缘强度描述矩阵生成模块94对边缘强度描述矩阵H进行平滑滤波具体包括:
对于H内的任一元素h(m,n),将h(m,n)的值更新为h(m,n)与其周围预设数目个元素值的平均值。
实际应用中,特征提取及匹配模块91实时对双目摄像头同一时刻采集的左、右两幅图像进行特征提取包括:
实时对双目摄像头同一时刻采集的左、右两幅图像进行尺度不变特征转换SIFT特征提取,得到每幅图像的SIFT关键点的位置和该SIFT关键点的SIFT特征向量;
且,特征提取及匹配模块91根据提取的特征点查找左、右两幅图像中相互匹配的特征点包括:
根据同一时刻采集的左、右两幅图像的SIFT关键点和SIFT特征向量,查找左、右两幅图像中相互匹配的SIFT关键点。
实际应用中,特征提取及匹配模块91根据同一时刻采集的左、右两幅图像的SIFT关键点和SIFT特征向量,查找左、右两幅图像中相互匹配的SIFT关键点包括:
从左图像中依次取出一个SIFT关键点,从右图像中查找与该SIFT关键点的欧氏距离最近和次近的两个SIFT关键点,设右图像中的两个SIFT关键点与左图像中的SIFT关键点的欧氏距离分别为d1、d2,且d1≤d2,则若d1/d2<D,D为小于1的预设比例阈值,则确认右图像中欧氏距离最近的SIFT关键点与左图像中的该SIFT关键点匹配,其中,两个SIFT关键点的欧氏距离采用该两个SIFT关键点的SIFT特征向量进行计算。
实际应用中,CT图像重建模块95计算工件的CT重建图像之后进一步用于,采用TV最小化方法,对当前CT重建图像求梯度,根据求得的梯度对当前CT重建图像进行一次修正,进入下一次CT图像重建的迭代过程。
实际应用中,三维重构模块92得到工件的三维表面图像之后进一步用于,根据工件的三维表面图像,计算当前工件的深度;根据当前工件的深度、X射线源的扫描范围以及当前电滑环的高度,判断当前工件的深度是否超过了X射线源的扫描范围,若是,则调整电滑环的高度。
实际应用中,所述装置进一步包括:电滑环选择模块,用于在增材制造过程开始前,根据要制造的工件的尺寸,若确定工件的尺寸小于预设尺寸阈值,则选择电刷滑环放置X射线源和平板探测器;否则,选择电缆滑环放置X射线源和平板探测器。
实际应用中,特征提取及匹配模块91实时对双目摄像头同一时刻采集的左、右两幅图像进行尺度不变特征转换SIFT特征提取之前进一步用于,实时对双目摄像头同一时刻采集的左、右两幅图像进行立体标定,并根据立体标定的结果进行立体校正,使得双目摄像头在同一时刻采集的左、右两幅工件图像同行对准。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

Claims (12)

1.一种对增材制造工件进行CT成像的方法,其特征在于,以电滑环的中心轴作为工件的中心轴,采用增材制造技术制造工件,X射线源和平板探测器相对放置在电滑环上并以同样速度滑动,以便在增材制造过程中对工件进行多角度CT扫描,工件顶部上方放置双目摄像头,以使得双目摄像头在增材制造过程中实时采集工件的图像,该方法包括:
实时对双目摄像头同一时刻采集的左、右两幅图像进行特征提取,根据提取的特征点,查找左、右两幅图像中相互匹配的特征点;根据左、右两幅图像中的每一对匹配的特征点的二维坐标,计算出该对特征点对应的工件的三维空间点的三维坐标,根据所有匹配的特征点对应的工件的三维空间点的三维坐标,对工件进行三维重构,得到工件的三维表面图像;
根据工件的三维表面图像,提取工件的边缘;
根据提取的工件的边缘以及预定义的CT重建图像的大小,生成边缘强度描述矩阵H,其中,边缘强度描述矩阵H的行、列数分别与CT重建图像的行、列数相同,对于边缘强度描述矩阵H中的任一元素h(m,n),若根据提取的工件的边缘确认该h(m,n)在CT重建图像上对应的像素点位于工件内,则h(m,n)=1;否则,h(m,n)=0,其中,1≤m≤M,1≤n≤N,M为CT重建图像的行数,N为CT重建图像的列数;
将边缘强度描述矩阵H作为CT图像重建算法的约束条件,计算工件的CT重建图像;
所述将边缘强度描述矩阵H作为CT图像重建算法的约束条件计算工件的CT重建图像包括:
采用如下迭代公式计算CT重建图像:
Figure FDA0003005003580000011
其中,k为CT重建算法的迭代次数;i表示X射线源发出的第i条射线,1≤i≤I,I为X射线源发出的射线的总数;j为当前X射线所通过的像素点的索引,1≤j≤M×N;λ为松弛因子(0<λ<2);fj为当前X射线所通过的像素点在CT重建图像上的像素值;hj为边缘强度描述矩阵H中的第j个元素;aij代表第j个像素点对第i条X射线投影的加权值;pi为所测得的第i条射线投影值;
Figure FDA0003005003580000021
为第i条射线的投影估计值,N为第i条射线通过的像素点的总数;
Figure FDA0003005003580000022
c为预设常数。
2.根据权利要求1所述的方法,其特征在于,所述生成边缘强度描述矩阵H之后进一步包括:对边缘强度描述矩阵H进行平滑滤波。
3.根据权利要求2所述的方法,其特征在于,所述对边缘强度描述矩阵H进行平滑滤波包括:
对于H内的任一元素h(m,n),将h(m,n)的值更新为h(m,n)与其周围预设数目个元素值的平均值。
4.根据权利要求1所述的方法,其特征在于,所述实时对双目摄像头同一时刻采集的左、右两幅图像进行特征提取包括:
实时对双目摄像头同一时刻采集的左、右两幅图像进行尺度不变特征转换SIFT特征提取,得到每幅图像的SIFT关键点的位置和该SIFT关键点的SIFT特征向量;
且,所述根据提取的特征点查找左、右两幅图像中相互匹配的特征点包括:
根据同一时刻采集的左、右两幅图像的SIFT关键点和SIFT特征向量,查找左、右两幅图像中相互匹配的SIFT关键点。
5.根据权利要求4所述的方法,其特征在于,所述根据同一时刻采集的左、右两幅图像的SIFT关键点和SIFT特征向量,查找左、右两幅图像中相互匹配的SIFT关键点包括:
从左图像中依次取出一个SIFT关键点,从右图像中查找与该SIFT关键点的欧氏距离最近和次近的两个SIFT关键点,设右图像中的两个SIFT关键点与左图像中的SIFT关键点的欧氏距离分别为d1、d2,且d1≤d2,则若d1/d2<D,D为小于1的预设比例阈值,则确认右图像中欧氏距离最近的SIFT关键点与左图像中的该SIFT关键点匹配,其中,两个SIFT关键点的欧氏距离采用该两个SIFT关键点的SIFT特征向量进行计算。
6.根据权利要求1所述的方法,其特征在于,所述计算工件的CT重建图像之后进一步包括:
采用TV最小化方法,对当前CT重建图像求梯度,根据求得的梯度对当前CT重建图像进行一次修正,进入下一次CT图像重建的迭代过程。
7.根据权利要求1所述的方法,其特征在于,所述得到工件的三维表面图像之后进一步包括:
根据工件的三维表面图像,计算当前工件的深度;根据当前工件的深度、X射线源的扫描范围以及当前电滑环的高度,判断当前工件的深度是否超过了X射线源的扫描范围,若是,则调整电滑环的高度。
8.根据权利要求1所述的方法,其特征在于,所述方法进一步包括:
在增材制造过程开始前,根据要制造的工件的尺寸,若确定工件的尺寸小于预设尺寸阈值,则选择电刷滑环放置X射线源和平板探测器;否则,选择电缆滑环放置X射线源和平板探测器。
9.根据权利要求1所述的方法,其特征在于,所述实时对双目摄像头同一时刻采集的左、右两幅图像进行尺度不变特征转换SIFT特征提取之前进一步包括:
实时对双目摄像头同一时刻采集的左、右两幅图像进行立体标定,并根据立体标定的结果进行立体校正,使得双目摄像头在同一时刻采集的左、右两幅工件图像同行对准。
10.一种对增材制造工件进行CT成像的装置,其特征在于,以电滑环的中心轴作为工件的中心轴,采用增材制造技术制造工件,X射线源和平板探测器相对放置在电滑环上并以同样速度滑动,以便在增材制造过程中对工件进行多角度CT扫描,工件顶部上方放置双目摄像头,以使得双目摄像头在增材制造过程中实时采集工件的图像,该装置包括:
特征提取及匹配模块,用于实时对双目摄像头同一时刻采集的左、右两幅图像进行特征提取,根据提取的特征点,查找左、右两幅图像中相互匹配的特征点;
三维重构模块,用于根据左、右两幅图像中的每一对匹配的特征点的二维坐标,计算出该对特征点对应的工件的三维空间点的三维坐标,根据所有匹配的特征点对应的工件的三维空间点的三维坐标,对工件进行三维重构,得到工件的三维表面图像;
边缘提取模块,用于根据工件的三维表面图像,提取工件的边缘;
边缘强度描述矩阵生成模块,用于根据提取的工件的边缘以及预定义的CT重建图像的大小,生成边缘强度描述矩阵H,其中,边缘强度描述矩阵H的行、列数分别与CT重建图像的行、列数相同,对于边缘强度描述矩阵H中的任一元素h(m,n),若根据提取的工件的边缘确认该h(m,n)在CT重建图像上对应的像素点位于工件内,则h(m,n)=1;否则,h(m,n)=0,其中,1≤m≤M,1≤n≤N,M为CT重建图像的行数,N为CT重建图像的列数;
CT图像重建模块,用于将边缘强度描述矩阵H作为CT图像重建算法的约束条件,计算工件的CT重建图像;
所述CT图像重建模块具体用于,
采用如下迭代公式计算CT重建图像:
Figure FDA0003005003580000041
其中,k为CT重建算法的迭代次数;i表示X射线源发出的第i条射线,1≤i≤I,I为X射线源发出的射线的总数;j为当前X射线所通过的像素点的索引,1≤j≤M×N;λ为松弛因子(0<λ<2);fj为当前X射线所通过的像素点在CT重建图像上的像素值;hj为边缘强度描述矩阵H中的第j个元素;aij代表第j个像素点对第i条X射线投影的加权值;pi为所测得的第i条射线投影值;
Figure FDA0003005003580000051
为第i条射线的投影估计值,N为第i条射线通过的像素点的总数;
Figure FDA0003005003580000052
c为预设常数。
11.根据权利要求10所述的装置,其特征在于,所述CT图像重建模块计算工件的CT重建图像之后进一步用于,
采用TV最小化方法,对当前CT重建图像求梯度,根据求得的梯度对当前CT重建图像进行一次修正,进入下一次CT图像重建的迭代过程。
12.根据权利要求10所述的装置,其特征在于,所述三维重构模块得到工件的三维表面图像之后进一步用于,
根据工件的三维表面图像,计算当前工件的深度;根据当前工件的深度、X射线源的扫描范围以及当前电滑环的高度,判断当前工件的深度是否超过了X射线源的扫描范围,若是,则调整电滑环的高度。
CN201810193230.2A 2018-03-09 2018-03-09 对增材制造工件进行ct成像的方法及装置 Active CN108537831B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810193230.2A CN108537831B (zh) 2018-03-09 2018-03-09 对增材制造工件进行ct成像的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810193230.2A CN108537831B (zh) 2018-03-09 2018-03-09 对增材制造工件进行ct成像的方法及装置

Publications (2)

Publication Number Publication Date
CN108537831A CN108537831A (zh) 2018-09-14
CN108537831B true CN108537831B (zh) 2021-06-15

Family

ID=63485642

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810193230.2A Active CN108537831B (zh) 2018-03-09 2018-03-09 对增材制造工件进行ct成像的方法及装置

Country Status (1)

Country Link
CN (1) CN108537831B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018133092B3 (de) * 2018-12-20 2020-03-12 Volume Graphics Gmbh Computer-implementiertes Verfahren zur Analyse von Messdaten aus einer Messung eines Objektes
CN109993800B (zh) * 2019-03-18 2023-01-03 五邑大学 一种工件尺寸的检测方法、装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101714254A (zh) * 2009-11-16 2010-05-26 哈尔滨工业大学 联合多尺度sift和区域不变矩特征的配准控制点提取方法
CN104240270A (zh) * 2013-06-14 2014-12-24 同方威视技术股份有限公司 Ct成像方法和系统
CN105894574A (zh) * 2016-03-30 2016-08-24 清华大学深圳研究生院 一种双目三维重建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6590603B2 (ja) * 2015-09-07 2019-10-16 リョーエイ株式会社 Ct撮像方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101714254A (zh) * 2009-11-16 2010-05-26 哈尔滨工业大学 联合多尺度sift和区域不变矩特征的配准控制点提取方法
CN104240270A (zh) * 2013-06-14 2014-12-24 同方威视技术股份有限公司 Ct成像方法和系统
CN105894574A (zh) * 2016-03-30 2016-08-24 清华大学深圳研究生院 一种双目三维重建方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Split_Bregman算法在CT重建中的应用研究;张丹丹;《中国优秀硕士学位论文全文数据库信息科技辑》;20160815(第08期);全文 *
基于BM3D算法和渐进式投影的CT图像重建;崔树辉;《中国优秀硕士学位论文全文数据库医药卫生科技辑》;20130915(第09期);全文 *
基于光子计数探测器多能谱CT重建算法及应用研究;张煜林;《中国优秀硕士学位论文全文数据库信息科技辑》;20170815(第08期);全文 *
工业CT投影数据预处理及代数重建算法的研究;王鑫;《中国优秀硕士学位论文全文数据库信息科技辑》;20160815(第08期);全文 *

Also Published As

Publication number Publication date
CN108537831A (zh) 2018-09-14

Similar Documents

Publication Publication Date Title
CN106709950B (zh) 一种基于双目视觉的巡线机器人跨越障碍导线定位方法
Kim et al. A camera calibration method using concentric circles for vision applications
Minhas et al. 3D shape from focus and depth map computation using steerable filters
CN109118544B (zh) 基于透视变换的合成孔径成像方法
JP5430138B2 (ja) 形状測定装置およびプログラム
CN112067233B (zh) 一种用于风洞模型六自由度运动捕获方法
CN108177143A (zh) 一种基于激光视觉引导的机器人定位抓取方法及系统
CN112161997B (zh) 半导体芯片管脚三维几何尺寸的在线精密视觉测量方法及系统
CN109470149B (zh) 一种管路位姿的测量方法及装置
JP2010133751A (ja) 形状測定装置およびプログラム
CN108537831B (zh) 对增材制造工件进行ct成像的方法及装置
Ringaby et al. Scan rectification for structured light range sensors with rolling shutters
KR20160049639A (ko) 부분 선형화 기반의 3차원 영상 정합 방법
Wang et al. Automatic measurement based on stereo vision system using a single PTZ camera
CN115063394A (zh) 一种图像校正与视差估计相融合的深度估计方法
CN112102419B (zh) 双光成像设备标定方法及系统、图像配准方法
Perek et al. Efficient uncalibrated rectification method for stereo vision systems
CN112766313A (zh) 基于U-net结构的水晶体分割及定位方法、装置、设备和介质
CN107610170B (zh) 多目图像重聚焦的深度获取方法及系统
CN113870354B (zh) 一种基于深度学习的变压器油箱的测量方法及系统
CN111489384A (zh) 基于互视角的遮挡评估方法及装置、设备、系统和介质
CN113884017B (zh) 一种基于三目视觉的绝缘子的非接触形变检测方法及系统
CN110706334B (zh) 一种基于三目视觉的工业部件三维重构方法
Tang et al. Research on Workpiece Recognition and Localization Based on Binocular Stereoscopic Vision
Mukati et al. Light field stitching for extended synthetic aperture

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant