CN108537831A - 对增材制造工件进行ct成像的方法及装置 - Google Patents

对增材制造工件进行ct成像的方法及装置 Download PDF

Info

Publication number
CN108537831A
CN108537831A CN201810193230.2A CN201810193230A CN108537831A CN 108537831 A CN108537831 A CN 108537831A CN 201810193230 A CN201810193230 A CN 201810193230A CN 108537831 A CN108537831 A CN 108537831A
Authority
CN
China
Prior art keywords
workpiece
image
images
ray
reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810193230.2A
Other languages
English (en)
Other versions
CN108537831B (zh
Inventor
孔慧华
李毅红
陈平
樊亚红
潘晋孝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North University of China
Original Assignee
North University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North University of China filed Critical North University of China
Priority to CN201810193230.2A priority Critical patent/CN108537831B/zh
Publication of CN108537831A publication Critical patent/CN108537831A/zh
Application granted granted Critical
Publication of CN108537831B publication Critical patent/CN108537831B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00Image generation
    • G06T2211/40Computed tomography
    • G06T2211/424Iterative

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

本发明提出对增材制造工件进行CT成像的方法及装置。方法包括:工件顶部上方放置双目摄像头,以使得双目摄像头在增材制造过程中实时采集工件的图像,实时对双目摄像头同一时刻采集的左、右两幅图像进行特征提取,根据提取的特征点,对工件进行三维重构,得到工件的三维表面图像;根据工件的三维表面图像,提取工件的边缘;根据提取的工件的边缘以及预定义的CT重建图像的大小,生成边缘强度描述矩阵H;将边缘强度描述矩阵H作为CT图像重建算法的约束条件,计算工件的CT重建图像。本发明实现了对增材制造工件的实时而精确的CT图像重建。

Description

对增材制造工件进行CT成像的方法及装置
技术领域
本发明涉及增材制造技术领域,尤其涉及对增材制造工件进行CT成像的方法及装置。
背景技术
增材制造作为革命性的制造工艺,实现了零件“自由制造”,解决了许多复杂结构零件的成形,大大减少了加工工序,缩短了加工周期。然而增材制造过程中,某些缺陷的产生和扩展是无法避免的。
目前对于增材制造缺陷的无损检测均是离线检测模式,检测设备及检测方法较多,无法满足增材制造工艺的闭环控制要求。增材制造中的微孔、变形、裂纹等问题严重影响构件的质量性能,十分有必要实现在线检测/监测,以便及时调整工艺或者停止构件的加工,提高增材制造构件的可靠性。而对于增材制造的在线检测,往往受限于增材制造工艺及环境影响,超声、电磁等检测方法存在一定的局限性。
发明内容
本发明提供对增材制造工件进行CT成像的方法及装置,以实现在增材制造过程中对工件进行实时而精确的CT图像重建。
本发明的技术方案是这样实现的:
一种对增材制造工件进行CT成像的方法,以电滑环的中心轴作为工件的中心轴,采用增材制造技术制造工件,X射线源和平板探测器相对放置在电滑环上并以同样速度滑动,以便在增材制造过程中对工件进行多角度CT扫描,工件顶部上方放置双目摄像头,以使得双目摄像头在增材制造过程中实时采集工件的图像,该方法包括:
实时对双目摄像头同一时刻采集的左、右两幅图像进行特征提取,根据提取的特征点,查找左、右两幅图像中相互匹配的特征点;根据左、右两幅图像中的每一对匹配的特征点的二维坐标,计算出该对特征点对应的工件的三维空间点的三维坐标,根据所有匹配的特征点对应的工件的三维空间点的三维坐标,对工件进行三维重构,得到工件的三维表面图像;
根据工件的三维表面图像,提取工件的边缘;
根据提取的工件的边缘以及预定义的CT重建图像的大小,生成边缘强度描述矩阵H,其中,边缘强度描述矩阵H的行、列数分别与CT重建图像的行、列数相同,对于边缘强度描述矩阵H中的任一元素h(m,n),若根据提取的工件的边缘确认该h(m,n)在CT重建图像上对应的像素点位于工件内,则h(m,n)=1;否则,h(m,n)=0,其中,1≤m≤M,1≤n≤N,M为CT重建图像的行数,N为CT重建图像的列数;
将边缘强度描述矩阵H作为CT图像重建算法的约束条件,计算工件的CT重建图像。
所述将边缘强度描述矩阵H作为CT图像重建算法的约束条件计算工件的CT重建图像包括:
采用如下迭代公式计算CT重建图像:
其中,k为CT重建算法的迭代次数;i表示X射线源发出的第i条射线,1≤i≤I,I为X射线源发出的射线的总数;j为当前X射线所通过的像素点的索引,1≤j≤M×N;λ为松弛因子(0<λ<2);fj为当前X射线所通过的像素点在CT重建图像上的像素值;hj为边缘强度描述矩阵H中的第j个元素;aij代表第j个像素点对第i条X射线投影的加权值;pi为所测得的第i条射线投影值;为第i条射线的投影估计值,N为第i条射线通过的像素点的总数;c为预设常数。
所述生成边缘强度描述矩阵H之后进一步包括:对边缘强度描述矩阵H进行平滑滤波。
所述对边缘强度描述矩阵H进行平滑滤波包括:
对于H内的任一元素h(m,n),将h(m,n)的值更新为h(m,n)与其周围预设数目个元素值的平均值。
所述实时对双目摄像头同一时刻采集的左、右两幅图像进行特征提取包括:
实时对双目摄像头同一时刻采集的左、右两幅图像进行尺度不变特征转换SIFT特征提取,得到每幅图像的SIFT关键点的位置和该SIFT关键点的SIFT特征向量;
且,所述根据提取的特征点查找左、右两幅图像中相互匹配的特征点包括:
根据同一时刻采集的左、右两幅图像的SIFT关键点和SIFT特征向量,查找左、右两幅图像中相互匹配的SIFT关键点。
所述根据同一时刻采集的左、右两幅图像的SIFT关键点和SIFT特征向量,查找左、右两幅图像中相互匹配的SIFT关键点包括:
从左图像中依次取出一个SIFT关键点,从右图像中查找与该SIFT关键点的欧氏距离最近和次近的两个SIFT关键点,设右图像中的两个SIFT关键点与左图像中的SIFT关键点的欧氏距离分别为d1、d2,且d1≤d2,则若d1/d2<D,D为小于1的预设比例阈值,则确认右图像中欧氏距离最近的SIFT关键点与左图像中的该SIFT关键点匹配,其中,两个SIFT关键点的欧氏距离采用该两个SIFT关键点的SIFT特征向量进行计算。
所述计算工件的CT重建图像之后进一步包括:
采用TV最小化方法,对当前CT重建图像求梯度,根据求得的梯度对当前CT重建图像进行一次修正,进入下一次CT图像重建的迭代过程。
所述得到工件的三维表面图像之后进一步包括:
根据工件的三维表面图像,计算当前工件的深度;根据当前工件的深度、X射线源的扫描范围以及当前电滑环的高度,判断当前工件的深度是否超过了X射线源的扫描范围,若是,则调整电滑环的高度。
所述方法进一步包括:
在增材制造过程开始前,根据要制造的工件的尺寸,若确定工件的尺寸小于预设尺寸阈值,则选择电刷滑环放置X射线源和平板探测器;否则,选择电缆滑环放置X射线源和平板探测器。
所述实时对双目摄像头同一时刻采集的左、右两幅图像进行尺度不变特征转换SIFT特征提取之前进一步包括:
实时对双目摄像头同一时刻采集的左、右两幅图像进行立体标定,并根据立体标定的结果进行立体校正,使得双目摄像头在同一时刻采集的左、右两幅工件图像同行对准。
一种对增材制造工件进行CT成像的装置,以电滑环的中心轴作为工件的中心轴,采用增材制造技术制造工件,X射线源和平板探测器相对放置在电滑环上并以同样速度滑动,以便在增材制造过程中对工件进行多角度CT扫描,工件顶部上方放置双目摄像头,以使得双目摄像头在增材制造过程中实时采集工件的图像,该装置包括:
特征提取及匹配模块,用于实时对双目摄像头同一时刻采集的左、右两幅图像进行特征提取,根据提取的特征点,查找左、右两幅图像中相互匹配的特征点;
三维重构模块,用于根据左、右两幅图像中的每一对匹配的特征点的二维坐标,计算出该对特征点对应的工件的三维空间点的三维坐标,根据所有匹配的特征点对应的工件的三维空间点的三维坐标,对工件进行三维重构,得到工件的三维表面图像;
边缘提取模块,用于根据工件的三维表面图像,提取工件的边缘;
边缘强度描述矩阵生成模块,用于根据提取的工件的边缘以及预定义的CT重建图像的大小,生成边缘强度描述矩阵H,其中,边缘强度描述矩阵H的行、列数分别与CT重建图像的行、列数相同,对于边缘强度描述矩阵H中的任一元素h(m,n),若根据提取的工件的边缘确认该h(m,n)在CT重建图像上对应的像素点位于工件内,则h(m,n)=1;否则,h(m,n)=0,其中,1≤m≤M,1≤n≤N,M为CT重建图像的行数,N为CT重建图像的列数;
CT图像重建模块,用于将边缘强度描述矩阵H作为CT图像重建算法的约束条件,计算工件的CT重建图像。
所述CT图像重建模块具体用于,
采用如下迭代公式计算CT重建图像:
其中,k为CT重建算法的迭代次数;i表示X射线源发出的第i条射线,1≤i≤I,I为X射线源发出的射线的总数;j为当前X射线所通过的像素点的索引,1≤j≤M×N;λ为松弛因子(0<λ<2);fj为当前X射线所通过的像素点在CT重建图像上的像素值;hj为边缘强度描述矩阵H中的第j个元素;aij代表第j个像素点对第i条X射线投影的加权值;pi为所测得的第i条射线投影值;为第i条射线的投影估计值,N为第i条射线通过的像素点的总数;c为预设常数。
所述CT图像重建模块计算工件的CT重建图像之后进一步用于,
采用TV最小化方法,对当前CT重建图像求梯度,根据求得的梯度对当前CT重建图像进行一次修正,进入下一次CT图像重建的迭代过程。
所述三维重构模块得到工件的三维表面图像之后进一步用于,
根据工件的三维表面图像,计算当前工件的深度;根据当前工件的深度、X射线源的扫描范围以及当前电滑环的高度,判断当前工件的深度是否超过了X射线源的扫描范围,若是,则调整电滑环的高度。
本发明实现了在增材制造过程中对工件进行实时而精确的CT图像重建,从而使得检测人员能够根据实时重建的CT图像实时检测出工件的缺陷。
附图说明
图1为本发明实施例提供的对增材制造工件进行CT成像的方法流程图;
图2为本发明一实施例提供的对增材制造工件进行三维边缘提取的方法流程图;
图3为本发明实施例提供的采用电刷滑环对增材制造小工件进行CT图像重建的示意图;
图4为本发明实施例提供的采用电缆滑环对增材制造大工件进行CT图像重建的场景的示意图;
图5为本发明实施例提供的双目视觉系统中各坐标系之间的关系图;
图6为简单的平视双目立体成像原理图;
图7为本发明实施例提供的增加电刷滑环高度的示意图;
图8为本发明一实施例提供的对增材制造工件进行CT图像重建的方法流程图;
图9为本发明实施例提供的对增材制造工件进行CT成像的装置的组成示意图。
具体实施方式
下面结合附图及具体实施例对本发明再作进一步详细的说明。
图1为本发明实施例提供的对增材制造工件进行CT成像的方法流程图,其具体步骤如下:
步骤101:以电滑环的中心轴作为工件的中心轴,采用增材制造技术制造工件,X射线源和平板探测器相对放置在电滑环上并以同样速度滑动,以便在增材制造过程中对工件进行多角度CT扫描,工件顶部上方放置双目摄像头,以使得双目摄像头在增材制造过程中实时采集工件的图像。
步骤102:实时对双目摄像头同一时刻采集的左、右两幅图像进行SIFT(ScaleInvariant Feature Transform,尺度不变特征转换)特征提取,得到每幅图像的SIFT关键点的位置和该SIFT关键点的SIFT特征向量。
步骤103:根据同一时刻采集的左、右两幅图像的SIFT关键点和SIFT特征向量,查找左、右两幅图像中相互匹配的SIFT关键点。
步骤104:根据左、右两幅图像中的每一对匹配的SIFT关键点的二维坐标,计算出该对SIFT关键点对应的工件的三维空间点的三维坐标,根据所有匹配的SIFT关键点对应的工件的三维空间点的三维坐标,对工件进行三维重构,得到工件的三维表面图像。
步骤105:根据工件的三维表面图像,提取工件的边缘。
步骤106:根据提取的工件的边缘以及预定义的CT重建图像的大小,生成边缘强度描述矩阵H,其中,边缘强度描述矩阵H的行、列数分别与CT重建图像的行、列数相同,对于边缘强度描述矩阵H中的任一元素h(m,n),若根据提取的工件的边缘确认该h(m,n)在CT重建图像上对应的像素点位于工件内,则h(m,n)=1;否则,h(m,n)=0,其中,1≤m≤M,1≤n≤N,M为CT重建图像的行数,N为CT重建图像的列数。
步骤107:将边缘强度描述矩阵H作为CT图像重建算法的约束条件,计算工件的CT重建图像。
图2为本发明一实施例提供的对增材制造工件进行三维边缘提取的方法流程图,其具体步骤如下:
步骤201:在增材制造开始前,根据要制造的目标工件的尺寸,确定选择电刷滑环还是电缆滑环放置X射线源和平板探测器。
具体地,若目标工件的尺寸(主要指横向尺寸如:横向最大长度)小于预设尺寸阈值,则选择电刷滑环,相应地,选择较小的X射线源和平板探测器;否则,选择电缆滑环,相应地,选择较大的X射线源和平板探测器。
步骤202:在选择的电刷滑环或者电缆滑环上相对放置X射线源和平板探测器。
即,X射线源和平板探测器分别位于电刷滑环或者电缆滑环直径的两端。
步骤203:确定电刷滑环或者电缆滑环的中心轴即为目标工件的中心轴,开始采用增材制造技术制造目标工件,并在目标工件顶部的左、右上方以目标工件的中心轴为对称轴对称放置双目摄像头。
图3为本发明实施例提供的采用电刷滑环对增材制造小工件进行CT图像重建的示意图。其中,31为目标工件,32为双目摄像头,33为电刷滑环,34为X射线源,35为平板探测器。
图4为本发明实施例提供的采用电缆滑环对增材制造大工件进行CT图像重建的场景的示意图。其中,41为目标工件,42为双目摄像头,43为电缆滑环,44为X射线源,45为平板探测器。
在增材制造过程中,滑环不断旋转,使得X射线源对工件进行连续扫描,从而得到工件的多组投影数据。
步骤204:在增材制造过程中,双目摄像头实时采集各自视角下的工件图像。
步骤205:实时对双目摄像头在同一时刻采集的左、右两幅工件图像进行立体标定,并根据立体标定的结果进行立体校正,使得双目摄像头在同一时刻采集的左、右两幅工件图像同行对准。
立体标定是指,对三维场景中的点在左、右摄像机图像平面上的坐标P1(u1,v1)、P2(u2,v2)与该点的世界坐标P(Xw,Yw,Zw)之间的映射关系的确立。此时,需先计算左、右摄像机的内部参数矩阵和外部参数矩阵及两个摄像机之间的相对位置关系,即计算两个摄像机之间的旋转矩阵R和平移矩阵T,具体过程如下:
为定量描述光学成像的过程,定义4个坐标系:图像平面坐标系UOV,成像平面坐标系XO1Y,摄像机坐标系OcXcYcZc,世界坐标系OwXwYwZw
图5给出了双目视觉系统中各坐标系之间的关系图。
根据4个坐标系之间的对应关系,可以建立相互的关系式。设世界空间任意一点P(Xw,Yw,Zw)在图像平面上的投影为p(u,v),则两者之间的关系如下:
其中,M为投影矩阵,包含了摄像机所有参数。通过矩阵分解可得到具体的摄像机内部参数A和外部参数R、t,如:
其中,fx,fy分别表示x和y方向焦距,s表示摄像机晶片的歪斜系数;(u0,v0)为主点坐标;摄像机坐标系与世界坐标系之间的空间关系用旋转矩阵R和平移向量t来描述。
标定流程为寻找一幅黑白棋盘格;变动棋盘格的位置(旋转、平移),拍摄不同姿态的棋盘格;提取角点进行匹配,获得单应性矩阵;计算出摄像机的内部参数A和外部参数R、t。
立体校正就是根据立体标定的结果,将实际中非共面行对准的两幅图像校正成共面行对准。两个摄像机图像平面在方向上相差一个旋转矩阵,校正过程中将两个图像平面各旋转一半,把两个棋盘格标定的图像平面拉回同一平面,最后在同一平面上再旋转图像使得两幅图像同行对准。
步骤206:分别对立体校正后的左、右两幅图像进行SIFT特征提取,分别记录提取到的每幅图像的SIFT关键点的位置和该SIFT关键点的SIFT特征向量。
SIFT是一种成熟的图像特征匹配算法,具有较强的匹配能力和鲁棒性,对图像的旋转、尺度缩放和亮度变换保持不变性,对视角变换和仿射变换保持一定程度的稳定性。
SIFT算法主要包括:检测尺度空间的极值点、精确定位关键点、确定关键点的方向、生成SIFT特征向量。具体过程如下:
步骤01:根据原始图像构建DoG(高斯差分)尺度空间。
构建高斯金字塔,金字塔中第1组第1层为原始图像,对原始图像进行高斯模糊得到第2层,以此类推构建至顶层,第2组第1层由第1组倒数第3层图像降采样得到,按上述方法得到多组多层图像高斯金字塔,每组包含的层数相等,将高斯金字塔每一组相邻的两层相减得到DoG尺度空间。
步骤02:对于图像上的每个像素点,计算该像素点在每一尺度下DoG算子的响应值。
步骤03:对于DoG尺度空间每组中的所有中间层(除最底层和最顶层外)的每个像素点,将该像素点与其同一层相邻的8个像素点和它上一层和下一层中相邻的9×2个像素点共26个点进行比较,当该像素点的DoG算子的响应值大于(或者小于)所有相邻点时,则该像素点就是极值点;否则,该像素点不是极值点。
步骤04:对DoG尺度空间进行拟合处理去除不稳定的极值点,剩余的极值点即为关键点。
步骤05:对于每个关键点,对该关键点的邻域进行梯度计算,计算邻域内各个像素点的梯度的幅角和幅值,使用直方图对梯度的幅角进行统计,直方图的横轴是梯度的方向,纵轴为梯度方向对应梯度幅值的累加值,直方图中最高峰所对应的方向即为该关键点的方向。
步骤06:以该关键点为中心,将坐标轴旋转为该关键点的方向,并取16×16像素的邻域作为采样窗口,再将该领域分为4×4个子区域,在每个子区域计算8个梯度方向的直方图(每个子区域的梯度直方图在0~360°之间划分为8个方向区间,每个区间为45度,将子区域中像素点的梯度强度信息经高斯加权后得到8个方向的梯度强度信息),最后获得4×4×8=128维特征描述子,即为该关键点的SIFT特征向量。
步骤207:从左图像中依次取出一个SIFT关键点,从右图像中查找与该SIFT关键点的欧氏距离最近和次近的两个SIFT关键点,设右图像中的两个SIFT关键点与左图像中的SIFT关键点的欧氏距离分别为d1、d2,且d1≤d2,则若d1/d2<D,D为预设的小于1的比例阈值,则确认右图像中欧氏距离最近的SIFT关键点为左图像中的该SIFT关键点的匹配点,其中,两个SIFT关键点的欧氏距离采用该两个SIFT关键点的SIFT特征向量进行计算。
步骤208:当对左图像中的所有SIFT关键点都执行完步骤207后,根据左、右图像中的每一对匹配的SIFT关键点的二维坐标,计算出该对匹配的SIFT关键点对应的工件的三维空间点的三维坐标,结合预定义的工件的形状进行三维重构,得到工件的三维表面图像,并计算工件的深度。
图6所示为简单的平视双目立体成像原理图,两摄像机的投影中心的连线的距离,即基线距为b。摄像机坐标系的原点在摄像机镜头的光心处,坐标系如图6所示。事实上摄像机的成像平面在镜头的光心后,图6中将左右成像平面绘制在镜头的光心前f(即焦距:摄像机光心到左右成像平面原点O1/O2的实际物理长度)处,这个虚拟的图像平面坐标系O1uv的u轴和v轴与和摄像机坐标系的x轴和y轴方向一致,这样可以简化计算过程。左、右图像坐标系的原点在摄像机光轴与平面的交点O1和O2。空间中某点P在左图像和右图像中相应的坐标分别为P1(u1,v1)和P2(u2,v2)。假定两摄像机的图像在同一个平面上,则点P的左、右图像坐标的Y坐标相同,即v1=v2。由三角几何关系得到:
上式中(xc,yc,zc)为点P在左摄像机坐标系中的坐标,b为基线距(两摄像机的投影中心的连线的距离),f为两个摄像机的焦距,(u1,v1)和(u2,v2)分别为点P在左图像和右图像中的坐标。
视差定义为某一点在左、右图像中的两成像点之间的位置差:
由此可计算出空间中某点P在左摄像机坐标系中的坐标为:
因此,只要能够找到空间中某点在左、右两个摄像机成像平面上的相应点,且通过摄像机标定获得摄像机的内外参数,就可以确定该点的三维坐标。
由于双目摄像机采集到的都是工件表面上的点,因此,最终得到的也是工件表面上的点的三维坐标,这些三维点重构得到了工件的三维表面图像。
步骤209:根据当前工件的深度、X射线源的扫描范围以及当前滑环的高度,判断工件的深度是否超过了X射线源的扫描范围,若是,则调整滑环的高度,如:增加滑环的高度。
图7为增加电刷滑环高度的示意图。
步骤210:根据工件的三维表面图像,提取工件的边缘。
工件的边缘信息可以以工件的各边缘点的三维坐标等表示。例如:若工件为长方体,则以工件的上表面(或下表面)的4个角点以及工件的深度表示。
图8为本发明一实施例提供的对增材制造工件进行CT图像重建的方法流程图,其具体步骤如下:
步骤801:根据提取的工件的边缘以及预定义的CT重建图像的大小,生成边缘强度描述矩阵H,其中,边缘强度描述矩阵H的行、列数分别与CT重建图像的行、列数相同,对于边缘强度描述H中的任一元素h(m,n),若根据提取的工件的边缘确认该h(m,n)在CT重建图像上对应的像素点位于工件内,则h(m,n)=1;否则,h(m,n)=0,其中,1≤m≤M,1≤n≤N,M为CT重建图像的行数,N为CT重建图像的列数。
CT重建图像的大小应该不小于工件的CT扫描截面。
例如:若以矩形A代表CT重建图像,矩形A的两边长分别为M、N(单位:像素点),长方体B为提取出的工件的边缘,则对于矩形A内的任一像素点h(m,n),若该像素点h(m,n)位于长方体B内,则h(m,n)=1;否则,h(m,n)=0。
步骤802:对边缘强度描述矩阵H进行平滑滤波。
平滑滤波算法如:对于H内的任一元素h(m,n),将h(m,n)的值更新为h(m,n)与其上、下、左、右四个元素(共5个元素)的值的均值;平滑滤波后,0≤h(m,n)≤1。
步骤803:将边缘强度描述矩阵H作为约束条件,计算工件的CT重建图像,具体地,CT图像重建的迭代算法如下:
其中,其中,k为CT重建算法的迭代次数;i表示X射线源发出的第i条射线,1≤i≤I,I为X射线源发出的射线的总数;j为当前X射线所通过的像素点的索引,1≤j≤M×N;λ为松弛因子(0<λ<2),λk为第k次迭代使用的λ;fj为当前X射线所通过的像素点在CT重建图像上的像素值,fj (k)为第k次迭代过程中当前X射线所通过的像素点在CT重建图像上的像素值;hj为边缘强度描述矩阵H中的第j个元素;aij代表第j个像素点对第i条X射线投影的加权值;pi为所测得的第i条射线投影值;为第i条射线的投影估计值,N为第i条射线通过的像素点的总数;c为预设常数,可根据多次试验得到,一般地,0<c<100,较佳地,10<c<50。
CT图像重建的迭代算法的结束条件本发明并不做限定,可与现有技术相同。
步骤804:采用TV最小化方法,对当前CT重建图像求梯度,根据求得的梯度对当前CT重建图像进行一次修正,进入下一次CT图像重建的迭代过程,令k=k+1,返回步骤803,直至满足迭代结束条件。
在CT迭代重建过程中引入TV最小化处理,能重建出具有良好边缘的图像,TV最小化方法在去噪的同时可以有效保护图像的边缘纹理等细节信息,有着保留图像边缘特征、平滑噪声和改进图像质量的作用。
在得到工件的CT重建图像后,将CT重建图像实时提供给检测人员,检测人员可以实时根据CT重建图像观测工件是否存在缺陷,如气孔、变形和裂纹等,揭示增材制造特有的冶金缺陷形成机理、特征及缺陷检测特征。同时,还可将识别结果信息进行反馈,若在重建图像中检测到明显的缺陷问题,则及时调整工艺或者停止对工件的加工。
图9为本发明实施例提供的对增材制造工件进行CT成像的装置的组成示意图,其中,以电滑环的中心轴作为工件的中心轴,采用增材制造技术制造工件,X射线源和平板探测器相对放置在电滑环上并以同样速度滑动,以便在增材制造过程中对工件进行多角度CT扫描,工件顶部上方放置双目摄像头,以使得双目摄像头在增材制造过程中实时采集工件的图像,该装置主要包括:特征提取及匹配模块91、三维重构模块92、边缘提取模块93、边缘强度描述矩阵生成模块94和CT图像重建模块95,其中:
特征提取及匹配模块91,用于实时对双目摄像头同一时刻采集的左、右两幅图像进行特征提取,根据提取的特征点,查找左、右两幅图像中相互匹配的特征点。
三维重构模块92,用于根据特征提取及匹配模块91得到的左、右两幅图像中的每一对匹配的特征点的二维坐标,计算出该对特征点对应的工件的三维空间点的三维坐标,根据所有匹配的特征点对应的工件的三维空间点的三维坐标,对工件进行三维重构,得到工件的三维表面图像。
边缘提取模块93,用于根据三维重构模块92得到的工件的三维表面图像,提取工件的边缘。
边缘强度描述矩阵生成模块94,用于根据边缘提取模块93提取的工件的边缘以及预定义的CT重建图像的大小,生成边缘强度描述矩阵H,其中,边缘强度描述矩阵H的行、列数分别与CT重建图像的行、列数相同,对于边缘强度描述矩阵H中的任一元素h(m,n),若根据提取的工件的边缘确认该h(m,n)在CT重建图像上对应的像素点位于工件内,则h(m,n)=1;否则,h(m,n)=0,其中,1≤m≤M,1≤n≤N,M为CT重建图像的行数,N为CT重建图像的列数。
CT图像重建模块95,用于将边缘强度描述矩阵生成模块94生成的边缘强度描述矩阵H作为CT图像重建算法的约束条件,计算工件的CT重建图像。
实际应用中,CT图像重建模块95具体用于,采用如下迭代公式计算CT重建图像:
其中,k为CT重建算法的迭代次数;i表示X射线源发出的第i条射线,1≤i≤I,I为X射线源发出的射线的总数;j为当前X射线所通过的像素点的索引,1≤j≤M×N;λ为松弛因子(0<λ<2);fj为当前X射线所通过的像素点在CT重建图像上的像素值;hj为边缘强度描述矩阵H中的第j个元素;aij代表第j个像素点对第i条X射线投影的加权值;pi为所测得的第i条射线投影值;为第i条射线的投影估计值,N为第i条射线通过的像素点的总数;c为预设常数。
实际应用中,边缘强度描述矩阵生成模块94生成边缘强度描述矩阵H之后进一步用于,对边缘强度描述矩阵H进行平滑滤波。
实际应用中,边缘强度描述矩阵生成模块94对边缘强度描述矩阵H进行平滑滤波具体包括:
对于H内的任一元素h(m,n),将h(m,n)的值更新为h(m,n)与其周围预设数目个元素值的平均值。
实际应用中,特征提取及匹配模块91实时对双目摄像头同一时刻采集的左、右两幅图像进行特征提取包括:
实时对双目摄像头同一时刻采集的左、右两幅图像进行尺度不变特征转换SIFT特征提取,得到每幅图像的SIFT关键点的位置和该SIFT关键点的SIFT特征向量;
且,特征提取及匹配模块91根据提取的特征点查找左、右两幅图像中相互匹配的特征点包括:
根据同一时刻采集的左、右两幅图像的SIFT关键点和SIFT特征向量,查找左、右两幅图像中相互匹配的SIFT关键点。
实际应用中,特征提取及匹配模块91根据同一时刻采集的左、右两幅图像的SIFT关键点和SIFT特征向量,查找左、右两幅图像中相互匹配的SIFT关键点包括:
从左图像中依次取出一个SIFT关键点,从右图像中查找与该SIFT关键点的欧氏距离最近和次近的两个SIFT关键点,设右图像中的两个SIFT关键点与左图像中的SIFT关键点的欧氏距离分别为d1、d2,且d1≤d2,则若d1/d2<D,D为小于1的预设比例阈值,则确认右图像中欧氏距离最近的SIFT关键点与左图像中的该SIFT关键点匹配,其中,两个SIFT关键点的欧氏距离采用该两个SIFT关键点的SIFT特征向量进行计算。
实际应用中,CT图像重建模块95计算工件的CT重建图像之后进一步用于,采用TV最小化方法,对当前CT重建图像求梯度,根据求得的梯度对当前CT重建图像进行一次修正,进入下一次CT图像重建的迭代过程。
实际应用中,三维重构模块92得到工件的三维表面图像之后进一步用于,根据工件的三维表面图像,计算当前工件的深度;根据当前工件的深度、X射线源的扫描范围以及当前电滑环的高度,判断当前工件的深度是否超过了X射线源的扫描范围,若是,则调整电滑环的高度。
实际应用中,所述装置进一步包括:电滑环选择模块,用于在增材制造过程开始前,根据要制造的工件的尺寸,若确定工件的尺寸小于预设尺寸阈值,则选择电刷滑环放置X射线源和平板探测器;否则,选择电缆滑环放置X射线源和平板探测器。
实际应用中,特征提取及匹配模块91实时对双目摄像头同一时刻采集的左、右两幅图像进行尺度不变特征转换SIFT特征提取之前进一步用于,实时对双目摄像头同一时刻采集的左、右两幅图像进行立体标定,并根据立体标定的结果进行立体校正,使得双目摄像头在同一时刻采集的左、右两幅工件图像同行对准。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

Claims (14)

1.一种对增材制造工件进行CT成像的方法,其特征在于,以电滑环的中心轴作为工件的中心轴,采用增材制造技术制造工件,X射线源和平板探测器相对放置在电滑环上并以同样速度滑动,以便在增材制造过程中对工件进行多角度CT扫描,工件顶部上方放置双目摄像头,以使得双目摄像头在增材制造过程中实时采集工件的图像,该方法包括:
实时对双目摄像头同一时刻采集的左、右两幅图像进行特征提取,根据提取的特征点,查找左、右两幅图像中相互匹配的特征点;根据左、右两幅图像中的每一对匹配的特征点的二维坐标,计算出该对特征点对应的工件的三维空间点的三维坐标,根据所有匹配的特征点对应的工件的三维空间点的三维坐标,对工件进行三维重构,得到工件的三维表面图像;
根据工件的三维表面图像,提取工件的边缘;
根据提取的工件的边缘以及预定义的CT重建图像的大小,生成边缘强度描述矩阵H,其中,边缘强度描述矩阵H的行、列数分别与CT重建图像的行、列数相同,对于边缘强度描述矩阵H中的任一元素h(m,n),若根据提取的工件的边缘确认该h(m,n)在CT重建图像上对应的像素点位于工件内,则h(m,n)=1;否则,h(m,n)=0,其中,1≤m≤M,1≤n≤N,M为CT重建图像的行数,N为CT重建图像的列数;
将边缘强度描述矩阵H作为CT图像重建算法的约束条件,计算工件的CT重建图像。
2.根据权利要求1所述的方法,其特征在于,所述将边缘强度描述矩阵H作为CT图像重建算法的约束条件计算工件的CT重建图像包括:
采用如下迭代公式计算CT重建图像:
其中,k为CT重建算法的迭代次数;i表示X射线源发出的第i条射线,1≤i≤I,I为X射线源发出的射线的总数;j为当前X射线所通过的像素点的索引,1≤j≤M×N;λ为松弛因子(0<λ<2);fj为当前X射线所通过的像素点在CT重建图像上的像素值;hj为边缘强度描述矩阵H中的第j个元素;aij代表第j个像素点对第i条X射线投影的加权值;pi为所测得的第i条射线投影值;为第i条射线的投影估计值,N为第i条射线通过的像素点的总数;c为预设常数。
3.根据权利要求1或2所述的方法,其特征在于,所述生成边缘强度描述矩阵H之后进一步包括:对边缘强度描述矩阵H进行平滑滤波。
4.根据权利要求3所述的方法,其特征在于,所述对边缘强度描述矩阵H进行平滑滤波包括:
对于H内的任一元素h(m,n),将h(m,n)的值更新为h(m,n)与其周围预设数目个元素值的平均值。
5.根据权利要求1或2所述的方法,其特征在于,所述实时对双目摄像头同一时刻采集的左、右两幅图像进行特征提取包括:
实时对双目摄像头同一时刻采集的左、右两幅图像进行尺度不变特征转换SIFT特征提取,得到每幅图像的SIFT关键点的位置和该SIFT关键点的SIFT特征向量;
且,所述根据提取的特征点查找左、右两幅图像中相互匹配的特征点包括:
根据同一时刻采集的左、右两幅图像的SIFT关键点和SIFT特征向量,查找左、右两幅图像中相互匹配的SIFT关键点。
6.根据权利要求5所述的方法,其特征在于,所述根据同一时刻采集的左、右两幅图像的SIFT关键点和SIFT特征向量,查找左、右两幅图像中相互匹配的SIFT关键点包括:
从左图像中依次取出一个SIFT关键点,从右图像中查找与该SIFT关键点的欧氏距离最近和次近的两个SIFT关键点,设右图像中的两个SIFT关键点与左图像中的SIFT关键点的欧氏距离分别为d1、d2,且d1≤d2,则若d1/d2<D,D为小于1的预设比例阈值,则确认右图像中欧氏距离最近的SIFT关键点与左图像中的该SIFT关键点匹配,其中,两个SIFT关键点的欧氏距离采用该两个SIFT关键点的SIFT特征向量进行计算。
7.根据权利要求1所述的方法,其特征在于,所述计算工件的CT重建图像之后进一步包括:
采用TV最小化方法,对当前CT重建图像求梯度,根据求得的梯度对当前CT重建图像进行一次修正,进入下一次CT图像重建的迭代过程。
8.根据权利要求1所述的方法,其特征在于,所述得到工件的三维表面图像之后进一步包括:
根据工件的三维表面图像,计算当前工件的深度;根据当前工件的深度、X射线源的扫描范围以及当前电滑环的高度,判断当前工件的深度是否超过了X射线源的扫描范围,若是,则调整电滑环的高度。
9.根据权利要求1所述的方法,其特征在于,所述方法进一步包括:
在增材制造过程开始前,根据要制造的工件的尺寸,若确定工件的尺寸小于预设尺寸阈值,则选择电刷滑环放置X射线源和平板探测器;否则,选择电缆滑环放置X射线源和平板探测器。
10.根据权利要求1所述的方法,其特征在于,所述实时对双目摄像头同一时刻采集的左、右两幅图像进行尺度不变特征转换SIFT特征提取之前进一步包括:
实时对双目摄像头同一时刻采集的左、右两幅图像进行立体标定,并根据立体标定的结果进行立体校正,使得双目摄像头在同一时刻采集的左、右两幅工件图像同行对准。
11.一种对增材制造工件进行CT成像的装置,其特征在于,以电滑环的中心轴作为工件的中心轴,采用增材制造技术制造工件,X射线源和平板探测器相对放置在电滑环上并以同样速度滑动,以便在增材制造过程中对工件进行多角度CT扫描,工件顶部上方放置双目摄像头,以使得双目摄像头在增材制造过程中实时采集工件的图像,该装置包括:
特征提取及匹配模块,用于实时对双目摄像头同一时刻采集的左、右两幅图像进行特征提取,根据提取的特征点,查找左、右两幅图像中相互匹配的特征点;
三维重构模块,用于根据左、右两幅图像中的每一对匹配的特征点的二维坐标,计算出该对特征点对应的工件的三维空间点的三维坐标,根据所有匹配的特征点对应的工件的三维空间点的三维坐标,对工件进行三维重构,得到工件的三维表面图像;
边缘提取模块,用于根据工件的三维表面图像,提取工件的边缘;
边缘强度描述矩阵生成模块,用于根据提取的工件的边缘以及预定义的CT重建图像的大小,生成边缘强度描述矩阵H,其中,边缘强度描述矩阵H的行、列数分别与CT重建图像的行、列数相同,对于边缘强度描述矩阵H中的任一元素h(m,n),若根据提取的工件的边缘确认该h(m,n)在CT重建图像上对应的像素点位于工件内,则h(m,n)=1;否则,h(m,n)=0,其中,1≤m≤M,1≤n≤N,M为CT重建图像的行数,N为CT重建图像的列数;
CT图像重建模块,用于将边缘强度描述矩阵H作为CT图像重建算法的约束条件,计算工件的CT重建图像。
12.根据权利要求11所述的方法,其特征在于,所述CT图像重建模块具体用于,
采用如下迭代公式计算CT重建图像:
其中,k为CT重建算法的迭代次数;i表示X射线源发出的第i条射线,1≤i≤I,I为X射线源发出的射线的总数;j为当前X射线所通过的像素点的索引,1≤j≤M×N;λ为松弛因子(0<λ<2);fj为当前X射线所通过的像素点在CT重建图像上的像素值;hj为边缘强度描述矩阵H中的第j个元素;aij代表第j个像素点对第i条X射线投影的加权值;pi为所测得的第i条射线投影值;为第i条射线的投影估计值,N为第i条射线通过的像素点的总数;c为预设常数。
13.根据权利要求11所述的装置,其特征在于,所述CT图像重建模块计算工件的CT重建图像之后进一步用于,
采用TV最小化方法,对当前CT重建图像求梯度,根据求得的梯度对当前CT重建图像进行一次修正,进入下一次CT图像重建的迭代过程。
14.根据权利要求11所述的装置,其特征在于,所述三维重构模块得到工件的三维表面图像之后进一步用于,
根据工件的三维表面图像,计算当前工件的深度;根据当前工件的深度、X射线源的扫描范围以及当前电滑环的高度,判断当前工件的深度是否超过了X射线源的扫描范围,若是,则调整电滑环的高度。
CN201810193230.2A 2018-03-09 2018-03-09 对增材制造工件进行ct成像的方法及装置 Active CN108537831B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810193230.2A CN108537831B (zh) 2018-03-09 2018-03-09 对增材制造工件进行ct成像的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810193230.2A CN108537831B (zh) 2018-03-09 2018-03-09 对增材制造工件进行ct成像的方法及装置

Publications (2)

Publication Number Publication Date
CN108537831A true CN108537831A (zh) 2018-09-14
CN108537831B CN108537831B (zh) 2021-06-15

Family

ID=63485642

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810193230.2A Active CN108537831B (zh) 2018-03-09 2018-03-09 对增材制造工件进行ct成像的方法及装置

Country Status (1)

Country Link
CN (1) CN108537831B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993800A (zh) * 2019-03-18 2019-07-09 五邑大学 一种工件尺寸的检测方法、装置及存储介质
CN113424191A (zh) * 2018-12-20 2021-09-21 音量制图法公司 分析来自对对象的测量的测量数据的计算机实现方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101714254A (zh) * 2009-11-16 2010-05-26 哈尔滨工业大学 联合多尺度sift和区域不变矩特征的配准控制点提取方法
CN104240270A (zh) * 2013-06-14 2014-12-24 同方威视技术股份有限公司 Ct成像方法和系统
CN105894574A (zh) * 2016-03-30 2016-08-24 清华大学深圳研究生院 一种双目三维重建方法
JP2017053629A (ja) * 2015-09-07 2017-03-16 リョーエイ株式会社 X線ct装置およびct撮像方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101714254A (zh) * 2009-11-16 2010-05-26 哈尔滨工业大学 联合多尺度sift和区域不变矩特征的配准控制点提取方法
CN104240270A (zh) * 2013-06-14 2014-12-24 同方威视技术股份有限公司 Ct成像方法和系统
JP2017053629A (ja) * 2015-09-07 2017-03-16 リョーエイ株式会社 X線ct装置およびct撮像方法
CN105894574A (zh) * 2016-03-30 2016-08-24 清华大学深圳研究生院 一种双目三维重建方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
崔树辉: "基于BM3D算法和渐进式投影的CT图像重建", 《中国优秀硕士学位论文全文数据库医药卫生科技辑》 *
张丹丹: "Split_Bregman算法在CT重建中的应用研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
张煜林: "基于光子计数探测器多能谱CT重建算法及应用研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
王鑫: "工业CT投影数据预处理及代数重建算法的研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113424191A (zh) * 2018-12-20 2021-09-21 音量制图法公司 分析来自对对象的测量的测量数据的计算机实现方法
CN109993800A (zh) * 2019-03-18 2019-07-09 五邑大学 一种工件尺寸的检测方法、装置及存储介质

Also Published As

Publication number Publication date
CN108537831B (zh) 2021-06-15

Similar Documents

Publication Publication Date Title
CN105205858B (zh) 一种基于单个深度视觉传感器的室内场景三维重建方法
CN106651942B (zh) 基于特征点的三维旋转运动检测与旋转轴定位方法
CN105894499B (zh) 一种基于双目视觉的空间物体三维信息快速检测方法
CN105957007B (zh) 基于特征点平面相似度的图像拼接方法
CN104574393B (zh) 一种三维路面裂缝图像生成系统和方法
CN104930985B (zh) 基于时空约束的双目视觉三维形貌测量方法
CN107907048A (zh) 一种基于线结构光扫描的双目立体视觉三维测量方法
CN107833179A (zh) 一种红外图像的快速拼接方法及系统
CN106683173A (zh) 一种基于邻域块匹配提高三维重建点云稠密程度的方法
EP3382645B1 (en) Method for generation of a 3d model based on structure from motion and photometric stereo of 2d sparse images
CN109118544B (zh) 基于透视变换的合成孔径成像方法
WO2021017588A1 (zh) 一种基于傅立叶频谱提取的图像融合方法
CN102834845A (zh) 用于多摄像装置校准的方法与装置
CN112116576A (zh) 基于偏振结构光成像和改进Mask R-CNN的缺陷检测方法
CN104933434A (zh) 一种结合LBP特征提取和surf特征提取方法的图像匹配方法
CN110044374A (zh) 一种基于图像特征的单目视觉测量里程的方法及里程计
CN110322485A (zh) 一种异构多相机成像系统的快速图像配准方法
CN109373912A (zh) 一种基于双目视觉的非接触式六自由度位移测量方法
CN111060006A (zh) 一种基于三维模型的视点规划方法
KR20160068829A (ko) 엑스슬릿 카메라
CN114549746A (zh) 一种高精度真彩三维重建方法
JP2004184240A (ja) 画像測定装置、画像測定方法、画像処理装置
JP6285686B2 (ja) 視差画像生成装置
CN108537831A (zh) 对增材制造工件进行ct成像的方法及装置
Liu et al. Research on 3D reconstruction method based on laser rotation scanning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant