CN113989126A - 一种用于深度学习的x射线缺陷检测图像数据增强方法 - Google Patents
一种用于深度学习的x射线缺陷检测图像数据增强方法 Download PDFInfo
- Publication number
- CN113989126A CN113989126A CN202111284225.0A CN202111284225A CN113989126A CN 113989126 A CN113989126 A CN 113989126A CN 202111284225 A CN202111284225 A CN 202111284225A CN 113989126 A CN113989126 A CN 113989126A
- Authority
- CN
- China
- Prior art keywords
- image
- dimensional
- defect
- ray
- defects
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 96
- 238000001514 detection method Methods 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000013135 deep learning Methods 0.000 title claims abstract description 18
- 230000009466 transformation Effects 0.000 claims abstract description 25
- 230000002950 deficient Effects 0.000 claims abstract description 21
- 238000003384 imaging method Methods 0.000 claims abstract description 20
- 238000004088 simulation Methods 0.000 claims abstract description 3
- 230000010339 dilation Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000000877 morphologic effect Effects 0.000 claims description 4
- 238000000844 transformation Methods 0.000 claims description 4
- 239000000463 material Substances 0.000 claims description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 2
- 230000003628 erosive effect Effects 0.000 claims description 2
- 230000006740 morphological transformation Effects 0.000 claims description 2
- 230000002708 enhancing effect Effects 0.000 claims 6
- 230000001131 transforming effect Effects 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 5
- 239000000523 sample Substances 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009659 non-destructive testing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
Abstract
本发明公开一种用于深度学习的X射线缺陷检测图像数据增强方法。该方法包括如下步骤:采集工件的X射线投影图像序列,通过重建算法得到三维CT图像;选取有缺陷的三维CT图像,提取缺陷部分的体素模型并对其进行三维图像变换,构成缺陷库;从所述缺陷库中随机选取缺陷并添加到无缺陷的三维CT图像中,生成有缺陷的三维CT图像;通过前向投影操作生成仿真DR图像,以达到数据增强的目的。本发明实施例通过构建X射线成像数学‑物理模型进行数据增强,相比于传统直接对DR图像进行变换的方法,生成的仿真DR图像集更接近实际射线检测图像,能为基于深度学习的X射线缺陷检测提供海量高质量的数据集,为提高缺陷识别准确率提供重要保障。
Description
技术领域
本发明涉及X射线数字成像及人工智能领域,尤其涉及一种基于X射线成像物理模型的缺陷数据增强方法。
背景技术
X射线数字成像技术作为一种先进的无损检测技术,能够在不破坏工件的条件下对其内部缺陷进行精密检测,目前在航空航天等领域得到了广泛应用。现阶段基于X射线的缺陷检测仍以人工评片为主,存在着主观性强、检测效率低等突出问题。
近年来以深度学习代表的人工智能技术在图像分割、目标检测等领域取得突破性进展,为X射线图像的缺陷智能判读提供了可能。但是在工业X射线检测中,由于工件材质、结构、形状等千差万别,其生成的X射线图像特征差异巨大,正负样本极度不均,难以形成人脸库一类的大型数据集。数据集不充分往往会导致深度学习模型出现过拟合现象,极大地降低了模型的泛化能力和鲁棒性,成为限制深度学习技术在X射线缺陷智能识别领域中大规模应用的瓶颈。
针对小样本数据的缺陷检测,现有方法主要是通过直接对射线检测图像进行二维图像变换操作,如旋转、翻转、缩放等方式来扩充数据集,但此类方法难以模拟实际X射线检测中,由工件结构、透照条件等因素变化带来的检测图像的多样性,导致用此类数据集训练的网络模型在实际检测中识别准确率不高。
发明内容
为了克服上述X射线缺陷智能检测中数据样本不足的问题,本发明实施例提供一种用于深度学习的X射线缺陷检测图像数据增强方法,其特征在于,包括如下步骤:
步骤1、采集工件的X射线投影图像序列,通过重建算法得到三维CT图像;
步骤2、选取有缺陷的三维CT图像,提取缺陷部分的体素模型并对其进行三维图像变换,构成缺陷库;
步骤3、从所述缺陷库中随机选取若干缺陷,添加到无缺陷三维CT图像的合适位置,生成含缺陷的三维CT图像;
步骤4、设定射线成像仿真中投影几何参数,通过对所述三维CT图像进行前向投影操作,生成仿真DR图像,以达到数据增强的目的。
进一步地,步骤1中针对不同的X射线三维CT成像系统(锥束圆轨迹扫描成像、螺旋扫描成像)所获的投影序列,使用对应的FDK重建算法即可。如锥束圆轨迹扫描成像系统的FDK重建算法为:
其中,μ(x,y,z)表示CT重建结果,(x,y,z)代表三维直角坐标;U为加权因子;p(x1,z1,β)表示视角β下的投影值,(x1,z1)代表探测器上的探元坐标;D表示X射线源到工件旋转中心的距离;h(x)为滤波器,*代表卷积运算。
进一步地,步骤2中使用公式(2)来提取缺陷的三维体素模型:
其中,S(x,y,z)、D(x,y,z)均为三维矩阵;S(x,y,z)表示三维CT图像中含有缺陷的区域,矩阵元素代表对应位置的灰度;D(x,y,z)表示含有缺陷的体素模型,矩阵的元素代表缺陷与背景的灰度差值;bmin、bmax、bmean分别是所选区域中背景灰度的最小值、最大值和平均值;fmean表示缺陷灰度的平均值。
进一步地,步骤2中所述的三维图像变换包括:三维图像变换包括:三维几何变换(旋转、缩放、仿射变换);三维图像形态学变换(腐蚀、膨胀);灰度变换(灰度线性拉伸、gamma变换);
进一步地,步骤3中使用公式(3)来添加缺陷:
T′|(x,y,z)∈Ω=T|(x,y,z)∈Ω+D (3)
其中,T′、T和D均为三维矩阵;T′表示无缺陷工件三维CT图像在添加缺陷后得到的图像;Ω表示添加缺陷的区域;T表示无缺陷工件初始CT重建图像;D表示缺陷的三维体素模型。
进一步地,步骤4对添加缺陷的三维CT图像使用如公式(4)所示前向投影算子生成仿真DR图像:
p(x,z,β)=∫LT′(x,y,z)dl (4)
其中,p(x,z,β)为生成的仿真DR图像,其包含工件及添加缺陷的结构信息,T′(x,y,z)为添加缺陷后的三维CT图像,L为投影路径。该方法基于X射线成像物理模型,生成的仿真DR图像可以模拟工件在不同几何参数透照条件下的成像特点。
进一步地,步骤4所述的仿真投影几何参数包括:X射线源和探测器的距离即源探距、X射线源和工件的距离即源物距、工件的摆放角度。通过改变源物距和源探距,以改变投影放大比,从而获得不同尺度的仿真DR图像;通过改变工件的摆放角度,以改变射线透照路径,从而获得不同透照角度下的仿真DR图像。
本发明实施例利用X射线成像物理模型,通过改变工件三维CT图像内部特征以及透照几何参数,生成缺陷特征多样化的仿真DR图像,达到数据增强的目的。本发明相比于传统直接对DR图像进行变换的方法,生成的图像更接近实际成像系统所采集的检测图像,能为基于深度学习的X射线缺陷检测提供海量高质量的数据集,提高深度学习模型的泛化能力和鲁棒性,进而提高缺陷识别准确率。
附图说明
图1为本发明的基于X射线成像物理模型的缺陷数据增强方法的流程图;
图2为本发明所处理的有缺陷工件的投影序列(左)、有缺陷工件的三维CT重建图像(右上)及其第398层切片图像(右下),虚线方框标示出切片图像中的气孔缺陷;
图3为本发明所处理的无缺陷工件的投影序列(左)、无缺陷工件的三维CT重建图像(右上)及其第300层切片图像(右下);
图4为本发明从含缺陷的CT重建图像中提取的缺陷三维体素模型及其第11层切片图像、经旋转变换后的三维体素模型及其第11层切片图像、经灰度拉伸变换的三维体素模型及其第11层切片图像、经形态学膨胀变换后的三维体素模型及其第11层切片图像;
图5为本发明向无缺陷三维CT图像中添加缺陷后结果图像中的192、250、300层切片图像,及其分别在0°、45°、90°下前向投影生成的DR图像。虚线方框标示出切片图像及投影图像中的气孔缺陷。
具体实施方式
下面结合附图以及具体实施方式进一步说明本发明。
如图1所示,本发明实施例针对基于深度学习的X射线缺陷智能检测需要大量数据集的问题,提供了一种基于X射线成像物理模型的数据增强方法,该方法具体步骤如下:
步骤S101、采集工件的X射线投影图像序列,通过FDK重建算法得到三维CT图像;
步骤S102、选取有缺陷的三维CT图像,提取缺陷部分的体素模型并对其进行三维图像变换,构成缺陷库;
步骤S103、从所述缺陷库中随机选取若干缺陷,添加到无缺陷三维CT图像中,生成大量含缺陷的三维CT图像;
步骤S104、选取合适的投影参数,通过对所述三维CT图像进行前向投影操作,生成仿真DR图像,以达到数据增强的目的。
本发明实施例利用X射线成像物理模型,通过改变工件三维CT图像内部特征以及透照几何参数,进而生成缺陷特征多样化的DR图像,达到数据增强的目的。
为了证明上述实施例的效果,本发明实施例进行了如下实验,步骤如下:
(1)设定实验条件。在锥束圆轨迹扫描方式下,分别采集有缺陷工件和无缺陷工件的投影序列,由360°周向扫描获得的360个角度的投影构成,如图2、3左所示。
(2)利用如公式(1)所示的FDK重建算法,分别对有缺陷工件和无缺陷工件的投影序列进行重建,获得重建CT图像,如图2、3右所示。
(3)选取有缺陷工件CT图像的缺陷区域,利用公式(2)提取缺陷的三维体素模型。
(4)对上一步提取的缺陷体素模型进行旋转、灰度拉伸、形态学膨胀等三维图像变换,获得变换后的缺陷体素模型。
(5)根据公式(3)将所获得的缺陷添加到无缺陷工件三维CT图像中,生成新的带缺陷的三维图像。
(6)根据公式(4)所示的前向投影算子,对上一步所获得的三维CT图像,计算得到其在0°、45°、90°投影角度下对应的仿真DR图像。
图4为本发明实施例从含缺陷的三维CT重建图像中提取的缺陷三维体素模型及其第11层切片图像、经旋转变换后的三维体素模型及其第11层切片图像、经灰度拉伸变换的三维体素模型及其第11层切片图像、经形态学膨胀变换后的三维体素模型及其第11层切片图像。从图4可以看出,本发明可以有效地从带缺陷工件三维CT图像中提取缺陷的体素模型,并保留缺陷的形态等特征。
图5为本发明实施例向无缺陷CT图像中添加缺陷后结果图像中的192、250、300层切片图像,及其分别在0°、45°、90°下前向投影生成的DR图像。虚线方框标示出切片图像及投影图像中的气孔缺陷。从图5可以看出,本发明可以有效地将提取的缺陷添加到无缺陷工件三维CT图像中,生成带缺陷的仿真DR图像,能够有效模拟实际透照产生的检测图像。
本发明实施例相比于基于传统图像变换的数据增强方法,能够利用X射线成像原理,生成的DR图像更接近实际生产现场的检测图像,能为基于深度学习的X射线缺陷检测提供海量高质量的数据集,提高深度学习模型的泛化能力和鲁棒性,进而提高缺陷识别准确率。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (7)
1.一种用于深度学习的X射线缺陷检测图像数据增强方法,其特征在于,包括如下步骤:
步骤1、采集工件的X射线投影图像序列,通过重建算法得到三维CT图像;
步骤2、选取有缺陷的三维CT图像,提取缺陷的三维体素模型并对其进行三维图像变换,构成缺陷库;
步骤3、从所述缺陷库中随机选取若干缺陷的三维体素模型,将缺陷添加到无缺陷三维CT图像中,生成含缺陷的三维CT图像;
步骤4、设定射线成像仿真中投影几何参数,通过对含有缺陷的对添加缺陷的三维CT图像进行前向投影操作,生成仿真DR图像,以达到数据增强的目的,进而用于缺陷识别深度学习网络的训练。
4.根据权利要求1所述的用于深度学习的X射线缺陷检测图像数据增强方法,其特征在于:所述步骤2中,三维图像变换包括:三维几何变换,包括旋转、缩放和仿射变换;三维图像形态学变换,包括腐蚀和膨胀;灰度变换,包括灰度线性拉伸和gamma变换。
5.根据权利要求1所述的用于深度学习的X射线缺陷检测图像数据增强方法,其特征在于:所述步骤3中,使用公式(3)添加缺陷,模拟缺陷在工件三维CT图像中的灰度和形态特征,从而得到工件各部位带有缺陷的仿真三维CT图像:
T′|(x,y,z)∈Ω=T|(x,y,z)∈Ω+D (3)
其中,T′、T和D均为三维矩阵;T′表示无缺陷工件三维CT图像在添加缺陷后得到的图像;Ω表示添加缺陷的区域;T表示无缺陷工件初始三维CT重建图像,D表示缺陷的三维体素模型。
6.根据权利要求1所述的用于深度学习的X射线缺陷检测图像数据增强方法,其特征在于:所述步骤4中,仿真投影几何参数包括:X射线源和探测器的距离即源探距、X射线源和工件的距离即源物距、工件的摆放角度;在设定参数下,对含有缺陷的三维CT图像使用如公式(4)所示前向投影算子生成仿真DR图像:
p(x,z,β)=∫LT′(x,y,z)dl (4)
其中,p(x,z,β)为生成的仿真DR图像,其包含工件及添加缺陷的结构信息,T′(x,y,z)为添加缺陷后的三维CT图像,L为投影路径。该方法基于X射线成像物理模型,生成的仿真DR图像可以模拟工件在不同几何参数透照条件下的成像特点。
7.根据权利要求1所述的用于深度学习的X射线缺陷检测图像数据增强方法,其特征在于:基于X射线成像物理模型生成仿真DR图像,而不是直接对带缺陷工件的DR图像进行二维变换。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111284225.0A CN113989126A (zh) | 2021-11-01 | 2021-11-01 | 一种用于深度学习的x射线缺陷检测图像数据增强方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111284225.0A CN113989126A (zh) | 2021-11-01 | 2021-11-01 | 一种用于深度学习的x射线缺陷检测图像数据增强方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113989126A true CN113989126A (zh) | 2022-01-28 |
Family
ID=79745450
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111284225.0A Pending CN113989126A (zh) | 2021-11-01 | 2021-11-01 | 一种用于深度学习的x射线缺陷检测图像数据增强方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113989126A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117788385A (zh) * | 2023-12-05 | 2024-03-29 | 中山大学孙逸仙纪念医院深汕中心医院 | 基于射线探伤的物体缺陷识别方法及系统 |
CN117974910A (zh) * | 2024-03-29 | 2024-05-03 | 南京航空航天大学苏州研究院 | 图像仿真、伪随机缺陷数据集生成及微纳缺陷检测方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014096621A1 (fr) * | 2012-12-21 | 2014-06-26 | Commissariat à l'énergie atomique et aux énergies alternatives | Procede de localisation et de representation de defaut dans un objet par radiographie, programme d'ordinateur et systeme correspondants |
WO2018035905A1 (zh) * | 2016-08-24 | 2018-03-01 | 深圳先进技术研究院 | 一种锥束ct三维重建方法及系统 |
DE102019201069A1 (de) * | 2019-01-29 | 2020-07-30 | Volkswagen Aktiengesellschaft | Verfahren zum Ermitteln einer Prüflingsorientierung für eine 2D-Röntgenanlage |
-
2021
- 2021-11-01 CN CN202111284225.0A patent/CN113989126A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014096621A1 (fr) * | 2012-12-21 | 2014-06-26 | Commissariat à l'énergie atomique et aux énergies alternatives | Procede de localisation et de representation de defaut dans un objet par radiographie, programme d'ordinateur et systeme correspondants |
WO2018035905A1 (zh) * | 2016-08-24 | 2018-03-01 | 深圳先进技术研究院 | 一种锥束ct三维重建方法及系统 |
DE102019201069A1 (de) * | 2019-01-29 | 2020-07-30 | Volkswagen Aktiengesellschaft | Verfahren zum Ermitteln einer Prüflingsorientierung für eine 2D-Röntgenanlage |
Non-Patent Citations (1)
Title |
---|
闫建伟 等: "一种车站危险品检测中的三维图像重建方法", 计算机与数字工程, no. 06, 20 June 2012 (2012-06-20) * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117788385A (zh) * | 2023-12-05 | 2024-03-29 | 中山大学孙逸仙纪念医院深汕中心医院 | 基于射线探伤的物体缺陷识别方法及系统 |
CN117788385B (zh) * | 2023-12-05 | 2024-05-03 | 中山大学孙逸仙纪念医院深汕中心医院 | 基于射线探伤的物体缺陷识别方法及系统 |
CN117974910A (zh) * | 2024-03-29 | 2024-05-03 | 南京航空航天大学苏州研究院 | 图像仿真、伪随机缺陷数据集生成及微纳缺陷检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112329588B (zh) | 一种基于Faster R-CNN的管道故障检测方法 | |
CN113450307A (zh) | 一种产品边缘缺陷检测方法 | |
TW201946185A (zh) | 生成可用於半導體試樣的檢查的訓練集 | |
CN111507976B (zh) | 基于多角度成像的缺陷检测方法及系统 | |
CN107358636B (zh) | 一种基于纹理合成的疏松缺陷图像生成方法 | |
CN111833237B (zh) | 基于卷积神经网络和局部单应性变换的图像配准方法 | |
CN113989126A (zh) | 一种用于深度学习的x射线缺陷检测图像数据增强方法 | |
TWI786570B (zh) | 生成可用於檢查半導體樣本的訓練集 | |
CN110223376B (zh) | 一种基于单幅堆积颗粒材料图像的三维颗粒重建方法 | |
WO2021219835A1 (en) | Pose estimation method and apparatus | |
CN112906689B (zh) | 一种基于缺陷检测与分割深度卷积神经网络的图像检测方法 | |
CN116452644A (zh) | 基于特征描述子的三维点云配准方法、装置及存储介质 | |
Cid-Mejías et al. | A deep learning approach using synthetic images for segmenting and estimating 3D orientation of nanoparticles in EM images | |
Fuchs et al. | Generating meaningful synthetic ground truth for pore detection in cast aluminum parts | |
CN116205876A (zh) | 基于多尺度标准化流的无监督笔记本外观缺陷检测方法 | |
CN115564749A (zh) | 基于终身学习的多类别纹理表面缺陷检测模型的构建方法 | |
CN117809123B (zh) | 一种双阶段图像的异常检测与重构方法及系统 | |
CN117853722A (zh) | 一种融合超像素信息的钢材金相组织分割方法 | |
CN112364881A (zh) | 一种进阶采样一致性图像匹配算法 | |
Fu et al. | Deep-learning-based image registration for nano-resolution tomographic reconstruction | |
Xiong et al. | Learning cell geometry models for cell image simulation: An unbiased approach | |
Warren et al. | Grain and grain boundary segmentation using machine learning with real and generated datasets | |
CN116912144A (zh) | 一种基于大律算法与通道注意力机制的数据增强方法 | |
CN105809657A (zh) | 一种角点检测方法和装置 | |
CN112508860A (zh) | 一种免疫组化图像核阳性的人工智能判读方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |