CN113989126A - 一种用于深度学习的x射线缺陷检测图像数据增强方法 - Google Patents

一种用于深度学习的x射线缺陷检测图像数据增强方法 Download PDF

Info

Publication number
CN113989126A
CN113989126A CN202111284225.0A CN202111284225A CN113989126A CN 113989126 A CN113989126 A CN 113989126A CN 202111284225 A CN202111284225 A CN 202111284225A CN 113989126 A CN113989126 A CN 113989126A
Authority
CN
China
Prior art keywords
image
dimensional
defect
ray
defects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111284225.0A
Other languages
English (en)
Inventor
傅健
鲁俊逸
张昌盛
明晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Institute of Innovation of Beihang University
Original Assignee
Ningbo Institute of Innovation of Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Institute of Innovation of Beihang University filed Critical Ningbo Institute of Innovation of Beihang University
Priority to CN202111284225.0A priority Critical patent/CN113989126A/zh
Publication of CN113989126A publication Critical patent/CN113989126A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/155Segmentation; Edge detection involving morphological operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/60Rotation of whole images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • G06T5/30Erosion or dilatation, e.g. thinning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

本发明公开一种用于深度学习的X射线缺陷检测图像数据增强方法。该方法包括如下步骤:采集工件的X射线投影图像序列,通过重建算法得到三维CT图像;选取有缺陷的三维CT图像,提取缺陷部分的体素模型并对其进行三维图像变换,构成缺陷库;从所述缺陷库中随机选取缺陷并添加到无缺陷的三维CT图像中,生成有缺陷的三维CT图像;通过前向投影操作生成仿真DR图像,以达到数据增强的目的。本发明实施例通过构建X射线成像数学‑物理模型进行数据增强,相比于传统直接对DR图像进行变换的方法,生成的仿真DR图像集更接近实际射线检测图像,能为基于深度学习的X射线缺陷检测提供海量高质量的数据集,为提高缺陷识别准确率提供重要保障。

Description

一种用于深度学习的X射线缺陷检测图像数据增强方法
技术领域
本发明涉及X射线数字成像及人工智能领域,尤其涉及一种基于X射线成像物理模型的缺陷数据增强方法。
背景技术
X射线数字成像技术作为一种先进的无损检测技术,能够在不破坏工件的条件下对其内部缺陷进行精密检测,目前在航空航天等领域得到了广泛应用。现阶段基于X射线的缺陷检测仍以人工评片为主,存在着主观性强、检测效率低等突出问题。
近年来以深度学习代表的人工智能技术在图像分割、目标检测等领域取得突破性进展,为X射线图像的缺陷智能判读提供了可能。但是在工业X射线检测中,由于工件材质、结构、形状等千差万别,其生成的X射线图像特征差异巨大,正负样本极度不均,难以形成人脸库一类的大型数据集。数据集不充分往往会导致深度学习模型出现过拟合现象,极大地降低了模型的泛化能力和鲁棒性,成为限制深度学习技术在X射线缺陷智能识别领域中大规模应用的瓶颈。
针对小样本数据的缺陷检测,现有方法主要是通过直接对射线检测图像进行二维图像变换操作,如旋转、翻转、缩放等方式来扩充数据集,但此类方法难以模拟实际X射线检测中,由工件结构、透照条件等因素变化带来的检测图像的多样性,导致用此类数据集训练的网络模型在实际检测中识别准确率不高。
发明内容
为了克服上述X射线缺陷智能检测中数据样本不足的问题,本发明实施例提供一种用于深度学习的X射线缺陷检测图像数据增强方法,其特征在于,包括如下步骤:
步骤1、采集工件的X射线投影图像序列,通过重建算法得到三维CT图像;
步骤2、选取有缺陷的三维CT图像,提取缺陷部分的体素模型并对其进行三维图像变换,构成缺陷库;
步骤3、从所述缺陷库中随机选取若干缺陷,添加到无缺陷三维CT图像的合适位置,生成含缺陷的三维CT图像;
步骤4、设定射线成像仿真中投影几何参数,通过对所述三维CT图像进行前向投影操作,生成仿真DR图像,以达到数据增强的目的。
进一步地,步骤1中针对不同的X射线三维CT成像系统(锥束圆轨迹扫描成像、螺旋扫描成像)所获的投影序列,使用对应的FDK重建算法即可。如锥束圆轨迹扫描成像系统的FDK重建算法为:
Figure BDA0003332257930000021
其中,μ(x,y,z)表示CT重建结果,(x,y,z)代表三维直角坐标;U为加权因子;p(x1,z1,β)表示视角β下的投影值,(x1,z1)代表探测器上的探元坐标;D表示X射线源到工件旋转中心的距离;h(x)为滤波器,*代表卷积运算。
进一步地,步骤2中使用公式(2)来提取缺陷的三维体素模型:
Figure BDA0003332257930000022
其中,S(x,y,z)、D(x,y,z)均为三维矩阵;S(x,y,z)表示三维CT图像中含有缺陷的区域,矩阵元素代表对应位置的灰度;D(x,y,z)表示含有缺陷的体素模型,矩阵的元素代表缺陷与背景的灰度差值;bmin、bmax、bmean分别是所选区域中背景灰度的最小值、最大值和平均值;fmean表示缺陷灰度的平均值。
进一步地,步骤2中所述的三维图像变换包括:三维图像变换包括:三维几何变换(旋转、缩放、仿射变换);三维图像形态学变换(腐蚀、膨胀);灰度变换(灰度线性拉伸、gamma变换);
进一步地,步骤3中使用公式(3)来添加缺陷:
T′|(x,y,z)∈Ω=T|(x,y,z)∈Ω+D (3)
其中,T′、T和D均为三维矩阵;T′表示无缺陷工件三维CT图像在添加缺陷后得到的图像;Ω表示添加缺陷的区域;T表示无缺陷工件初始CT重建图像;D表示缺陷的三维体素模型。
进一步地,步骤4对添加缺陷的三维CT图像使用如公式(4)所示前向投影算子生成仿真DR图像:
p(x,z,β)=∫LT′(x,y,z)dl (4)
其中,p(x,z,β)为生成的仿真DR图像,其包含工件及添加缺陷的结构信息,T′(x,y,z)为添加缺陷后的三维CT图像,L为投影路径。该方法基于X射线成像物理模型,生成的仿真DR图像可以模拟工件在不同几何参数透照条件下的成像特点。
进一步地,步骤4所述的仿真投影几何参数包括:X射线源和探测器的距离即源探距、X射线源和工件的距离即源物距、工件的摆放角度。通过改变源物距和源探距,以改变投影放大比,从而获得不同尺度的仿真DR图像;通过改变工件的摆放角度,以改变射线透照路径,从而获得不同透照角度下的仿真DR图像。
本发明实施例利用X射线成像物理模型,通过改变工件三维CT图像内部特征以及透照几何参数,生成缺陷特征多样化的仿真DR图像,达到数据增强的目的。本发明相比于传统直接对DR图像进行变换的方法,生成的图像更接近实际成像系统所采集的检测图像,能为基于深度学习的X射线缺陷检测提供海量高质量的数据集,提高深度学习模型的泛化能力和鲁棒性,进而提高缺陷识别准确率。
附图说明
图1为本发明的基于X射线成像物理模型的缺陷数据增强方法的流程图;
图2为本发明所处理的有缺陷工件的投影序列(左)、有缺陷工件的三维CT重建图像(右上)及其第398层切片图像(右下),虚线方框标示出切片图像中的气孔缺陷;
图3为本发明所处理的无缺陷工件的投影序列(左)、无缺陷工件的三维CT重建图像(右上)及其第300层切片图像(右下);
图4为本发明从含缺陷的CT重建图像中提取的缺陷三维体素模型及其第11层切片图像、经旋转变换后的三维体素模型及其第11层切片图像、经灰度拉伸变换的三维体素模型及其第11层切片图像、经形态学膨胀变换后的三维体素模型及其第11层切片图像;
图5为本发明向无缺陷三维CT图像中添加缺陷后结果图像中的192、250、300层切片图像,及其分别在0°、45°、90°下前向投影生成的DR图像。虚线方框标示出切片图像及投影图像中的气孔缺陷。
具体实施方式
下面结合附图以及具体实施方式进一步说明本发明。
如图1所示,本发明实施例针对基于深度学习的X射线缺陷智能检测需要大量数据集的问题,提供了一种基于X射线成像物理模型的数据增强方法,该方法具体步骤如下:
步骤S101、采集工件的X射线投影图像序列,通过FDK重建算法得到三维CT图像;
步骤S102、选取有缺陷的三维CT图像,提取缺陷部分的体素模型并对其进行三维图像变换,构成缺陷库;
步骤S103、从所述缺陷库中随机选取若干缺陷,添加到无缺陷三维CT图像中,生成大量含缺陷的三维CT图像;
步骤S104、选取合适的投影参数,通过对所述三维CT图像进行前向投影操作,生成仿真DR图像,以达到数据增强的目的。
本发明实施例利用X射线成像物理模型,通过改变工件三维CT图像内部特征以及透照几何参数,进而生成缺陷特征多样化的DR图像,达到数据增强的目的。
为了证明上述实施例的效果,本发明实施例进行了如下实验,步骤如下:
(1)设定实验条件。在锥束圆轨迹扫描方式下,分别采集有缺陷工件和无缺陷工件的投影序列,由360°周向扫描获得的360个角度的投影构成,如图2、3左所示。
(2)利用如公式(1)所示的FDK重建算法,分别对有缺陷工件和无缺陷工件的投影序列进行重建,获得重建CT图像,如图2、3右所示。
(3)选取有缺陷工件CT图像的缺陷区域,利用公式(2)提取缺陷的三维体素模型。
(4)对上一步提取的缺陷体素模型进行旋转、灰度拉伸、形态学膨胀等三维图像变换,获得变换后的缺陷体素模型。
(5)根据公式(3)将所获得的缺陷添加到无缺陷工件三维CT图像中,生成新的带缺陷的三维图像。
(6)根据公式(4)所示的前向投影算子,对上一步所获得的三维CT图像,计算得到其在0°、45°、90°投影角度下对应的仿真DR图像。
图4为本发明实施例从含缺陷的三维CT重建图像中提取的缺陷三维体素模型及其第11层切片图像、经旋转变换后的三维体素模型及其第11层切片图像、经灰度拉伸变换的三维体素模型及其第11层切片图像、经形态学膨胀变换后的三维体素模型及其第11层切片图像。从图4可以看出,本发明可以有效地从带缺陷工件三维CT图像中提取缺陷的体素模型,并保留缺陷的形态等特征。
图5为本发明实施例向无缺陷CT图像中添加缺陷后结果图像中的192、250、300层切片图像,及其分别在0°、45°、90°下前向投影生成的DR图像。虚线方框标示出切片图像及投影图像中的气孔缺陷。从图5可以看出,本发明可以有效地将提取的缺陷添加到无缺陷工件三维CT图像中,生成带缺陷的仿真DR图像,能够有效模拟实际透照产生的检测图像。
本发明实施例相比于基于传统图像变换的数据增强方法,能够利用X射线成像原理,生成的DR图像更接近实际生产现场的检测图像,能为基于深度学习的X射线缺陷检测提供海量高质量的数据集,提高深度学习模型的泛化能力和鲁棒性,进而提高缺陷识别准确率。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (7)

1.一种用于深度学习的X射线缺陷检测图像数据增强方法,其特征在于,包括如下步骤:
步骤1、采集工件的X射线投影图像序列,通过重建算法得到三维CT图像;
步骤2、选取有缺陷的三维CT图像,提取缺陷的三维体素模型并对其进行三维图像变换,构成缺陷库;
步骤3、从所述缺陷库中随机选取若干缺陷的三维体素模型,将缺陷添加到无缺陷三维CT图像中,生成含缺陷的三维CT图像;
步骤4、设定射线成像仿真中投影几何参数,通过对含有缺陷的对添加缺陷的三维CT图像进行前向投影操作,生成仿真DR图像,以达到数据增强的目的,进而用于缺陷识别深度学习网络的训练。
2.根据权利要求1所述的用于深度学习的X射线缺陷检测图像数据增强方法,其特征在于:所述步骤1中,使用如公式(1)所示的FDK算法进行重建,得到三维CT图像:
Figure FDA0003332257920000011
其中,μ(x,y,z)表示CT重建结果,(x,y,z)代表三维直角坐标;U为加权因子;p(x1,z1,β)表示视角β下的投影值,(x1,z1)代表投影图像的像素坐标;D表示CT系统的射线源焦点到工件旋转中心的距离;h(x)为滤波器,*代表卷积运算。
3.根据权利要求1所述的用于深度学习的X射线缺陷检测图像数据增强方法,其特征在于:所述步骤2中,利用CT重建图像中缺陷部分与工件材料部分灰度的差异来提取缺陷,使用公式(2)提取缺陷的三维体素模型:
Figure FDA0003332257920000012
其中,S(x,y,z)、D(x,y,z)均为三维矩阵;S(x,y,z)表示三维CT图像中含有缺陷的区域,矩阵元素代表对应位置的灰度;D(x,y,z)表示含有缺陷的体素模型,矩阵的元素代表缺陷与工件材料的灰度差值;bmin、bmax、bmean分别是所选区域中背景灰度的最小值、最大值和平均值;fmean表示缺陷灰度的平均值。
4.根据权利要求1所述的用于深度学习的X射线缺陷检测图像数据增强方法,其特征在于:所述步骤2中,三维图像变换包括:三维几何变换,包括旋转、缩放和仿射变换;三维图像形态学变换,包括腐蚀和膨胀;灰度变换,包括灰度线性拉伸和gamma变换。
5.根据权利要求1所述的用于深度学习的X射线缺陷检测图像数据增强方法,其特征在于:所述步骤3中,使用公式(3)添加缺陷,模拟缺陷在工件三维CT图像中的灰度和形态特征,从而得到工件各部位带有缺陷的仿真三维CT图像:
T′|(x,y,z)∈Ω=T|(x,y,z)∈Ω+D (3)
其中,T′、T和D均为三维矩阵;T′表示无缺陷工件三维CT图像在添加缺陷后得到的图像;Ω表示添加缺陷的区域;T表示无缺陷工件初始三维CT重建图像,D表示缺陷的三维体素模型。
6.根据权利要求1所述的用于深度学习的X射线缺陷检测图像数据增强方法,其特征在于:所述步骤4中,仿真投影几何参数包括:X射线源和探测器的距离即源探距、X射线源和工件的距离即源物距、工件的摆放角度;在设定参数下,对含有缺陷的三维CT图像使用如公式(4)所示前向投影算子生成仿真DR图像:
p(x,z,β)=∫LT′(x,y,z)dl (4)
其中,p(x,z,β)为生成的仿真DR图像,其包含工件及添加缺陷的结构信息,T′(x,y,z)为添加缺陷后的三维CT图像,L为投影路径。该方法基于X射线成像物理模型,生成的仿真DR图像可以模拟工件在不同几何参数透照条件下的成像特点。
7.根据权利要求1所述的用于深度学习的X射线缺陷检测图像数据增强方法,其特征在于:基于X射线成像物理模型生成仿真DR图像,而不是直接对带缺陷工件的DR图像进行二维变换。
CN202111284225.0A 2021-11-01 2021-11-01 一种用于深度学习的x射线缺陷检测图像数据增强方法 Pending CN113989126A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111284225.0A CN113989126A (zh) 2021-11-01 2021-11-01 一种用于深度学习的x射线缺陷检测图像数据增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111284225.0A CN113989126A (zh) 2021-11-01 2021-11-01 一种用于深度学习的x射线缺陷检测图像数据增强方法

Publications (1)

Publication Number Publication Date
CN113989126A true CN113989126A (zh) 2022-01-28

Family

ID=79745450

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111284225.0A Pending CN113989126A (zh) 2021-11-01 2021-11-01 一种用于深度学习的x射线缺陷检测图像数据增强方法

Country Status (1)

Country Link
CN (1) CN113989126A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117788385A (zh) * 2023-12-05 2024-03-29 中山大学孙逸仙纪念医院深汕中心医院 基于射线探伤的物体缺陷识别方法及系统
CN117974910A (zh) * 2024-03-29 2024-05-03 南京航空航天大学苏州研究院 图像仿真、伪随机缺陷数据集生成及微纳缺陷检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014096621A1 (fr) * 2012-12-21 2014-06-26 Commissariat à l'énergie atomique et aux énergies alternatives Procede de localisation et de representation de defaut dans un objet par radiographie, programme d'ordinateur et systeme correspondants
WO2018035905A1 (zh) * 2016-08-24 2018-03-01 深圳先进技术研究院 一种锥束ct三维重建方法及系统
DE102019201069A1 (de) * 2019-01-29 2020-07-30 Volkswagen Aktiengesellschaft Verfahren zum Ermitteln einer Prüflingsorientierung für eine 2D-Röntgenanlage

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014096621A1 (fr) * 2012-12-21 2014-06-26 Commissariat à l'énergie atomique et aux énergies alternatives Procede de localisation et de representation de defaut dans un objet par radiographie, programme d'ordinateur et systeme correspondants
WO2018035905A1 (zh) * 2016-08-24 2018-03-01 深圳先进技术研究院 一种锥束ct三维重建方法及系统
DE102019201069A1 (de) * 2019-01-29 2020-07-30 Volkswagen Aktiengesellschaft Verfahren zum Ermitteln einer Prüflingsorientierung für eine 2D-Röntgenanlage

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
闫建伟 等: "一种车站危险品检测中的三维图像重建方法", 计算机与数字工程, no. 06, 20 June 2012 (2012-06-20) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117788385A (zh) * 2023-12-05 2024-03-29 中山大学孙逸仙纪念医院深汕中心医院 基于射线探伤的物体缺陷识别方法及系统
CN117788385B (zh) * 2023-12-05 2024-05-03 中山大学孙逸仙纪念医院深汕中心医院 基于射线探伤的物体缺陷识别方法及系统
CN117974910A (zh) * 2024-03-29 2024-05-03 南京航空航天大学苏州研究院 图像仿真、伪随机缺陷数据集生成及微纳缺陷检测方法

Similar Documents

Publication Publication Date Title
CN112329588B (zh) 一种基于Faster R-CNN的管道故障检测方法
CN113450307A (zh) 一种产品边缘缺陷检测方法
TW201946185A (zh) 生成可用於半導體試樣的檢查的訓練集
CN111507976B (zh) 基于多角度成像的缺陷检测方法及系统
CN107358636B (zh) 一种基于纹理合成的疏松缺陷图像生成方法
CN111833237B (zh) 基于卷积神经网络和局部单应性变换的图像配准方法
CN113989126A (zh) 一种用于深度学习的x射线缺陷检测图像数据增强方法
TWI786570B (zh) 生成可用於檢查半導體樣本的訓練集
CN110223376B (zh) 一种基于单幅堆积颗粒材料图像的三维颗粒重建方法
WO2021219835A1 (en) Pose estimation method and apparatus
CN112906689B (zh) 一种基于缺陷检测与分割深度卷积神经网络的图像检测方法
CN116452644A (zh) 基于特征描述子的三维点云配准方法、装置及存储介质
Cid-Mejías et al. A deep learning approach using synthetic images for segmenting and estimating 3D orientation of nanoparticles in EM images
Fuchs et al. Generating meaningful synthetic ground truth for pore detection in cast aluminum parts
CN116205876A (zh) 基于多尺度标准化流的无监督笔记本外观缺陷检测方法
CN115564749A (zh) 基于终身学习的多类别纹理表面缺陷检测模型的构建方法
CN117809123B (zh) 一种双阶段图像的异常检测与重构方法及系统
CN117853722A (zh) 一种融合超像素信息的钢材金相组织分割方法
CN112364881A (zh) 一种进阶采样一致性图像匹配算法
Fu et al. Deep-learning-based image registration for nano-resolution tomographic reconstruction
Xiong et al. Learning cell geometry models for cell image simulation: An unbiased approach
Warren et al. Grain and grain boundary segmentation using machine learning with real and generated datasets
CN116912144A (zh) 一种基于大律算法与通道注意力机制的数据增强方法
CN105809657A (zh) 一种角点检测方法和装置
CN112508860A (zh) 一种免疫组化图像核阳性的人工智能判读方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination