CN112051285B - X射线实时成像与ct断层扫描一体化智能无损检测系统 - Google Patents
X射线实时成像与ct断层扫描一体化智能无损检测系统 Download PDFInfo
- Publication number
- CN112051285B CN112051285B CN202010828721.7A CN202010828721A CN112051285B CN 112051285 B CN112051285 B CN 112051285B CN 202010828721 A CN202010828721 A CN 202010828721A CN 112051285 B CN112051285 B CN 112051285B
- Authority
- CN
- China
- Prior art keywords
- image
- data
- detection
- program
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002591 computed tomography Methods 0.000 title claims abstract description 128
- 238000001514 detection method Methods 0.000 title claims abstract description 98
- 238000003384 imaging method Methods 0.000 title claims abstract description 24
- 238000003325 tomography Methods 0.000 title claims abstract description 5
- 230000007547 defect Effects 0.000 claims abstract description 87
- 238000012545 processing Methods 0.000 claims abstract description 41
- 238000005516 engineering process Methods 0.000 claims abstract description 19
- 230000000007 visual effect Effects 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 58
- 238000004364 calculation method Methods 0.000 claims description 37
- 238000003860 storage Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 13
- 238000006073 displacement reaction Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 5
- 125000004122 cyclic group Chemical group 0.000 claims description 4
- 241001270131 Agaricus moelleri Species 0.000 claims description 3
- 230000004069 differentiation Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 2
- 230000005764 inhibitory process Effects 0.000 claims description 2
- 238000011176 pooling Methods 0.000 claims description 2
- 238000002601 radiography Methods 0.000 claims 1
- 238000009659 non-destructive testing Methods 0.000 abstract description 8
- 230000010354 integration Effects 0.000 abstract description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000005266 casting Methods 0.000 description 2
- 238000013170 computed tomography imaging Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000000149 penetrating effect Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000003466 welding Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- -1 cracks Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000011148 porous material Substances 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 239000002893 slag Substances 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
- G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
- G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
- G01N23/046—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material using tomography, e.g. computed tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2223/00—Investigating materials by wave or particle radiation
- G01N2223/03—Investigating materials by wave or particle radiation by transmission
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2223/00—Investigating materials by wave or particle radiation
- G01N2223/10—Different kinds of radiation or particles
- G01N2223/101—Different kinds of radiation or particles electromagnetic radiation
- G01N2223/1016—X-ray
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2223/00—Investigating materials by wave or particle radiation
- G01N2223/40—Imaging
- G01N2223/401—Imaging image processing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2223/00—Investigating materials by wave or particle radiation
- G01N2223/40—Imaging
- G01N2223/408—Imaging display on monitor
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2223/00—Investigating materials by wave or particle radiation
- G01N2223/40—Imaging
- G01N2223/421—Imaging digitised image, analysed in real time (recognition algorithms)
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2223/00—Investigating materials by wave or particle radiation
- G01N2223/60—Specific applications or type of materials
- G01N2223/646—Specific applications or type of materials flaws, defects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Pathology (AREA)
- Immunology (AREA)
- Biochemistry (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pulmonology (AREA)
- Radiology & Medical Imaging (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
Abstract
本发明属于无损检测领域，尤其涉及X射线实时成像与CT断层扫描一体化智能无损检测系统。该系统可同时实现DR和CT的检测与成像，实现DR/CT数据采集、处理、缺陷自动检测和显示的一体化，为检测人员提供被测物体不同视角的内部结构信息，从而综合判断物体内部缺陷的性质和状态；且系统中集成的缺陷识别技术可自动识别缺陷的大小、位置和种类，从而有效减轻检测人员识别缺陷的压力和提高检测效率。
Description
技术领域
本发明属于无损检测领域，尤其涉及X射线实时成像与CT断层扫描一体化智能无损检测系统。
背景技术
近年来，随着计算机科学的进步和探测器技术的发展，X射线成像和工业CT技术作为一种实用化的无损检测手段，已广泛应用于航空、军事、机械和地质等部门的无损检测和质量评估中。X射线成像又称为DR成像，通过X射线照射被测物体，从而在X射线方向获得物体内部信息叠加后的图像，该图像能更直观呈现物体内部沿着轴向贯穿的长条形缺陷。而工业CT成像在对检测物无损伤的前提下，综合物体不同方向的DR图像数据，利用高性能计算机进行重建，最终以横截面图像来呈现检测物内部的结构形状、材质组成、有无缺陷及缺陷大小和性质等信息。相比较而言，现有的DR检测设备在工作时，无论采用螺旋或者圆形轨迹的扫描方式都无法同时得到CT图像，从而更准确地识别缺陷。不同于DR成像，CT成像精度更高，能够恢复物体的三维信息，有利于对物体内部特征进行更精准地识别和定位。然而，目前的CT检测设备要么无法实时显示CT图像，要么不能自动化地识别图像中物体内部缺陷。目前也未见到能同时显示DR和CT图像并实现缺陷自动化检测的一体化设备。
在实际生产中，生产出的产品内部会包含一些缺陷，比如金属杂质，裂纹、气孔、凹陷等，这些缺陷会导致产品在实际工作中失效甚至引发危险。产品地质量控制，通常要对产品进行DR图像采集，在投影面图像上观察缺陷的大小、形态和种类，从而判断产品质量的好坏。对于一些沿着产品轴向贯穿的长条形缺陷，在DR图像上能清晰地看到，但是对于一些在图像上对比度很弱的低密度缺陷，人工很难判断。通常会再次对产品进行CT检测，从而在CT图像上确定低密度缺陷的性质。在质量检测的过程中，DR和CT检测过程是分离的，一方面检测效率低，另一方面无法同时显示DR和CT的图像来观察缺陷，从而综合地对产品做出质量判定。
无论是DR还是CT，图像中缺陷的识别以及产品好坏的最终判定还需要人工参与，长时间的人工识别图像中的缺陷也会使人疲劳，造成识别准确性降低，检测效率也会下降，从而影响产品检测。目前，通常采用抽检的方式来判断一批产品的好坏，但是这种方法一定程度上无法保证产品的质量。同时，随着生产的扩大，检测效率无法满足生产效率的矛盾也会越来越突出。
发明内容
为解决上述问题，本发明提供了DR/CT一体化智能无损检测系统，该系统可同时实现DR和CT的检测与成像，实现DR/CT数据采集、处理、缺陷自动检测和显示的一体化，为检测人员提供被测物体不同视角的内部结构信息，从而综合判断物体内部缺陷的性质和状态。此外，本发明的一体化智能无损检测系统中集成的缺陷识别技术可自动识别缺陷的大小、位置和种类，从而有效减轻检测人员识别缺陷的压力和提高检测效率。
在实现过程中，主要采用CPU多线程技术来协调控制不同任务之间的工作并实现DR/CT的同时缺陷自动检测和显示；采用CPU和GPU并行化加速技术将任务中计算量大且耗时的部分并行化，从而保证检测的高效和实时性；为实现被测物内部缺陷的自动检测，采用基于深度学习的缺陷检测技术。
本发明的技术方案是：
X射线实时成像与CT断层扫描一体化智能无损检测系统，包括：数据采集模块、数据处理模块、缺陷检测模块和图像显示模块。所述数据采集模块控制采集装置相对于被测物运动，同时将采集到的数据存到计算机内存中。所述数据处理模块采用CPU多线程并行处理技术，对数据采集模块采集的数据实时处理，获得增强后的DR图像和重建的CT图像。所述缺陷检测模块对增强后的DR图像和重建的CT图像进行处理，自动检测得到DR和CT图像中的缺陷位置、大小和类别信息。所述图像显示模块将实时获得的DR和CT图像以及检测结果同时显示在显示器中，为检测人员提供不同视角下的检测信息，从而提高检测的效率和准确性。具体实现过程如下：
(1)DR数据采集模块
所述数据采集模块包括扫描成像装置和采集控制程序。所述扫描成像装置主要由射线源、探测器、旋转台和位移台组成；所述采集控制程序通过CPU执行程序指令，向所述扫描成像装置发送运动参数和图像采集参数，使旋转台保持匀速转动，同时射线源和探测器开始工作并在位移台带动下沿着被测物轴向运动，从而实现螺旋轨迹的扫描和DR图像采集。采集过程中，所述采集控制程序利用单独的CPU线程将探测器采集的DR图像数据转存到计算机内存中的共享存储区。所述共享存储区，当存储空间存满时，采集控制程序将数据指针指向第一张图像的存储地址，以循环的方式从第一张图像开始覆盖已经采集的数据，从而避免大内存空间申请的限制。
(2)DR/CT数据处理模块
数据采集模块采集的数据在保存到共享存储区的同时，数据处理模块将已采集的数据取出并进行处理。所述数据处理模块包括控制程序、DR图像处理程序和CT图像重建程序。所述控制程序采用CPU多线程技术，同时控制DR图像处理程序和CT图像重建程序运行，并将共享存储区中采集到的DR图像数据送入相应的处理程序，最终将计算结果保存到计算机内存中的增强DR结果存储区和CT图像存储区。所述的DR图像处理程序采用MUSICA多尺度对比度增强算法，利用小波分解运算提取图像中的细节信息，并增强放大，最后重构到原图像上，使图像中缺陷目标相对于背景的对比度得到提高，从而获得增强后的DR图像，用于后续DR图像的缺陷检测。所述CT重建程序采用基于螺旋扫描轨迹的Katsevich三维重建算法对共享存储区的DR图像进行处理，获得CT图像，其中包括数据预处理和数据反投影两个过程；通过采用两个CPU线程分别控制数据预处理和反投影两个过程，使两个串行任务并行化，提高任务处理的效率；其中一个线程控制数据预处理过程，对采集的数据采用每批处理N张图像的批处理方式进行微分和滤波运算，每一批数据处理过程中涉及数据的多层循环索引，使用Open Multi-Processing(OpenMP)并行处理技术，将其中图像循环索引计算的过程并行化，可加快其中比较耗时的滤波运算的效率，最终得到处理后的中间数据并将其保存在内存中；另一个线程控制数据反投影过程，该过程涉及反投影数据索引范围的计算和反投影过程的计算，通过CUDA核函数对计算过程重构，并在GPU上实现并行化加速计算：首先，根据重建CT图像位置的不同计算得到每张CT图像对应的中间数据的索引范围，该过程采用GPU并行技术中的CUDA核函数对其中图像循环计算进行并行化重构，从而同时计算多张图像，提高计算效率，然后，根据索引范围将所述中间数据取出，反投影到相应的CT图像上，图像中每一个像素点的反投影运算相互独立，利用CUDA核函数为每个像素计算分配计算资源，从而在GPU上并行计算每个像素点的反投影过程，最终实现CT图像的实时重建。
(3)缺陷检测模块
所述缺陷检测模块包括检测控制程序、DR图像检测程序、CT图像检测程序和结果筛选程序。所述检测控制程序通过两个CPU线程控制所述DR图像检测程序和CT图像检测程序同时运行，检测前首先分别载入DR和CT图像检测程序的网络参数，然后分别对增强后的DR图像和重建的CT图像进行实时地缺陷检测，从而获得缺陷的位置、大小和类别信息，最后对检测的结果进行筛选，去除冗余的检测结果。所述的DR图像检测程序和CT图像检测程序以基于深度学习的Faster R-CNN目标检测网络为基础，不同图像检测程序的区别在于网络参数的不同，对所述目标检测网络中的前向传播过程、卷积层、池化层、全连接层分别使用CUDA技术、cuDNN和cuBLAS函数库进行代码重构，从而得到缺陷检测程序。检测到的缺陷往往存在冗余，所述检测结果筛选程序通过编写CUDA核函数来实现重构，对DR和CT图像检测的结果依次执行排序操作和非极大值抑制操作，从而得到剔除冗余的缺陷结果。
所述的网络参数可通过在图像数据集中对检测程序进行预先训练得到，其中包括数据集建立和训练两个过程。通过对采集到的大量的DR和CT图像中的缺陷数据进行人工标注，从而构造DR和CT缺陷检测数据集。在不同的数据集上，利用高性能GPU对算法中的网络参数进行训练，使检测程序自动学习到缺陷的特征，最终得到DR和CT检测网络的参数。
(4)图像显示模块
所述图像显示模块包括显示控制程序和显示程序。所述显示控制程序分别控制两个CPU线程接收通过数据处理模块得到的DR图像和CT图像以及通过缺陷检测模块得到的DR和CT缺陷检测结果，经过显示程序将原始数据和检测结果转换为高灰阶的图像并实时显示在高灰阶显示器上。所述显示程序首先将得到的原始DR和CT图像数据通过数据归一化和缩放运算转换为高灰阶图像，并将缺陷检测结果以包围框的方式标注在图像中。然后，利用OpenGL技术为DR和CT图像的显示初始化不同的显示窗口，并将高灰阶的DR和CT图像分别渲染到对应的显示窗中，从而实现图像的高质量成像。
本发明的有益效果：
(1)本发明可实现DR/CT检测的一体化，能够同时呈现被测物体的DR和CT图像，为质量判定提供被测物不同视角的信息，提高质量判定可靠性。
(2)本发明在扫描采集的过程中实时进行CT重建并得到CT图像，提高了被测物检测效率。
(3)本发明对DR和CT图像中的缺陷进行自动识别和定位，提高对缺陷识别能力，从而辅助人工进行质量判定，确保质量判定的准确性。
附图说明
图1是数据采集模块中所使用的扫描成像装置示意图；图中：1探测器；2旋转台；3射线源；4位移台；5导轨；6被测物；
图2是DR采集与控制示意图；
图3是CT过程与控制示意图；
图4是CT并行化加速示意图；
图5是DR/CT同时缺陷检测与控制显示示意图；
图6是本发明的DR/CT一体化检测流程示意图。
具体实施方式
以下结合附图和技术方案，进一步说明本发明的具体实施方式。
本发明的一体化智能无损检测系统的检测流程如图6所示。
本实例使用的计算机包含两块GForce RTX 2080Ti的GPU，intel core i9处理器，32G运行内存，安装有ubuntu 16.04和windows10双系统，其中ubuntu16.04系统用于目标检测网络的训练过程，windows10用于实际生产中CT的重建和工件缺陷目标的实时检测。具体检测步骤如下：
步骤一：机械系统、DR和CT扫描参数初始化
将机械系统复位到扫描的初始位置，同时设置DR采集帧率为9帧，分辨率为1792x2176，设置CT扫描长度710mm，螺距为150mm，重建视窗直径85mm，角度步长为1°，重建图像分辨率为1024x1024，一共重建1024层。根据扫描物体材料，为保证X射线穿透被测物体并能呈现内部结构，设置扫描电压130kv，电流1mA。
步骤二：数据采集与处理
扫描成像装置由射线源3、探测器1、旋转台2和位移台4四个主要部分组成，如图1所示。射线源3产生X射线，穿过被测物6，通过探测器1接收到被测物6的图像信息。被测物6在旋转台1带动下可在探测器1上呈现不同角度的图像。射线源3和探测器1在位移台4带动下沿着导轨5运动，可获得被测物6轴向不同部分的信息。
首先，根据步骤一的初始化参数，数据采集模块控制程序计算得到旋转台2的转速为9°/s和位移台4的速度为3.75mm/s，位移为710mm。然后，所述控制程序通过CPU执行指令，向扫描成像装置发送运动速度、位移和探测器成像参数。扫描装置运行稳定后，如图2所示，控制程序通过单独的CPU线程将图像数据从探测器中取出，并转存到共享存储区，其中共享存储区的大小S设置为500张图像的总大小，通过数据指针在共享存储区中循环索引的方式将采集的数据保存下来。
数据处理模块与数据采集模块同时运行。所述数据处理模块中的控制程序利用多线程分别控制DR数据处理和CT图像重建同时工作，将采集的数据从共享内存中取出并处理。控制DR数据处理的线程，通过调用MUSICA多尺度对比度增强算法将DR图像进行增强，用于后续缺陷自动检测。控制CT图像重建的线程，将图像数据从共享内存中取出处理，从而重建CT图像。CT图像可通过公式
计算得到，CT图像f(x)中一个像素点x的重建需要综合多个角度下采集的DR图像数据，该点对应的DR投影角度
的索引范围是[λ1 λ2]。在对该范围内的每一张DR图像
经过公式中所示的微分运算
和滤波运算
并乘以与射线源位置
相关的权重值
后根据索引范围反投影到重建断层上，从而重建出像素点x的值。为保证CT图像重建的实时性，一方面采用两个线程将数据预处理(微分和滤波运算)和反投影两个任务并行化，如图3所示；另一方面对两个任务中的滤波过程、索引范围计算和反投影过程分别采用OpenMP和GPU编程技术并行优化。所述滤波过程采用批处理的方式对图像数据进行处理，利用OpenMP中Parallel.For的编程方式，将一批图像中不同图像索引计算过程并行化，设置最大并行参数为N＝6，从而实现6张图像数据的同时处理，最终得到中间图像数据。所述索引范围对应的是预处理后的中间图像数据的索引编号，对于不同的CT图像，索引范围的计算都是独立的，因此采用CUDA编程的方式，将计算过程重构为核函数。在核函数中为CT图像的每一个像素点的计算在GPU中分配计算线程，对于1024x1024分辨率大小的断层图像，核函数中线程块大小设置为16x16，一共有R_M/16×R_N/16个线程块，R_M和R_N表示图像分辨率的大小，即R_M＝R_N＝1024。其中每个线程块包含256个计算线程，而每个线程单独控制CT图像中一个像素点的索引范围计算。通过GPU并行计算方式可以快速地计算得到每张图像对应的索引范围。根据不同CT图像对应的索引范围，将数据预处理后的中间数据取出进行反投影计算。所述反投影计算过程涉及四重循环计算，第一层循环索引投影角度，第二层循环索引不同CT图像，第三层索引图像宽度方向体素，第四层索引图像高度方向体素。而在四层循环计算中，计算CT图像中每一个像素的过程都是相互独立的。因此，采用CUDA编程，将第二至第四层循环的计算重构为核函数，并利用GPU并行计算，并行化后的程序只有两层循环计算，即投影角度的循环和不同CT图像的循环。对于1024x1024分辨率大小的图像，CUDA核函数中线程块的大小设置为16x16，一共有4096个线程块。每一个线程计算一个像素的重建过程，通过GPU并行计算，最终实现CT图像的实时重建。CT图像重建的并行化加速过程如图4所示。
上述DR图像的增强、CT重建过程中的数据预处理和反投影过程由CPU三个线程同时协调控制工作。经过对数据处理过程的运算并行优化后，可以保证在采集数据的同时实时得到增强的DR图像数据和CT图像。
步骤三：缺陷检测与显示
在得到增强后的DR图像和重建的CT图像的同时，缺陷检测模块的控制程序载入检测程序的网络参数，然后调用相应的检测程序对DR和CT图像进行检测。所述网络参数通过在训练数据集上对检测程序进行训练获得。其中包括缺陷检测数据集的构建和检测程序网络的训练。对于一般的焊缝或者形状比较规则的铸件，采集3000张以上含缺陷的CT和DR图像就可以用于缺陷检测程序的训练。通过对工厂已有的含缺陷工件进行CT重建，获取大量螺旋轨迹扫描得到的DR图像和重建的CT图像。然后分别对这些CT和CR图像进行图像增强，缺陷标注，最终构建CT缺陷图像数据集和DR缺陷图像数据集。所述图像增强采用MUSICA多尺度对比度增强算法提高图像中弱小的缺陷对比度，比如工件焊缝中的气孔、夹渣以及铸件工件中的微小裂纹等。所述缺陷标注是通过人工使用LabelImage图像标注工具以最小包围框的方式标注出图像中缺陷。此外，为了扩充数据集，本发明还对标注后的图像数据进行水平、垂直方向的翻转，在扩充后的数据集上训练能使目标检测网络可以更好地收敛并避免过拟合现象的发生。
所述DR图像检测程序和CT图像检测程序以基于深度学习的Faster R-CNN目标检测算法为基础，在Linux操作系统上使用Tensorflow深度学习框架对目标检测网络代码进行编写和调试。利用安装有高性能GPU的计算机在所述的DR缺陷图像数据集和CT缺陷图像数据集上分别对所述DR和CT检测程序网络进行训练，最终得到训练后的网络参数。在实际的检测中只需要载入该网络参数即可进行检测，不需要重复训练网络。
在所述缺陷检测模块的控制程序分别载入DR和CT检测程序的网络参数后，如图5所示，实时得到的DR和CT图像分别由两个CPU线程控制送入对应的缺陷检测模块进行检测，从而获取每张图像中缺陷目标的位置、大小和种类。同时，所述显示模块控制程序将DR和CT图像以及检测结果通过显示程序经过数据归一化和缩放运算转换为包含1024灰阶的10位编码图像，最终显示在本实施例所采用的两个10位高灰阶显示器上。通过同时显示DR和CT图像以及标注缺陷检测结果的方式，能使工人综合不同视角的检测结果对被测物的质量做出更准确的综合判定。
Claims (1)
1.X射线实时成像与CT断层扫描一体化智能无损检测系统，其特征在于，所述的X射线实时成像与CT断层扫描一体化智能无损检测系统包括：数据采集模块、数据处理模块、缺陷检测模块和图像显示模块；所述数据采集模块控制采集装置相对于被测物运动，同时将采集到的数据存到计算机内存中；所述数据处理模块采用CPU多线程并行处理技术，对数据采集模块采集的数据实时处理，获得增强后的DR图像和重建的CT图像；所述缺陷检测模块对增强后的DR图像和重建的CT图像进行处理，自动检测得到DR和CT图像中的缺陷位置、大小和类别信息；所述图像显示模块将实时获得的DR和CT图像以及检测结果同时显示在显示器中，为检测人员提供不同视角下的检测信息；具体实现过程如下：
(1)DR数据采集模块
所述数据采集模块包括扫描成像装置和采集控制程序；所述扫描成像装置主要由射线源、探测器、旋转台和位移台组成；所述采集控制程序通过CPU执行程序指令，向所述扫描成像装置发送运动参数和图像采集参数，使旋转台保持匀速转动，同时射线源和探测器开始工作并在位移台带动下沿着被测物轴向运动，从而实现螺旋轨迹的扫描和DR图像采集；采集过程中，所述采集控制程序利用单独的CPU线程将探测器采集的DR图像数据转存到计算机内存中的共享存储区；当所述共享存储区存储空间存满时，采集控制程序将数据指针指向第一张图像的存储地址，以循环的方式从第一张图像开始覆盖已经采集的数据，从而避免内存空间申请的限制；
(2)DR/CT数据处理模块
数据采集模块采集的数据在保存到共享存储区的同时，数据处理模块将已采集的数据取出并进行处理；所述数据处理模块包括控制程序、DR图像处理程序和CT图像重建程序；
所述控制程序采用CPU多线程技术，同时控制DR图像处理程序和CT图像重建程序运行，并将共享存储区中采集到的DR图像数据送入相应的处理程序，最终将计算结果保存到计算机内存中的增强DR结果存储区和CT图像存储区；所述的DR图像处理程序采用MUSICA多尺度对比度增强算法，利用小波分解运算提取图像中的细节信息，并增强放大，最后重构到原图像上，使图像中缺陷目标相对于背景的对比度得到提高，从而获得增强后的DR图像，用于后续DR图像的缺陷检测；
所述CT图像重建程序采用基于螺旋扫描轨迹的Katsevich三维重建算法对共享存储区的DR图像进行处理，获得CT图像，包括数据预处理和数据反投影两个过程；通过采用两个CPU线程分别控制数据预处理和反投影两个过程，使两个串行任务并行化，提高任务处理的效率；其中一个线程控制数据预处理过程，对采集的数据采用每批处理N张图像的批处理方式进行微分和滤波运算，每一批数据处理过程中涉及数据的多层循环索引，使用OpenMulti-Processing并行处理技术，将其中图像循环索引计算的过程并行化，加快耗时的滤波运算的效率，最终得到处理后的中间数据并将其保存在内存中；另一个线程控制数据反投影过程，涉及反投影数据索引范围的计算和反投影过程的计算，通过CUDA核函数对计算过程重构，并在GPU上实现并行化加速计算，具体为：首先，根据重建CT图像位置的不同计算得到每张CT图像对应的中间数据的索引范围，采用GPU并行技术中的CUDA核函数对其中图像循环计算进行并行化重构，从而同时计算多张图像，然后，根据索引范围将所述中间数据取出，反投影到相应的CT图像上，图像中每一个像素点的反投影运算相互独立，利用CUDA核函数为每个像素计算分配计算资源，从而在GPU上并行计算每个像素点的反投影过程，最终实现CT图像的实时重建；
(3)缺陷检测模块
所述缺陷检测模块包括检测控制程序、DR图像检测程序、CT图像检测程序和检测结果筛选程序；所述检测控制程序通过两个CPU线程控制所述DR图像检测程序和CT图像检测程序同时运行，检测前首先分别载入DR图像检测程序和CT图像检测程序的网络参数，然后分别对增强后的DR图像和重建的CT图像进行实时地缺陷检测，从而获得缺陷的位置、大小和类别信息，最后对检测的结果进行筛选，去除冗余的检测结果；所述的DR图像检测程序和CT图像检测程序以基于深度学习的Faster R-CNN目标检测网络为基础，不同图像检测程序的区别在于网络参数的不同，对所述目标检测网络中的前向传播过程、卷积层、池化层、全连接层分别使用CUDA技术、cuDNN和cuBLAS函数库进行代码重构，从而得到缺陷检测程序；所述检测结果筛选程序通过编写CUDA核函数来实现重构，对DR和CT图像检测的结果依次执行排序操作和非极大值抑制操作，从而得到剔除冗余的缺陷结果；
所述的网络参数通过在图像数据集中对检测程序进行预先训练得到，包括数据集建立和训练两个过程；通过对采集到的DR和CT图像中的缺陷数据进行人工标注，构造DR和CT缺陷检测数据集；在不同的数据集上，利用GPU对算法中的网络参数进行训练，使检测程序自动学习到缺陷的特征，最终得到DR和CT检测的网络参数；
(4)图像显示模块
所述图像显示模块包括显示控制程序和显示程序；所述显示控制程序分别控制两个CPU线程接收通过数据处理模块得到的DR图像和CT图像以及通过缺陷检测模块得到的DR和CT缺陷检测结果，经过显示程序将原始数据和检测结果转换为高灰阶的图像并实时显示在显示器上；所述显示程序首先将得到的原始DR和CT图像数据通过数据归一化和缩放运算转换为高灰阶图像，并将缺陷检测结果以包围框的方式标注在图像中；然后，利用OpenGL技术为DR和CT图像的显示初始化不同的显示窗口，并将高灰阶的DR和CT图像分别渲染到对应的显示窗中，从而实现图像的高质量成像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010828721.7A CN112051285B (zh) | 2020-08-18 | 2020-08-18 | X射线实时成像与ct断层扫描一体化智能无损检测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010828721.7A CN112051285B (zh) | 2020-08-18 | 2020-08-18 | X射线实时成像与ct断层扫描一体化智能无损检测系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112051285A CN112051285A (zh) | 2020-12-08 |
| CN112051285B true CN112051285B (zh) | 2021-08-20 |
Family
ID=73599587
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010828721.7A Active CN112051285B (zh) | 2020-08-18 | 2020-08-18 | X射线实时成像与ct断层扫描一体化智能无损检测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112051285B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113643194B (zh) * | 2021-06-25 | 2023-03-28 | 陕西西宇无损检测有限公司 | 高灰阶焊缝底片图像伪彩色显示方法 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000298106A (ja) * | 1999-04-14 | 2000-10-24 | Hitachi Ltd | Ｘ線ｃｔ利用システム |
| CN1726870A (zh) * | 2004-07-29 | 2006-02-01 | Ge医疗系统环球技术有限公司 | X射线ct图像处理方法和x射线ct设备 |
| CN101520900A (zh) * | 2009-03-30 | 2009-09-02 | 中国人民解放军第三军医大学第一附属医院 | 一种利用gpu加速cr/dr/ct图像显示及图像处理的方法及专用设备 |
| CN102831629A (zh) * | 2012-08-23 | 2012-12-19 | 汕头市东方超声科技有限公司 | 基于图形处理器的乳腺ct图像重建方法 |
| CN103077547A (zh) * | 2012-11-22 | 2013-05-01 | 中国科学院自动化研究所 | 基于cuda架构的ct在线重建与实时可视化方法 |
| CN104134210A (zh) * | 2014-07-22 | 2014-11-05 | 兰州交通大学 | 基于组合相似性测度的2d-3d医学图像并行配准方法 |
| CN104299254A (zh) * | 2013-07-19 | 2015-01-21 | 南京普爱射线影像设备有限公司 | 一种基于cuda的移动式c形臂三维可视化方法 |
| CN104698012A (zh) * | 2013-12-06 | 2015-06-10 | 北京固鸿科技有限公司 | X射线工业dr/ct卧式自动无损检测系统及其卡具 |
| CN104899903A (zh) * | 2015-05-12 | 2015-09-09 | 公安部第一研究所 | 基于cuda架构的gpu并行加速双能谱ct重建方法 |
| CN105844690A (zh) * | 2016-03-29 | 2016-08-10 | 中北大学 | 基于gpu的快速三维ct迭代重建系统 |
| CN109146987A (zh) * | 2018-06-15 | 2019-01-04 | 西北大学 | 一种基于gpu的快速锥束计算机断层成像重建方法 |
| CN111345835A (zh) * | 2018-12-20 | 2020-06-30 | 佳能医疗系统株式会社 | X射线ct系统及方法 |
-
2020
- 2020-08-18 CN CN202010828721.7A patent/CN112051285B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000298106A (ja) * | 1999-04-14 | 2000-10-24 | Hitachi Ltd | Ｘ線ｃｔ利用システム |
| CN1726870A (zh) * | 2004-07-29 | 2006-02-01 | Ge医疗系统环球技术有限公司 | X射线ct图像处理方法和x射线ct设备 |
| CN101520900A (zh) * | 2009-03-30 | 2009-09-02 | 中国人民解放军第三军医大学第一附属医院 | 一种利用gpu加速cr/dr/ct图像显示及图像处理的方法及专用设备 |
| CN102831629A (zh) * | 2012-08-23 | 2012-12-19 | 汕头市东方超声科技有限公司 | 基于图形处理器的乳腺ct图像重建方法 |
| CN103077547A (zh) * | 2012-11-22 | 2013-05-01 | 中国科学院自动化研究所 | 基于cuda架构的ct在线重建与实时可视化方法 |
| CN104299254A (zh) * | 2013-07-19 | 2015-01-21 | 南京普爱射线影像设备有限公司 | 一种基于cuda的移动式c形臂三维可视化方法 |
| CN104698012A (zh) * | 2013-12-06 | 2015-06-10 | 北京固鸿科技有限公司 | X射线工业dr/ct卧式自动无损检测系统及其卡具 |
| CN104134210A (zh) * | 2014-07-22 | 2014-11-05 | 兰州交通大学 | 基于组合相似性测度的2d-3d医学图像并行配准方法 |
| CN104899903A (zh) * | 2015-05-12 | 2015-09-09 | 公安部第一研究所 | 基于cuda架构的gpu并行加速双能谱ct重建方法 |
| CN105844690A (zh) * | 2016-03-29 | 2016-08-10 | 中北大学 | 基于gpu的快速三维ct迭代重建系统 |
| CN109146987A (zh) * | 2018-06-15 | 2019-01-04 | 西北大学 | 一种基于gpu的快速锥束计算机断层成像重建方法 |
| CN111345835A (zh) * | 2018-12-20 | 2020-06-30 | 佳能医疗系统株式会社 | X射线ct系统及方法 |
Non-Patent Citations (4)
| Title |
|---|
| The Parallel Processing Based on CUDA for Convolution Filter FDK Reconstruction of CT;Benyi Shi et al.;《Proceedings of the Third International Symposium on Paralle Architectures,Algorithms and Programming》;20101231;第149-153页 * |
| 基于GPU实现的数字合成X射线体层成像投影数据的模拟方法;闫天峰 等;《CT理论与应用研究》;20110331;第20卷(第1期);第1-10页 * |
| 基于图形处理器的并行加速双能计算机层析成像重建方法;张萍宇;《激光与光电子学进展》;20200630;第57卷(第12期);第12001-1-12001-7页 * |
| 高分辨锥束 CT 并行重建算法在基于NVDIA GPU显卡计算平台上的实现;郑海亮 等;《CT理论与应用研究》;20170930;第23卷(第5期);第805-814页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112051285A (zh) | 2020-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20100220910A1 (en) | Method and system for automated x-ray inspection of objects | |
| US8254656B2 (en) | Methods and system for selective resolution improvement in computed tomography | |
| EP3814759B1 (en) | Item inspection by radiation imaging using an iterative projection-matching approach | |
| CN103714513B (zh) | Ct成像中的伪影校正方法以及设备 | |
| CN102590243B (zh) | 一种铁路铸件全身ct扫描成像方法 | |
| CN100464707C (zh) | 三维锥束ct图像重建的处理系统 | |
| US9449381B2 (en) | Methods, systems, and media for generating and analyzing medical images having elongated structures | |
| KR20010081097A (ko) | 비파괴 테스트용 컴퓨터 단층 촬영법 및 장치 | |
| CN112051285B (zh) | X射线实时成像与ct断层扫描一体化智能无损检测系统 | |
| EP2605213A1 (en) | Methods and systems for processing images for inspection of an object | |
| CN105319225B (zh) | 一种实现板状样品高分辨率大视野cl成像的扫描方法 | |
| Ewert et al. | Progress in digital industrial radiology. Pt. 2, Computed tomography (CT) | |
| CN106910157B (zh) | 一种多级并行的图像重建方法及装置 | |
| Mery et al. | Simulation of defects in aluminium castings using CAD models of flaws and real X-ray images | |
| CN115828642B (zh) | 基于Unity的GPU加速X射线数字成像仿真方法 | |
| CN101882319B (zh) | 基于最小三维凸包的锥束ct快速重建方法 | |
| Bellens et al. | Direct voxel classification from x-ray projections for 3D pore detection applied to laser sintered parts | |
| JP5458771B2 (ja) | 放射線断層像撮影装置 | |
| CN101957329A (zh) | 一种轮胎层析成像检测方法 | |
| US9836833B2 (en) | Non-intrusive measurement of the volume density of a phase in a part | |
| CN113870328A (zh) | 一种液体异物视觉检测方法及系统 | |
| JP2013506825A (ja) | ラジオシンセティックによる試料検査方法 | |
| Grandin | Early-state damage detection, characterization, and evolution using high-resolution computed tomography | |
| Kehoe | Detection and evaluation of defects in industrial images | |
| RU2745304C1 (ru) | Способ рентгеновской томографии и устройство для его осуществления |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240401 Address after: No. 46 Fumin Street, Dandong Lingang Industrial Park, Dandong City, Liaoning Province, 118300 Patentee after: DONGDAN AOLONG RADIATIVE INSTRUMENT GROUP Co.,Ltd. Country or region after: China Address before: 116024 No. 2 Ling Road, Ganjingzi District, Liaoning, Dalian Patentee before: DALIAN University OF TECHNOLOGY Country or region before: China |
|
| TR01 | Transfer of patent right |