CN111833335A - 一种基于超分辨率重建的点阵结构缺陷检测方法及系统 - Google Patents
一种基于超分辨率重建的点阵结构缺陷检测方法及系统 Download PDFInfo
- Publication number
- CN111833335A CN111833335A CN202010689831.XA CN202010689831A CN111833335A CN 111833335 A CN111833335 A CN 111833335A CN 202010689831 A CN202010689831 A CN 202010689831A CN 111833335 A CN111833335 A CN 111833335A
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- defect
- super
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 158
- 238000001514 detection method Methods 0.000 title claims abstract description 131
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000000605 extraction Methods 0.000 claims abstract description 20
- 238000013507 mapping Methods 0.000 claims abstract description 16
- 239000011159 matrix material Substances 0.000 claims abstract description 3
- 238000012549 training Methods 0.000 claims description 38
- 230000011218 segmentation Effects 0.000 claims description 7
- 230000003321 amplification Effects 0.000 claims description 5
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 239000013598 vector Substances 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000009659 non-destructive testing Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000003325 tomography Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 239000007777 multifunctional material Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
- G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
- G01N23/046—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material using tomography, e.g. computed tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2223/00—Investigating materials by wave or particle radiation
- G01N2223/03—Investigating materials by wave or particle radiation by transmission
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2223/00—Investigating materials by wave or particle radiation
- G01N2223/10—Different kinds of radiation or particles
- G01N2223/101—Different kinds of radiation or particles electromagnetic radiation
- G01N2223/1016—X-ray
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2223/00—Investigating materials by wave or particle radiation
- G01N2223/40—Imaging
- G01N2223/401—Imaging image processing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2223/00—Investigating materials by wave or particle radiation
- G01N2223/60—Specific applications or type of materials
- G01N2223/646—Specific applications or type of materials flaws, defects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Radiology & Medical Imaging (AREA)
- Pulmonology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
Abstract
本发明涉及一种基于超分辨率重建的点阵结构缺陷检测方法及系统。该方法包括：获取点阵结构的CT图像；利用Faster R‑CNN检测网络模型中的图像超分辨率重建模块对CT图像进行特征提取，得到高分辨率特征图像；利用Faster R‑CNN检测网络模型中的检测模块对高分辨率特征图像进行缺陷检测，得到高分辨率特征图像中的缺陷参数；缺陷参数包括缺陷类型、缺陷位置和缺陷置信度；缺陷类型包括断点缺陷和粘连缺陷；将缺陷参数映射至CT图像，得到CT图像的缺陷识别结果。本发明可以提高自动识别缺陷的准确率。
Description
技术领域
本发明涉及缺陷检测领域，特别是涉及一种基于超分辨率重建的点阵结构缺陷检测方法及系统。
背景技术
金属点阵结构材料是一种新型多功能材料，被广泛应用于生物医疗、航空航天、汽车制造等行业。增材制造(AM)能够制造出传统制造方法无法实现的具有几何形状的坚固、轻便的结构，包括复杂的点阵结构。
2011年，Hao,L等人利用选择性激光熔炼(Selective Laser Melting,SLM)技术成功的制备了单位尺寸为2mm至8mm的石墨烯蜂窝点阵结构，证明了点阵结构的高度可制造性。但在SLM点阵结构制备过程中，由于激光功率、熔池温度、应力残存等等因素，使得点阵结构出现裂纹、黏连、坍塌等等不良效应，严重影响点阵结构的结构-功能特性。无损检测方法可以探测金属点阵结构的可靠性以及完整性，是结构质量控制和安全评估的有效手段，为点阵结构的使用提供理论依据。复杂的点阵结构内部检测对于传统的无损检测方式是一个巨大的挑战。
Harald Krauss等人利用热成像技术对SLM过程的温度分布进行分层监测，根据热量分布随着各个参数(扫描矢量长度、激光功率、层厚和工件布局中的部件距离)的不同而改变对制造过程进行监测，通过这些参数可以判断样件内部的缺陷。Nouri H等人利用X射线扫描点阵结构，从微层析成像角度观察增材制造的点阵结构缺陷。工业CT(ComputerizedTomography)系统通过X射线扫描金属点阵结构，以二维层析成像的形式呈现样件内部的结构情况，可以直观的了解样件内部是否含有缺陷。但是由于层析图像数目较多，样件内部缺陷小，长时间的识别、筛选图像易造成鉴定人员的视觉疲倦，引发缺陷漏判或误判、效率低下等问题。因此，针对工业CT无损检测图像迫切需要一个高效、智能识别缺陷的方法。
近几年，人们逐渐将目标检测算法应用在安全检查、工业生产、车牌检测等多个领域，推动社会生活的智能化，避免人员浪费问题，同时提高工作效率。经典目标检测算法已经开始逐渐应用于CT切片图像中的缺陷检测，初步显示检测效果良好。但在复杂点阵结构的CT切片图像中存在多类缺陷，且缺陷尺寸较小，与背景差异性很小的时候，算法检测效果并不理想。
发明内容
本发明的目的是提供一种基于超分辨率重建的点阵结构缺陷检测方法及系统，以提高自动识别缺陷的准确率。
为实现上述目的，本发明提供了如下方案：
一种基于超分辨率重建的点阵结构缺陷检测方法，包括：
获取点阵结构的CT图像；
利用Faster R-CNN检测网络模型中的图像超分辨率重建模块对所述CT图像进行特征提取，得到高分辨率特征图像；
利用所述FasterR-CNN检测网络模型中的检测模块对所述高分辨率特征图像进行缺陷检测，得到所述高分辨率特征图像中的缺陷参数；所述缺陷参数包括缺陷类型、缺陷位置和缺陷置信度；所述缺陷类型包括断点缺陷和粘连缺陷；
将所述缺陷参数映射至所述CT图像，得到所述CT图像的缺陷识别结果。
可选的，所述获取点阵结构的CT图像，具体包括：
采用CT系统从切分方向对所述点阵结构进行X射线扫描，得到所述点阵结构的CT图像。
可选的，所述利用Faster R-CNN检测网络模型中的图像超分辨率重建模块对所述CT图像进行特征提取，得到高分辨率特征图像，具体包括：
对所述CT图像进行双三次插值放大，得到放大图像；
利用公式F1(Y)＝max(0,W1*Y+B1)从所述放大图像的Y通道中提取图像块特征，得到多个高维特征图；其中，F1(Y)为高维特征图，W1为第一卷积核，Y为所述放大图像的Y通道对应的图像块，B1为第一偏差；
将多个高维特征图利用公式F2(Y)＝max(0,W2*F1(Y)+B2)进行非线性映射，得到多个高分辨率图像块；其中，F2(Y)为高分辨率图像块，W2为第二卷积核，B2为第二偏差；
利用公式F(Y)＝W3*F2(Y)+B3将所有高分辨率图像块汇聚重建，得到所述高分辨率特征图像；其中，F(Y)为高分辨率特征图像，W3为第三卷积核，B3为第三偏差。
可选的，所述利用Faster R-CNN检测网络模型中的图像超分辨率重建模块对所述CT图像进行特征提取，得到高分辨率特征图像，之前还包括：
构建FasterR-CNN检测网络模型中的图像超分辨率重建模块；所述图像超分辨率重建模块为三层卷积网络结构；
以均方误差作为损失函数，采用图像训练集对所述图像超分辨率重建模块进行训练，通过梯度下降算法优化所述图像超分辨率重建模块的权重，完成对所述图像超分辨率重建模块的训练。
可选的，所述利用所述Faster R-CNN检测网络模型中的检测模块对所述高分辨率特征图像进行缺陷检测，得到所述高分辨率特征图像中的缺陷参数，之前还包括：
构建Faster R-CNN检测网络模型中的检测模块；所述检测模块为Faster R-CNN网络模型；
采用带有人工标记的样本集对所述检测模块进行训练，得到训练好的检测模块。
本发明还提供一种基于超分辨率重建的点阵结构缺陷检测系统，包括：
CT图像获取模块，用于获取点阵结构的CT图像；
特征提取模块，用于利用Faster R-CNN检测网络模型中的图像超分辨率重建模块对所述CT图像进行特征提取，得到高分辨率特征图像；
缺陷检测模块，用于利用所述FasterR-CNN检测网络模型中的检测模块对所述高分辨率特征图像进行缺陷检测，得到所述高分辨率特征图像中的缺陷参数；所述缺陷参数包括缺陷类型、缺陷位置和缺陷置信度；所述缺陷类型包括断点缺陷和粘连缺陷；
缺陷识别结果确定模块，用于将所述缺陷参数映射至所述CT图像，得到所述CT图像的缺陷识别结果。
可选的，所述CT图像获取模块，具体包括：
扫描单元，用于采用CT系统从切分方向对所述点阵结构进行X射线扫描，得到所述点阵结构的CT图像。
可选的，所述特征提取模块，具体包括：
双三次插值单元，用于对所述CT图像进行双三次插值放大，得到放大图像；
特征提取单元，用于利用公式F1(Y)＝max(0,W1*Y+B1)从所述放大图像的Y通道中提取图像块特征，得到多个高维特征图；其中，F1(Y)为高维特征图，W1为第一卷积核，Y为所述放大图像的Y通道对应的图像块，B1为第一偏差；
非线性映射单元，用于将多个高维特征图利用公式F2(Y)＝max(0,W2*F1(Y)+B2)进行非线性映射，得到多个高分辨率图像块；其中，F2(Y)为高分辨率图像块，W2为第二卷积核，B2为第二偏差；
图像重建单元，用于利用公式F(Y)＝W3*F2(Y)+B3将所有高分辨率图像块汇聚重建，得到所述高分辨率特征图像；其中，F(Y)为高分辨率特征图像，W3为第三卷积核，B3为第三偏差。
可选的，还包括：
图像超分辨率重建模块构建模块，用于在利用FasterR-CNN检测网络模型中的图像超分辨率重建模块对所述CT图像进行特征提取，得到高分辨率特征图像之前，构建FasterR-CNN检测网络模型中的图像超分辨率重建模块；所述图像超分辨率重建模块为三层卷积网络结构；
图像超分辨率重建模块训练模块，用于以均方误差作为损失函数，采用图像训练集对所述图像超分辨率重建模块进行训练，通过梯度下降算法优化所述图像超分辨率重建模块的权重，完成对所述图像超分辨率重建模块的训练。
可选的，还包括：
检测模块构建模块，用于在利用所述Faster R-CNN检测网络模型中的检测模块对所述高分辨率特征图像进行缺陷检测，得到所述高分辨率特征图像中的缺陷参数之前，构建Faster R-CNN检测网络模型中的检测模块；所述检测模块为Faster R-CNN网络模型；
检测模块训练模块，用于采用带有人工标记的样本集对所述检测模块进行训练，得到训练好的检测模块。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
采用图像超分辨率重建模块放大CT图像中的微小缺陷，加强原始图像目标细节信息，增强目标特征，同时保证了图像的高信噪比，使得缺陷特征更有效的提取，从而可以更加准确、高效的进行缺陷识别及定位，提高自动识别缺陷的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于超分辨率重建的点阵结构缺陷检测方法的流程示意图；
图2为点阵结构的示意图；
图3为本发明Faster R-CNN检测网络模型的示意图；
图4为本发明Faster R-CNN检测网络模型中的图像超分辨率重建模块的结构示意图；
图5为本发明原图、双三次插值和超分辨率图像的对比图；
图6为本发明缺陷识别结果图；
图7为本发明基于超分辨率重建的点阵结构缺陷检测系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明基于超分辨率重建的点阵结构缺陷检测方法的流程示意图。如图1所示，本发明基于超分辨率重建的点阵结构缺陷检测方法包括以下步骤：
步骤100：获取点阵结构的CT图像。点阵结构如图2所示，其中(a)部分为点阵结构微单元，(b)部分为检测样件的点阵结构。利用多功能X射线微聚焦CT系统对待测的点阵结构样件分别从三个切分方向对SLM点阵结构进行X射线扫描。沿x方向扫描，得到的是yz平面的切片图像；沿y方向扫描，得到的是xz平面的切片图像；沿z方向扫描，得到的是xy平面的切片图像。根据被测样件特点，z方向为切分获得的切片图像面积大的方向，z方向扫描的图像蕴含有效信息更多，缺陷特征相对x，y两个方向来说更为明显。
步骤200：利用FasterR-CNN检测网络模型中的图像超分辨率重建模块对CT图像进行特征提取，得到高分辨率特征图像。如图3所示，本发明Faster R-CNN检测网络模型包括图像超分辨率重建模块和检测模块，在特征提取区域采用图像超分辨率重建模块进行超分辨率重建，然后经由检测模块对目标缺陷类型进行检测和定位，最终将检测结果映射回原始图片得到缺陷检测结果。
扫描SLM点阵结构获得的CT切片图像中缺陷尺寸较小，因此，本发明采用图像超分辨率重建模块对CT图像进行放大和重建，用于较大程度上增强图片中微小目标的像素信息和局部细节。如图4所示，图像超分辨率重建模块包括三个部分，分别是：特征提取，非线性映射和图像重建。图像重建的目标是将经过双三次插值放大的图像尽可能的贴近原图像，还原原图像的特征。具体过程如下：
首先，将输入CT图像使用双三次插值放大目标，得到放大图像。放大图像仍为LR图像。从放大图像Y通道中提取图像块特征，得到多个高维特征图，公式如下：
F1(Y)＝max(0,W1*Y+B1) (1)
式中，F1(Y)为高维特征图，为n1维特征向量；Y为所述放大图像的Y通道对应的图像块；B1为第一偏差，为n1维向量；W1为第一卷积核，W1＝c*f1*f1*n1，c表示图像输入通道数，n1表示第一卷积核数量，f1表示第一卷积核的空间大小。本发明中W1使用n1个卷积，每个卷积核大小为c*f1*f1。本发明采用的是n1＝64个卷积，卷积核尺寸f1*f1＝9*9，得到64张特征图。
然后，将n1维特征向量，即64张特征图的深度压缩，非线性映射到n2维特征向量，即得到多个高分辨率图像块，每个输出的n2维特征向量都表示一个高分辨率图像块。公式如下：
F2(Y)＝max(0,W2*F1(Y)+B2) (2)
式中，F2(Y)为高分辨率图像块，为n2维向量；B2为第二偏差，为n2维向量；W2为第二卷积核，W2＝n1*f2*f2*n2，其中，f2*f2＝1*1，卷积核数目n2＝32，得到32张特征图，即32个高分辨率图像块。
最后，汇聚所有的高分辨率图像块，重构得到最终的高分辨率图像，函数定义为：
F(Y)＝W3*F2(Y)+B3 (3)
式中，F(Y)为高分辨率特征图像，为n3维向量；B3为第三偏差，为n3维向量；W3为第三卷积核，W3＝n2*f3*f3*n3。由于图像重建层只需要输出一张特征图，即HR图像，故最后一层卷积核数量n3＝1，卷积核尺寸f3*f3＝5*5。
在对CT图像进行超分辨率重建之前，需要首先构建FasterR-CNN检测网络模型中的图像超分辨率重建模块，本发明构建的所述图像超分辨率重建模块为三层卷积网络结构。然后采用图像训练集对所述图像超分辨率重建模块进行训练。训练过程中以均方误差作为损失函数，公式如下：
式中，n为训练样本数，F(Yi；Θ)为重构结果，Xi为实际图像，Θ为图像超分辨率重建模块中的权重，Θ＝{W1,W2,W3,B1,B2,B3}。根据损失函数，通过梯度下降算法优化权重，进而完成对所述图像超分辨率重建模块的训练。
步骤300：利用FasterR-CNN检测网络模型中的检测模块对高分辨率特征图像进行缺陷检测，得到高分辨率特征图像中的缺陷参数。所述缺陷参数包括缺陷类型、缺陷位置和缺陷置信度；所述缺陷类型包括断点缺陷和粘连缺陷。
在进行缺陷检测之前，需要构建FasterR-CNN检测网络模型中的检测模块，该检测模块为FasterR-CNN网络，此部分采用现有的FasterR-CNN网络结构。构建完成后，采用带有人工标记的样本集对所述检测模块进行训练，得到训练好的检测模块。例如，从拍摄的大量CT图像中选取含有缺陷区域的图像作为样本数据集，对样本数据集中的缺陷进行人工标记，通过数据增强(旋转、平移、颜色色差、翻转)手段对样本数据集进行扩充，最后样本数据集中总共包含3700张图片。本发明针对样件中的两类缺陷进行检测，一类为断点缺陷，标注为breakpoint；一类为粘连缺陷，标注为defect。训练时，数据集图片训练周期为20000轮，学习率初始值为0.001，在11000轮时缩小十倍。数据集分为两批(即batch＝2)，通过CUDA9.0并行计算框架进行加速运算。在缺陷检测模型训练前，数据集按照9：1的比例随机分为训练集和验证集两部分，测试集由未采用数据增强的干净图像组成。
步骤400：将缺陷参数映射至CT图像，得到CT图像的缺陷识别结果。
下面提供本发明上述过程的验证过程，进一步说明本发明所带来的效果。
首先，本发明采用图像超分辨率重建模块，在保证图像质量的同时对样件内部微小缺陷部分进行了放大，有利于后续检测模块对目标缺陷的检测与识别。针对超分辨率网络的重建性能，采用PSNR进行评估，表述如下：
RPSNR＝10×lg((2n-1)2/lMSE) (5)
基于性能和准确度，图像设置为放大两倍，超分辨率和双三次插值实验对比如图5所示。图5中图像(b)、(c)、(e)、(f)的PSNR及多次实验求全部图像的PSNR平均值的结果如表1所示。
实验结果表明本发明的图像超分辨率重建模块可以有效地对微小缺陷图像进行重建，性能优良。
表1.超分辨率实验对比结果
其次，本发明采用超分辨率结合FasterRCNN检测网络即本发明的检测模块，在针对训练样本多、断点和粘连这两种微小缺陷时得到了有效的应用。分别使用该方法和VGG16加超分辨率网络(即表2中的改进VGG16)，以及去掉超分辨重建网络的方法进行对比，实验结果表明本发明提出的结合超分辨率改进Faster R-CNN算法在两种缺陷占比均为0.15％的原图中可以实现缺陷自动判识，并且本发明的精度较高。mAP是不同种类缺陷的平均正确率，这是目前检测模型应用最合理、最稳定的评估指标。计算公式如下：
式(6)中，n为缺陷标注种类，AP(q)为每一类缺陷的平均准确率。Res50的检测结果如图6所示，算法性能如表2所示。
表2.不同模型性能对比
本发明还提供一种基于超分辨率重建的点阵结构缺陷检测系统，图7为本发明基于超分辨率重建的点阵结构缺陷检测系统的结构示意图。如图7所示，本发明基于超分辨率重建的点阵结构缺陷检测系统包括：
CT图像获取模块701，用于获取点阵结构的CT图像。
特征提取模块702，用于利用Faster R-CNN检测网络模型中的图像超分辨率重建模块对所述CT图像进行特征提取，得到高分辨率特征图像。
缺陷检测模块703，用于利用所述FasterR-CNN检测网络模型中的检测模块对所述高分辨率特征图像进行缺陷检测，得到所述高分辨率特征图像中的缺陷参数；所述缺陷参数包括缺陷类型、缺陷位置和缺陷置信度；所述缺陷类型包括断点缺陷和粘连缺陷。
缺陷识别结果确定模块704，用于将所述缺陷参数映射至所述CT图像，得到所述CT图像的缺陷识别结果。
作为另一实施例，本发明基于超分辨率重建的点阵结构缺陷检测系统中，所述CT图像获取模块701，具体包括：
扫描单元，用于采用CT系统从切分方向对所述点阵结构进行X射线扫描，得到所述点阵结构的CT图像。
作为另一实施例，本发明基于超分辨率重建的点阵结构缺陷检测系统中，所述特征提取模块702，具体包括：
双三次插值单元，用于对所述CT图像进行双三次插值放大，得到放大图像。
特征提取单元，用于利用公式F1(Y)＝max(0,W1*Y+B1)从所述放大图像的Y通道中提取图像块特征，得到多个高维特征图；其中，F1(Y)为高维特征图，W1为第一卷积核，Y为所述放大图像的Y通道对应的图像块，B1为第一偏差。
非线性映射单元，用于将多个高维特征图利用公式F2(Y)＝max(0,W2*F1(Y)+B2)进行非线性映射，得到多个高分辨率图像块；其中，F2(Y)为高分辨率图像块，W2为第二卷积核，B2为第二偏差。
图像重建单元，用于利用公式F(Y)＝W3*F2(Y)+B3将所有高分辨率图像块汇聚重建，得到所述高分辨率特征图像；其中，F(Y)为高分辨率特征图像，W3为第三卷积核，B3为第三偏差。
作为另一实施例，本发明基于超分辨率重建的点阵结构缺陷检测系统，还包括：
图像超分辨率重建模块构建模块，用于在利用FasterR-CNN检测网络模型中的图像超分辨率重建模块对所述CT图像进行特征提取，得到高分辨率特征图像之前，构建Faster R-CNN检测网络模型中的图像超分辨率重建模块；所述图像超分辨率重建模块为三层卷积网络结构。
图像超分辨率重建模块训练模块，用于以均方误差作为损失函数，采用图像训练集对所述图像超分辨率重建模块进行训练，通过梯度下降算法优化所述图像超分辨率重建模块的权重，完成对所述图像超分辨率重建模块的训练。
作为另一实施例，本发明基于超分辨率重建的点阵结构缺陷检测系统，还包括：
检测模块构建模块，用于在利用所述Faster R-CNN检测网络模型中的检测模块对所述高分辨率特征图像进行缺陷检测，得到所述高分辨率特征图像中的缺陷参数之前，构建Faster R-CNN检测网络模型中的检测模块；所述检测模块为Faster R-CNN网络模型。
检测模块训练模块，用于采用带有人工标记的样本集对所述检测模块进行训练，得到训练好的检测模块。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种基于超分辨率重建的点阵结构缺陷检测方法，其特征在于，包括：
获取点阵结构的CT图像；
利用Faster R-CNN检测网络模型中的图像超分辨率重建模块对所述CT图像进行特征提取，得到高分辨率特征图像；
利用所述FasterR-CNN检测网络模型中的检测模块对所述高分辨率特征图像进行缺陷检测，得到所述高分辨率特征图像中的缺陷参数；所述缺陷参数包括缺陷类型、缺陷位置和缺陷置信度；所述缺陷类型包括断点缺陷和粘连缺陷；
将所述缺陷参数映射至所述CT图像，得到所述CT图像的缺陷识别结果。
2.根据权利要求1所述的基于超分辨率重建的点阵结构缺陷检测方法，其特征在于，所述获取点阵结构的CT图像，具体包括：
采用CT系统从切分方向对所述点阵结构进行X射线扫描，得到所述点阵结构的CT图像。
3.根据权利要求1所述的基于超分辨率重建的点阵结构缺陷检测方法，其特征在于，所述利用Faster R-CNN检测网络模型中的图像超分辨率重建模块对所述CT图像进行特征提取，得到高分辨率特征图像，具体包括：
对所述CT图像进行双三次插值放大，得到放大图像；
利用公式F1(Y)＝max(0,W1*Y+B1)从所述放大图像的Y通道中提取图像块特征，得到多个高维特征图；其中，F1(Y)为高维特征图，W1为第一卷积核，Y为所述放大图像的Y通道对应的图像块，B1为第一偏差；
将多个高维特征图利用公式F2(Y)＝max(0,W2*F1(Y)+B2)进行非线性映射，得到多个高分辨率图像块；其中，F2(Y)为高分辨率图像块，W2为第二卷积核，B2为第二偏差；
利用公式F(Y)＝W3*F2(Y)+B3将所有高分辨率图像块汇聚重建，得到所述高分辨率特征图像；其中，F(Y)为高分辨率特征图像，W3为第三卷积核，B3为第三偏差。
4.根据权利要求1所述的基于超分辨率重建的点阵结构缺陷检测方法，其特征在于，所述利用Faster R-CNN检测网络模型中的图像超分辨率重建模块对所述CT图像进行特征提取，得到高分辨率特征图像，之前还包括：
构建Faster R-CNN检测网络模型中的图像超分辨率重建模块；所述图像超分辨率重建模块为三层卷积网络结构；
以均方误差作为损失函数，采用图像训练集对所述图像超分辨率重建模块进行训练，通过梯度下降算法优化所述图像超分辨率重建模块的权重，完成对所述图像超分辨率重建模块的训练。
5.根据权利要求1所述的基于超分辨率重建的点阵结构缺陷检测方法，其特征在于，所述利用所述Faster R-CNN检测网络模型中的检测模块对所述高分辨率特征图像进行缺陷检测，得到所述高分辨率特征图像中的缺陷参数，之前还包括：
构建Faster R-CNN检测网络模型中的检测模块；所述检测模块为Faster R-CNN网络模型；
采用带有人工标记的样本集对所述检测模块进行训练，得到训练好的检测模块。
6.一种基于超分辨率重建的点阵结构缺陷检测系统，其特征在于，包括：
CT图像获取模块，用于获取点阵结构的CT图像；
特征提取模块，用于利用Faster R-CNN检测网络模型中的图像超分辨率重建模块对所述CT图像进行特征提取，得到高分辨率特征图像；
缺陷检测模块，用于利用所述Faster R-CNN检测网络模型中的检测模块对所述高分辨率特征图像进行缺陷检测，得到所述高分辨率特征图像中的缺陷参数；所述缺陷参数包括缺陷类型、缺陷位置和缺陷置信度；所述缺陷类型包括断点缺陷和粘连缺陷；
缺陷识别结果确定模块，用于将所述缺陷参数映射至所述CT图像，得到所述CT图像的缺陷识别结果。
7.根据权利要求6所述的基于超分辨率重建的点阵结构缺陷检测系统，其特征在于，所述CT图像获取模块，具体包括：
扫描单元，用于采用CT系统从切分方向对所述点阵结构进行X射线扫描，得到所述点阵结构的CT图像。
8.根据权利要求6所述的基于超分辨率重建的点阵结构缺陷检测系统，其特征在于，所述特征提取模块，具体包括：
双三次插值单元，用于对所述CT图像进行双三次插值放大，得到放大图像；
特征提取单元，用于利用公式F1(Y)＝max(0,W1*Y+B1)从所述放大图像的Y通道中提取图像块特征，得到多个高维特征图；其中，F1(Y)为高维特征图，W1为第一卷积核，Y为所述放大图像的Y通道对应的图像块，B1为第一偏差；
非线性映射单元，用于将多个高维特征图利用公式F2(Y)＝max(0,W2*F1(Y)+B2)进行非线性映射，得到多个高分辨率图像块；其中，F2(Y)为高分辨率图像块，W2为第二卷积核，B2为第二偏差；
图像重建单元，用于利用公式F(Y)＝W3*F2(Y)+B3将所有高分辨率图像块汇聚重建，得到所述高分辨率特征图像；其中，F(Y)为高分辨率特征图像，W3为第三卷积核，B3为第三偏差。
9.根据权利要求6所述的基于超分辨率重建的点阵结构缺陷检测系统，其特征在于，还包括：
图像超分辨率重建模块构建模块，用于在利用FasterR-CNN检测网络模型中的图像超分辨率重建模块对所述CT图像进行特征提取，得到高分辨率特征图像之前，构建FasterR-CNN检测网络模型中的图像超分辨率重建模块；所述图像超分辨率重建模块为三层卷积网络结构；
图像超分辨率重建模块训练模块，用于以均方误差作为损失函数，采用图像训练集对所述图像超分辨率重建模块进行训练，通过梯度下降算法优化所述图像超分辨率重建模块的权重，完成对所述图像超分辨率重建模块的训练。
10.根据权利要求6所述的基于超分辨率重建的点阵结构缺陷检测系统，其特征在于，还包括：
检测模块构建模块，用于在利用所述Faster R-CNN检测网络模型中的检测模块对所述高分辨率特征图像进行缺陷检测，得到所述高分辨率特征图像中的缺陷参数之前，构建Faster R-CNN检测网络模型中的检测模块；所述检测模块为Faster R-CNN网络模型；
检测模块训练模块，用于采用带有人工标记的样本集对所述检测模块进行训练，得到训练好的检测模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010689831.XA CN111833335A (zh) | 2020-07-17 | 2020-07-17 | 一种基于超分辨率重建的点阵结构缺陷检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010689831.XA CN111833335A (zh) | 2020-07-17 | 2020-07-17 | 一种基于超分辨率重建的点阵结构缺陷检测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111833335A true CN111833335A (zh) | 2020-10-27 |
Family
ID=72923562
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010689831.XA Pending CN111833335A (zh) | 2020-07-17 | 2020-07-17 | 一种基于超分辨率重建的点阵结构缺陷检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111833335A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115151942A (zh) * | 2021-01-28 | 2022-10-04 | 东莞职业技术学院 | 基于卷积神经网络模型训练的带钢表面缺陷检测方法 |
| CN117315654A (zh) * | 2023-11-28 | 2023-12-29 | 深圳赛陆医疗科技有限公司 | 端到端的基因测序方法及装置、基因测序仪及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109360204A (zh) * | 2018-11-28 | 2019-02-19 | 燕山大学 | 一种基于Faster R-CNN的多层金属点阵结构材料内部缺陷检测方法 |
| CN110188807A (zh) * | 2019-05-21 | 2019-08-30 | 重庆大学 | 基于级联超分辨率网络与改进Faster R-CNN的隧道行人目标检测方法 |
| CN110443172A (zh) * | 2019-07-25 | 2019-11-12 | 北京科技大学 | 一种基于超分辨率和模型压缩的目标检测方法及系统 |
| CN110599469A (zh) * | 2019-08-30 | 2019-12-20 | 中国铁道科学研究院集团有限公司 | 一种动车组关键部位的缺陷检测方法、系统及电子设备 |
| CN111340696A (zh) * | 2020-02-10 | 2020-06-26 | 南京理工大学 | 融合仿生视觉机制的卷积神经网络图像超分辨率重建方法 |
-
2020
- 2020-07-17 CN CN202010689831.XA patent/CN111833335A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109360204A (zh) * | 2018-11-28 | 2019-02-19 | 燕山大学 | 一种基于Faster R-CNN的多层金属点阵结构材料内部缺陷检测方法 |
| CN110188807A (zh) * | 2019-05-21 | 2019-08-30 | 重庆大学 | 基于级联超分辨率网络与改进Faster R-CNN的隧道行人目标检测方法 |
| CN110443172A (zh) * | 2019-07-25 | 2019-11-12 | 北京科技大学 | 一种基于超分辨率和模型压缩的目标检测方法及系统 |
| CN110599469A (zh) * | 2019-08-30 | 2019-12-20 | 中国铁道科学研究院集团有限公司 | 一种动车组关键部位的缺陷检测方法、系统及电子设备 |
| CN111340696A (zh) * | 2020-02-10 | 2020-06-26 | 南京理工大学 | 融合仿生视觉机制的卷积神经网络图像超分辨率重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| CHAO DONG 等: "Learning a Deep Convolutional Network for Image Super-Resolution", 《ECCV 2014》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115151942A (zh) * | 2021-01-28 | 2022-10-04 | 东莞职业技术学院 | 基于卷积神经网络模型训练的带钢表面缺陷检测方法 |
| CN115151942B (zh) * | 2021-01-28 | 2024-02-13 | 东莞职业技术学院 | 基于卷积神经网络模型训练的带钢表面缺陷检测方法 |
| CN117315654A (zh) * | 2023-11-28 | 2023-12-29 | 深圳赛陆医疗科技有限公司 | 端到端的基因测序方法及装置、基因测序仪及存储介质 |
| CN117315654B (zh) * | 2023-11-28 | 2024-03-15 | 深圳赛陆医疗科技有限公司 | 端到端的基因测序方法及装置、基因测序仪及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110108754B (zh) | 基于结构化稀疏分解的光激励红外热成像缺陷检测方法 | |
| US20230306577A1 (en) | Cross-scale defect detection method based on deep learning | |
| CN112461892B (zh) | 一种用于复材缺陷无损检测的红外热影像分析方法 | |
| CN111833335A (zh) | 一种基于超分辨率重建的点阵结构缺陷检测方法及系统 | |
| Chen et al. | The defect detection of 3D-printed ceramic curved surface parts with low contrast based on deep learning | |
| CN116524313A (zh) | 基于深度学习和多模态图像的缺陷检测方法及相关装置 | |
| CN113658147B (zh) | 一种基于深度学习的工件尺寸测量装置及方法 | |
| CN105608674B (zh) | 一种基于图像配准、插值和去噪的图像增强方法 | |
| CN114428110A (zh) | 一种轴承套圈荧光磁粉探伤图像缺陷检测方法及系统 | |
| Xue et al. | A high efficiency deep learning method for the x-ray image defect detection of casting parts | |
| CN112767345A (zh) | 一种dd6单晶高温合金共晶缺陷检测和分割方法 | |
| CN116342542A (zh) | 一种基于轻量级神经网络的钢铁产品表面缺陷检测方法 | |
| Liu et al. | Multi-exposure image fusion via multi-scale and context-aware feature learning | |
| CN110705615A (zh) | 一种基于TV模型与GoogLeNet模型的甲状腺结节检测和分类方法 | |
| TWI818367B (zh) | 用於增強經積層製造產品之２ｄ影像序列之影像解析度之方法、電子裝置及非暫時性電腦可讀儲存媒體 | |
| CN113218998B (zh) | 一种基于全局莫兰指数的涡流热成像缺陷识别方法 | |
| CN115661094A (zh) | 基于改进yolox模型的工业瑕疵检测方法 | |
| Liang et al. | Application of tensor decomposition methods in eddy current pulsed thermography sequences processing | |
| TW200842339A (en) | Mura detection method and system | |
| Devereux et al. | Automated analysis of AGR fuel channel inspection videos | |
| Xiao et al. | 3D center segregation reconstruction of steel continuous casting slab | |
| CN117523470B (zh) | 一种钢结构疲劳裂缝识别方法及系统 | |
| CN112115949B (zh) | 一种烟草证件以及订单的光学文字识别方法 | |
| JPS6385432A (ja) | 線状欠陥の検査方法 | |
| CN117726589A (zh) | 一种基于深度学习的薄壁件铆接表面缺陷检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201027 |