CN113724204A - 一种航天复合材料缺陷定位与识别方法及系统 - Google Patents
一种航天复合材料缺陷定位与识别方法及系统 Download PDFInfo
- Publication number
- CN113724204A CN113724204A CN202110887116.1A CN202110887116A CN113724204A CN 113724204 A CN113724204 A CN 113724204A CN 202110887116 A CN202110887116 A CN 202110887116A CN 113724204 A CN113724204 A CN 113724204A
- Authority
- CN
- China
- Prior art keywords
- network
- defect
- image
- module
- composite material
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 107
- 239000002131 composite material Substances 0.000 title claims abstract description 53
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000001514 detection method Methods 0.000 claims abstract description 57
- 238000000605 extraction Methods 0.000 claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 18
- 238000002372 labelling Methods 0.000 claims abstract description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 22
- 238000010586 diagram Methods 0.000 claims description 11
- 238000009659 non-destructive testing Methods 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 230000014759 maintenance of location Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 229920000049 Carbon (fiber) Polymers 0.000 description 1
- 239000011825 aerospace material Substances 0.000 description 1
- 239000000956 alloy Substances 0.000 description 1
- 229910045601 alloy Inorganic materials 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000004917 carbon fiber Substances 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000032798 delamination Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种航天复合材料缺陷定位与识别方法及系统，包括以下步骤：步骤S1：构建用于定位和识别航天复合材料缺陷的检测网络；步骤S2：检测网络在ImageNet数据集上预训练，获取骨干网络和特征提取网络的预训练权重值；步骤S3：获取航天复合材料缺陷图像样本，并标注图像样本的标签；步骤S4：将图像样本集和标签输入到整个检测网络中训练，得到检测网络的权重和缺陷位置和类别信息；步骤S5：获取待检测的航天复合材料缺陷图像输入检测网络，计算得到待检测图像中的缺陷位置和缺陷类别信息。本发明对含有航天复合材料缺陷的图像进行缺陷定位和识别，解决了人工识别含有航天复合材料缺陷的X射线图片时实时性不强的难题，同时保证了缺陷识别的精度。
Description
技术领域
本发明涉及无损检测和评估技术领域，具体地，涉及一种航天复合材料缺陷定位与识别方法及系统。
背景技术
碳纤维增强复合材料(carbon fiber reinforced plastics CFRP)相比传统的金属材料及其合金，具有非常出色的热性能和物理特性，包括高强度和高刚度重量比、低热膨胀系数、高抗疲劳性、固有耐腐蚀性及低电磁反射率。因此其越来越多的被用于航空航天等高新技术领域。然而，在这些复合材料生产过程和使用过程中会产生一些缺陷，比如在其生产过程中由于操作不小心导致的夹杂缺陷、孔隙缺陷和疏松缺陷，以及使用这种复合材料制作的飞机零部件在飞机服役时因意外事故导致的冲击损伤如脱粘缺陷、分层缺陷和裂纹缺陷等。为了保证使用这些复合材料制作的航空器等设备的安全，各类无损检测技术(Nondestructive testing NDT)被用于这些缺陷的检测。然而，没有任何一种无损检测技术能针对所有缺陷都以最高的精度检测出来，因此常常结合X射线成像、太赫兹成像、超声C扫描等多种无损检测技术来对多种缺陷进行检测，以达到脱粘、孔隙、疏松、夹杂、裂纹等多种缺陷的精确检出。
由于传统的无损检测成像的结果需要人工判定，为了提高自动化程度和检测效率，很多人工智能图像处理算法被用于复合材料成像后图像信息的检测。如人工神经网络(ANN)、多层感知机(MLP)、循环神经网络(RNN)、支持向量机(SVM)等。但这些算法往往需要大量计算和内存消耗，在计算力受限的嵌入式硬件平台上难以运行，同时这些算法无法完成缺陷定位，对缺陷定位仍然需要人工目检。因此，为了保证缺陷识别的精度，本发明提出一种基于轻量卷积神经网络的多尺度Faster R-CNN的航天复合材料缺陷定位与识别方法，能快速对航天复合材料缺陷进行定位和识别。
在公开号为CN112819778A的中国发明专利申请文件中，公开了一种航天材料损伤检测图像多目标全像素分割方法，包括：提取出每类缺陷的典型瞬态热响应；获得红外重构图像；多目标优化算法结合分割模型对红外重构图像进行背景区域和缺陷区域的分离；在噪声去除、保留细节及保持边缘三种目的指导下构建红外图像分割函数；多目标优化算法结合分割模型对缺陷实现一次性分割；根据欧氏距离来定义稀疏度水平大小，基于稀疏度水平大的个体调整权重向量；得到红外检测图像中损伤缺陷的分割图像。本发明利用主要特征对红外热图像序列进行重构，获得缺陷的红外重构图像，反映出试件的缺陷特征。对红外重构图像进行目标分割获得的结果图像既能实现噪声消除又能保证细节保留，边缘保持提高了图像分割的精度。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种航天复合材料缺陷定位与识别方法及系统。
根据本发明提供的一种航天复合材料缺陷定位与识别方法，包括以下步骤：
步骤S1：构建用于定位和识别航天复合材料缺陷的检测网络，所述检测网络的基础网络为Faster R-CNN，检测网络的骨干网络为轻量卷积神经网络，检测网络的特征提取网络为特征金字塔网络；所述检测网络还包括PRN网络模块、分类网络分支以及位置回归分支；所述RPN网络模块获取多种尺度的特征图中的感兴趣区域；
步骤S2：将检测网络在ImageNet数据集上预训练，获取骨干网络和特征提取网络的预训练权重值；
步骤S3：通过X射线成像无损检测方法获取航天复合材料缺陷图像样本，如果是单通道图像，则复制这个通道的像素值形成三通道图像，并使用LabelImg软件标注图像样本的标签；
步骤S4：将含有航天复合材料缺陷的图像样本集和标签输入到整个检测网络中训练，得到检测网络的权重和缺陷位置和类别信息；
步骤S5：获取待检测的航天复合材料缺陷图像，输入至步骤S4得到的检测网络，计算得到待检测图像中的缺陷位置和缺陷类别信息。
优选的，所述步骤S1中的轻量卷积神经网络模块包括SqueezeNext block，在SqueezeNext block的基础上融入IBN Net结构，形成SqueezeNext IBN-a block和SqueezeNext IBN-b block模块。
优选的，所述步骤S1中的特征提取网络采用4层特征金字塔结构，最底层的特征图分辨率为输入图像的1/8，倒数第二层的特征图分辨率为输入图像的1/16，倒数第三层的特征图分辨率为输入图像的1/32，最顶层的特征图分辨率为输入图像的1/64，每一层的特征图由骨干网络和上一层特征图合成。
优选的，所述步骤S3中的缺陷图像包括航天复合材料的高密度夹杂缺陷图片、裂纹缺陷图片和气泡缺陷图片。
优选的，所述步骤S4包括以下子步骤：
步骤S4.1：将图像样本集通过检测网络中的骨干网络和特征提取网络进行处理得到多尺度特征图；
步骤S4.2：将多尺度特征图输入到RPN网络模块进行处理得到各种不同尺度特征图中的感兴趣区域；
步骤S4.3：将所有感兴趣区域输入到Faster R-CNN网络的ROI Pooling模块进行处理得到固定尺寸的感兴趣区域；
步骤S4.4：将固定尺寸的感兴趣区域输入到分类网络分支中进行处理得到缺陷的类别预测结果；将固定尺寸的感兴趣区域输入到位置回归分支中进行处理得到缺陷的位置预测结果。
与现有技术相比，本发明具有如下的有益效果：
1、采用轻量卷积神经网络作为骨干网络，速度快、精度较高，且可以消除图像亮度不均匀、对比度低的问题。
2、将轻量卷积神经网络与特征金字塔网络结合，能提高对航天复合材料高密度夹杂、裂纹和气泡等多种缺陷的识别与定位精度。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明实施例一种航天复合材料缺陷定位与识别方法的流程示意图；
图2为本发明实施例中轻量卷积神经网络模块的基础模块图；
图3为本发明实施例中检测网络整体结构图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
本发明提供了一种航天复合材料缺陷定位与识别方法，采用融合了轻量卷积神经网络和特征金字塔结构的Faster R-CNN对象检测网络对航天复合材料缺陷进行快速定位和精确识别。如图1所示，具体的包括以下步骤：
步骤S1：构建用于定位和识别航天复合材料缺陷的检测网络，检测网络的基础网络为Faster R-CNN，检测网络的骨干网络为轻量卷积神经网络，检测网络的特征提取网络为特征金字塔网络；检测网络还包括PRN网络模块、分类网络分支以及位置回归分支；RPN网络模块获取多种尺度的特征图中的感兴趣区域。
以Faster R-CNN对象检测网络为基础网络，对其进行改进，将融入了IBN-Net的轻量卷积神经网络作为基础网络的骨干网络，并结合特征金字塔结构，构建一种多尺度特征提取网络。
步骤S2：将检测网络在ImageNet数据集上预训练，获取骨干网络和特征提取网络的预训练权重值，使得轻量卷积神经网络具有较好的特征提取能力。
步骤S3：通过X射线成像无损检测方法获取航天复合材料缺陷图像样本，如果是单通道图像，则复制这个通道的像素值形成三通道图像，并使用LabelImg软件标注图像样本的标签；对采集到的这些样本数据作为训练样本集，输入到步骤S1中改进的Faster R-CNN检测网络，并使用步骤S2中获取的预训练权重值进行微调训练，得到训练好的整个检测模型；
步骤S4：将含有航天复合材料缺陷的图像样本集和标签输入到整个检测网络中训练，得到检测网络的权重和缺陷位置和类别信息。
具体的包括以下子步骤：
步骤S4.1：将航天复合材料缺陷图像样本集通过检测网络中的骨干网络和特征提取网络进行处理得到多尺度特征图；
步骤S4.2：将多尺度特征图输入到RPN网络模块进行处理得到各种不同尺度特征图中的感兴趣区域；
步骤S4.3：将所有感兴趣区域输入到Faster R-CNN网络的ROI Pooling模块进行处理得到固定尺寸的感兴趣区域；
步骤S4.4：将固定尺寸的感兴趣区域输入到分类网络分支中进行处理得到缺陷的类别预测结果；将固定尺寸的感兴趣区域输入到位置回归分支中进行处理得到缺陷的位置预测结果。
步骤S5：获取待检测的航天复合材料缺陷图像，输入至步骤S4得到的检测网络，计算得到待检测图像中的缺陷位置和缺陷类别信息。
改进的Faster R-CNN对象检测网络中的骨干网络的结构如下
表1所示，此骨干网络为轻量卷积神经网络，其中SqueezeNext IBN-a block为构建轻量卷积神经网络的基础模块，如图2所示，其融入了SqueezeNext和IBN Net，形成SqueezeNext IBN-a block和SqueezeNext IBN-b block模块，具有更好的泛化能力。
表1骨干网络的结构
其中IN表示实例归一化(Instance Normalization)，BN表示批归归一化(BatchNormalization).
BN的表达式如下：
这里的
是从训练数据中学习到的仿射参数，目的是恢复BN之前的数据的特征分布；
是对当前批次所有图片的每个特征通道计算得到的均值和标准差，其中：
N表示输入一个批次的图片样本数量；H、W表示输入张量的高和宽；ε的作用是确保式(1)中σc(x)≠0而添加的一个很小的常量，一般取ε＝10-5；xnchw表示输入张量x在第n个样本的第c个通道高度h，宽度w处对应的像素值。
IN的表达式如下：
在IN中，
是对每一个实例图片的每个特征通道计算得到的均值和标准差，即：
相关参数与BN相同。在SqueezeNext IBN-a block中，先输入一个1x1的卷积层，然后将输出特征图根据通道数分为两半，一半执行IN，一半执行BN，然后再执行ReLu操作。
特征提取网络采用4层特征金字塔结构，如图3所示。最底层的特征图分辨率为输入图像的1/8，倒数第二层的特征图分辨率为输入图像的1/16，倒数第三层的特征图分辨率为输入图像的1/32，最顶层的特征图分辨率为输入图像的1/64，每一层的特征图由骨干网络和上一层特征图合成，其中骨干网络的每一个Stage后连接一个1x1的卷积层，形成一个特征图；上一层的特征图经过上采样后形成与下一层特征图具有相同分辨率的另一个特征图；这两个特征图对应元素相加之后，通过一个3x3的卷积层后输出相应尺度的特征图，最终得到四种尺度的特征图。
将特征金字塔输出的四种尺度的特征图同时输入RPN进行处理，得到多尺度特征图上的感兴趣区域，对这些感兴趣区域使用RoI Pooling进行尺寸固定化，以便后续进一步输入到类别分类网络分支和位置回归网络分支。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
在本申请的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (10)
1.一种航天复合材料缺陷定位与识别方法，其特征在于，包括以下步骤：
步骤S1：构建用于定位和识别航天复合材料缺陷的检测网络，所述检测网络的基础网络为Faster R-CNN，检测网络的骨干网络为轻量卷积神经网络，检测网络的特征提取网络为特征金字塔网络；所述检测网络还包括PRN网络模块、分类网络分支以及位置回归分支；所述RPN网络模块获取多种尺度的特征图中的感兴趣区域；
步骤S2：将检测网络在ImageNet数据集上预训练，获取骨干网络和特征提取网络的预训练权重值；
步骤S3：通过X射线成像无损检测方法获取航天复合材料缺陷图像样本，如果是单通道图像，则复制这个通道的像素值形成三通道图像，并使用LabelImg软件标注图像样本的标签；
步骤S4：将含有航天复合材料缺陷的图像样本集和标签输入到整个检测网络中训练，得到检测网络的权重和缺陷位置和类别信息；
步骤S5：获取待检测的航天复合材料缺陷图像，输入至步骤S4得到的检测网络，计算得到待检测图像中的缺陷位置和缺陷类别信息。
2.根据权利要求1所述的一种航天复合材料缺陷定位与识别方法，其特征在于：所述步骤S1中的轻量卷积神经网络模块包括SqueezeNext block，在SqueezeNext block的基础上融入IBN Net结构，形成SqueezeNext IBN-a block和SqueezeNext IBN-b block模块。
3.根据权利要求1所述的一种航天复合材料缺陷定位与识别方法，其特征在于：所述步骤S1中的特征提取网络采用4层特征金字塔结构，最底层的特征图分辨率为输入图像的1/8，倒数第二层的特征图分辨率为输入图像的1/16，倒数第三层的特征图分辨率为输入图像的1/32，最顶层的特征图分辨率为输入图像的1/64，每一层的特征图由骨干网络和上一层特征图合成。
4.根据权利要求1所述的一种航天复合材料缺陷定位和识别方法，其特征在于：所述步骤S3中的缺陷图像包括航天复合材料的高密度夹杂缺陷图片、裂纹缺陷图片和气泡缺陷图片。
5.根据权利要求1所述的一种航天复合材料缺陷定位和识别方法，其特征在于：所述步骤S4包括以下子步骤：
步骤S4.1：将图像样本集通过检测网络中的骨干网络和特征提取网络进行处理得到多尺度特征图；
步骤S4.2：将多尺度特征图输入到RPN网络模块进行处理得到各种不同尺度特征图中的感兴趣区域；
步骤S4.3：将所有感兴趣区域输入到Faster R-CNN网络的ROIPooling模块进行处理得到固定尺寸的感兴趣区域；
步骤S4.4：将固定尺寸的感兴趣区域输入到分类网络分支中进行处理得到缺陷的类别预测结果；将固定尺寸的感兴趣区域输入到位置回归分支中进行处理得到缺陷的位置预测结果。
6.一种航天复合材料缺陷定位与识别系统，其特征在于，包括以下模块：
模块M1：构建用于定位和识别航天复合材料缺陷的检测网络，所述检测网络的基础网络为Faster R-CNN，检测网络的骨干网络为轻量卷积神经网络，检测网络的特征提取网络为特征金字塔网络；所述检测网络还包括PRN网络模块、分类网络分支以及位置回归分支；所述RPN网络模块获取多种尺度的特征图中的感兴趣区域；
模块M2：将检测网络在ImageNet数据集上预训练，获取骨干网络和特征提取网络的预训练权重值；
模块M3：通过X射线成像无损检测方法获取航天复合材料缺陷图像样本，如果是单通道图像，则复制这个通道的像素值形成三通道图像，并使用LabelImg软件标注图像样本的标签；
模块M4：将含有航天复合材料缺陷的图像样本集和标签输入到整个检测网络中训练，得到检测网络的权重和缺陷位置和类别信息；
模块M5：获取待检测的航天复合材料缺陷图像，输入至模块M4得到的检测网络，计算得到待检测图像中的缺陷位置和缺陷类别信息。
7.根据权利要求6所述的一种航天复合材料缺陷定位与识别系统，其特征在于：所述模块M1中的轻量卷积神经网络模块包括SqueezeNext block，在SqueezeNext block的基础上融入IBN Net结构，形成SqueezeNext IBN-a block和SqueezeNext IBN-b block模块。
8.根据权利要求6所述的一种航天复合材料缺陷定位与识别系统，其特征在于：所述模块M1中的特征提取网络采用4层特征金字塔结构，最底层的特征图分辨率为输入图像的1/8，倒数第二层的特征图分辨率为输入图像的1/16，倒数第三层的特征图分辨率为输入图像的1/32，最顶层的特征图分辨率为输入图像的1/64，每一层的特征图由骨干网络和上一层特征图合成。
9.根据权利要求6所述的一种航天复合材料缺陷定位和识别系统，其特征在于：所述模块M3中的缺陷图像包括航天复合材料的高密度夹杂缺陷图片、裂纹缺陷图片和气泡缺陷图片。
10.根据权利要求6所述的一种航天复合材料缺陷定位和识别系统，其特征在于：所述模块M4包括以下子步骤：
模块M4.1：将图像样本集通过检测网络中的骨干网络和特征提取网络进行处理得到多尺度特征图；
模块M4.2：将多尺度特征图输入到RPN网络模块进行处理得到各种不同尺度特征图中的感兴趣区域；
模块M4.3：将所有感兴趣区域输入到Faster R-CNN网络的ROIPooling模块进行处理得到固定尺寸的感兴趣区域；
模块M4.4：将固定尺寸的感兴趣区域输入到分类网络分支中进行处理得到缺陷的类别预测结果；将固定尺寸的感兴趣区域输入到位置回归分支中进行处理得到缺陷的位置预测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110887116.1A CN113724204A (zh) | 2021-08-03 | 2021-08-03 | 一种航天复合材料缺陷定位与识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110887116.1A CN113724204A (zh) | 2021-08-03 | 2021-08-03 | 一种航天复合材料缺陷定位与识别方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113724204A true CN113724204A (zh) | 2021-11-30 |
Family
ID=78674822
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110887116.1A Pending CN113724204A (zh) | 2021-08-03 | 2021-08-03 | 一种航天复合材料缺陷定位与识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113724204A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115494092A (zh) * | 2022-10-08 | 2022-12-20 | 山东大学 | 基于快速卷积神经网络的碳纤维气瓶无损检测方法及系统 |
| CN115526867A (zh) * | 2022-09-30 | 2022-12-27 | 山东大学 | 碳纤维复合材料气瓶x射线图像裂纹缺陷提取方法和装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109766884A (zh) * | 2018-12-26 | 2019-05-17 | 哈尔滨工程大学 | 一种基于Faster-RCNN的机场跑道异物检测方法 |
| CN111583198A (zh) * | 2020-04-23 | 2020-08-25 | 浙江大学 | 结合FasterR-CNN+ResNet101+FPN的绝缘子图片缺陷检测方法 |
| CN111598861A (zh) * | 2020-05-13 | 2020-08-28 | 河北工业大学 | 基于改进的Faster R-CNN模型的非均匀纹理小缺陷的检测方法 |
| CN112150407A (zh) * | 2019-10-30 | 2020-12-29 | 重庆大学 | 针对小样本的航天复合材料夹杂缺陷的深度学习检测方法及系统 |
| CN112700442A (zh) * | 2021-02-01 | 2021-04-23 | 浙江驿公里智能科技有限公司 | 基于Faster R-CNN的模切机工件缺陷检测方法和系统 |
| CN113160139A (zh) * | 2021-03-24 | 2021-07-23 | 华南理工大学 | 基于注意力的Faster R-CNN网络的钢板表面缺陷检测方法 |
-
2021
- 2021-08-03 CN CN202110887116.1A patent/CN113724204A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109766884A (zh) * | 2018-12-26 | 2019-05-17 | 哈尔滨工程大学 | 一种基于Faster-RCNN的机场跑道异物检测方法 |
| CN112150407A (zh) * | 2019-10-30 | 2020-12-29 | 重庆大学 | 针对小样本的航天复合材料夹杂缺陷的深度学习检测方法及系统 |
| CN111583198A (zh) * | 2020-04-23 | 2020-08-25 | 浙江大学 | 结合FasterR-CNN+ResNet101+FPN的绝缘子图片缺陷检测方法 |
| CN111598861A (zh) * | 2020-05-13 | 2020-08-28 | 河北工业大学 | 基于改进的Faster R-CNN模型的非均匀纹理小缺陷的检测方法 |
| CN112700442A (zh) * | 2021-02-01 | 2021-04-23 | 浙江驿公里智能科技有限公司 | 基于Faster R-CNN的模切机工件缺陷检测方法和系统 |
| CN113160139A (zh) * | 2021-03-24 | 2021-07-23 | 华南理工大学 | 基于注意力的Faster R-CNN网络的钢板表面缺陷检测方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115526867A (zh) * | 2022-09-30 | 2022-12-27 | 山东大学 | 碳纤维复合材料气瓶x射线图像裂纹缺陷提取方法和装置 |
| CN115526867B (zh) * | 2022-09-30 | 2023-09-05 | 山东大学 | 碳纤维复合材料气瓶x射线图像裂纹缺陷提取方法和装置 |
| CN115494092A (zh) * | 2022-10-08 | 2022-12-20 | 山东大学 | 基于快速卷积神经网络的碳纤维气瓶无损检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102613438B1 (ko) | 반도체 표본의 딥 러닝 - 기반 검사의 방법 및 그 시스템 | |
| Yang et al. | Pipeline magnetic flux leakage image detection algorithm based on multiscale SSD network | |
| Wen et al. | A novel method based on deep convolutional neural networks for wafer semiconductor surface defect inspection | |
| CN113763312B (zh) | 使用弱标记检测半导体试样中的缺陷 | |
| CN112465880B (zh) | 基于多源异构数据认知融合的目标检测方法 | |
| CN111932511B (zh) | 一种基于深度学习的电子元器件质量检测方法与系统 | |
| CN109117836A (zh) | 一种基于焦点损失函数的自然场景下文字检测定位方法和装置 | |
| CN108830332A (zh) | 一种视觉车辆检测方法及系统 | |
| CN112102229A (zh) | 一种基于深度学习的工业ct检测缺陷的智能识别方法 | |
| WO2016064547A1 (en) | Iterative defect filtering process | |
| CN113643268B (zh) | 基于深度学习的工业制品缺陷质检方法、装置及存储介质 | |
| CN113724204A (zh) | 一种航天复合材料缺陷定位与识别方法及系统 | |
| CN115496746A (zh) | 基于图像和点云数据融合的板材表面缺陷检测方法和系统 | |
| KR20220012217A (ko) | 반도체 시편에서의 결함들의 기계 학습 기반 분류 | |
| CN112150407B (zh) | 针对小样本的航天复合材料夹杂缺陷的深度学习检测方法及系统 | |
| CN110648310A (zh) | 基于注意力机制的弱监督铸件缺陷识别方法 | |
| CN111798417A (zh) | 一种基于ssd遥感图像目标检测的方法及装置 | |
| CN109584206B (zh) | 零件表面瑕疵检测中神经网络的训练样本的合成方法 | |
| Wang et al. | The aircraft skin crack inspection based on different-source sensors and support vector machines | |
| Ni et al. | Toward high-precision crack detection in concrete bridges using deep learning | |
| Ghamisi et al. | Anomaly detection in automated fibre placement: Learning with data limitations | |
| Gao et al. | Convolution neural network fusion high power halogen lamp induced thermal-wave diffusion multidimensional features: An intelligent defect identification approach for aviation honeycomb sandwich composites | |
| CN113962980A (zh) | 基于改进yolov5x的玻璃容器瑕疵检测方法及系统 | |
| Li et al. | CSF-Net: Color spectrum fusion network for semantic labeling of airborne laser scanning point cloud | |
| Kim et al. | Multivariate analysis of concrete image using thermography and edge detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |