CN112465759A - 一种基于卷积神经网络的航空发动机叶片缺陷检测方法 - Google Patents
一种基于卷积神经网络的航空发动机叶片缺陷检测方法 Download PDFInfo
- Publication number
- CN112465759A CN112465759A CN202011303408.8A CN202011303408A CN112465759A CN 112465759 A CN112465759 A CN 112465759A CN 202011303408 A CN202011303408 A CN 202011303408A CN 112465759 A CN112465759 A CN 112465759A
- Authority
- CN
- China
- Prior art keywords
- defect
- output
- model
- detection
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 126
- 238000001514 detection method Methods 0.000 title claims abstract description 79
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 10
- 238000000034 method Methods 0.000 claims abstract description 43
- 238000005070 sampling Methods 0.000 claims abstract description 15
- 238000010586 diagram Methods 0.000 claims description 39
- 238000011176 pooling Methods 0.000 claims description 18
- 239000013598 vector Substances 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 230000005764 inhibitory process Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 229910000831 Steel Inorganic materials 0.000 claims 1
- 239000010959 steel Substances 0.000 claims 1
- 230000007246 mechanism Effects 0.000 abstract description 14
- 230000008447 perception Effects 0.000 abstract description 10
- 230000000694 effects Effects 0.000 abstract description 6
- 230000004927 fusion Effects 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 10
- 238000003062 neural network model Methods 0.000 description 9
- 238000000605 extraction Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 206010033307 Overweight Diseases 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007373 indentation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于卷积神经网络的航空发动机叶片缺陷检测方法，将Yolov3模型上采样结构中的双线性插值方法改为双三次插值方法，增强底层特征与深层特征的融合效果，提高检测模型的细节感知能力；同时在Yolov3模型的主干网络中加入注意力机制，增强感兴趣区域的特征表现能力，降低背景噪声等无用信息对于检测结果的影响，提高检测模型的区域聚焦能力。通过上述两种方法，得到改进后的Yolov3模型，使用改进后的Yolov3模型能够对航空发动机叶片缺陷进行检测，有效提升了图像中缺陷区域检测框的召回率，提高了缺陷区域的检测精度。
Description
技术领域
本发明属于机器视觉技术领域，具体涉及一种缺陷检测方法。
背景技术
飞机发动机叶片表面缺陷检测是航空质检与维护中的一项重要工作，常见缺陷有缺陷、压坑、弯曲和腐蚀等，及时有效地发现损伤信息可有效避免因机械器件损坏而导致的灾祸。目前，缺陷检查主要依靠于地勤人员的人眼观察，这是一项冗长且劳动密集型的工作，工作质量易受到主观因素的影响。因此，为了提高检测效率、降低检测成本，需要一种自动化缺陷检测的方法。传统缺陷检测方法大致可分为基于边缘检测的方法和基于形态学的方法。在理想的情况下，如果缺陷具有较高的对比度且图像背景噪声较小，传统方法可以对其进行高精度的检测。然而，这些方法在实际应用中会受到实际叶片表面刮痕和微小气孔等噪声的影响，使用阈值分割法可以将与缺陷像素与全局背景分离，但是这类方法容易受到干扰，且对实际检测场地的光照变化十分敏感。综上所述，传统缺陷检测算法易受到影响且提升空间有限，需要结合神经网络算法研发用于航空发动机叶片缺陷的检测方法。
发明内容
为了克服现有技术的不足，本发明提供了一种基于卷积神经网络的航空发动机叶片缺陷检测方法，将Yolov3模型上采样结构中的双线性插值方法改为双三次插值方法，增强底层特征与深层特征的融合效果，提高检测模型的细节感知能力；同时在Yolov3模型的主干网络中加入注意力机制，增强感兴趣区域的特征表现能力，降低背景噪声等无用信息对于检测结果的影响，提高检测模型的区域聚焦能力。通过上述两种方法，得到改进后的Yolov3模型，使用改进后的Yolov3模型能够对航空发动机叶片缺陷进行检测，有效提升了图像中缺陷区域检测框的召回率，提高了缺陷区域的检测精度。
本发明解决其技术问题所采用的技术方案包括以下步骤：
步骤1：获取待检测的航空发动机叶片缺陷图像，构成缺陷图像集；
步骤2：对缺陷图像集中的每幅缺陷图像赋予一个标签，标签表示不同类型的缺陷；获取缺陷图像中每个缺陷的最小外接矩形的长宽值以及位置坐标；
步骤3：对缺陷图像集中的缺陷图像进行数据增强工作，得到缺陷标签图像集；
步骤4：构建改进Yolov3模型；
步骤4-1：对Yolov3模型中第97层的特征图进行上采样，再与第36层的特征图进行拼接，拼接完成之后再通过卷积模块进行输出，记为第一输出；在上采样时将双线性插值方法更改为双三次插值方法；
对Yolov3模型中第85层的特征图进行上采样，再与第61层的特征图进行拼接，拼接完成之后再通过卷积模块进行输出，记为第二输出；在上采样时将双线性插值方法更改为双三次插值方法；
将Yolov3模型主干网络的输出记为第三输出；
步骤4-2：分别在第一输出、第二输出和第三输出后设置相同的注意力模块，经过注意力模块处理后分别得到新第一输出、新第二输出和新第三输出；
采用非极大值抑制方法分别计算新第一输出、新第二输出和新第三输出的概率，选取概率值最大的输出作为改进Yolov3模型最终输出；
步骤5：将步骤1得到的缺陷图像集作为改进Yolov3模型的输入，将步骤3得到的缺陷标签图像集作为标签，对改进Yolov3模型进行训练，得到训练完成的改进Yolov3模型；
步骤6：将航空发动机叶片缺陷图像输入训练完成的改进Yolov3模型得到航空发动机叶片缺陷检测结果。
进一步地，所述注意力模块包括通道注意力模块和空间注意力模块两个并行模块；
所述通道注意力模块中，特征图分别经过最大池化层和平均池化层两个通道，再分别经过具有两层全连接层的隐藏层，最后将两个通道的激活值相加，经过Sigmoid函数后的得到一维的通道注意力特征图；
所述空间注意力模块中，特征图分别经过最大池化层和平均池化层两个通道，再经过全连接层，两个通道的向量进行维度联合，得到高维向量图之后，连接卷积层进一步提取特征，最后通过Sigmoid函数得到最终的空间注意力特征图。
进一步地，所述航空发动机缺陷图像集中能加入道路缺陷图像和钢材缺陷图像，扩充样本空间，增强检测模型的普适性。
进一步地，所述数据增强工作包括旋转、平移和改变亮度。
由于采用了本发明的一种基于卷积神经网络的航空发动机叶片缺陷检测方法，带来了如下有益效果：
1、本发明方法设计的基于注意力模块的特征提取机制，充分利用通道注意力和空间注意力来指导缺陷特征信息的传递，加强对特征向量中高权重特征的提取，提高特征语义的表达能力，切实有效的提高检测模型对于缺陷区域的感知能力，有效提升了图像中缺陷区域检测框的召回率，提高了缺陷区域的检测精度；
2、本发明方法设计的基于双三次插值的图像上采样方法，能够更多的保留缺陷特征信息，减弱多尺度特征图拼接时的信息丢失结果，增强图像上下文信息的整合效果，增强特征的语义表达能力，提高了缺陷的分类精度；
3、本发明提出的改进Yolov3神经网络检测模型具有良好的泛化性和普适性，可广泛应用于航空发动机叶片缺陷图像的高精度自动化检测以及其它实际场景。
附图说明
图1为本发明的航空发动机叶片缺陷检测改进Yolov3神经网络结构示意图，图1(a)为检测器结构示意图，图1(b)为残差模块结构示意图，图1(c)为卷积模块示意图。
图2为本发明采用的双三次插值与双线性插值对比图，图2(a)为双线性插值示意图，图2(b)为双三次插值示意图。
图3为本发明的注意力模块示意图，图3(a)为通道注意力模块示意图，图3(b)为空间注意力模块示意图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
如图1所示，一种基于卷积神经网络的航空发动机叶片缺陷检测方法，包括以下步骤：
步骤1：获取待检测的航空发动机叶片缺陷图像，构成缺陷图像集；
步骤2：对缺陷图像集中的每幅缺陷图像赋予一个标签，标签表示不同类型的缺陷；获取缺陷图像中每个缺陷的最小外接矩形的长宽值以及位置坐标；
步骤3：对缺陷图像集中的缺陷图像进行数据增强工作，得到缺陷标签图像集；
步骤4：构建改进Yolov3模型；
步骤4-1：对Yolov3模型中第97层的特征图进行上采样，再与第36层的特征图进行拼接，拼接完成之后再通过卷积模块进行输出，记为第一输出；在上采样时将双线性插值方法更改为双三次插值方法；
对Yolov3模型中第85层的特征图进行上采样，再与第61层的特征图进行拼接，拼接完成之后再通过卷积模块进行输出，记为第二输出；在上采样时将双线性插值方法更改为双三次插值方法；
将Yolov3模型主干网络的输出记为第三输出；
步骤4-2：分别在第一输出、第二输出和第三输出后设置相同的注意力模块，经过注意力模块处理后分别得到新第一输出、新第二输出和新第三输出；
采用非极大值抑制方法分别计算新第一输出、新第二输出和新第三输出的概率，选取概率值最大的输出作为改进Yolov3模型最终输出；
步骤5：将步骤1得到的缺陷图像集作为改进Yolov3模型的输入，将步骤3得到的缺陷标签图像集作为标签，对改进Yolov3模型进行训练，得到训练完成的改进Yolov3模型；
步骤6：将航空发动机叶片缺陷图像输入训练完成的改进Yolov3模型得到航空发动机叶片缺陷检测结果。
进一步地，所述注意力模块包括通道注意力模块和空间注意力模块两个并行模块；
所述通道注意力模块中，特征图分别经过最大池化层和平均池化层两个通道，再分别经过具有两层全连接层的隐藏层，最后将两个通道的激活值相加，经过Sigmoid函数后的得到一维的通道注意力特征图；
所述空间注意力模块中，特征图分别经过最大池化层和平均池化层两个通道，再经过全连接层，两个通道的向量进行维度联合，得到高维向量图之后，连接卷积层进一步提取特征，最后通过Sigmoid函数得到最终的空间注意力特征图。
进一步地，所述航空发动机缺陷图像集中能加入道路缺陷图像和钢材缺陷图像，扩充样本空间，增强检测模型的普适性。
进一步地，所述数据增强工作包括旋转、平移和改变亮度。
具体实施例：
理论研究表明，卷积神经网络在自动提取特征的过程中更偏向于像素变化较大的区域，通常浅层的卷积核用来检测低阶特征，如边、角、曲线等，而深层卷积核可将浅层的低阶特征进行组合，如半圆、四边形等。然而网络的层层迭代运算使得模型学习到物体的轮廓信息而逐渐忽略了纹理细节。因此，检测模型对于纹理细节的感知能力对检测结果势必存在一定的影响。
此外，预先实验结果表明，检测模型的召回率通常较低，在可视化的检测结果即表现为无法有效确定缺陷区域，模型通常无法实现正常检测或是在一条缺陷上存在多个检测框，这是由于检测模型存在边框损失较高和梯度消失的现象。因此，检测模型对于缺陷区域的聚焦能力对检测结果也会存在一定的影响。
综上所述，围绕航空发动机叶片的缺陷检测问题，需要解决的主要问题为以下两点：(1)如何有效提高检测模型对缺陷细节纹理特征的提取能力；(2)如何有效的提高检测模型对与图像中缺陷区域的聚焦能力。采取的措施如下：(1)提出在Yolov3的上采样结构中使用双三次插值，增强底层特征与深层特征的融合效果，提高检测模型的细节感知能力；(2)提出在Yolov3的主干网络中加入注意力机制，增强感兴趣区域的特征表现能力，降低背景噪声等无用信息对于检测结果的影响，提高检测模型的区域聚焦能力。
在图3中，设计基于卷积的注意力模块。通常，人类的视觉注意力机制能够聚焦于图像中感兴趣的区域；而深度学习中的注意力机制则是去除冗杂的信息，选择对当前目标更重要的信息。注意力机制可以有效学习输入数据或特征图上不同部分的权重分布，减少背景信息带来的影响，提高模型的识别能力和鲁棒性。比如，残差注意力网络利用残差机制构造网络，在引入注意力机制的同时保证了网络的深度。卷积注意力模块同时利用特征图的通道信息及空间信息，设计了一种注意力模块，能使模型聚焦于更有用的信息上，进一步增强了模型对图像的分类能力。本发明参考卷积注意力模块的双通道注意力机制设计了注意力模块，包括图像通道注意力模块，特征图会分别经过最大池化层和平均池化层两个通路，再分别经过具有两层全连接层的隐藏层，该隐藏层共享特征，最后将两个通道的激活值相加，经过Sigmiod函数后的得到一维的通道注意力图；和图像空间注意力模块，同样特征图会分别经过最大池化层和平均池化层两个通路，再经过共享特征的全连接层，与通道注意力模型不同的是，两个通路的向量会在维度上进行联合，再得到更高维的向量图之后，连接卷积层进行进一步的特征提取，通过Sigmoid函数得到最终的空间注意力图。
通道注意力机制和空间注意力机制可以表示为：
Mc(F)＝σ(MLP(AvgPool(F))+MLP(MaxPool(F))) (3)
式中，F为特征图，σ为Sigmoid函数，
为点乘，Mc(F)为一维的通道注意力图，Ms(F)为二维空间注意力图，MLP是结构为全连接层的隐藏层，f7*7为卷积层及卷积核的尺寸，AvgPool为平均池化层，MaxPool为最大池化层。
Yolov3的骨干网络为darknet-53，针对前代模型的不足，Yolov3极大提高模型对于小目标的检测准确率，小目标的检测往往需要更精细的感受视野来更好的显示目标特征。对于神经网络模型而言，模型的深层部分可以提取出图像中的抽象语义信息，而模型的浅层部分可以以滤波器的方式提取出图像的纹理、边缘等特征信息，对模型深层特征和浅层特征进行结合，往往可以构成一个更加准确的探测系统。Yolov3中采用了特征融合的策略，使高层特征与底层特征进行拼接。具体而言：分别对第97层和第85层的特征图进行了上采样，并分别与第36层和第61层的特征图进行拼接，得到了感受视野较大的两条检测通路，再加上网络主干直接输出的感受视野较小的检测通路，三条检测通路共同来完成检测任务。以此来保证模型对于多尺度变化的感知能力。Yolov3的三条检测通路中共进行了两次上采样，均使用了双线性插值方法，该方法是对具有两个变量插值函数的线形插值扩展，其核心思想是在两个方向分别进行一次线性插值：
式中，m1＝(x，y1)，m2＝(x，y2)。已知a，b，c，d四点的像素值，首先在x轴方向上进行线性插值，得到m1和m2的插值结果，然后在y轴方向进行线性插值，得到p点的插值结果。
一般在图像运算时，该方法仅考虑了插值点周围四个直接相邻点的像素值影响，而未考虑到邻域间像素值的影响，因此该方法具有低通滤波器的性质，在上采样时导致放大后的图像高频分量受到损失，图像的边缘特征在一定程度上变得较为模糊，这会降低缺陷检测的准确率。因此，本发明在上采样过程中采取双三次插值的方法，该方法不仅考虑到了四个相邻点的像素值，还考虑到了邻域像素值变化的影响，可以取得较好的插值效果。
其中，a＝-0.5，p(x,y)为所求的插值结果。双三次插值方法使用源像素点最近的16个像素点作为参数，通过加权叠加，求得插值后的像素值。双三次插值方法会获得更有意义的语义信息，并从浅层的特性图中获得更细粒度的信息。双三次插值和双线性插值对比如图2所示。
如图1是航空发动机叶片缺陷检测的结构图。首选获取待检测水下建筑物图像数据并将图像数据统一尺度为416*416；然后将获取到的图像数据作为预先训练的Yolov3缺陷检测神经网络模型的输入，Yolov3缺陷检测神经网络模型对图像数据的感兴趣区域进行缺陷区域与非缺陷区域的分类，输出缺陷区域区别于非缺陷区域的缺陷检测结果图像。前述中的预先训练的缺陷检测神经网络模型的训练样本为已分别标注缺陷区域与非缺陷区域的航空发动机叶片缺陷图像，该缺陷检测神经网络模型包括卷积层模块、多尺度特征融合模块、图像特征图上采样模块、注意力机制模块以及损失函数计算模块，卷积层模块对神经网络的输入图像进行缺陷特征图提取，多尺度特征融合模块基于缺陷特征图进行多尺度特征提取，图像特征图上采样模块基于已提取的多尺度特征进行上采样，并将浅层特征图和深层特征图在同一尺度下进行拼接，生成多个缺陷检测结果，注意力机制模块自适应的提高特征向量中一定量的特征值前向计算的比重，该类特征值属于对于缺陷特征分类和检测结果贡献较大的特征值，损失函数计算模块基于训练样本的标注和多个缺陷检测结果确定缺陷检测神经网络模型的参数，使得缺陷检测神经网络模型能够针对待检测航空发动机叶片缺陷图像数据，输出相应的缺陷检测结果图像。利用多尺度特征可使得缺陷检测神经网络模型能够针对航空发动机叶片缺陷的多尺度特征进行缺陷识别，利用堆叠式全卷积网络能够实现对于不同检测图像环境的缺陷图像的训练和识别，利用注意力机制特征提取模块，充分结合通道注意力和空间注意力来指导缺陷特征信息的传递，加强对特征向量中高权重特征的提取，提高特征语义的表达能力，切实有效的提高检测模型对于缺陷区域的感知能力，有效提升了图像中缺陷区域检测框的召回率，提高了缺陷区域的检测精度；利用基于双三次插值的图像上采样方法，能够更多的保留缺陷特征信息，减弱多尺度特征图拼接时的信息丢失结果，增强图像上下文信息的整合效果，增强特征的语义表达能力，提高了缺陷的分类精度；从而使得缺陷检测神经网络模型能够更准确的识别缺陷并输出误差较小的缺陷图像。
Claims (4)
1.一种基于卷积神经网络的航空发动机叶片缺陷检测方法，其特征在于，包括以下步骤：
步骤1：获取待检测的航空发动机叶片缺陷图像，构成缺陷图像集；
步骤2：对缺陷图像集中的每幅缺陷图像赋予一个标签，标签表示不同类型的缺陷；获取缺陷图像中每个缺陷的最小外接矩形的长宽值以及位置坐标；
步骤3：对缺陷图像集中的缺陷图像进行数据增强工作，得到缺陷标签图像集；
步骤4：构建改进Yolov3模型；
步骤4-1：对Yolov3模型中第97层的特征图进行上采样，再与第36层的特征图进行拼接，拼接完成之后再通过卷积模块进行输出，记为第一输出；在上采样时将双线性插值方法更改为双三次插值方法；
对Yolov3模型中第85层的特征图进行上采样，再与第61层的特征图进行拼接，拼接完成之后再通过卷积模块进行输出，记为第二输出；在上采样时将双线性插值方法更改为双三次插值方法；
将Yolov3模型主干网络的输出记为第三输出；
步骤4-2：分别在第一输出、第二输出和第三输出后设置相同的注意力模块，经过注意力模块处理后分别得到新第一输出、新第二输出和新第三输出；
采用非极大值抑制方法分别计算新第一输出、新第二输出和新第三输出的概率，选取概率值最大的输出作为改进Yolov3模型最终输出；
步骤5：将步骤1得到的缺陷图像集作为改进Yolov3模型的输入，将步骤3得到的缺陷标签图像集作为标签，对改进Yolov3模型进行训练，得到训练完成的改进Yolov3模型；
步骤6：将航空发动机叶片缺陷图像输入训练完成的改进Yolov3模型得到航空发动机叶片缺陷检测结果。
2.根据权利要求1所述的一种基于卷积神经网络的航空发动机叶片缺陷检测方法，其特征在于，所述注意力模块包括通道注意力模块和空间注意力模块两个并行模块；
所述通道注意力模块中，特征图分别经过最大池化层和平均池化层两个通道，再分别经过具有两层全连接层的隐藏层，最后将两个通道的激活值相加，经过Sigmoid函数后的得到一维的通道注意力特征图；
所述空间注意力模块中，特征图分别经过最大池化层和平均池化层两个通道，再经过全连接层，两个通道的向量进行维度联合，得到高维向量图之后，连接卷积层进一步提取特征，最后通过Sigmoid函数得到最终的空间注意力特征图。
3.根据权利要求1所述的一种基于卷积神经网络的航空发动机叶片缺陷检测方法，其特征在于，所述航空发动机缺陷图像集中能加入道路缺陷图像和钢材缺陷图像，扩充样本空间，增强检测模型的普适性。
4.根据权利要求1所述的一种基于卷积神经网络的航空发动机叶片缺陷检测方法，其特征在于，所述数据增强工作包括旋转、平移和改变亮度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011303408.8A CN112465759A (zh) | 2020-11-19 | 2020-11-19 | 一种基于卷积神经网络的航空发动机叶片缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011303408.8A CN112465759A (zh) | 2020-11-19 | 2020-11-19 | 一种基于卷积神经网络的航空发动机叶片缺陷检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112465759A true CN112465759A (zh) | 2021-03-09 |
Family
ID=74836838
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011303408.8A Pending CN112465759A (zh) | 2020-11-19 | 2020-11-19 | 一种基于卷积神经网络的航空发动机叶片缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112465759A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112991187A (zh) * | 2021-04-28 | 2021-06-18 | 四川大学 | 基于多空间相似度的卷积双胞胎点网络叶片轮廓拼接系统 |
| CN113111828A (zh) * | 2021-04-23 | 2021-07-13 | 中国科学院宁波材料技术与工程研究所 | 一种轴承三维缺陷检测方法及系统 |
| CN113628179A (zh) * | 2021-07-30 | 2021-11-09 | 厦门大学 | 一种pcb表面缺陷实时检测方法、装置及可读介质 |
| CN115238833A (zh) * | 2022-09-22 | 2022-10-25 | 中国民航大学 | 一种空气涡轮起动机轴承性能退化特征提取方法 |
| WO2022222120A1 (zh) * | 2021-04-23 | 2022-10-27 | 中国科学院宁波材料技术与工程研究所 | 一种轴承三维缺陷检测方法及系统 |
| CN115272322A (zh) * | 2022-09-28 | 2022-11-01 | 南通先端精密机械有限公司 | 一种基于数据处理的合金缺陷定量检测方法 |
| CN115561243A (zh) * | 2022-09-30 | 2023-01-03 | 东莞市言科新能源有限公司 | 锂电池制备中极片质量监测系统及其方法 |
| CN117073848A (zh) * | 2023-10-13 | 2023-11-17 | 中国移动紫金(江苏)创新研究院有限公司 | 测温方法、装置、设备及存储介质 |
| CN117809294A (zh) * | 2023-12-29 | 2024-04-02 | 天津大学 | 一种基于特征校正和差异指导注意力的文本检测方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111091559A (zh) * | 2019-12-17 | 2020-05-01 | 山东大学齐鲁医院 | 基于深度学习的小肠镜下淋巴瘤辅助诊断系统 |
| CN111292305A (zh) * | 2020-01-22 | 2020-06-16 | 重庆大学 | 一种改进型yolo-v3的金属加工表面缺陷检测方法 |
| CN111402211A (zh) * | 2020-03-04 | 2020-07-10 | 广西大学 | 一种基于深度学习的高速列车车底异物识别方法 |
| CN111476756A (zh) * | 2020-03-09 | 2020-07-31 | 重庆大学 | 一种基于改进YOLOv3网络模型识别铸件DR图像疏松缺陷的方法 |
| CN111582334A (zh) * | 2020-04-23 | 2020-08-25 | 浙江大学 | 结合YOLOv3和SENet的高速铁路接触网图像识别方法 |
| CN111598861A (zh) * | 2020-05-13 | 2020-08-28 | 河北工业大学 | 基于改进的Faster R-CNN模型的非均匀纹理小缺陷的检测方法 |
| CN111612751A (zh) * | 2020-05-13 | 2020-09-01 | 河北工业大学 | 基于嵌入分组注意力模块的Tiny-yolov3网络的锂电池缺陷检测方法 |
| CN111767882A (zh) * | 2020-07-06 | 2020-10-13 | 江南大学 | 一种基于改进yolo模型的多模态行人检测方法 |
-
2020
- 2020-11-19 CN CN202011303408.8A patent/CN112465759A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111091559A (zh) * | 2019-12-17 | 2020-05-01 | 山东大学齐鲁医院 | 基于深度学习的小肠镜下淋巴瘤辅助诊断系统 |
| CN111292305A (zh) * | 2020-01-22 | 2020-06-16 | 重庆大学 | 一种改进型yolo-v3的金属加工表面缺陷检测方法 |
| CN111402211A (zh) * | 2020-03-04 | 2020-07-10 | 广西大学 | 一种基于深度学习的高速列车车底异物识别方法 |
| CN111476756A (zh) * | 2020-03-09 | 2020-07-31 | 重庆大学 | 一种基于改进YOLOv3网络模型识别铸件DR图像疏松缺陷的方法 |
| CN111582334A (zh) * | 2020-04-23 | 2020-08-25 | 浙江大学 | 结合YOLOv3和SENet的高速铁路接触网图像识别方法 |
| CN111598861A (zh) * | 2020-05-13 | 2020-08-28 | 河北工业大学 | 基于改进的Faster R-CNN模型的非均匀纹理小缺陷的检测方法 |
| CN111612751A (zh) * | 2020-05-13 | 2020-09-01 | 河北工业大学 | 基于嵌入分组注意力模块的Tiny-yolov3网络的锂电池缺陷检测方法 |
| CN111767882A (zh) * | 2020-07-06 | 2020-10-13 | 江南大学 | 一种基于改进yolo模型的多模态行人检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 李昕 等: "基于改进YOLOV3算法的遥感图像油罐检测", 《中国科技论文》 * |
| 邢卫东: "《电视制播技术的演进》", 中国广播影视出版社 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113111828A (zh) * | 2021-04-23 | 2021-07-13 | 中国科学院宁波材料技术与工程研究所 | 一种轴承三维缺陷检测方法及系统 |
| WO2022222120A1 (zh) * | 2021-04-23 | 2022-10-27 | 中国科学院宁波材料技术与工程研究所 | 一种轴承三维缺陷检测方法及系统 |
| CN112991187A (zh) * | 2021-04-28 | 2021-06-18 | 四川大学 | 基于多空间相似度的卷积双胞胎点网络叶片轮廓拼接系统 |
| CN113628179A (zh) * | 2021-07-30 | 2021-11-09 | 厦门大学 | 一种pcb表面缺陷实时检测方法、装置及可读介质 |
| CN113628179B (zh) * | 2021-07-30 | 2023-11-24 | 厦门大学 | 一种pcb表面缺陷实时检测方法、装置及可读介质 |
| CN115238833A (zh) * | 2022-09-22 | 2022-10-25 | 中国民航大学 | 一种空气涡轮起动机轴承性能退化特征提取方法 |
| CN115238833B (zh) * | 2022-09-22 | 2022-11-25 | 中国民航大学 | 一种空气涡轮起动机轴承性能退化特征提取方法 |
| CN115272322A (zh) * | 2022-09-28 | 2022-11-01 | 南通先端精密机械有限公司 | 一种基于数据处理的合金缺陷定量检测方法 |
| CN115561243A (zh) * | 2022-09-30 | 2023-01-03 | 东莞市言科新能源有限公司 | 锂电池制备中极片质量监测系统及其方法 |
| CN117073848A (zh) * | 2023-10-13 | 2023-11-17 | 中国移动紫金(江苏)创新研究院有限公司 | 测温方法、装置、设备及存储介质 |
| CN117809294A (zh) * | 2023-12-29 | 2024-04-02 | 天津大学 | 一种基于特征校正和差异指导注意力的文本检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112465759A (zh) | 一种基于卷积神经网络的航空发动机叶片缺陷检测方法 | |
| CN109584248B (zh) | 基于特征融合和稠密连接网络的红外面目标实例分割方法 | |
| CN108647585B (zh) | 一种基于多尺度循环注意力网络的交通标识符检测方法 | |
| CN108230329B (zh) | 基于多尺度卷积神经网络的语义分割方法 | |
| CN113807355B (zh) | 一种基于编解码结构的图像语义分割方法 | |
| CN109034184B (zh) | 一种基于深度学习的均压环检测识别方法 | |
| CN115294038A (zh) | 一种基于联合优化与混合注意力特征融合的缺陷检测方法 | |
| CN115546768B (zh) | 基于多尺度机制和注意力机制的路面标线识别方法及系统 | |
| CN114266794B (zh) | 基于全卷积神经网络的病理切片图像癌症区域分割系统 | |
| CN115131797B (zh) | 一种基于特征增强金字塔网络的场景文本检测方法 | |
| CN111368658B (zh) | 一种自主航行中智能船舶外部目标的自动检测方法及系统 | |
| CN115496746A (zh) | 基于图像和点云数据融合的板材表面缺陷检测方法和系统 | |
| CN111008664B (zh) | 一种基于空谱联合特征的高光谱海冰检测方法 | |
| CN110853049A (zh) | 一种腹部超声图像分割方法 | |
| CN114782298B (zh) | 一种具有区域注意力的红外与可见光图像融合方法 | |
| CN112258537B (zh) | 一种基于卷积神经网络的监督暗视觉图像边缘检测方法 | |
| CN114742799A (zh) | 基于自监督异构网络的工业场景未知类型缺陷分割方法 | |
| CN116012291A (zh) | 工业零件图像缺陷检测方法及系统、电子设备和存储介质 | |
| CN116486393A (zh) | 一种基于图像分割的场景文本检测方法 | |
| CN117409244A (zh) | 一种SCKConv多尺度特征融合增强的低照度小目标检测方法 | |
| CN113313678A (zh) | 一种基于多尺度特征融合的精子形态学自动分析方法 | |
| CN116740572A (zh) | 一种基于改进yolox的海上船舰目标检测方法和系统 | |
| CN116596866A (zh) | 一种基于高分辨率图像的缺陷检测方法、存储介质 | |
| CN116188361A (zh) | 一种基于深度学习的铝型材表面缺陷分类方法及装置 | |
| CN113763261B (zh) | 一种海雾气象条件下的远小目标实时检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210309 |
|
| WD01 | Invention patent application deemed withdrawn after publication |