CN111178392B - 基于深度神经网络的航空发动机孔探图像损伤分割方法 - Google Patents

基于深度神经网络的航空发动机孔探图像损伤分割方法 Download PDF

Info

Publication number
CN111178392B
CN111178392B CN201911259697.3A CN201911259697A CN111178392B CN 111178392 B CN111178392 B CN 111178392B CN 201911259697 A CN201911259697 A CN 201911259697A CN 111178392 B CN111178392 B CN 111178392B
Authority
CN
China
Prior art keywords
image
features
damaged
network
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911259697.3A
Other languages
English (en)
Other versions
CN111178392A (zh
Inventor
邢艳
黄睿
李晨炫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Civil Aviation University of China
Original Assignee
Civil Aviation University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Civil Aviation University of China filed Critical Civil Aviation University of China
Priority to CN201911259697.3A priority Critical patent/CN111178392B/zh
Publication of CN111178392A publication Critical patent/CN111178392A/zh
Application granted granted Critical
Publication of CN111178392B publication Critical patent/CN111178392B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度神经网络的航空发动机孔探图像损伤分割方法，包括：将P4特征经过一个卷积层后上采样2倍，然后与P3层特征相加得到低层次特征；使用RoI Align模块从低层次特征中提取兴趣区域，对兴趣区域采用1×1卷积核减少通道；与原有Mask分支中经过反卷积之后的高层特征进行拼接融合concact，再采用2个卷积层处理融合后的特征得到最终用于预测的特征；依次标记图像中的多类损伤区域，并存储损伤图像和损伤区域的量化信息，同时将图像数据与标记区域以合适比例划分为训练和测试数据集；扩展训练数据，经网络计算后产生损伤区域的检测框bbox和损伤的像素级分割mask，流程结束。

Description

基于深度神经网络的航空发动机孔探图像损伤分割方法
技术领域
本发明涉及图像分割领域，尤其涉及一种基于深度神经网络的航空发动机孔探图像损伤分割方法。
背景技术
为了确保航空器运行的高安全性，孔探检查作为一种主要的无损检查方式，已广泛应用于航空发动机的早期损伤检测中。然而，对孔探图像及视频采用的传统人工检查方式耗时长、易漏检。
随着卷积神经网络对图像特征的表示能力的发展，近几年出现了基于深度学习算法辅助的损伤检测方法，该类方法可以大幅提升人工损伤检测的实际效率。陈[1]等人在14张孔探图像上，设计了结合EBP算法(Error Back Propagation，误差反向传播算法)和遗传算法的自适应神经网络，验证了一种依据图像纹理特征进行损伤识别的方法。Svensen[2]等人在7098张孔探图像作为数据集的基础上使用VGG16(Visual Geometry Group Network-16，视觉几何群网络-16)作为特征提取网络对包含发动机中混合器、燃烧室、燃料喷管和高压涡轮叶片的图像进行了高精度的分类。Kim和Lee[3]等人提出了一个基于多种传统图像处理技术的损伤识别算法，在较小数据集上对输入的孔探图像使用SIFT(Scale InvariantFeature Transform，尺度不变特征变换)进行图像预处理后使用CNN(ConvolutionalNeural Networks，卷积神经网络)进行图像分类，在压气机叶片的边缘缺口这类损伤的检测任务上取得了良好的识别效果。Bian[4]等人提出一种在工业检查上实用的多尺度FCN(Fully Convolutional Networks，全卷积网络)，并在256张拆解后的发动机叶片图像上进行了训练和测试，有效检测出了图像中对应区域中的热障涂层丢失。Shen[5]等人提出了一种基于FCN(Fully Convolutional Networks，全卷积网络)的损伤识别算法，将上千张孔探图像作为训练数据集，在裂纹和烧蚀这两类损伤的检测任务上取得了良好的识别效果，并进一步将损伤在图像对应的区域上进行了分割。旷可嘉[6]等人提出了一个基于FasterRCNN(Faster Region Convolutional Neural Networks，快速区域卷积神经网络)和SSD(Single Shot MultiBox Detector，单阶段多框检测器)的损伤识别算法，在凹痕、缺口和烧蚀这三类损伤的检测任务中实现了对孔探视频的实时检测。
现有的基于深度学习的航空发动机损伤检测方法可以显著地提升人工损伤检测的实际效率，但是对损伤类别的囊括范围较小，对损伤的检测精度较低，并对损伤数据稀少的共性问题没有较好的解决办法，使得深度学习方法的特征表示能力不能完全发挥出来。
参考文献
[1]陈果,汤洋.基于孔探图像纹理特征的航空发动机损伤识别方法[J].仪器仪表学报,2008(08):1709-1713.
[2]Svensen M,Hardwick D S,Powrie H E G.Deep Neural Networks Analysisof Borescope Images[C]//PHM Society European Conference.2018,4(1).
[3]Kim Y H,Lee J R.Videoscope-based inspection of turbofan engineblades using convolutional neural networks and image processing[J].StructuralHealth Monitoring,2019:1475921719830328.
[4]Bian X,Lim S N,Zhou N.Multiscale fully convolutional network withapplication to industrial inspection[C]//2016IEEE winter conference onapplications of computer vision(WACV).IEEE,2016:1-8.
[5]Shen Z,Wan X,Ye F,et al.Deep Learning based Framework forAutomatic Damage Detection in Aircraft Engine Borescope Inspection[C]//2019International Conference on Computing,Networking and Communications(ICNC).IEEE,2019:1005-1010.
[6]旷可嘉.深度学习及其在航空发动机缺陷检测中的应用研究[D].华南理工大学,2017.
发明内容
本发明提供了一种基于深度神经网络的航空发动机孔探图像损伤分割方法，本发明采用合理的数据扩展策略缓解了训练数据稀少的问题，改进了经典实例分割网络模型MaskRCNN(Mask Region Convolutional Neural Networks，掩模表示的区域卷积神经网络)，抽取网络中的底层特征向后传递、并与网络的高层特征进行融合得到最终用于预测的特征，有效改善了预测边界粗糙的问题，详见下文描述：
一种基于深度神经网络的航空发动机孔探图像损伤分割方法，所述方法包括：
选择特征金字塔网络中的P3层、P4层特征作为向后传递的底层特征，将P4特征经过一个卷积层后上采样2倍，然后与P3层特征相加得到低层次特征；
使用RoI Align模块从低层次特征中提取兴趣区域，对兴趣区域采用1×1卷积核减少通道；
与原有Mask分支中经过反卷积之后的高层特征进行拼接融合concact，再采用2个卷积层处理融合后的特征得到最终用于预测的特征；
依次标记图像中的多类损伤区域，并存储损伤图像和损伤区域的量化信息，同时将图像数据与标记区域以合适比例划分为训练和测试数据集；
扩展训练数据，经网络计算后产生损伤区域的检测框bbox和损伤的像素级分割mask，流程结束。
其中，所述卷积层的尺寸为3×3，步长为1。
本发明提供的技术方案的有益效果是：
1、本发明改进了实例分割网络Mask RCNN，融合多层次的特征进行预测，在基准数据集上取得了优于Mask RCNN的良好性能；
2、本发明采用改进的实例分割网络进行航空发动机孔探图像检测分割，有效改善了预测边界粗糙的问题，一步完成常见损伤在孔探图像上的检测、分割和测量，为接下来确定损伤区域的实际尺寸的工作打下了基础；
3、本发明采用了合理的数据扩展策略，缓解了训练数据稀少的问题，并由此显著提升了损伤的检测和分割精度。
附图说明
图1为本发明提出的网络结构示意图；
数字代表特征空间分辨率和通道，2×表示缩放2倍，×2表示使用两个卷积层，×4代表使用连续的四个卷积层。除了标有1×1conv的卷积层，其它所有卷积核尺寸为3×3，反卷积核尺寸为2×2，步长为2，激活函数采用ReLU。
图2为本发明对某型涡扇发动机压气机部位孔探图像中的磨损(abrasion)和叶边卷曲(curl)进行的检测、分割和测量的示意图；
图3为本发明对某型涡扇发动机高压涡轮部位孔探图像中的热障涂层丢失(missing thermal barrier coating/missing TBC)、凹痕(dent)和材料丢失(missingmaterial，本例中为孔洞)进行的检测、分割和测量的示意图；
图4为本发明对某型涡扇发动机涡轮导向器部位孔探图像中的烧蚀(burn)和裂纹(crack)进行的检测、分割和测量的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
实施例1
一种基于深度神经网络的航空发动机孔探图像损伤分割方法，参见图1，该方法包括以下步骤：
一、网络基本架构
参见图1，本发明实施例中的网络基本架构与Mask RCNN网络结构相同，本发明改进了Mask-RCNN中原有的Mask分支。
其中，Mask RCNN网络结构主要包括：Backbone网络、区域候选网络RPN、RoI Align模块以及分别用于检测和分割的box分支和mask分支。该Mask RCNN网络结构为本领域技术人员所公知，本发明实施例对此不做赘述。
在现有的Mask RCNN的基本架构中并未使用Backbone网络中底层的特征，而本发明将底层特征和MaskR-CNN中Mask分支的高层RoI特征相融合得到用于预测mask的最终特征，从而形成了本发明实施例所提及的多级特征融合的实例分割网络。
其中，上述描述的Backbone网络、高层RoI特征、区域候选网络RPN、RoI Align模块、box分支和mask分支等技术术语均为本领域技术人员所公知，本发明实施例对此不做赘述。
1、底层特征的选择与处理
在Backbone网络中，特征金字塔网络对底层特征的选择可以有多种，在本实施例中选择P3、P4层作为向后传递的底层特征，在与mask分支的高层特征融合之前需经过处理以减少底层特征的冗余信息。
首先将P4层特征经过一个卷积层后上采样2倍，使之与P3层特征的尺寸相匹配，之后与P3层特征相加得到Low-Level features(低层次特征)。
其中，P3、P4层均为特征金字塔网络，本发明实施例对此不做赘述。
2、底层特征与高层特征的融合及后处理
使用RoI Align模块从Low-Level features中提取RoI features(兴趣区域)，对RoI features采用1×1卷积核减少通道以降低特征融合后底层特征所占比重。之后与原Mask分支中经过反卷积之后的高层特征进行拼接融合，再采用2个卷积层处理融合后的特征得到最终用于预测的特征。
二、数据集建立
由经验丰富的维修工程师依据《发动机诊断检测规程》，在开源标记工具Labelme的辅助下，依次标记图像中值得关注的多类损伤区域，并存储损伤图像和损伤区域的量化信息。其中Labelme以JSON格式存储特征的真值分割信息，已广泛应用于深度学习模型实践的数据集建立过程中。
在已标记数据的基础上，将图像数据与标记区域同时以合适比例划分为训练和测试数据集，分别用于训练和评估模型。
五、扩展训练数据
对损伤特征扩展后的图像要保证变化区域的存在性及合理性：由于孔探镜头成像条件不同，孔探管老化程度不同，孔探光源不同，视频信号采集和传输过程中存在噪声。因此在数据扩展时，采用水平垂直翻转、伽马对比度调节、透视变换、高斯模糊和高斯白噪声作为数据扩展策略，对训练图像和相应的损伤分割真值同时进行给定范围内随机程度的数据扩展，力求模拟出外部环境对原始数据所有可能的影响。
六、网络训练和测试
基于Pytorch深度学习网络框架，在第四步的基础上使用第五步中扩展的数据训练第一步至第三步所提出的网络，可在相应的数据集上得到一个训练好的网络模型。使用该网络模型，输入待检测图像X，经过网络计算后产生损伤区域的检测框bbox和损伤的像素级分割mask，流程结束。
综上所述，本发明实施例将Backbone网络特征提取的底层特征与经过RoI Align和反卷积得到的高层特征进行融合，以解决损伤实例分割中预测区域边界粗糙的问题，采用合理的扩展策略进行稀缺数据扩展，以解决损伤数据来源稀少的问题，满足了实际应用中的多种需要。
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于深度神经网络的航空发动机孔探图像损伤分割方法，其特征在于，所述方法包括：
选择特征金字塔网络中的P3层、P4层特征作为向后传递的底层特征，将P4特征经过一个卷积层后上采样2倍，然后与P3层特征相加得到低层次特征；
使用RoIAlign模块从低层次特征中提取兴趣区域，对兴趣区域采用1×1卷积核减少通道；
与原有Mask分支中经过反卷积之后的高层特征进行拼接融合，再采用2个卷积层处理融合后的特征得到最终用于预测的特征；
依次标记图像中的多类损伤区域，并存储损伤图像和损伤区域的量化信息，同时将图像数据与标记区域以合适比例划分为训练和测试数据集；
扩展训练数据时，采用水平垂直翻转、伽马对比度调节、透视变换、高斯模糊和高斯白噪声作为数据扩展策略，对训练图像和相应的损伤分割真值同时进行给定范围内随机程度的数据扩展，模拟出外部环境对原始数据所有可能的影响；
使用扩展的训练数据训练网络，在相应的数据集上得到一个训练好的网络模型，使用该网络模型，输入待检测图像，经过网络计算后产生损伤区域的检测框bbox和损伤的像素级分割mask，流程结束。
2.根据权利要求1所述的一种基于深度神经网络的航空发动机孔探图像损伤分割方法，其特征在于，所述卷积层的尺寸为3×3，步长为1。
CN201911259697.3A 2019-12-10 2019-12-10 基于深度神经网络的航空发动机孔探图像损伤分割方法 Active CN111178392B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911259697.3A CN111178392B (zh) 2019-12-10 2019-12-10 基于深度神经网络的航空发动机孔探图像损伤分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911259697.3A CN111178392B (zh) 2019-12-10 2019-12-10 基于深度神经网络的航空发动机孔探图像损伤分割方法

Publications (2)

Publication Number Publication Date
CN111178392A CN111178392A (zh) 2020-05-19
CN111178392B true CN111178392B (zh) 2023-06-09

Family

ID=70653793

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911259697.3A Active CN111178392B (zh) 2019-12-10 2019-12-10 基于深度神经网络的航空发动机孔探图像损伤分割方法

Country Status (1)

Country Link
CN (1) CN111178392B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111696067B (zh) * 2020-06-16 2023-04-07 桂林电子科技大学 一种基于图像融合系统的宝石图像融合方法
CN112330587B (zh) * 2020-07-01 2022-05-20 河北工业大学 一种基于边缘检测的银线型触头烧蚀区域识别方法
CN113591992B (zh) * 2021-08-02 2022-07-01 中国民用航空飞行学院 一种燃气涡轮发动机的孔探智能检测辅助系统及方法
CN114240948B (zh) * 2021-11-10 2024-03-05 西安交通大学 一种结构表面损伤图像的智能分割方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830327A (zh) * 2018-06-21 2018-11-16 中国科学技术大学 一种人群密度估计方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102486699B1 (ko) * 2014-12-15 2023-01-11 삼성전자주식회사 영상 인식 방법, 영상 검증 방법, 장치, 및 영상 인식 및 검증에 대한 학습 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830327A (zh) * 2018-06-21 2018-11-16 中国科学技术大学 一种人群密度估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李梁，董旭彬，赵清华.改进Mask R-CNN在航拍灾害检测的应用研究.《图形图像处理图形图像处理》.2019,第55卷(第21期),全文. *

Also Published As

Publication number Publication date
CN111178392A (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
CN111178392B (zh) 基于深度神经网络的航空发动机孔探图像损伤分割方法
CN109446992B (zh) 基于深度学习的遥感影像建筑物提取方法及系统、存储介质、电子设备
CN107527352B (zh) 基于深度学习fcn网络的遥感舰船目标轮廓分割与检测方法
CN112258496A (zh) 一种基于全卷积神经网络的地下排水管道病害分割方法
CN108230339B (zh) 一种基于伪标签迭代标注的胃癌病理切片标注补全方法
Shipway et al. Automated defect detection for fluorescent penetrant inspection using random forest
CN111161218A (zh) 一种基于孪生卷积神经网络的高分遥感影像变化检测方法
Xu et al. Pavement crack detection algorithm based on generative adversarial network and convolutional neural network under small samples
CN110895814B (zh) 基于上下文编码网络的航空发动机孔探图像损伤分割方法
CN112232391A (zh) 一种基于U-net网络和SC-SAM注意力机制的大坝裂缝检测方法
CN110555831B (zh) 一种基于深度学习的排水管道缺陷分割方法
CN110321933A (zh) 一种基于深度学习的故障识别方法和装置
CN110956207B (zh) 一种光学遥感影像全要素变化检测方法
CN113240623B (zh) 一种路面病害检测方法及装置
CN111382785A (zh) 一种gan网络模型及实现样本自动清洗、辅助标记的方法
CN111161224A (zh) 基于深度学习的铸件内部缺陷分级评估系统及方法
Kim et al. Automated classification of thermal defects in the building envelope using thermal and visible images
Dang et al. Deep learning-based masonry crack segmentation and real-life crack length measurement
CN113469950A (zh) 一种基于深度学习的复合绝缘子异常发热缺陷的诊断方法
CN111985552A (zh) 复杂背景下机场道面细带状结构病害检测方法
Zou et al. Automatic segmentation, inpainting, and classification of defective patterns on ancient architecture using multiple deep learning algorithms
CN116205876A (zh) 基于多尺度标准化流的无监督笔记本外观缺陷检测方法
Li et al. Deep learning-based defects detection of certain aero-engine blades and vanes with DDSC-YOLOv5s
Wong et al. Automatic borescope damage assessments for gas turbine blades via deep learning
Qi et al. WDLS: Deep level set learning for weakly supervised aeroengine defect segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant