CN111178392A

CN111178392A - 基于深度神经网络的航空发动机孔探图像损伤分割方法

Info

Publication number: CN111178392A
Application number: CN201911259697.3A
Authority: CN
Inventors: 邢艳; 黄睿; 李晨炫
Original assignee: Civil Aviation University of China
Current assignee: Civil Aviation University of China
Priority date: 2019-12-10
Filing date: 2019-12-10
Publication date: 2020-05-19
Anticipated expiration: 2039-12-10
Also published as: CN111178392B

Abstract

本发明公开了一种基于深度神经网络的航空发动机孔探图像损伤分割方法，包括：将P4特征经过一个卷积层后上采样2倍，然后与P3层特征相加得到低层次特征；使用RoI Align模块从低层次特征中提取兴趣区域，对兴趣区域采用1×1卷积核减少通道；与原有Mask分支中经过反卷积之后的高层特征进行拼接融合concact，再采用2个卷积层处理融合后的特征得到最终用于预测的特征；依次标记图像中的多类损伤区域，并存储损伤图像和损伤区域的量化信息，同时将图像数据与标记区域以合适比例划分为训练和测试数据集；扩展训练数据，经网络计算后产生损伤区域的检测框bbox和损伤的像素级分割mask，流程结束。

Description

基于深度神经网络的航空发动机孔探图像损伤分割方法

技术领域

本发明涉及图像分割领域，尤其涉及一种基于深度神经网络的航空发动机孔探图像损伤分割方法。

背景技术

为了确保航空器运行的高安全性，孔探检查作为一种主要的无损检查方式，已广泛应用于航空发动机的早期损伤检测中。然而，对孔探图像及视频采用的传统人工检查方式耗时长、易漏检。

随着卷积神经网络对图像特征的表示能力的发展，近几年出现了基于深度学习算法辅助的损伤检测方法，该类方法可以大幅提升人工损伤检测的实际效率。陈^[1]等人在14张孔探图像上，设计了结合EBP算法(Error Back Propagation，误差反向传播算法)和遗传算法的自适应神经网络，验证了一种依据图像纹理特征进行损伤识别的方法。Svensen^[2]等人在7098张孔探图像作为数据集的基础上使用VGG16(Visual Geometry Group Network-16，视觉几何群网络-16)作为特征提取网络对包含发动机中混合器、燃烧室、燃料喷管和高压涡轮叶片的图像进行了高精度的分类。Kim和Lee^[3]等人提出了一个基于多种传统图像处理技术的损伤识别算法，在较小数据集上对输入的孔探图像使用SIFT(Scale InvariantFeature Transform，尺度不变特征变换)进行图像预处理后使用CNN(ConvolutionalNeural Networks，卷积神经网络)进行图像分类，在压气机叶片的边缘缺口这类损伤的检测任务上取得了良好的识别效果。Bian^[4]等人提出一种在工业检查上实用的多尺度FCN(Fully Convolutional Networks，全卷积网络)，并在256张拆解后的发动机叶片图像上进行了训练和测试，有效检测出了图像中对应区域中的热障涂层丢失。Shen^[5]等人提出了一种基于FCN(Fully Convolutional Networks，全卷积网络)的损伤识别算法，将上千张孔探图像作为训练数据集，在裂纹和烧蚀这两类损伤的检测任务上取得了良好的识别效果，并进一步将损伤在图像对应的区域上进行了分割。旷可嘉^[6]等人提出了一个基于FasterRCNN(Faster Region Convolutional Neural Networks，快速区域卷积神经网络)和SSD(Single Shot MultiBox Detector，单阶段多框检测器)的损伤识别算法，在凹痕、缺口和烧蚀这三类损伤的检测任务中实现了对孔探视频的实时检测。

现有的基于深度学习的航空发动机损伤检测方法可以显著地提升人工损伤检测的实际效率，但是对损伤类别的囊括范围较小，对损伤的检测精度较低，并对损伤数据稀少的共性问题没有较好的解决办法，使得深度学习方法的特征表示能力不能完全发挥出来。

参考文献

[1]陈果,汤洋.基于孔探图像纹理特征的航空发动机损伤识别方法[J].仪器仪表学报,2008(08):1709-1713.

[2]Svensen M,Hardwick D S,Powrie H E G.Deep Neural Networks Analysisof Borescope Images[C]//PHM Society European Conference.2018,4(1).

[3]Kim Y H,Lee J R.Videoscope-based inspection of turbofan engineblades using convolutional neural networks and image processing[J].StructuralHealth Monitoring,2019:1475921719830328.

[4]Bian X,Lim S N,Zhou N.Multiscale fully convolutional network withapplication to industrial inspection[C]//2016IEEE winter conference onapplications of computer vision(WACV).IEEE,2016:1-8.

[5]Shen Z,Wan X,Ye F,et al.Deep Learning based Framework forAutomatic Damage Detection in Aircraft Engine Borescope Inspection[C]//2019International Conference on Computing,Networking and Communications(ICNC).IEEE,2019:1005-1010.

[6]旷可嘉.深度学习及其在航空发动机缺陷检测中的应用研究[D].华南理工大学,2017.

发明内容

本发明提供了一种基于深度神经网络的航空发动机孔探图像损伤分割方法，本发明采用合理的数据扩展策略缓解了训练数据稀少的问题，改进了经典实例分割网络模型MaskRCNN(Mask Region Convolutional Neural Networks，掩模表示的区域卷积神经网络)，抽取网络中的底层特征向后传递、并与网络的高层特征进行融合得到最终用于预测的特征，有效改善了预测边界粗糙的问题，详见下文描述：

一种基于深度神经网络的航空发动机孔探图像损伤分割方法，所述方法包括：

选择特征金字塔网络中的P3层、P4层特征作为向后传递的底层特征，将P4特征经过一个卷积层后上采样2倍，然后与P3层特征相加得到低层次特征；

使用RoI Align模块从低层次特征中提取兴趣区域，对兴趣区域采用1×1卷积核减少通道；

与原有Mask分支中经过反卷积之后的高层特征进行拼接融合concact，再采用2个卷积层处理融合后的特征得到最终用于预测的特征；

依次标记图像中的多类损伤区域，并存储损伤图像和损伤区域的量化信息，同时将图像数据与标记区域以合适比例划分为训练和测试数据集；

扩展训练数据，经网络计算后产生损伤区域的检测框bbox和损伤的像素级分割mask，流程结束。

其中，所述卷积层的尺寸为3×3，步长为1。

本发明提供的技术方案的有益效果是：

1、本发明改进了实例分割网络Mask RCNN，融合多层次的特征进行预测，在基准数据集上取得了优于Mask RCNN的良好性能；

2、本发明采用改进的实例分割网络进行航空发动机孔探图像检测分割，有效改善了预测边界粗糙的问题，一步完成常见损伤在孔探图像上的检测、分割和测量，为接下来确定损伤区域的实际尺寸的工作打下了基础；

3、本发明采用了合理的数据扩展策略，缓解了训练数据稀少的问题，并由此显著提升了损伤的检测和分割精度。

附图说明

图1为本发明提出的网络结构示意图；

数字代表特征空间分辨率和通道，2×表示缩放2倍，×2表示使用两个卷积层，×4代表使用连续的四个卷积层。除了标有1×1conv的卷积层，其它所有卷积核尺寸为3×3，反卷积核尺寸为2×2，步长为2，激活函数采用ReLU。

图2为本发明对某型涡扇发动机压气机部位孔探图像中的磨损(abrasion)和叶边卷曲(curl)进行的检测、分割和测量的示意图；

图3为本发明对某型涡扇发动机高压涡轮部位孔探图像中的热障涂层丢失(missing thermal barrier coating/missing TBC)、凹痕(dent)和材料丢失(missingmaterial，本例中为孔洞)进行的检测、分割和测量的示意图；

图4为本发明对某型涡扇发动机涡轮导向器部位孔探图像中的烧蚀(burn)和裂纹(crack)进行的检测、分割和测量的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

实施例1

一种基于深度神经网络的航空发动机孔探图像损伤分割方法，参见图1，该方法包括以下步骤：

一、网络基本架构

参见图1，本发明实施例中的网络基本架构与Mask RCNN网络结构相同，本发明改进了Mask-RCNN中原有的Mask分支。

其中，Mask RCNN网络结构主要包括：Backbone网络、区域候选网络RPN、RoI Align模块以及分别用于检测和分割的box分支和mask分支。该Mask RCNN网络结构为本领域技术人员所公知，本发明实施例对此不做赘述。

在现有的Mask RCNN的基本架构中并未使用Backbone网络中底层的特征，而本发明将底层特征和MaskR-CNN中Mask分支的高层RoI特征相融合得到用于预测mask的最终特征，从而形成了本发明实施例所提及的多级特征融合的实例分割网络。

其中，上述描述的Backbone网络、高层RoI特征、区域候选网络RPN、RoI Align模块、box分支和mask分支等技术术语均为本领域技术人员所公知，本发明实施例对此不做赘述。

1、底层特征的选择与处理

在Backbone网络中，特征金字塔网络对底层特征的选择可以有多种，在本实施例中选择P3、P4层作为向后传递的底层特征，在与mask分支的高层特征融合之前需经过处理以减少底层特征的冗余信息。

首先将P4层特征经过一个卷积层后上采样2倍，使之与P3层特征的尺寸相匹配，之后与P3层特征相加得到Low-Level features(低层次特征)。

其中，P3、P4层均为特征金字塔网络，本发明实施例对此不做赘述。

2、底层特征与高层特征的融合及后处理

使用RoI Align模块从Low-Level features中提取RoI features(兴趣区域)，对RoI features采用1×1卷积核减少通道以降低特征融合后底层特征所占比重。之后与原Mask分支中经过反卷积之后的高层特征进行拼接融合，再采用2个卷积层处理融合后的特征得到最终用于预测的特征。

二、数据集建立

由经验丰富的维修工程师依据《发动机诊断检测规程》，在开源标记工具Labelme的辅助下，依次标记图像中值得关注的多类损伤区域，并存储损伤图像和损伤区域的量化信息。其中Labelme以JSON格式存储特征的真值分割信息，已广泛应用于深度学习模型实践的数据集建立过程中。

在已标记数据的基础上，将图像数据与标记区域同时以合适比例划分为训练和测试数据集，分别用于训练和评估模型。

五、扩展训练数据

对损伤特征扩展后的图像要保证变化区域的存在性及合理性：由于孔探镜头成像条件不同，孔探管老化程度不同，孔探光源不同，视频信号采集和传输过程中存在噪声。因此在数据扩展时，采用水平垂直翻转、伽马对比度调节、透视变换、高斯模糊和高斯白噪声作为数据扩展策略，对训练图像和相应的损伤分割真值同时进行给定范围内随机程度的数据扩展，力求模拟出外部环境对原始数据所有可能的影响。

六、网络训练和测试

基于Pytorch深度学习网络框架，在第四步的基础上使用第五步中扩展的数据训练第一步至第三步所提出的网络，可在相应的数据集上得到一个训练好的网络模型。使用该网络模型，输入待检测图像X，经过网络计算后产生损伤区域的检测框bbox和损伤的像素级分割mask，流程结束。

综上所述，本发明实施例将Backbone网络特征提取的底层特征与经过RoI Align和反卷积得到的高层特征进行融合，以解决损伤实例分割中预测区域边界粗糙的问题，采用合理的扩展策略进行稀缺数据扩展，以解决损伤数据来源稀少的问题，满足了实际应用中的多种需要。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于深度神经网络的航空发动机孔探图像损伤分割方法，其特征在于，所述方法包括：

使用RoIAlign模块从低层次特征中提取兴趣区域，对兴趣区域采用1×1卷积核减少通道；

2.根据权利要求1所述的一种基于深度神经网络的航空发动机孔探图像损伤分割方法，其特征在于，所述卷积层的尺寸为3×3，步长为1。