CN110135296A

CN110135296A - 基于卷积神经网络的机场跑道fod检测方法

Info

Publication number: CN110135296A
Application number: CN201910358360.1A
Authority: CN
Inventors: 李元祥; 刘运凯; 刘嘉玮; 周拥军
Original assignee: Shanghai Jiaotong University
Current assignee: Shanghai Jiaotong University
Priority date: 2019-04-30
Filing date: 2019-04-30
Publication date: 2019-08-16

Abstract

本发明提出了一种基于卷积神经网络(CNN)的FOD检测方法。该方法主要基于Faster R‑CNN算法框架为输入图像生成目标候选区域同时采用DenseNet代替传统的VGG16‑Net进行特征提取，可以大大减少网络参数和充分利用目标特征，有利于小尺寸FOD的检测。本文还改进了RPN层中分类的损失函数，使用Focal Loss来优化正负样本的权重，使得训练结果聚焦在样本中难以分类的小尺寸FOD目标上。实验表明，该方法具有良好实时的检测效果、高检测准确率和良好的抗干扰性。机场跑道FOD图像数据集主要包括四种类型的物体(小钢珠、金属螺母、大螺丝和小螺丝)。与经典的Faster R‑CNN相比，本方法实现了93.93％的FOD目标检测精确率，提高了14.91％，而检测速度也提高了一倍多。

Description

基于卷积神经网络的机场跑道FOD检测方法

技术领域

本发明涉及图像处理与目标识别的技术领域，具体是一种基于卷积神经网络(Convolutional Neural Networks，CNN)的机场跑道异物(Foreign Object Debris，FOD)检测方法。

背景技术

机场FOD有可能会对飞机造成损坏，例如分散的飞机零件、金属工具、混凝土块、行李组件、野生动物和植物等。机场跑道主要是飞机的活动区域，人类活动参与较少。因此，大多数FOD都是从飞机部件上掉落的，主要是金属材质，包括散落在跑道上的大小螺丝、小螺母和钢珠等。由于在航空器轮胎高速滚动时发动机会产生强大的吸力，尤其是在起飞和着陆阶段，飞机自身对于FOD的反应力是相对脆弱的，这将会对机身结构造成严重的损坏。被吸入飞机发动机的金属小物体可能导致涡轮叶片破损，并且碎屑可能会积聚在机械装置上，进而影响飞机的正常运行操作。为避免FOD对飞机造成严重的损害，实时准确地进行FOD检测是确保飞行安全的有效方法。目前国际上较为成熟的机场跑道FOD检测系统有英国QinetiQ公司的Tarsier系统、美国Trex Enterprises公司的FODFinder系统、以色列Xsight公司的FODetect系统及新加坡Stratech Systems公司的iFerret系统等。这些系统主要通过雷达监控、视频图像处理和数字信号处理等技术实现监控级的FOD检测，对于检测3cm以上的FOD目标具有显著效果；但对于3cm以下的FOD目标来说，这些系统的检测性能相对降低。因此，对小尺寸FOD检测是目前的技术难题。同时，在检测FOD时会存在异物具有不同的飞行危险等级的情况，特别是危险等级较高且难以检测的通常会出现在跑道上的小尺寸金属目标，如5～10mm小钢珠。实时获取FOD危险等级的能力对于检测后的FOD清除工作具有很大的益处。本发明方法主要是针对机场沥青跑道上经常出现的大螺丝、小螺丝、小螺帽和小钢珠等四类目标进行的检测实验，其中，沥青路面上直径为5mm的小钢珠作为本发明方法对小尺寸FOD检测的重点。

以往的FOD检测工作主要是采用传统的图像识别方法，如图像灰度直方图分析、傅立叶变换分析、边缘分析、差分检测和小波变换等。这些传统的图像识别方法对机场跑道大尺寸FOD能获得较好的检测效果，但对小尺寸FOD的检测性能会大大降低。

近年来，计算机视觉领域的小尺寸目标检测取得了较大的进展，可实时地进行图像的语义分割和目标检测。例如，更快速的区域卷积神经网络(Faster R-CNN)通常用于目标物体检测(Ren S,He K,Girshick R,et al.Faster R-CNN:Towards Real-time ObjectDetection with Region Proposal Networks[C].Advances in Neural InformationProcessing Systems,2015:91-99)，而Mask R-CNN(He K,Gkioxari G,Dollár P,etal.Mask R-CNN[C].IEEE International Conference on Computer Vision,2017:2980-2988.)则主要应用于语义分割。因此，本发明的主要目的是通过整合该领域最先进的检测方法，实现机场跑道小尺寸FOD的高精度和高效率检测。

发明内容

本发明为解决上述现有技术的不足，提供了一种基于CNN的机场跑道FOD检测方法。随着网络层的更新和性能的提高，该方法可以在网络梯度急剧变化的情况下减少网络参数并改善网络深度。

基于CNN的机场跑道FOD检测方法，包括训练阶段和检测阶段两部分。所述训练阶段包括以下六个步骤：

第一步，获取机场跑道FOD图像；

第二步，对机场跑道FOD图像进行预处理操作，包括图像增强等操作；

第三步，对预处理后的机场跑道FOD图像进行感兴趣区域提取，分割出局部关注FOD的感兴趣区域样本；

第四步，将获得的机场跑道FOD图像以及感兴趣区域组合作为训练数据，对应的四类目标的标注样本作为训练集；

第五步，将训练数据输入到基于包含DenseNet-169的特征提取网络和Focal Loss损失函数的Faster R-CNN算法中去训练网络参数，先采用卷积层逐层训练提取特征，再使用反馈的方法整体微调；

第六步，将第五步训练好的网络参数保存，作为检测模型。

所述检测阶段包括以下步骤：

第一步，获取机场跑道FOD图像；

第二步，对FOD图像进行预处理操作，包括图像增强等操作；

第三步，将预处理后的FOD图像输入训练好的检测模型，得到目标检测结果。

所述训练阶段的第五步中CNN架构具体是：

通过在传统人工神经网络方法基础上增加一个卷积过程，CNN能够实现算法性能的提升。经典的反向传播神经网络通常包含三个层次，分别为输入层、隐含层和输出层。在神经网络的设计中，输入层和输出层的节点数根据所需要完成的任务，通常是固定的，而中间的隐含层节点数则由人为设置。CNN同样由模拟人类神经元的单元组成，神经元相互连接通过对自身权重和偏差的迭代进行学习，再通过不同的激活函数进行输出。然而传统人工神经网络的输入通常为一个向量，对于图像来说，很难获取图像的全局信息，而CNN具有局部感知和权值共享特性，在图像识别中有着重要作用。CNN涉及到的操作不仅包括与传统人工神经网络类似的反向传播算法，还包括其独有的卷积操作、池化操作及Softmax算法。

相比传统人工神经网络，CNN对于提取小目标的细节特征更为敏感。每个卷积神经元都有三个维度：高度、宽度及通道深度。每个神经元即为一个卷积核，感知前一层输出的映射图上的一块小区域，不会直接感知到映射图的全部区域。用于感知前一层的一个卷积核会在映射图上进行滑动，即每个卷积神经元的一个深度单元会共享一个权值，视作提取了一种特征，通过这种方式，能够引入多种卷积核，充分提取大量潜在的语义特征以保证网络精度。而提取特征后，若用于分类，其计算量依然较大，因此还要通过下采样的方式，将图像划分为同样大小的区域，对每个区域进行聚合统计以减少连接数量，这种方式即称为池化。而在卷积层输出特征映射图后，会进行几次全连接，最后，根据网络的用途，最终层会采用不同大小全连接的Softmax回归层形式，产生一列向量，通常代表判定为不同类别的可信度得分。

DenseNet-169与区域生成网络(Region Proposal Network，RPN)相结合，可以实现有效的目标检测。本发明使用三种尺度和三种纵横比，在每个滑动位置产生九个锚点。这意味着每个特征映射像素可以生成与RPN中的输入映射相对应的九个候选区域。对这九个候选区域进行分类和回归可以有效地提高区域中待检测目标的检测准确率。同时与一般图像分类任务相比，机场跑道FOD图像通常包含一些小尺寸目标独有的细节，难以使用传统的图像处理方法提取合适、有价值的细节特征。提取网络在机场跑道FOD图像中具有更多的前景目标类别，直接使用Faster R-CNN对小尺寸FOD图像的分类具有良好的效果，从而便于更好地进行FOD检测和分类。但是更抽象的对象位置和语义信息特征无法很好地提取与识别，很难对小目标实现理想的检测。本发明为了实现基于Faster R-CNN这一突出的小目标检测主流算法对于FOD检测准确率的稳定提高，采用密集型卷积神经网络(DenseNet)作为完整网络中特征提取层的关键部分。它可以充分地利用网络深层和低层图像特征信息，加强了特征的重复利用。并且在最后的分类层中使用聚焦损失函数使得本发明中训练的模型可以更好地聚焦在难分类、小样本的FOD类别上。在本发明中，针对小尺寸FOD实现一种低复杂度、高准确率的异物检测器，同时可以大幅提高其模型的泛化能力和鲁棒性，提高数据的拟合效果，可以在更多的场景中进行应用推广。

与现有技术相比，本发明具有以下优点：

第一，强化了网络对于特定包含FOD特征的感兴趣区域的敏感度，在使用CNN对含有FOD的机场跑道图像特征提取和检测时，将DenseNet-169(Huang G,Liu Z,Maaten L,Weinberger K.Densely Connected Convolutional Networks[C].IEEE InternationalConference on Computer Vision and Pattern Recognition,2017)用在特征提取阶段，增加了网络对目标特征重复利用的效率，并且可以很好地结合小尺寸FOD的细节局部特征，直连型网络也可以极大地减少网络冗余带来的高复杂度。并通过实验证明这种方式能对网络的分类检测效果有一定的提升，特别是提升了在复杂的跑道背景上小尺寸FOD的识别准确率。

第二，机场跑道FOD检测由于其特征表达较为困难且获取的目标样本数量有限，对这一方向的研究较少，通过利用结合了感兴趣区域提取的CNN以及采用聚焦损失函数，在样本数量较少和难分类的小尺寸FOD的检测中也取得了较好的结果。

第三，采用了极大节省网络参数的直连型DenseNet卷积神经网络，利用多个密集块的叠加实现特征重用和高效提取特征的目的；在RPN中的分类层上使用了Focal Loss聚焦损失函数，可有效地平衡难检测和小样本目标的权重，使得训练模型更利于难分类和小样本的检测。其中所述的训练前期的预处理过程是包括仿射变换和图像增强处理等。

附图说明

图1是本发明的训练过程流程图。

图2是本发明的检测过程流程图。

图3是普通卷积神经网络结构图。

图4是单一神经元结构图。

图5是验证使用的四种图像的示意图，红色框标明的是图(a)中包含的两个大螺丝、一个小螺丝和一个小螺帽；图(b)中包含的小螺帽；图(c)中包含的一个小钢珠；图(d)中包含的小螺丝、小钢珠和小螺帽。

图6是测试结果的示意图，其中图(a)中检测为两个大螺丝、一个小螺帽和一个小螺丝；图(b)中检测为一个大螺丝和两个个小螺帽；图(c)中一个直径5mm的小钢珠被检测出来；图(d)中检测出两个FOD目标。

具体实施方式

以下结合附图和实验样例对本发明的详细说明：

第一步，获取机场跑道FOD图像，整张图像上既包括了机场跑道路面背景的图像特征，又能够准确突显FOD目标图像的参数属性；

第二步，对数据进行预处理操作，包括对成像状况较差的图像进行图像增强等操作；

第三步，使用DenseNet对机场跑道FOD图像进行感兴趣特征区域提取。通过预训练的DenseNet-169模型，提取出机场跑道FOD图像中FOD所在的位置特征和深度细节特征。并将前层提取到的所有特征用作后层重复利用，作为感兴趣区域。最后将获取的机场跑道FOD图像提取出具有明显区别的背景跑道和前景目标特征。

采用的Faster R-CNN是作为包含RPN的一种CNN图像识别模型，通过对原图中不同大小和形状的感受野，使用不同卷积核输出其边界调整系数，对目标区域进行边界框回归。在生成区域后，连接了类别预测、边界框回归以及前景覆盖区域提取结构，实现对前景的提取与分类。

第四步，获取机场跑道FOD图像对应的真实目标数据(机场跑道实地获取真实目标数据)；

第五步，将拍摄得到的可见光图像以及感兴趣区域组合作为训练数据，将已经标注好的相应四类FOD(大螺丝、小螺丝、小螺帽和小钢珠)目标的标注样本作为训练集；

第六步，将训练数据和标签数据输入CNN中训练网络参数，先采用卷积层逐层训练提取特征，再使用反馈的方法整体微调。

相比传统的人工神经网络，CNN更为敏感。每个卷积神经元都有三个维度：高度、宽度及通道深度，如图3所示。每个神经元即为一个卷积核，感知前一层输出的映射图上的一块小区域，不会直接感知到映射图的全部区域。用于感知前一层的一个卷积核会在映射图上进行滑动，即每个卷积神经元的一个深度单元会共享一个权值，视作提取了一种特征，通过这种方式，能够引入多种卷积核，充分提取大量潜在的语义特征以保证网络精度。而提取特征后，若用于分类，其计算量依然较大，因此还要通过下采样的方式，将图像划分为同样大小的区域，对每个区域进行聚合统计以减少连接数量，这种方式即称为池化。而在卷积层输出特征映射图后，会进行几次全连接，最后，根据网络的用途，最终层会采用不同大小全连接的Softmax回归层形式，产生一列向量，通常代表判定为不同类别的可信度得分。

CNN同样由模拟人类神经元的单元组成，神经元相互连接通过对自身权重和偏差的迭代进行学习，再通过不同的激活函数进行输出。然而人工神经网络的输入通常为一个向量，对于图像来说，很难获取图像的全局信息，而CNN具有局部感知和权值共享特性，在图像识别中有着重要作用。在CNN中，涉及到的操作不仅包括与传统人工神经网络类似的反向传播算法，还包括其独有的卷积操作、池化操作及Softmax算法。

卷积操作相当于对原矩阵按照顺序将各区域元素与W矩阵相乘，W矩阵为：

这种矩阵被称作核，核对图像进行的操作，相当于对图像进行了滤波。因此核也被称为滤波器，整个操作过程称为卷积。将这个概念扩展，就可认为对二维图像的滤波操作都能用卷积表示，例如常见的高斯滤波、拉普拉斯滤波等。

而在图像的识别或分类问题中，若需要识别的目标是图像中的特定图案，则需要保证滤波器对同样类型的图案具有较高输出的同时，抑制对其它形状的输出，这种操作类似于神经元的激活。图4展示了在CNN中，卷积操作的实现。其结构大致与传统神经网络相同，通过将输入图像利用卷积核f_x进行卷积后，与偏置值b_x相加，最终输入激活函数，得到输出层C_x。

CNN中通过子采样过程进行特征的二次提取，而子采样中最重要的就是池化过程。计算图像的区域特征时，需要对特征进行分析统计，并基于这些特征得出新特征，以代表整个区域。这个区域就叫做池化域，而分析统计得出新特征的过程就叫做池化。池化后的特征既能降低原特征映射的维度和分辨率，同时还能够避免过拟合。池化的本质是将池化函数P_O()作用于池化域，若原映射图为矩阵M，其池化域为矩阵P，池化后加偏置b，则最终用这个池化域作用于整张原映射图的所有区域后，得到特征图S为：

S＝P_O(M)+b (2)

本发明中的方法采用的是基于交叉熵演变的聚焦损失型函数Focal Loss(Lin T,Goyal P,Girshick R,He K,Dollár P.Focal Loss for Dense Object Detection[C].IEEE International Conference on Computer Vision and Pattern Recognition,2017)。处理正负类别不平衡的常用方法是引入权重因子α∈[0,1]，可以在实验期间通过反转分类频率设置或设置交叉验证超参数。在y∈{-1,+1}中，指定真值类别和p_t∈[0,1]是具有标签类y＝1的模型估计概率。在本发明中，该方法定义了一个α_t作为真实对象框概率的数值度量，可以获得初步平衡的交叉损失熵函数：

CE(p_t)＝-α_tlog(p_t) (3)

虽然α平衡了正样本/负样本的权重，但它并没有重点区分易分类/难分类的样本。因此本发明方法中建议重塑分类损失函数，以减轻易分类样本的权重，从而基于在公式(3)中可以将训练的权重聚焦在难分类的正样本上。根据公式(3)得出整体权重与网络预测样本属于正类别的概率相关。直观地看，调制因子可以调制降低易分类负样本对于总损失的损失贡献，并扩展了样本可以接收较低损失的范围。具体的聚焦损失的功能函数如下所示：

FL(p_t)＝-(1-p_t)^γlog(p_t) (4)

聚焦损失函数定义了一个可视化参数γ，也称为调制因子γ∈[0,5]。聚焦损失的主要特征是当样本被错误分类并且p_t很小时，方法中可以调节调制因子接近1并且致使总损失尽可能降低。如果p_t接近1，则调制因子调整至0，从而可以降低易于分类样本的权重。聚焦参数可以平滑地调整易于分类样本的损失权重。当γ＝0，FL是等于CE，当γ增加时，调制系数的影响将相应增加。在实验过程中，本发明方法中使用了聚焦损失的α来平衡变量参数：

FL(p_t)＝-α(1-p_t)^γlog(p_t) (5)

对于整个损失函数而言，还需要回归损失来确定候选框的位置信息，因此该方法策略中使用了

L_reg(t_i,t^* _i)＝R(t_i-t_i ^*) (6)

根据对回归函数的定义，公式(6)中的R表示的是鲁棒损失函数(smooth L₁)。t_i表示预测边界框的4个参数化坐标的向量，并且t_i ^*是与正锚点相关联的边界回归框的坐标信息。本发明中对一张图像的总体损失函数定义为：

公式(7)中的第二项表示仅对正锚点(p^* _i＝1)激活的回归损失，否则如果p^* _i＝0则被禁用。类别决策层输出的两个参数用于表示原始候选区域是FOD和非目标的估计概率。边界回归层包含四个坐标元素，它们表示目标的边界候选框相对于原始图像区域上锚点的修改量，并用于确定目标的确切位置。在对每个锚点回归得分和回归边界框之后，对边界框进行非极大值抑制，确定合并紧密的边界框，最后获得待检测目标的真实位置。默认情况下设置参数λ＝10，因此分类和回归的损失权重大致相等。以实现对难分类目标样本的精准分类和所在位置有效回归操作。

第七步，保存网络参数得到机场跑道FOD检测模型。

不同的特征提取方法对FOD检测的性能比较：

由于本发明提出的方法与机场跑道路面安全系统密切相关，为了验证方法的可靠性，也为了了解这种方法在实际使用中是否能够具有良好的表现，发明中的方法使用的实验数据是从真实的机场跑道中获取的路面实时状况图(由上海交通大学航空航天学院航空智能光电技术实验室提供)，主要是针对沥青路面，相比一般水泥路面而言，沥青道面斑驳复杂，与FOD目标的区分度很低，会给其检测带来一定的难度。根据FOD实地摆放的位置、角度和实验要求，将摄像机和镜头架设在距离目标区域一定长度和一定高度的位置上，进行定点、定高、定角度拍摄，根据不同的距离、角度和高度获取的机场跑道FOD图像，共计2140张目标样本。每张图中都具备前景目标、背景跑道信息，获取图像范围适中，且能捕获较为明显的目标特性。主要的四种FOD如图5所示，其中，对目标特性进行分析得到，大螺丝和小螺丝的目标特征较于跑道背景而言趋于明显且易识别，但是两目标之间的形状特征相似，导致检测出的结果混淆的现象相对比较突出；小螺帽的形状规则且金属表面光泽度强，针对识别算法在小螺帽检测的可行性比较高且不会出现高误检率的现象；而作为FOD检测的难点—小钢珠，由于其占据整张机场跑道图片的像素比重较小，只有6-7个像素，如图5所示，而且小钢珠颜色特征与沥青跑道路面的背景色相似度比较高，一般常用的特征提取策略对之细节特征的提取并不理想，因此采用本发明中的方法，可在小钢珠等小尺寸FOD的检测效果上有很大的提升。

FOD检测的主要评价指标是采用检测精确率和召回率，定义如下：

精确率＝检测出的真正FOD数目/(检测出的真正FOD数目+虚假FOD数目)；

召回率＝检测出的真正FOD数目/总的FOD数目。

采用不同特征提取策略的FOD检测性能对比，如表1所示。

表1不同特征提取策略的FOD检测对比试验结果

为了评估本发明中提出方法的可行性，本发明将其与三种传统图像特征提取策略的检测方法进行比较：将ZF Net，VGG-16Net，DenseNet-169这三种网络与RPN层作为FasterR-CNN目标检测算法的核心部分，这种比较主要在于特征提取网络的性能提高上。表1中记录了在使用不同特征提取网络和方法时具体到四类异物检测精确率和召回率的对比。本发明中的方法可以利用有限的计算和硬件资源并保存训练得到的网络参数，以实现FOD的细节特征和语义特征的融合。在RPN层后端的分类与位置回归过程中，聚焦损失函数可以用于关注难分类和小样本的权重，这里主要是指小钢珠这类小目标，进一步提高了检测和分类精确率。

综上所述，本发明可在机场跑道金属FOD的检测中的表现出色，能够在不错的检测精确率的基础上，进一步降低虚警率，减少误检的发生。

Claims

1.基于卷积神经网络的机场跑道FOD检测方法，其特征是，包括训练阶段和检测阶段；

所述训练阶段，包括以下步骤：

第一步，获取机场跑道FOD图像；

第二步，对机场跑道FOD图像进行预处理操作，包括图像增强操作；

第四步，将获取得到的机场跑道FOD图像以及局部关注FOD的感兴趣区域样本组合作为训练数据，与对应的四类目标的标注样本数据，组成训练集；

第五步，将带标签的训练数据输入到基于DenseNet-169的特征提取网络和Focal Loss的Faster R-CNN算法中去训练网络参数，先采用卷积层逐层训练提取特征，再使用反馈的方法整体微调；

第六步，将第五步训练好的网络参数保存，作为检测模型；

所述检测阶段包括以下步骤：

第一步，获取待检测的机场跑道FOD图像的；

第二步，对原始数据进行预处理操作，包括图像增强等操作；

第三步，将预处理后清晰的机场跑道FOD图像输入到训练好的检测模型，得到目标检测结果。

2.根据权利要求1所述的基于卷积神经网络的机场跑道FOD检测方法，其特征在于，所述的第五步将训练数据输入到基于Faster R-CNN算法的FOD检测框架中，并在网络架构和损失优化上进行了改良，其具体网络参数是：

a)采用密集型卷积神经网络作为Faster R-CNN算法中的特征提取网络模型，在网络中的每个密集块，都采用层生长速率为k＝32的策略；

b)在实现步骤a)的前提下，将Focal Loss损失函数添加到网络末端的分类层中，通过调至因子调整样本数量权重以及难易类别权重，提高FOD检测的精准度。

3.根据权利要求1所述的基于卷积神经网络的机场跑道FOD检测方法，其特征在于，所述的四类目标是指大螺丝、小螺丝、小螺帽和小钢珠。