CN113298155B - 一种基于sf-ssd算法的机场跑道地下病害检测方法 - Google Patents

一种基于sf-ssd算法的机场跑道地下病害检测方法 Download PDF

Info

Publication number
CN113298155B
CN113298155B CN202110585531.1A CN202110585531A CN113298155B CN 113298155 B CN113298155 B CN 113298155B CN 202110585531 A CN202110585531 A CN 202110585531A CN 113298155 B CN113298155 B CN 113298155B
Authority
CN
China
Prior art keywords
airport runway
underground
disease
model based
ssd algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110585531.1A
Other languages
English (en)
Other versions
CN113298155A (zh
Inventor
李海丰
潘梦梦
黎嘉诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Civil Aviation University of China
Original Assignee
Civil Aviation University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Civil Aviation University of China filed Critical Civil Aviation University of China
Priority to CN202110585531.1A priority Critical patent/CN113298155B/zh
Publication of CN113298155A publication Critical patent/CN113298155A/zh
Application granted granted Critical
Publication of CN113298155B publication Critical patent/CN113298155B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于SF‑SSD算法的机场跑道地下病害检测方法。其包括构建机场跑道地下病害数据集；对数据集中图像进行预处理；构建基于SF‑SSD算法的机场跑道地下病害网络模型并输入训练集中的预处理图像进行训练；生成分为六种不同尺度的病害先验框；对基于SF‑SSD算法的机场跑道地下病害网络模型进行优化；获得基于SF‑SSD算法的最终机场跑道地下病害网络模型；将任意探地雷达采集的图像输入基于SF‑SSD算法的最终机场跑道地下病害网络模型，获得四类机场跑道地下病害类型及位置等步骤。本发明方法可以有效地用于机场跑道地下病害检测，且平均检测精度较现有公知方法高。

Description

一种基于SF-SSD算法的机场跑道地下病害检测方法
技术领域
本发明属于图像识别技术领域，特别涉及一种基于SF-SSD(Scale-Fusion-SingleShot MultiBox Detector)算法的机场跑道地下病害检测方法。
背景技术
机场跑道地下会存在诸如脱空、疏松、裂缝等多种结构病害，一方面这些病害对飞机起降造成安全隐患，同时也会进一步发展到跑道表面，从而影响机场运行甚至飞行安全。
基于探地雷达的地下病害检测兼具准确性和全面性，但是目前探地雷达的图像解释分析以人工为主，很大程度上要依赖检测人员的经验，因此存在解释周期长的缺点；而且面对海量数据，需要投入大量的人力，效率不高。而鲁棒性和自动特征提取是深度学习和卷积神经网络在图像识别、定位和测量领域最为突出的优势。使用深度学习的方法检测机场跑道地下病害，无需人工参与或进行图像的大量预处理工作，能有效减弱图像中物体旋转、倾斜、扭曲以及背景干扰的影响，因此其对于提高检测速度和精确率具有重大意义。
但由于机场道面结构的复杂性，生成的地下病害雷达B-scan图像具有强噪性、模糊性的特点；而且病害的生成具有动态性、流动性，往往需要现场专家才能正确识别出地下病害。基于现有的研究中，大部分研究者是基于现代信号处理技术的地下病害自动识别方法；Karem等人使用探地雷达检测埋地物体，引用尺度不变特征变换(SIFT)算法，对每个位置的特征进行提取；陶向华等通过用探地雷达信号特征进行脱空识别，进一步定义了脱空边界，但是对于路面脱空的识别需要人工的参与。Borgioli等人利用霍夫变换和基于梯度直方图法提取B-scan图像特征，采用广义随机HT方法寻找双曲线模式，但是在强噪声情况下的检测效果很差。虽然已有文献中有一些方法已经实现了病害识别，但并不能完全检测到，而且需要进行大量的预处理和计算，很大程度上依赖于人工解释和个人经验，且准确性得不到可靠的保障。
深度学习中目标检测算法在图像识别领域取得了巨大突破。目前主流目标检测方法中一种是基于区域的two-stage算法，主要包括R-CNN、Fast R-CNN和Faster R-CNN；另一种是基于回归的one-stage算法，主要有YOLO和SSD。Besaw等人应用CNN从B-scan图像中提取有意义的特征并对BEH进行分类，并采用交叉验证，网络权重正则化等几种启发式方法用于防止过度训练；LEI等人利用Faster RCNN来识别灰度GPR B-scan图像的双曲线特征，不仅能判断出B-scan图像中是否包含埋藏目标，而且还能框定出候选目标所在区域；但这些基于two-stage的算法一般精度高，但速度慢，实时性较差。
发明内容
为了解决上述问题，本发明的目的在于提供一种基于SF-SSD算法的机场跑道地下病害检测方法。
为了达到上述目的，本发明提供的基于SF-SSD算法的机场跑道地下病害检测方法包括按顺序进行的下列步骤：
步骤一：利用探地雷达采集多张机场跑道真实的B-scan图像，然后裁剪成448*448像素的单通道灰色图像，之后根据专家经验进行人工标注而制成相应的PASCAL VOC数据集格式，并从中选出含裂缝、脱空、沉降和疏松四类机场跑道地下病害的B-scan图像而构建成机场跑道地下病害数据集；
步骤二：将上述机场跑道地下病害数据集中含裂缝、脱空、沉降和疏松四类机场跑道地下病害的B-scan图像进行背景消除、数据滤波和调节增益在内的预处理，得到预处理图像，之后采用随机分类算法将预处理图像按比例分为训练集和测试集；
步骤三：构建基于SF-SSD算法的机场跑道地下病害网络模型并输入训练集中的预处理图像进行训练，利用该模型的自主学习能力对预处理图像进行特征提取，获得六种不同分辨率的特征图像；
步骤四：根据上述六种不同分辨率的特征图像的尺寸，在这些特征图像上生成多个分为六种不同尺度的病害先验框，用于分别初步检测上述六种不同分辨率的特征图像中机场跑道地下病害的位置；
步骤五：通过步骤三构建的基于SF-SSD算法的机场跑道地下病害网络模型，利用回归和分类损失函数对步骤四生成的病害先验框进行位置调整，使这些先验框与标注病害的真实框逼近，从而对基于SF-SSD算法的机场跑道地下病害网络模型进行优化，由此得到基于SF-SSD算法的机场跑道地下病害网络优化模型；
步骤六：利用测试集对上述基于SF-SSD算法的机场跑道地下病害网络优化模型进行评估，获得基于SF-SSD算法的最终机场跑道地下病害网络模型；
步骤七：将任意探地雷达采集的机场跑道真实的B-scan图像按步骤一、步骤二方法进行处理，然后输入到上述基于SF-SSD算法的最终机场跑道地下病害网络模型中，基于SF-SSD算法的最终机场跑道地下病害网络模型的输出即为四类机场跑道地下病害的类型及位置。
在步骤三中，所述的构建基于SF-SSD算法的机场跑道地下病害网络模型的具体方法如下：
1)以VGG16深度神经网络作为主干网络，包括11个卷积层Conv和池化层，利用11个卷积层来生成不同分辨率的特征图像，由此提取出不同类型的机场跑道地下病害的特征；
2)将上述主干网络中的卷积层Conv3和卷积层Conv7分别变成RFB模块1和RFB模块2；RFB模块以Inception结构为基础，利用不同膨胀率卷积来拓宽网络特征提取的感受野，通过7个分支的卷积扩大网络宽度，接着通过2组分别为3×1和1×3的卷积在提升网络深度的同时减少计算量，之后通过4组膨胀系数分别为1、3、5、7的膨胀卷积来增大感受野，最后将膨胀卷积后的特征图像通过Concatenation的方式融合，后接1×1卷积来保证充分融合而得到融合特征；同时通过ShortCut的方式给非线性的卷积层增加直连来提高信息的传播效率，并与上述融合特征进行累加操作；
3)将RFB模块1、卷积层Conv4和卷积层Conv6融合形成大小为38×38×768的多尺度融合分支模块Conv4_Fus；使用最大池化操作对RFB模块1进行下采样而将尺寸统一到38×38大小；对于卷积层Conv6进行上采样；在Concentrate模块之前都引入1×1卷积；在融合前分别对RFB模块1、卷积层Conv4和卷积层Conv6的特征层加入BN层进行归一化处理。
在步骤四中，所述的根据六种不同分辨率的特征图像的尺寸，在这些特征图像上生成多个分为六种不同尺度的病害先验框的具体方法如下：
所述病害先验框的尺度设置满足下式：
Figure BDA0003087168810000041
min_size＝sk×input_size (2)
max_size＝sk+1×input_size (3)
其中，smin＝0.2，smax＝0.9，m＝5，sk表示病害先验框大小相对于特征输入图像的比例，sk+1表示病害先验框大小相对于特征输入图像的比例sk的下一个递推表达，利用病害先验框大小相对于特征输入图像的比例sk、病害先验框大小相对于特征输入图像的比例sk的下一个递推表达sk+1得到其最小尺度min_size和最大尺度max_size；
首先生成两个边长分别为min_size和
Figure BDA0003087168810000051
的正方形病害先验框，然后根据机场跑道地下病害的尺度分布情况对病害先验框的长宽比和数目进行设置，生成边长为
Figure BDA0003087168810000052
和
Figure BDA0003087168810000053
的病害先验框以匹配六种不同分辨率的特征图像；其中，aspect_ratio表示病害先验框的长宽比。
在步骤五中，所述的通过步骤三构建的基于SF-SSD算法的机场跑道地下病害网络模型，利用回归和分类损失函数对步骤四生成的病害先验框进行位置调整，使这些先验框与标注病害的真实框逼近，从而对基于SF-SSD算法的机场跑道地下病害网络模型进行优化，由此得到基于SF-SSD算法的机场跑道地下病害网络优化模型的具体方法如下：
利用Smooth L1 loss损失函数对步骤四获得的病害先验框进行位置坐标回归修正而得到精准病害检测框；利用softmax loss损失函数对训练集中的预处理图像进行置信度分类，在得到精准病害检测框的同时得到病害检测框的分类；然后设置阈值IoU＝0.5，在分类置信度大于0.5的情况下，通过非极大值抑制的方法剔除精准病害检测框中重复多余的病害检测框，获得最优病害检测框；之后将Smooth L1 loss损失函数值与softmax loss损失函数值之和作为误差参数总损失值Loss，之后根据误差参数总损失值Loss进行反向传播；在反向传播过程中，设定一个损失函数C(w,b)，用以找出最优的权重w和偏置b组合，最后将上述损失函数C(w,b)进行最小化，由此得到基于SF-SSD算法的机场跑道地下病害网络优化模型。
所述的损失函数C(w,b)采用随机梯度下降算法进行最小化，动量大小设置为0.9，权重衰减设置为上一次的1/2，学习率初始为5×10-3。
在步骤六中，所述的利用测试集对上述基于SF-SSD算法的机场跑道地下病害网络优化模型进行评估，获得基于SF-SSD算法的最终机场跑道地下病害网络模型的具体方法如下：
将测试集中的预处理图像输入上述基于SF-SSD算法的机场跑道地下病害网络优化模型中，得到预处理图像的类型和定位结果；之后以准确率Precision、召回率Recall、F1值及平均准确率mAP作为评估指标对上述分类定位结果进行评估，以判断基于SF-SSD算法的机场跑道地下病害网络优化模型是否符合检测要求，如符合，获得基于SF-SSD算法的最终机场跑道地下病害网络模型，否则重复步骤四至步骤五，直至获得基于SF-SSD算法的最终机场跑道地下病害网络模型。
相较于现有技术，本发明具有以下有益效果：利用RFB模块作为部分主干网络结构，从网络宽度上提高了网络特征提取的感受野，可以很好捕捉到机场跑道地下病害的纹理和边缘等细节信息，以提高对小尺度机场跑道地下病害的检测效果；然后设计用多尺度融合的方式，使模型能够考虑机场跑道地下病害的不同尺度，以增强模型的泛化能力，使得特征学习更加关注于病害信息，抑制干扰信息并在不同尺度、不同层次下提取特征。最后，对六种不同尺度的病害先验框的长宽比和数目进行设计，以加强模型对于机场跑道地下病害的定位能力，使模型检测到的机场跑道地下病害结果更加精准，试验结果表明，本发明方法可以有效地用于机场跑道地下病害检测，且平均检测精度较现有公知方法高。
附图说明
图1为本发明提供的基于SF-SSD算法的机场跑道地下病害检测方法流程图。
图2本发明中基于SF-SSD算法的机场跑道地下病害网络模型结构示意图。
图3为本发明中RFB模块特征提取过程示意图。
图4为本发明中多尺度融合分支模块特征提取过程示意图。
图5为本发明提供的包括四种机场道面地下病害的B-scan图像示例图。其中，图5(a)裂缝、(b)脱空、(c)沉降、(d)疏松。
图6—图10为本发明提供的机场道面地下病害数据集上各个模型实验对比结果示例图。其中，图6(a)SSD算法、(b)本发明方法；图7(a)Faster R-CNN算法、(b)本发明方法；图8(a)RFBnet算法、(b)本发明方法；图9(a)RetinaNet算法、(b)本发明方法；图10(a)YOLOv3算法、(b)本发明方法。
具体实施方式
为使本领域技术人员更加清楚和明确本发明的技术方案，下面参照附图和具体实施例对本发明作进一步详细的描述，但本发明的实施方式不限于此。
如图1所示，本发明提供的基于SF-SSD算法的机场跑道地下病害检测方法包括按顺序进行的下列步骤：
步骤一：利用探地雷达采集多张机场跑道真实的B-scan图像，然后裁剪成448*448像素的单通道灰色图像，之后根据专家经验进行人工标注而制成相应的PASCAL VOC数据集格式，并从中选出含裂缝、脱空、沉降和疏松四类机场跑道地下病害的B-scan图像而构建成机场跑道地下病害数据集；本发明共选择1604张含裂缝、脱空、沉降和疏松四类机场跑道地下病害的B-scan图像，如图5所示；四类机场跑道地下病害的数量如表1所示；
表1
Figure BDA0003087168810000081
步骤二：为使下述的基于SF-SSD算法的机场跑道地下病害网络模型更好地学习机场跑道地下病害的形态特征，利用传统方法将上述机场跑道地下病害数据集中含裂缝、脱空、沉降和疏松四类机场跑道地下病害的B-scan图像进行背景消除、数据滤波和调节增益在内的预处理，用来滤除杂波、消除噪声，得到预处理图像，之后采用随机分类算法将预处理图像按比例分为训练集和测试集；本发明按8：2的比例将机场跑道地下病害数据集分为训练集和测试集，其中训练集中具有1283张B-scan图像，测试集中具有321张B-scan图像；
步骤三：构建如图2所示的基于SF-SSD算法的机场跑道地下病害网络模型并输入训练集中的预处理图像进行训练，利用该模型的自主学习能力对预处理图像进行特征提取，获得六种不同分辨率的特征图像；
所述的构建基于SF-SSD算法的机场跑道地下病害网络模型的具体方法如下：
1)以VGG16深度神经网络作为主干网络，包括11个卷积层和池化层，利用11个卷积层来生成不同分辨率的特征图像，由此提取出不同类型的机场跑道地下病害的特征；
2)如图2、图3、图4所示，将上述主干网络中的卷积层Conv3和卷积层Conv7分别变成RFB模块1和RFB模块2(Receptive Field Block，感受野模块)；RFB模块以Inception结构为基础，利用不同膨胀率卷积来拓宽网络特征提取的感受野，其通过7个分支的卷积扩大网络宽度，接着通过2组分别为3×1和1×3的卷积在提升网络深度的同时减少计算量，之后通过4组膨胀系数分别为1、3、5、7的膨胀卷积来增大感受野，最后将膨胀卷积后的特征图像通过Concatenation的方式融合，后接1×1卷积来保证充分融合而得到融合特征；同时通过ShortCut的方式给非线性的卷积层增加直连来提高信息的传播效率，并与上述融合特征进行累加操作；
3)将RFB模块1、卷积层Conv4和卷积层Conv6融合形成大小为38×38×768的多尺度融合分支模块Conv4_Fus，使基于SF-SSD算法的机场跑道地下病害网络模型的前端能够考虑机场跑道地下病害的不同尺度，对浅、深层不同层次特征进行融合；由于RFB模块1比卷积层Conv4的分辨率更高，包含更多的细节，因此使用最大池化(Maxpooling)操作对RFB模块1进行下采样(Upsampling，设置参数步长为2，卷积核大小为2)而将尺寸统一到38×38大小。同理，为了统一尺度，对于卷积层Conv6进行上采样(设置参数步长为2，卷积核大小为2)；在Concentrate模块之前都引入1×1卷积，以减少输入的机场跑道地下病害特征映射的数量，提高计算效率。在融合前分别对RFB模块1、卷积层Conv4和卷积层Conv6的特征层加入BN层进行归一化处理，以防止不同特征层的数据维分布存在差距导致的直接融合效果不好。
步骤四：根据上述六种不同分辨率的特征图像的尺寸，在这些特征图像上生成多个分为六种不同尺度的病害先验框，用于分别初步检测上述六种不同分辨率的特征图像中机场跑道地下病害的位置；
具体步骤如下：
所述病害先验框的尺度设置满足下式：
Figure BDA0003087168810000101
min_size＝sk×input_size (2)
max_size＝sk+1×input_size (3)
其中，smin＝0.2，smax＝0.9，m＝5，sk表示病害先验框大小相对于特征输入图像的比例，sk+1表示病害先验框大小相对于特征输入图像的比例sk的下一个递推表达，利用病害先验框大小相对于特征输入图像的比例sk、病害先验框大小相对于特征输入图像的比例sk的下一个递推表达sk+1得到其最小尺度min_size和最大尺度max_size；
首先生成两个边长分别为min_size和
Figure BDA0003087168810000102
的正方形病害先验框，然后根据机场跑道地下病害的尺度分布情况对病害先验框的长宽比和数目进行设置，生成边长为
Figure BDA0003087168810000103
和
Figure BDA0003087168810000104
的病害先验框以匹配六种不同分辨率的特征图像。其中，aspect_ratio表示病害先验框的长宽比。
步骤五：通过步骤三构建的基于SF-SSD算法的机场跑道地下病害网络模型，利用回归和分类损失函数对步骤四生成的病害先验框进行位置调整，使这些先验框与标注病害的真实框逼近，从而对基于SF-SSD算法的机场跑道地下病害网络模型进行优化，由此得到基于SF-SSD算法的机场跑道地下病害网络优化模型；
利用Smooth L1 loss损失函数对步骤四获得的病害先验框进行位置坐标回归修正而得到精准病害检测框；利用softmax loss损失函数对训练集中的预处理图像进行置信度分类，在得到精准病害检测框的同时得到病害检测框的分类；然后设置阈值IoU＝0.5，在分类置信度大于0.5的情况下，通过非极大值抑制的方法剔除精准病害检测框中重复多余的病害检测框，获得最优病害检测框，这样可以避免出现一个机场跑道地下病害被多个病害检测框检验出来的现象，确保经过本步骤操作能够使一个机场跑道地下病害只得到一个病害检测框；之后将Smooth L1 loss损失函数值与softmax loss损失函数值之和作为误差参数总损失值Loss，之后根据误差参数总损失值Loss进行反向传播；在反向传播过程中，为了快速找到最优的权重w和偏置b这两个参数，使基于SF-SSD算法的机场跑道地下病害网络模型的输出f(x)能够拟合所有的输入x，设定一个损失函数C(w,b)，用以找出最优的权重w和偏置b组合，以此量化本模型的拟合程度，最后将上述损失函数C(w,b)进行最小化，由此得到基于SF-SSD算法的机场跑道地下病害网络优化模型。
所述的损失函数C(w,b)采用随机梯度下降算法进行最小化，共设置240个Epoch，在前140个Epoch中冻结预训练模型参数，训练模型的后几层参数，从而对预测部分进行微调(Fine-tune)，这样做可以加快网络训练速度；在后100个Epoch中，解冻模型训练全部的参数。当网络训练2个Epoch，损失值loss不下降时，学习率变为原来的1/2，当训练6个Epoch后损失值loss不下降时，网络将停止训练，认为此时达到最优值。本发明设置训练Batch_Size为16，动量大小设置为0.9，权重衰减(weight decay)设置为上一次的1/2，学习率初始为5×10-3，在第141个Epoch时减小为1×10-4。
步骤六：利用测试集对上述基于SF-SSD算法的机场跑道地下病害网络优化模型进行评估，获得基于SF-SSD算法的最终机场跑道地下病害网络模型；
将测试集中的预处理图像输入上述基于SF-SSD算法的机场跑道地下病害网络优化模型中，得到预处理图像的类型和定位结果；之后以准确率Precision、召回率Recall、F1值及平均准确率mAP作为评估指标对上述分类定位结果进行评估，以判断基于SF-SSD算法的机场跑道地下病害网络优化模型是否符合检测要求，如符合，获得基于SF-SSD算法的最终机场跑道地下病害网络模型，否则重复步骤四至步骤五，直至获得基于SF-SSD算法的最终机场跑道地下病害网络模型；
准确率Precision为预测是病害的样本中实际是病害的样本比例；召回率Recall为所有实际是病害的样本中被正确预测为病害的样本比例，公式如下：
Figure BDA0003087168810000121
Figure BDA0003087168810000122
Figure BDA0003087168810000123
其中，TP为预测是病害而实际也是病害的样本数量；FP为预测是病害而实际是背景的样本数量；FN为预测是背景而实际为病害的样本数量。
将本发明方法与以下5种已有方法的上述评估指标值进行对比，结果如表2所示：图6-图10为本发明提供的机场道面地下病害数据集上各个模型实验对比结果示例图。
(1)SSD算法。SSD提取了不同尺度的特征图来做检测，大尺度特征图(较靠前的特征图)可以用来检测小物体，而小尺度特征图(较靠后的特征图)用来检测大物体，采用了不同尺度和长宽比的先验框，参考文献见：Liu W,Anguelov D,Erhan D,et al.SSD:SingleShot MultiBox Detector[J].Springer,Cham,2016；
(2)Faster R-CNN算法。一种依赖于区域建议算法来假设目标位置的目标检测网络，参考文献见：Ren S,He K,Girshick R,et al.Faster R-CNN:Towards Real-TimeObject Detection with Region Proposal Networks[J].IEEE Transactions onPattern Analysis&Machine Intelligence,2017,39(6):1137-1149；
(3)RFBnet算法。该网络主要在SSD网络中引入Receptive Field Block(RFB)，引入RFB的出发点通过模拟人类视觉的感受野加强网络的特征提取能力，从而有效增大了感受野，参考文献见：Liu S,Di H,Wang Y.Receptive Field Block Net for Accurate andFast Object Detection.2017；
(4)RetinaNet算法。一种解决了one-stage算法中正负样本的比例严重失衡问题的算法，不需要改变网络结构，只需要改变损失函数就可以获得很好的效果，参考文献见：[1]Lin T Y,Goyal P,Girshick R,et al.Focal Loss for Dense Object Detection[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2017,PP(99):2999-3007；
(5)YOLOv3算法。参考文献见：Redmon J,Divvala S,Girshick R,et al.You OnlyLook Once:Unified,Real-Time Object Detection[C]//Computer Vision&PatternRecognition.IEEE,2016；
从表2可以看出，本发明方法相比于其他方法，对小目标识别的精确率及召回率均取得较优结果，且F1值在四种机场跑道地下病害中分别取得了65％，65％，91％和92％的最优结果。同样地，本发明方法具有的82.18％的平均准确率mAP优于其他五种方法。
表2
Figure BDA0003087168810000141
步骤七：将任意探地雷达采集的机场跑道真实的B-scan图像按步骤一、步骤二方法进行处理，然后输入到上述基于SF-SSD算法的最终机场跑道地下病害网络模型中，基于SF-SSD算法的最终机场跑道地下病害网络模型的输出即为四类机场跑道地下病害的类型及位置。

Claims (1)

1.一种基于SF-SSD算法的机场跑道地下病害检测方法，所述的基于SF-SSD算法的机场跑道地下病害检测方法包括按顺序进行的下列步骤：
步骤一：利用探地雷达采集多张机场跑道真实的B-scan图像，然后裁剪成448*448像素的单通道灰色图像，之后根据专家经验进行人工标注而制成相应的PASCAL VOC数据集格式，并从中选出含裂缝、脱空、沉降和疏松四类机场跑道地下病害的B-scan图像而构建成机场跑道地下病害数据集；
步骤二：将上述机场跑道地下病害数据集中含裂缝、脱空、沉降和疏松四类机场跑道地下病害的B-scan图像进行背景消除、数据滤波和调节增益在内的预处理，得到预处理图像，之后采用随机分类算法将预处理图像按比例分为训练集和测试集；
步骤三：构建基于SF-SSD算法的机场跑道地下病害网络模型并输入训练集中的预处理图像进行训练，利用该模型的自主学习能力对预处理图像进行特征提取，获得六种不同分辨率的特征图像；
步骤四：根据上述六种不同分辨率的特征图像的尺寸，在这些特征图像上生成多个分为六种不同尺度的病害先验框，用于分别初步检测上述六种不同分辨率的特征图像中机场跑道地下病害的位置；
步骤五：通过步骤三构建的基于SF-SSD算法的机场跑道地下病害网络模型，利用回归和分类损失函数对步骤四生成的病害先验框进行位置调整，使这些先验框与标注病害的真实框逼近，从而对基于SF-SSD算法的机场跑道地下病害网络模型进行优化，由此得到基于SF-SSD算法的机场跑道地下病害网络优化模型；
步骤六：利用测试集对上述基于SF-SSD算法的机场跑道地下病害网络优化模型进行评估，获得基于SF-SSD算法的最终机场跑道地下病害网络模型；
步骤七：将任意探地雷达采集的机场跑道真实的B-scan图像按步骤一、步骤二方法进行处理，然后输入到上述基于SF-SSD算法的最终机场跑道地下病害网络模型中，基于SF-SSD算法的最终机场跑道地下病害网络模型的输出即为四类机场跑道地下病害的类型及位置；
其特征在于：在步骤三中，所述的构建基于SF-SSD算法的机场跑道地下病害网络模型的具体方法如下：
1)以VGG16深度神经网络作为主干网络，包括11个卷积层Conv和池化层，利用11个卷积层来生成不同分辨率的特征图像，由此提取出不同类型的机场跑道地下病害的特征；
2)将上述主干网络中的卷积层Conv3和卷积层Conv7分别变成RFB模块1和RFB模块2；RFB模块以Inception结构为基础，利用不同膨胀率卷积来拓宽网络特征提取的感受野，通过7个分支的卷积扩大网络宽度，接着通过2组分别为3×1和1×3的卷积在提升网络深度的同时减少计算量，之后通过4组膨胀系数分别为1、3、5、7的膨胀卷积来增大感受野，最后将膨胀卷积后的特征图像通过Concatenation的方式融合，后接1×1卷积来保证充分融合而得到融合特征；同时通过ShortCut的方式给非线性的卷积层增加直连来提高信息的传播效率，并与上述融合特征进行累加操作；
3)将RFB模块1、卷积层Conv4和卷积层Conv6融合形成大小为38×38×768的多尺度融合分支模块Conv4_Fus；使用最大池化操作对RFB模块1进行下采样而将尺寸统一到38×38大小；对于卷积层Conv6进行上采样；在Concentrate模块之前都引入1×1卷积；在融合前分别对RFB模块1、卷积层Conv4和卷积层Conv6的特征层加入BN层进行归一化处理。
CN202110585531.1A 2021-05-27 2021-05-27 一种基于sf-ssd算法的机场跑道地下病害检测方法 Active CN113298155B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110585531.1A CN113298155B (zh) 2021-05-27 2021-05-27 一种基于sf-ssd算法的机场跑道地下病害检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110585531.1A CN113298155B (zh) 2021-05-27 2021-05-27 一种基于sf-ssd算法的机场跑道地下病害检测方法

Publications (2)

Publication Number Publication Date
CN113298155A CN113298155A (zh) 2021-08-24
CN113298155B true CN113298155B (zh) 2022-07-29

Family

ID=77325714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110585531.1A Active CN113298155B (zh) 2021-05-27 2021-05-27 一种基于sf-ssd算法的机场跑道地下病害检测方法

Country Status (1)

Country Link
CN (1) CN113298155B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113902896A (zh) * 2021-09-24 2022-01-07 西安电子科技大学 基于扩大感受野的红外目标检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112462346A (zh) * 2020-11-26 2021-03-09 西安交通大学 一种基于卷积神经网络的探地雷达路基病害目标检测方法
CN112507904A (zh) * 2020-12-15 2021-03-16 重庆邮电大学 一种基于多尺度特征的教室人体姿态实时检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103669184B (zh) * 2013-12-25 2015-12-09 河南省高远公路养护技术有限公司 一种路面结构层隐形病害检测方法
CN112700429B (zh) * 2021-01-08 2022-08-26 中国民航大学 基于深度学习的机场道面地下结构病害自动检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112462346A (zh) * 2020-11-26 2021-03-09 西安交通大学 一种基于卷积神经网络的探地雷达路基病害目标检测方法
CN112507904A (zh) * 2020-12-15 2021-03-16 重庆邮电大学 一种基于多尺度特征的教室人体姿态实时检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Receptive Field Block Net for Accurate and Fast Object Detection;Songtao Liu 等;《arXiv》;20180726;正文第3节 *
SSD: Single Shot MultiBox DetectorSSD: Single Shot MultiBox Detector;Wei Liu 等;《arXiv》;20161229;正文第2.2节 *

Also Published As

Publication number Publication date
CN113298155A (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
CN112700429B (zh) 基于深度学习的机场道面地下结构病害自动检测方法
CN109325960B (zh) 一种红外云图气旋分析方法及分析系统
CN110210463B (zh) 基于Precise ROI-Faster R-CNN的雷达目标图像检测方法
CN108510467B (zh) 基于深度可变形卷积神经网络的sar图像目标识别方法
CN110033473B (zh) 基于模板匹配和深度分类网络的运动目标跟踪方法
CN111091105A (zh) 基于新的边框回归损失函数的遥感图像目标检测方法
CN110135296A (zh) 基于卷积神经网络的机场跑道fod检测方法
CN114693615A (zh) 一种基于域适应的深度学习混凝土桥梁裂缝实时检测方法
CN110796186A (zh) 基于改进的YOLOv3网络的干湿垃圾识别分类方法
CN110163275B (zh) 基于深度卷积神经网络的sar图像目标分类方法
CN113111703B (zh) 基于多种卷积神经网络融合的机场道面病害异物检测方法
CN108537751B (zh) 一种基于径向基神经网络的甲状腺超声图像自动分割方法
CN103778435A (zh) 一种基于视频的行人快速检测方法
CN112528896A (zh) 一种面向sar图像的飞机目标自动检测方法及系统
CN109766936A (zh) 基于信息传递和注意力机制的图像变化检测方法
CN109325490A (zh) 基于深度学习和rpca的太赫兹图像目标识别方法
CN113536963B (zh) 基于轻量化yolo网络的sar图像飞机目标检测方法
CN108447057A (zh) 基于显著性和深度卷积网络的sar图像变化检测方法
CN110210418A (zh) 一种基于信息交互和迁移学习的sar图像飞机目标检测方法
CN109558803B (zh) 基于卷积神经网络与np准则的sar目标鉴别方法
Rajeswari et al. Automatic road extraction based on level set, normalized cuts and mean shift methods
CN109003275A (zh) 焊缝缺陷图像的分割方法
CN109543498B (zh) 一种基于多任务网络的车道线检测方法
CN113298155B (zh) 一种基于sf-ssd算法的机场跑道地下病害检测方法
Zhigang et al. Vehicle target detection based on R-FCN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant