CN113111704A

CN113111704A - 基于深度学习的机场道面病害异物检测方法及系统

Info

Publication number: CN113111704A
Application number: CN202110228059.6A
Authority: CN
Inventors: 郭文彤; 方宏远; 王念念; 钟山; 朱锐; 陈家将; 曹顺林; 张高翼
Original assignee: Zhengzhou University
Current assignee: Zhengzhou University
Priority date: 2021-03-02
Filing date: 2021-03-02
Publication date: 2021-07-13
Anticipated expiration: 2041-03-02
Also published as: CN113111704B

Abstract

本发明提供一种基于深度学习的机场道面病害异物检测方法及系统，其中方法包括：搭建YOLOv3和Mask RCNN卷积神经网络并设置超参数进行训练；将训练好后的YOLOv3、Mask R‑CNN卷积神经网络分别部署在检测车辆图像识别系统和工作站服务器上；第一阶段启用检测车辆图像识别系统中YOLOv3目标检测模型对原始采集图像进行初步检测，第二阶段启用工作站中Mask R‑CNN语义分割模型对图像进行二次检测并提取分割后的语义信息，获得图像病害与FOD的详细信息；工作站将最终检测结果上传至用户终端系统。本发明提出的基于深度学习的多阶段机场道面病害异物检测方法及系统，既能够同时智能检测机场道面病害与异物，又能保证检测精度和效率。

Description

基于深度学习的机场道面病害异物检测方法及系统

技术领域

本发明属于机场道面病害异物无损检测技术领域，尤其涉及一种基于深度学习的机场道面病害异物检测方法及系统。

背景技术

随着航空科学技术的发展，机场、乘客数量以及飞机班次大幅度增加。由于荷载和环境因素的反复作用，机场道面逐渐出现大量结构病害，严重影响机场的安全运营。裂缝和坑槽作为大多数结构病害的早期表现形式对飞机起降构成极大的安全隐患。FOD(ForeignObject Debris)，是指所有出现在机场跑道上可能损伤飞机，对运行安全造成危害的外来物体。异物一旦被吸入机械装置内，不仅会影响飞机正常运行，更严重的是导致发动机受损，造成重大经济损失，严重危害机上人员的生命安全。

目前机场仍采用以人工巡检为主的道面病害异物检测方法，耗时费力、主观性强且成本高，无法满足机场快速发展的需求。受机场运行要求的制约，只能在夜间进行道面检测，使得机场道面病害异物检测更加困难。

为了弥补人工巡检的不足，雷达探测技术与视频图像识别技术在机场道面病害与FOD检测领域被广泛使用。基于雷达技术的检测方法往往操作困难，而且造价高、精度较低，中小机场难以负担。如今一些特殊的机场对异物检测精度要求达到5mm及以下，主流的毫米波雷达技术完全不能达到这样的精度要求。而目前视频图像技术容易受到夜晚检测环境的影响，且提取的图像数据信息少，容易产生误判。随着计算机视觉技术与深度学习的开发运用，一些学者们基于此开发了各种检测系统用于机场道面病害异物检测领域。其中基于传统机器学习的目标检测方法难以保证充分提取图像数据信息，通用性与精度较低；而基于深度学习的目标检测方法又难以同时保证检测精度和检测效率。目前针对机场道面病害和异物检测的方法及系统存在智能化与可靠度低、精度低、易造成误判，亦或是难以满足机场实际需求、检测精度与检测效率难以两全，并且不能实现病害与异物同时检测的缺陷与问题。

因此，亟需一种基于深度学习的机场道面病害异物检测方法，既能够按照实际需求同时智能检测机场道面病害与异物，又能保证检测的精度和效率，进而保障机场的正常运行和飞机、乘客的安全。

发明内容

为了解决上述问题，本发明提供一种基于深度学习的机场道面病害异物检测方法及系统，既能够按照实际需求同时智能检测机场道面病害与异物，又能保证检测的精度和效率，进而保障机场的正常运行和飞机、乘客的安全。

为了实现上述目的，本发明提供一种基于深度学习的机场道面病害异物检测方法，其步骤包括：

S1：分别优化改进YOLOv3算法和Mask R-CNN算法，搭建YOLOv3和Mask RCNN卷积神经网络并设置超参数进行训练；

S2：将训练好后的YOLOv3、Mask R-CNN卷积神经网络分别部署在检测车辆图像识别系统和工作站服务器上；

S3：依据待检测区域环境部署检测车辆，并通过导航定位系统规划巡检路径，向检测车辆下发巡检任务；

S4：检测车辆依据规划路径进入待检测区域执行巡检任务；

S5：检测车辆通过图像采集系统采集机场道面图像并启用图像识别系统上的YOLOv3目标检测模型进行第一阶段检测，并将原采集图像与第一阶段检测结果上传至工作站；

S6：搭载在工作站上的Mask R-CNN语义分割模型对采集图像进行第二阶段检测并提取分割后的语义信息，获得图像病害与FOD的详细信息；

S7：所述车载控制系统依据检测车辆任务完成情况判定后续工作；

S8：工作站将最终检测结果上传至用户终端系统。

作为上述方案进一步的改进，步骤S5中，检测处理图像方法的步骤包括：

S5.1：所述图像识别系统接收检测车辆采集的机场道面和异物图像；

S5.2：所述YOLOv3目标检测模型对步骤S5.1采集的图像进行第一阶段检测；

S5.3：将第一阶段检测结果上传至工作站。

作为上述方案进一步的改进，步骤S6中，检测处理图像的方法步骤包括：

S6.1：工作站接收检测车辆上传的原采集图像以及第一阶段检测结果；

S6.2：工作站上搭建的Mask R-CNN语义分割模型对采集图像进行第二阶段检测；

S6.3：工作站对第二阶段检测结果进行评价，若平均准确度及误差损失值满足要求，则将最终检测结果上传至用户终端系统；若不满足要求，则通过所述后台控制系统调整并继续进行巡检任务。

作为上述方案进一步的改进，所述YOLOv3目标检测模型采用K-Means算法对机场道面病害和FOD样本进行聚类分析并在原有特征层基础上增加一个尺度特征层，通过对图像识别系统中的原采集图像进行第一阶段检测，得到病害与异物的类型，然后通过信息传输系统将第一阶段检测结果上传至工作站；所述MaskR-CNN语义分割模型将IoU坐标损失函数替换为DIoU坐标损失函数，采用DIoU-NMS代替非极大值抑制算法对网络进行改进、优化，通过对工作站中第一阶段检测结果和原采集图像进行第二阶段检测，得到病害与异物的详细信息。

本发明还提供一种基于深度学习的多阶段机场道面病害异物检测系统，包括：

搭载在检测车辆上的图像采集系统、图像识别系统、信息传输系统和车载控制系统；所述图像采集系统、图像识别系统、信息传输系统依次通讯连接；所述图像采集系统用于采集机场道面图像；所述图像识别系统包括YOLOv3目标检测模型，用于第一阶段检测；信息传输系统，用于上传第一阶段检测结果；所述车载控制系统与所述图像采集系统，用于检测车辆的运动控制、图像采集、初步检测、任务评估和结果传输；

搭载在工作站上的Mask R-CNN语义分割模型，所述Mask R-CNN语义分割模型用于对采集图像进行第二阶段检测并提取分割后的语义信息，获得图像病害与FOD的详细信息；

用户终端系统，所述工作站与所述用户终端通讯连接，所述工作站将最终检测结果上传至用户终端系统；

后台控制系统，用于规划检测车辆巡检任务、实时监控检测车辆运行状况。

作为上述方案进一步的改进，所述检测车辆包括支撑平台、动力平台和移动平台，所述动力平台为移动平台提供动力源，所述支撑平台设置在所述移动平台上，具体的，所述支撑平台由Caesar TSD200金属底盘作为支撑板，所述动力平台由25mm直流碳刷电机提供行车动力，所述移动平台包括行车驾驶仪和中央控制枢纽，具体的，优选ATMEGA2560行车驾驶仪负责检测车辆行驶移动。

作为上述方案进一步的改进，所述图像采集系统包括若干高清无缝混合矩阵摄像头。

作为上述方案进一步的改进，所述车载控制系统设置在在支撑平台上，并与动力平台、移动平台、图像采集系统、图像识别系统和信息传输系统通信连接。

作为上述方案进一步的改进，所述车载控制系统还包括：

导航定位系统，用于实现移动平台定位和检测车辆运动控制；

任务评估系统，用于判定巡航任务是否完成，决定检测车辆后续工作。

作为上述方案进一步的改进，所述导航定位系统包括厘米级高精度差分GPS定位模块，用于获取车辆以及机场道面病害异物的位置信息。

作为上述方案进一步的改进，所述后台控制系统包括：

任务管理器，用于规划检测车辆巡检任务，划定作业区域、设定检测车辆速度以及检测时间；

远程控制管理系统，与检测车辆、工作站通信连接，用于实时监控检测车辆和所述系统运行状况，同时可管理工作站工作并发布任务指令。

作为上述方案进一步的改进，所述后台控制系统还包括手持式控制器，所述手持式控制器与检测车辆通信连接，用于远程实时控制检测车辆的运动，以应对突发紧急事件并实现检测人员在特定时刻对于巡航任务的精细化要求。

由于本发明采用了以上技术方案，使本申请具备的有益效果在于：

(1)本发明的一种基于深度学习的多阶段机场道面病害异物检测系统，包括：搭载在检测车辆上的图像采集系统、图像识别系统、信息传输系统和车载控制系统；所述图像采集系统、图像识别系统、信息传输系统依次通讯连接；所述图像采集系统用于采集机场道面图像；所述图像识别系统包括YOLOv3目标检测模型，用于第一阶段检测；信息传输系统，用于上传第一阶段检测结果；所述车载控制系统与所述图像采集系统，用于检测车辆的运动控制、图像采集、初步检测、任务评估和结果传输；搭载在工作站上的Mask R-CNN语义分割模型，所述Mask R-CNN语义分割模型用于对采集图像进行第二阶段检测并提取分割后的语义信息，获得图像病害与FOD的详细信息；用户终端系统，所述工作站与所述用户终端通讯连接，所述工作站将最终检测结果上传至用户终端系统；后台控制系统，用于规划检测车辆巡检任务、实时监控检测车辆运行状况，本发明的机场道面病害异物检测系统智能便捷，操作简单；适用于以机场道面病害和FOD检测为主的多种工程类型检测，通用性强。

(2)本发明的一种基于深度学习的机场道面病害异物检测方法，第一阶段启用检测车辆图像识别系统中YOLOv3目标检测模型对原始采集图像进行初步检测，第二阶段启用工作站中Mask R-CNN语义分割模型对图像进行二次检测，这样既保证了检测的速度，又极大提高了识别的精度。

(4)本发明的一种基于深度学习的机场道面病害异物检测方法，将检测结果汇总上传至用户终端，有利于工作人员全面地把握被检测路径的整体情况，制定更加科学合理的应对措施。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图；

图1为本发明的基于深度学习的机场道面病害异物检测方法的流程图；

图2为本发明的深度学习检测模型原理示意图；

图3为本发明第一阶段YOLOv3目标检测模型原理示意图；

图4为本发明第二阶段Mask R-CNN语义分割模型原理示意图；

图5为本发明的基于深度学习的多阶段机场道面病害异物检测系统的整体结构示意图；

图6为本发明检测车辆结构示意图。

具体实施例

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，本发明实施例中所有方向性指示诸如第一、第二、上、下、左、右、前、后……仅用于解释在某一特定姿态如附图所示下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

以下面结合附图以对本发明作进一步描述:

实施例1：

参照图1，本发明提供一种基于深度学习的机场道面病害异物检测方法，其步骤包括：

S1：分别优化改进YOLOv3算法和Mask R-CNN算法，搭建YOLOv3和Mask RCNN卷积神经网络并设置超参数进行训练；在本实施例中，优化改进算法YOLOv3为采用K-Means算法进行聚类分析并增加尺度特征层数量，优化改进算法MaskR-CNN将IoU坐标损失函数替换为DIoU坐标损失函数，采用DIoU-NMS代替非极大值抑制算法(NMS)。YOLOv3、Mask R-CNN卷积神经网络的构建、训练及测试均是采用8G主内存的服务器，配置有Intel i9的CPU，为了提高网络模型的训练效率，还配置有6G内存的Nvidia 2080TiGPU进行加速。

S2：将训练好后的YOLOv3、Mask R-CNN卷积神经网络分别部署在检测车辆图像识别系统和工作站服务器上；在本实施例中，将训练好后的YOLOv3目标检测模型部署在检测车辆树莓派系统上，作为检测车辆图像识别系统；将训练好后的Mask R-CNN语义分割模型部署在工作站的检测平台上。

S3：依据待检测区域环境部署检测车辆，并通过导航定位系统规划巡检路径，向检测车辆下发巡检任务；在本实施例中，根据实际情况部署一定数量的检测车辆，为了实现系统规划路径，向检测车辆下发巡检任务，采用基于MAVLink传输协议将检测车辆和上位机软件Mission Planner进行无线连接，进入导航定位系统界面进行GPS航线规划，将设置好的航线以JSON格式进行保存，随后将保存的航点数据传入检测车辆中，由遥控装置发送指令即可进行车辆自动巡检。

具体的，工作人员通过所述步骤S3中后台控制系统中任务管理器向检测车辆下发巡检任务，并结合导航定位系统规划巡检路径、划定作业区域并设定检测车辆行驶速度和检测时间。

S4：检测车辆依据规划路径进入待检测区域执行巡检任务；

S5：检测车辆通过图像采集系统采集机场道面图像并启用图像识别系统上的YOLOv3目标检测模型进行第一阶段检测，并将原采集图像与第一阶段检测结果上传至工作站；在本实施例中，所述图像识别系统接收检测车辆采集的机场道面病害和异物图像，图像识别系统上的YOLOv3目标检测模型对采集图像进行第一阶段检测将第一阶段检测结果通过4G LTE模块传输给工作站。

S6：搭载在工作站上的Mask R-CNN语义分割模型对采集图像进行第二阶段检测并提取分割后的语义信息，获得图像病害与FOD的详细信息；在本实施例中，工作站接收检测车辆上传的原采集图像以及第一阶段检测结果，并将其储存在工作站上的MySQL数据库，工作站上搭建的Mask R-CNN语义分割模型对采集图像进行第二阶段检测，工作站对第二阶段检测结果进行评价，若平均准确度及误差损失值满足要求，则将最终检测结果上传至用户终端系统；若不满足要求，则通过所述后台控制系统调整并继续进行巡检任务。

S7：所述车载控制系统依据检测车辆任务完成情况判定后续工作；在本实施例中，所述车载控制系统依据检测车辆任务完成情况判定后续工作，若已完成，则检测车辆退出作业区域；若未完成，则继续执行巡检任务；

S8：工作站将最终检测结果上传至用户终端系统；在本实施例中，工作站将最终检测结果上传至用户终端系统，工作人员可通过用户终端系统查看，指导进行下一步维修养护工作；本发明将检测结果汇总上传至用户终端，有利于工作人员全面地把握被检测路径的整体情况，制定更加科学合理的应对措施。

本发明所采用的深度学习检测模型原理参照图2所示：分为YOLOv3目标检测模型和Mask R-CNN语义分割模型。所述YOLOv3目标检测模型采用K-Means算法对机场道面病害和FOD样本进行聚类分析并在原有特征层基础上增加一个104×104尺度特征层，通过对图像识别系统中的原采集图像进行第一阶段检测，得到病害与异物的类型，然后通过信息传输系统将第一阶段检测结果上传至工作站；所述Mask R-CNN语义分割模型将IoU坐标损失函数替换为DIoU坐标损失函数，采用DIoU-NMS代替非极大值抑制算法对网络进行改进、优化，通过对工作站中第一阶段检测结果和原采集图像进行第二阶段检测，得到病害与异物的详细信息，然后将最终检测结果上传至用户终端系统供工作人员查看，这样既保证了检测的速度，又极大提高了识别的精度。

作为优选的实施例，步骤S5中，检测处理图像方法的步骤包括：

S5.2：所述YOLOv3目标检测模型对步骤S5.1采集的图像进行第一阶段检测；所述第一阶段YOLOv3目标检测模型原理参照图3所示，首先将图像采集系统采集的病害与异物原图像进行图像裁剪、图像增强、图像标注等预处理措施制作而成训练集；然后使用训练集训练得到YOLOv3目标检测模型，若模型检测精度满足实际要求，则用于机场道面病害异物检测；若不满足要求，则调整模型与图像预处理方式，重新进行训练；

S5.3：将第一阶段检测结果上传至工作站。

作为优选的实施例，步骤S6中，检测处理图像的方法步骤包括：

S6.2：工作站上搭建的Mask R-CNN语义分割模型对采集图像进行第二阶段检测；所述第二阶段Mask R-CNN语义分割模型原理参照图4所示：首先将图像采集系统采集的病害与异物原图像进行图像裁剪、图像增强、图像标注等预处理措施制作而成训练集；然后使用训练集训练得到Mask R-CNN语义分割模型，若模型检测精度满足实际要求，则用于机场道面病害异物检测；若不满足要求，则调整模型与图像预处理方式，重新进行训练。

实施例2：

参照图5，本发明还提供一种基于深度学习的多阶段机场道面病害异物检测系统，包括：

后台控制系统，用于规划检测车辆巡检任务、实时监控检测车辆运行状况；

在本实施例中，所述图像采集系统包括若干高清无缝混合矩阵摄像头，用于采集图像信息；所述信息传输系统包括4G LTE模块，用于上传第一阶段检测结果；所述用户终端系统包括网页用户终端系统和app用户终端系统；

所述图像识别系统接收检测车辆采集的机场道面病害和异物图像，图像识别系统上的YOLOv3目标检测模型对采集图像进行第一阶段检测将第一阶段检测结果通过4G LTE模块传输给工作站；工作站接收检测车辆上传的原采集图像以及第一阶段检测结果，并将其储存在工作站上的MySQL数据库，工作站上搭建的Mask R-CNN语义分割模型对采集图像进行第二阶段检测，工作站对第二阶段检测结果进行评价，若平均准确度及误差损失值满足要求，则将最终检测结果上传至用户终端系统；若不满足要求，则通过所述后台控制系统调整并继续进行巡检任务。

作为优选的实施例，参照图6所示，所述检测车辆包括多个硬件模块和软件系统，硬件模块包括检测车辆本体，所述检测车辆本体包括支撑平台，动力平台和移动平台。所述支撑平台由Caesar TSD200金属底盘作为支撑板；所述动力平台由25mm直流碳刷电机提供行车动力；所述移动平台由ATMEGA2560行车驾驶仪负责检测车辆行驶移动，由英伟达JETSON NANO作为中央控制枢纽。软件系统包括图像采集系统，图像识别系统和车载控制系统；所述车载控制系统包括导航定位系统和任务评估系统，所述任务评估系统，用于判定巡航任务是否完成，决定检测车辆后续工作。

作为优选的实施例，所述车载控制系统还包括：

任务评估系统，用于判定巡航任务是否完成，决定检测车辆后续工作；

在本实施例中，车载控制系统还包括激光雷达，电机驱动板，核心控制器，GPS导航定位装置。

作为优选的实施例，所述导航定位系统包括厘米级高精度差分GPS定位模块，用于获取车辆以及机场道面病害异物的位置信息，用于实现移动平台定位和检测车辆运动控制；

作为优选的实施例，所述后台控制系统包括：

作为优选的实施例，所述后台控制系统还包括手持式控制器，所述手持式控制器与检测车辆通信连接，用于远程实时控制检测车辆的运动，以应对突发紧急事件并实现检测人员在特定时刻对于巡航任务的精细化要求。

以上是本发明的详细的介绍，本文中应用了具体个例对本发明的原理以及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法以及核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims

1.一种基于深度学习的机场道面病害异物检测方法，其特征在于，其步骤包括：

S4：检测车辆依据规划路径进入待检测区域执行巡检任务；

S7：车载控制系统依据检测车辆任务完成情况判定后续工作；

S8：工作站将最终检测结果上传至用户终端系统。

2.根据权利要求1所述的一种基于深度学习的机场道面病害异物检测方法，其特征在于，步骤S5中，检测处理图像方法的步骤包括：

S5.3：将第一阶段检测结果上传至工作站。

3.根据权利要求1或2所述的一种基于深度学习的机场道面病害异物检测方法，其特征在于，步骤S6中，检测处理图像的方法步骤包括：

S6.3：工作站对第二阶段检测结果进行评价，若平均准确度及误差损失值满足要求，则将最终检测结果上传至用户终端系统；若不满足要求，则通过后台控制系统调整并继续进行巡检任务。

4.根据权利要求1或2所述的一种基于深度学习的机场道面病害异物检测方法，其特征在于，所述YOLOv3目标检测模型采用K-Means算法对机场道面病害和FOD样本进行聚类分析并在原有特征层基础上增加一个尺度特征层。

5.根据权利要求1或2所述的一种基于深度学习的机场道面病害异物检测方法，其特征在于，所述Mask R-CNN语义分割模型的坐标损失函数采用DIoU坐标损失函数，并采用DIoU-NMS算法对网络进行改进、优化。

6.一种基于深度学习的多阶段机场道面病害异物检测系统，其特征在于，包括：

搭载在检测车辆上的图像采集系统、图像识别系统、信息传输系统和车载控制系统；所述图像采集系统、图像识别系统、信息传输系统依次通讯连接；所述图像采集系统用于采集机场道面图像；所述图像识别系统包括YOLOv3目标检测模型，用于第一阶段检测；所述信息传输系统，用于上传第一阶段检测结果；所述车载控制系统与所述图像采集系统，用于检测车辆的运动控制、图像采集、初步检测、任务评估和结果传输；

用户终端系统，所述工作站与所述用户终端通讯连接，所述工作站用于将最终检测结果上传至用户终端系统；

后台控制系统，用于规划检测车辆巡检任务以及实时监控检测车辆运行状况。

7.根据权利要求6所述的一种基于深度学习的机场道面病害异物检测系统，其特征在于，所述检测车辆包括支撑平台、动力平台和移动平台，所述动力平台为移动平台提供动力源，所述支撑平台设置在所述移动平台上，所述车载控制系统设置在在支撑平台上，并与动力平台、移动平台、图像采集系统、图像识别系统和信息传输系统通信连接。

8.根据权利要求6或7所述的一种基于深度学习的机场道面病害异物检测系统，其特征在于，所述车载控制系统还包括：

9.根据权利要求6或7所述的一种基于深度学习的机场道面病害异物检测系统，其特征在于，所述后台控制系统包括：

远程控制管理系统，与检测车辆、工作站通信连接，用于实时监控检测车辆和所述系统运行状况，同时可管理工作站工作并发布任务指令

10.根据权利要求6或7所述的一种基于深度学习的机场道面病害异物检测系统，其特征在于，所述后台控制系统还包括手持式控制器，所述手持式控制器与检测车辆通信连接，用于远程实时控制检测车辆的运动。