CN110781757A

CN110781757A - 一种机场道面异物识别定位方法及系统

Info

Publication number: CN110781757A
Application number: CN201910931108.5A
Authority: CN
Inventors: 靳超; 刘国梁; 李昱辉; 王昊; 周茹; 何志勇
Original assignee: China Aeronautical Radio Electronics Research Institute
Current assignee: China Aeronautical Radio Electronics Research Institute
Priority date: 2019-09-29
Filing date: 2019-09-29
Publication date: 2020-02-11
Anticipated expiration: 2039-09-29
Also published as: CN110781757B

Abstract

本申请提供一种机场道面异物识别定位方法，方法包括：无人机根据预设飞行路径规划对机场道面进行勘察，采集N张局部机场道面图像，所述N张局部机场道面图像覆盖整个机场道面；对所述N张局部机场道面图像进行图像拼接处理，获得完整机场道面图像；利用目标检测方法对所述完整机场道面图像进行识别，异物分类和对应的异物位置信息。

Description

一种机场道面异物识别定位方法及系统

技术领域

本发明属于机场后勤保障与维修领域专用技术，具体涉及一种机场道面异物识别定位方法。

背景技术

机场道面作为机场正常运营的最关键环节之一，是机场日常保障及维护的重点，道面的健康状态对于飞机的安全起着至关重要的作用。道面异物通常是指由于多种原因而在道面上存在的石子、裂缝、坑洼、隆起等物体，会影响跑道平整性并严重威胁飞机安全。在飞机起降阶段，一个直径在0.5厘米左右的石子都有可能因被吸入飞机发动机而导致发动机故障导致机毁人亡。因此，进行机场道面异物勘察对于维持整个机场来讲是极为重要的。

常规的民用或军用机场跑道长度在2500米至3000米左右，宽度在50-80米左右，采用常规手段如人或车辆赴跑道进行道面异物勘察的方式面临着以下几种问题：第一，时效性不高，采用人或车辆上跑道的方式，单次巡检勘察时间可能长达数十分钟甚至几小时，这对于愈发繁忙的机场来说是无法接受的；第二，漏检概率大，人眼识别道面异物存在准确度较低、漏检率较高等问题，尤其在天气、光线条件欠佳的情况下，漏检率会大大提升，增加了安全隐患；第三，定位精度低，对于机场道面存在的石子、裂缝、坑洼、隆起等异物来说，精确标定其位置信息并对于后续开展修缮工作非常重要。采用人工手绘标记的方式仅能大致标记异物所在的区域，误差范围大，无法实现高精度的异物定位。

发明内容

本提供了一种机场道面异物识别定位方法及系统，能够实现高精度的异物定位，减小定位误差范围。

第一方面，本申请提供一种机场道面异物识别定位方法，方法包括：

无人机根据预设飞行路径规划对机场道面进行勘察，采集N张局部机场道面图像，所述N张局部机场道面图像覆盖整个机场道面；

对所述N张局部机场道面图像进行图像拼接处理，获得完整机场道面图像；

利用目标检测方法对所述完整机场道面图像进行识别，获得异物分类和对应的异物位置信息。

可选的，在所述无人机根据预设飞行路径规划对机场道面进行勘察之前，方法还包括：

对所述无人机进行动力系统检查、通讯链路检查和光学载荷状态检查。

可选的，所述对所述N张局部机场道面图像进行图像拼接处理，获得完整机场道面图像，具体包括：

采用SIFT算法对所述N张局部机场道面图像进行图像特征提取与初步匹配，并获得初步匹配结果；

利用RANSAC算法对所述N张局部机场道面图像进行图像特征匹配，获得匹配关键点；

根据所述初步匹配结果和匹配关键点，将N张局部机场道面图像进行图像拼接，并获得完整机场道面图像。

可选的，所述利用目标检测方法对所述完整机场道面图像进行识别，获得异物分类和对应的异物位置信息，具体包括：

根据预先采集的道面异物图片，利用Faster-RCNN方法对神经网络模型进行训练，获得目标检测模型；

将所述完整机场道面图像输入目标检测模型，获得异物分类和对应的异物位置信息。

可选的，在所述获得异物分类和对应的异物位置信息之后，方法还包括：

根据预先设置在机场道面的激光测距设备，测量异物的实际位置信息；

结合所述实际位置信息和所述异物位置信息，计算异物精确位置信息。

第二方面，本申请提供一种机场道面异物识别定位系统，其特征在于，所述系统包括无人机、激光测距设备以及地面一体化控制处理终端，其中：

无人机用于根据预设飞行路径规划对机场道面进行勘察，采集N张局部机场道面图像，并将所述N张局部机场道面图像发送至地面一体化控制处理终端，所述N张局部机场道面图像覆盖整个机场道面；

地面一体化控制处理终端，用于对所述N张局部机场道面图像进行图像拼接处理，获得完整机场道面图像；利用目标检测方法对所述完整机场道面图像进行识别，异物分类和对应的异物位置信息；结合所述实际位置信息和所述异物位置信息，计算异物精确位置信息；

激光测距设备，用于测量异物的实际位置信息，并将实际位置信息发送至地面一体化控制处理终端。

可选的，所述无人机具有悬停功能，包括多旋翼无人机平台。

可选的，所述激光测距设备包括具有可见光及激光测距功能的双光吊舱设备。

本发明的有益效果为：

一、采用无人机以高速、自主、智能的勘察方式代替传统的人工勘察方式，即能够减少人员投入，也能够减少勘察的时间，提高了机场跑道保障效率。

二、采用高分辨率光学成像设备，能够分辨直径小于1厘米的石子、裂缝、坑洼、隆起等道面异物，同传统人工勘察方式相比，道面异物的漏检率大大降低，提高了飞机起降安全性。

三、采用了RTK差分定位结合激光测距的方式，使道面异物的定位精度达到厘米级，同传统人工勘察方式相比，提高了道面异物的定位准确率与定位精度。

附图说明

图1为本申请提供的多旋翼无人机携带光学激光测距吊舱的示意图；

图2为本申请提供的地面一体化控制处理终端的示意图；

图3为本申请提供的系统逻辑示意图。

具体实施方式

本发明创新性地在机场日常勘察巡检中使用了基于无人机的智能化方法。由具有高速飞行机悬停功能的多旋翼无人机，搭载高分辨率的光学激光吊舱，按照预先规划的飞行路径开展机场道面的全域、高精度勘察，采用图像拼接还原技术及机器训练学习算法，完成道面异物的识别、定位及标记，生成的结果上报塔台开展后续的维修工作。

本专利发明了基于无人机的机场道面异物勘察系统。系统由具有高速飞行、悬停功能的多旋翼无人机平台、具有可见光及激光测距功能的双光吊舱设备以及地面一体化控制处理终端组成。在开展道面异物勘察前期首先完成无人机航路规划及任务规划，勘察过程中采集高清图像实时处理分析道面上是否存在异物(石子、裂缝、坑洼、隆起等)，同时提供每个异物的精确定位信息，通过图像拼接的方式生成整条机场跑道电子地图。

步骤一：勘察准备与路径规划

勘察前的准备工作包括无人机动力系统检查、通讯链路检查、光学载荷状态检查、地面一体化控制处理终端检查等。准备工作结束之后，综合考虑待勘察机场道面的长度、宽度、光学传感器分辨率以及异物识别精度等参数，完成无人机的飞行路径规划，之后无人机按照设定的路径开展全道面的异物勘察定位工作，确保图像能够覆盖整个场地。

在这里，我们要求保护以下思想：

基于多元参数的无人机勘察路径自主规划方法。

步骤二：图像采集与机场跑道拼接还原

无人机按照路径开展图像采集工作，通过无线通讯链路将采集到的图像实时回传至地面一体化控制处理终端进行后续的图像处理及拼接还原工作。图像拼接主要分为三个步骤：

首先，采用SIFT算法进行图像特征提取与初步匹配。当两张或多张照片进行拼接时，首先应该找到需要拼接的两张照片中相同的图像特征，根据相同的图像特征来进行拼接图片的匹配，图像拼接模型中采用SIFT算法进行特征提取。SIFT是一个图像特征匹配算法，同时能处理亮度、平移、旋转、尺度的变化，利用特征点来提取特征描述符，最后在特征描述符之间寻找匹配。

SIFT算法主要分为五个步骤：

1)构建尺度空间，检测极值点，获得尺度不变性；

2)特征点过滤并进行精确定位，剔除不稳定的特征点；

3)在特征点出提取特征描述符，为特征点分配方向值；

4)生成特征描述子，利用特征描述符寻找匹配点；

5)计算变换参数，当两幅图像的SIFT特征向量生成以后，采用关键点特征向量的欧式距离来作为两幅图像中关键点的相似性判断度量。

然后利用RANSAC算法进行图像特征匹配，RANSAC算法假设样本中包含正确数据，也包含异常数据(数据中含有噪声)，这些异常数据可能是由于错误测量、错误的假设、错误的计算等产生，给定一组正确的数据，存在可以计算出符合这些数据的模型参数的方法。

RANSAC算法主要分为四个步骤：

1)对每一对关键点P，得到位置间的转移向量V；

2)对其他的每一对关键点P’，计算位置间的转移向量V’。若V与V’距离小于一定阈值，则认为P’与P有相同的特征点位置转移，即为inlier；

3)计算拥有最多inlier的转移向量，即可视为两张图特征点位置转移向量V；

4)再重新扫描所有的关键点对，属于此特征点位置转移向量V的关键点对则视为两张图真正的特征匹配点。

最后，利用匹配关键点进行图像拼接，采用平移结合像素RGB值差值的方法。根据混合区域内某点与两边边缘的水平距离，按不同比例取两张图片上对应点像素RGB值组合成该点的RGB值。融合形成一张图片。

步骤三：道面异物识别与定位

道面异物识别采用了Faster-RCNN方法，将卷积神经网络最后一个卷积层后加入RPN，在图像识别后直接训练得到标记的区域。Faster-RCNN是基于RCNN的改进模型，RCNN(Regions with CNN features)是一种利用深度学习进行目标检测的典型技术，解决了传统目标检测中速度慢、训练集依赖人工设定等问题。深度学习解决目标检测问题较传统DPMHSC等算法具有较高的准确率，Faster-RCNN算法相较于RCNN有更高的准确率和较快的速度，并且针对定位问题具有较高的精度。异物识别及定位模型主要流程如下：

数据收集。将海量的道面异物图片或者人工标注的XML文件作为输入，利用CNN卷积神经网络特征提取，使用比较ImageNet分类器，对图片进行特征提取。为保证精度，图片量需达到万数量级，图片应至少包含“无异物”路面、“有少量异物”路面、“多大量异物”道面。

数据处理。数据集主要包含三个部分：JPEG Images、Annotations、ImageSets/Main。JPEG Images用于存放原始JPEG/JPG图像，图像名为六位数字命名，且图片的长宽比(width/height)要在0.462-6.828之间；Annotations将原始图像中的Object(目标，如石子、裂缝)进行标注，标注的坐标信息以XML格式存储，每个图片对应一个XML文件；ImageSets/Main指定用来train，trainval，val和test的图片的编号。

训练及识别定位。经过训练后的模型可以直接使用，输入照片通过模型得到图像中异物分类和对应的位置信息。模型返回的是目标在图片中的位置，系统中获取的图片保存了该图片路段的大致位置信息，最终结合RTK及激光测距设备，最终计算得到目标在道面的精确位置信息。

在这里，我们要求保护以下思想：

基于深度学习结合激光测距的异物识别定位方法。

本发明针对机场道面状态监测与日常维护存在的时效性不高、漏检概率大以及定位精度低等问题，创新性设计开发了一种基于无人机的机场道面异物勘察系统，利用具有高精度光学成像及激光测距功能的双光吊舱，结合高精度RTK差分定位设备，并突破了基于特征匹配的图像拼接技术、基于深度学习的目标检测技术以及高精度目标定位技术，解决了上述存在的问题，实现了机场道面异物的快速勘察、定位与标记，提高了机场综合运行效能及保障维护能力。

本发明中有以下三个主要的技术要点：

一、无人机搭载光学设备开展对机场道面的勘察工作，本发明采用了图像特征提取与匹配技术，结合RANSAC算法，将采集到的海量图片快速拼接生成整条机场道面的全域电子地图。

二、采用了Faster-RCNN深度学习方法，对数万张道面异物图片进行识别学习训练，训练形成的模型直接用于经拼接生成的机场道面电子地图，能够快速检测出道面存在的异物，经实测，道面异物漏检率≤1％。

三、针对不同的机场道面大小以及需检测异物尺寸不同，无人机勘察的路径需进行相应的设计以同时满足时效性及准确性的需求。本发明针对性开放了跑道、分辨率及目标识别大小的参数配置接口，能够快速根据需求完成无人机飞行路径规划及任务规划。

Claims

1.一种机场道面异物识别定位方法，其特征在于，方法包括：

2.根据权利要求1所述的，其特征在于，在所述无人机根据预设飞行路径规划对机场道面进行勘察之前，方法还包括：

3.根据权利要求1所述的，其特征在于，所述对所述N张局部机场道面图像进行图像拼接处理，获得完整机场道面图像，具体包括：

4.根据权利要求1所述的，其特征在于，所述利用目标检测方法对所述完整机场道面图像进行识别，获得异物分类和对应的异物位置信息，具体包括：

5.根据权利要求4所述的，其特征在于，在所述获得异物分类和对应的异物位置信息之后，方法还包括：

6.一种机场道面异物识别定位系统，其特征在于，所述系统包括无人机、激光测距设备以及地面一体化控制处理终端，其中：

7.根据权利要求6所述的系统，其特征在于，所述无人机具有悬停功能，包括多旋翼无人机平台。

8.根据权利要求6所述的系统，其特征在于，所述激光测距设备包括具有可见光及激光测距功能的双光吊舱设备。