CN111814721A - 基于无人机高低空联合扫描的机场跑道异物检测分类方法 - Google Patents

Abstract

本发明公开了一种基于无人机高低空联合扫描的机场跑道异物检测分类方法通过对Yolo神经网络模型进行训练，并采用两轮高低空粗细检测相结合的方法去获得精细的检测区域，再对精细的检测区域进行拍照，并将图片输入训练完成的Yolo神经网络模型中进行检测异物和分类，实现对异物的准确检测和分类。

Description

基于无人机高低空联合扫描的机场跑道异物检测分类方法

技术领域

本发明涉及图像识别领域，具体涉及一种基于无人机高低空联合扫描的机场跑道异物检测分类方法。

背景技术

在目前机场跑道异物检测方法中，有两种检测平台，即固定式平台与移动端平台。

前者是基于固定铺设的检测传感装置进行异常检测，特点是通过机场跑道两侧根据机场跑道的形状布置大量诸如雷达，摄像头等传感器，从而使得机场跑道能够被全部覆盖感知。但大量布置会导致检测成本高昂，并且灵活度不够，一旦系统完成布置后，要进行修改需要大量额外成本。

后者，是通过一台或多台可移动单位搭载摄像头，以特定的路径巡检机场跑道，拍摄照片覆盖跑道全部区域，进行检测。近年来，无人机技术进展迅猛，无人机定位精度，操控性能，无线通信能力以及航拍图像质量的长足发展，为无人机实现可靠的异物检测提高了坚实的技术基础，而无人机凭借相对于固定摄像头的低成本，高度灵活可定制性，并且比起地面无人车，拥有更大的拍摄视野，越来越受到青睐。

在异物检测所运用的传感器上，目前主要是有雷达与摄像头两种。雷达是目前主流的异物检测系统所运用的传感器，其具有精度高，技术成熟的特点，但也有很多缺点，首先，是高精度雷达成本很大，并且，若要雷达能够实现较远的探测距离，需要雷达具备较大的发射功率，这样会使雷达的体积较大，难以部署在移动端平台。其次，雷达无法获取异物的深层次的语义信息，即雷达能够感知异物是否存在，但无法感知异物具体是什么，即无法给异物分类。

而运用摄像头的异物检测系统则可以有效弥补雷达的不足。首先，摄像头成本比雷达要低，并且摄像头易于小型化，可以在更广范围的平台部署。其次，随着深度学习图像目标检测飞速发展，基于摄像头与深度学习技术，不仅可以定位异物，还可以对异物进行分类。但目前，摄像头仍然有很多问题。首先，摄像头的像素是受到制约的，即如果摄像头的像素过高，会极大提高摄像头的成本，以及后端深度学习图像处理的运算量，使得异物检测系统失去实用性。其次，在摄像头的像素一定的情况下，摄像头检测效率与检测精度则形成了一对矛盾。即若要提高摄像头检测效率，需要摄像头离机场跑道较远，从而获得较大的拍摄视野，但这样会导致异物在成像图像中的尺寸变小，使得基于深度学习的目标检测性能大大降低，无法有效对异物定位与分类。若让摄像头离异物较近，则会降低摄像头的视野，从而使得需要布设更多固定摄像头或者搭载摄像头的移动平台需要移动更多距离，才能使得全部机场得到扫描，从而降低了系统的实用性。在无人机平台上，这一矛盾体现在，无人机以一个较高的高度飞行巡检时，无人机摄像头的视野较广，可以更快的速度与更多的路径扫描整个跑道，但会使得异物目标尺寸变小，深度学习算法难以正确识别。而无人机在一个较低的高度飞行时，则会使得拍摄视野较小，检测效率很低。

发明内容

针对现有技术中的上述不足，本发明提供的一种基于无人机高低空联合扫描的机场跑道异物检测分类方法解决了无人机低空巡检效率慢，高空巡检时，异物在图像中过小不易异物分类的问题。

为了达到上述发明目的，本发明采用的技术方案为：一种基于无人机高低空联合扫描的机场跑道异物检测分类方法，包括以下步骤：

S1、采用机场跑道的训练图像集对Yolo神经网络模型进行训练，并将训练完成的Yolo神经网络模型部署在无人机的机载计算机中；

S2、采用无人机对机场跑道进行粗检测，得到无人机跑道上所有疑似异物点的坐标；

S3、根据无人机跑道上所有疑似异物点的坐标，得到无人机在每个细检测异物区域上拍摄照片时的三维空间位置；

S4、根据无人机在每个细检测异物区域上拍摄照片时的三维空间位置，采用现代启发式算法训练得到无人机遍历的细检测异物区域的顺序，使损失函数近似得到全局最小值；

S5、根据无人机遍历的细检测异物区域的顺序，依次沿直线飞行至细检测异物区域的中心坐标处，进行拍摄，得到细检测图像集；

S6、将细检测图像集输入训练完成的Yolo神经网络模型中，得到检测异物及其分类结果。

进一步地，步骤S1包括以下步骤：

S11、从俯视角度拍摄带有异物的机场跑道，得到原始图像集；

S12、对原始图像集中异物在跑道中的位置和类型进行标注，得到训练图像集；

S13、采用训练图像集训练Yolo神经网络模型，得到训练完成的Yolo神经网络模型；

S14、将训练完成的Yolo神经网络模型部署到无人机的机载计算机中。

进一步地，所述步骤S2包括以下步骤：

S21、根据机场跑道的宽度W和无人机的相机参数，得到无人机的粗检测拍摄高度h₁：

其中，F为相机等效焦距，F_W为相机的水平拉伸系数，C_W为相机靶面宽度；

S22、构建无人机飞行线路，并以速度v和高度h₁匀速飞行；

S23、在匀速飞行过程中，通过无人机以间隔

的时间俯视拍摄照片，其中，F_l为相机竖直拉伸系数，C_l为相机靶面长度；

S24、通过机载GPS，记录每张照片对应的坐标；

S25、采用ITTI算法对每张照片进行显著性检测，得到一组异物疑似点相对坐标；

S26、将该组异物疑似点相对坐标与每张照片对应的坐标相加，得到异物疑似点绝对坐标；

S27、将所有照片中的异物疑似点绝对坐标进行合并，得到无人机跑道上所有疑似异物点的坐标。

上述进一步方案的有益效果为：无人机以一个较高的高度拍摄，可以增大拍摄的覆盖范围，在相同的跑道面积下，可以减少拍摄次数。无人机飞行线路简单，为两条往返高度固定的直线飞行路线，分别巡检一半的跑道区域，相比与“弓”字型巡检线路，简单的飞行路线使得无人机飞行更加稳定，使得无人机的成像质量更高，可以减少无人机转向带来的速度，时间损耗，可以一直以一个稳定速度飞行，使得无人机更快的巡检跑道；并且无人机在相机像素有限，异物在拍摄照片中非常小的情况下，能够确认疑似异物点的绝对坐标。

ITTI算法相比卷积神经网络，虽然无法获取异物的详细信息，但在物体尺寸非常小的情况，卷积神经网络露警率极高，无法有效检测异物，运用对尺寸相对不敏感的ITTI算法检测，根据巡检异物秉承的低漏警率优先的原则，增大虚警率，从而使得异物检测的漏警率显著降低。

无人机进行快速粗检测，得到一组疑似点的坐标，并根据疑似点的坐标，可以排除一大片没有异物的区域，从而使得细检测不需要遍历整个跑道，从而极大地增加了巡检效率。

进一步地，所述步骤S3包括以下步骤：

S31、根据无人机跑道上所有疑似异物点的坐标，确定无人机的最大飞行高度和最小飞行高度；

S32、根据无人机的最大飞行高度和最小飞行高度，得到无人机在最大飞行高度时照片的最大覆盖范围和无人机在最小飞行高度时照片的最小覆盖范围；

S33、判断当前跑道范围内是否存在异物疑似点，若是，则跳转至步骤S34，若否，则跳转至步骤S36；

S34、找到一个异物疑似点，将该异物疑似点作为无人机视距的中心，记其坐标为中心坐标，并上升至照片的最大覆盖范围对应的高度，得到覆盖最多异物疑似点的检测区域；

S35、记录覆盖最多异物疑似点的检测区域，并删除该检测区域的所有异物疑似点，得到异物检测区域，并跳转至步骤S33；

S36、对每个异物检测区域，保持中心坐标不变，将每个异物检测区域按比例缩小，直到异物检测区域缩小为照片的最小覆盖范围或者异物疑似点处于异物检测区域的边界上，得到细检测异物区域的长度和宽度；

S37、根据细检测异物区域的长度和宽度，得到无人机细检测拍摄高度h₂：

S38、根据细检测异物区域对应的中心坐标和无人机细检测拍摄高度h₂，得到无人机在每个细检测异物区域上拍摄照片时的三维空间位置。

上述进一步方案的有益效果为：根据疑似点的分布，来设计无人机的检测位置，从而使得无人机以尽可能少的拍摄次数，检测所有疑似点。同时，根据异物分布的疏密，来调节无人机的拍摄高度，从而使得异物疑似点在照片的尺寸尽可能地大，从而使得细检测获得更好的效果。

进一步地，所述步骤S37中无人机细检测拍摄高度h₂为：

其中，F为相机等效焦距，L_s为细检测异物区域的长度，h_r为修正参数，F_l为相机竖直拉伸系数，C_l为相机靶面长度。

进一步地，所述步骤S37中无人机细检测拍摄高度h₂为：

其中，F为相机等效焦距，W_s为细检测异物区域的宽度，h_r为修正参数，F_W为相机的水平拉伸系数，C_W为相机靶面宽度。

进一步地，根据前面得到各个检测区域的无人机拍摄时的三维空间位置，将问题转化为3维TSP问题进行求解，根据无人机检测跑道的实际飞行情况，即无人机从一个点，飞行到另一个点是先保持高度不变水平飞行到另一个点的横纵坐标位置，然后爬升/降低到另一个点的高度，并且，无人机的水平飞行的速度与稳定性与高度爬升/降低有所不同，改进了3维TSP的损失函数，得到步骤S4中损失函数为：

其中，

为无人机起点的横坐标，

为无人机起点的纵坐标，

为无人机起点的竖坐标，

为无人机终点的横坐标，

为无人机终点的纵坐标，

为无人机终点的竖坐标，l₁,…,l_i,…,l_N为细检测异物区域的序号，l_i为第i个细检测异物区域，f为损失函数，N为总的细检测异物区域数量，

为对第i个细检测异物区域进行拍摄时无人机的横坐标，

为第i个细检测异物区域进行拍摄时无人机的纵坐标，

为对第i个细检测异物区域进行拍摄时无人机的竖坐标，λ为高度惩罚因子。

上述进一步方案的有益效果为：将问题转换成经典的TSP问题，可以运用大量的已有的诸如遗传算法，蚁群算法等现代启发式算法求解。将无人机从一个三维空间位置飞行到另外一个三维空间位置的路径，拆分为无人机先保持高度不变，水平直线飞行到另一个位置的横纵坐标处，然后，爬升/降低到另一个位置的竖坐标。这样更有利于无人机的稳定快速飞行。考虑到无人机的水平飞行的速度与稳定性与高度爬升/降低的速度与稳定性有所不同，改进了TSP的损失函数，将高度差与水平位置差分离，并设置高度惩罚因子λ这个超参数，可根据不同无人机高度/降低实际的速度与稳定性的快慢高低来自由灵活地降低或调高这个超参数。

综上，本发明的有益效果为：

(1)、采用两轮高低空粗细检测相结合的方法，先通过高空快速粗检测，确定疑似点，使得低空细检测不需要检查整个跑道，而只需要检测指定的区域，从而在保证检测率的基础上，极大地提高了检测效率。

(2)、通过对Yolo神经网络模型进行训练，并采用两轮高低空粗细检测相结合的方法去获得精细的检测区域，再对精细的检测区域进行拍照，并将图片输入训练完成的Yolo神经网络模型中进行检测异物和分类，实现对异物的准确检测和分类。

(3)、根据待检测点的分布的疏密，自适应设置细检测时无人机的飞行高度。

附图说明

图1为一种基于无人机高低空联合扫描的机场跑道异物检测分类方法的流程图；

图2为无人机飞行线路图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

如图1所示，一种基于无人机高低空联合扫描的机场跑道异物检测分类方法，包括以下步骤：

S1、采用机场跑道的训练图像集对Yolo神经网络模型进行训练，并将训练完成的Yolo神经网络模型部署在无人机的机载计算机中；

步骤S1包括以下步骤：

S11、从俯视角度拍摄带有异物的机场跑道，得到原始图像集；

S12、对原始图像集中异物在跑道中的位置和类型进行标注，得到训练图像集；

S13、采用训练图像集训练Yolo神经网络模型，得到训练完成的Yolo神经网络模型；

S14、将训练完成的Yolo神经网络模型部署到无人机的机载计算机中。

S2、采用无人机对机场跑道进行粗检测，得到无人机跑道上所有疑似异物点的坐标；

所述步骤S2包括以下步骤：

S21、根据机场跑道的宽度W和无人机的相机参数，得到无人机的粗检测拍摄高度h₁：

其中，F为相机等效焦距，F_W为相机的水平拉伸系数，C_W为相机靶面宽度；

S22、构建无人机飞行线路，并以速度v和高度h₁匀速飞行；

图2为无人机飞行线路图，从跑道起点靠左侧

初起飞，直线飞至跑道终点靠左侧

处，然后向右飞至终点靠右侧

最后飞回起点靠右侧

处。

S23、在匀速飞行过程中，通过无人机以间隔

的时间俯视拍摄照片，其中，F_l为相机竖直拉伸系数，C_l为相机靶面长度；

S24、通过机载GPS，记录每张照片对应的坐标；

S25、采用ITTI算法对每张照片进行显著性检测，得到一组异物疑似点相对坐标；

S26、将该组异物疑似点相对坐标与每张照片对应的坐标相加，得到异物疑似点绝对坐标；

S27、将所有照片中的异物疑似点绝对坐标进行合并，得到无人机跑道上所有疑似异物点的坐标。

S3、根据无人机跑道上所有疑似异物点的坐标，得到无人机在每个细检测异物区域上拍摄照片时的三维空间位置；

所述步骤S3包括以下步骤：

S31、根据无人机跑道上所有疑似异物点的坐标，确定无人机的最大飞行高度和最小飞行高度；

S32、根据无人机的最大飞行高度和最小飞行高度，得到无人机在最大飞行高度时照片的最大覆盖范围和无人机在最小飞行高度时照片的最小覆盖范围；

S33、判断当前跑道范围内是否存在异物疑似点，若是，则跳转至步骤S34，若否，则跳转至步骤S36；

S34、找到一个异物疑似点，将该异物疑似点作为无人机视距的中心，记其坐标为中心坐标，并上升至照片的最大覆盖范围对应的高度，得到覆盖最多异物疑似点的检测区域；

S35、记录覆盖最多异物疑似点的检测区域，并删除该检测区域的所有异物疑似点，得到异物检测区域，并跳转至步骤S33；

S36、对每个异物检测区域，保持中心坐标不变，将每个异物检测区域按比例缩小，直到异物检测区域缩小为照片的最小覆盖范围或者异物疑似点处于异物检测区域的边界上，得到细检测异物区域的长度和宽度；

S37、根据细检测异物区域的长度和宽度，得到无人机细检测拍摄高度h₂：

无人机细检测拍摄高度h₂包括以下两种计算方式：

第一种：所述步骤S37中无人机细检测拍摄高度h₂为：

其中，F为相机等效焦距，L_s为细检测异物区域的长度，h_r为修正参数，F_l为相机竖直拉伸系数，C_l为相机靶面长度。

第二种：所述步骤S37中无人机细检测拍摄高度h₂为：

其中，F为相机等效焦距，W_s为细检测异物区域的宽度，h_r为修正参数，F_W为相机的水平拉伸系数，C_W为相机靶面宽度。

S38、根据细检测异物区域对应的中心坐标和无人机细检测拍摄高度h₂，得到无人机在每个细检测异物区域上拍摄照片时的三维空间位置。

S4、根据无人机在每个细检测异物区域上拍摄照片时的三维空间位置，采用现代启发式算法训练得到无人机遍历的细检测异物区域的顺序，使损失函数近似得到全局最小值；

根据前面得到各个检测区域的无人机拍摄时的三维空间位置，将问题转化为3维TSP问题进行求解，根据无人机检测跑道的实际飞行情况，即无人机从一个点，飞行到另一个点是先保持高度不变水平飞行到另一个点的横纵坐标位置，然后爬升/降低到另一个点的高度，并且，无人机的水平飞行的速度与稳定性与高度爬升/降低有所不同，改进了3维TSP的损失函数，得到步骤S4中损失函数为：

其中，

为无人机起点的横坐标，

为无人机起点的纵坐标，

为无人机起点的竖坐标，

为无人机终点的横坐标，

为无人机终点的纵坐标，

为无人机终点的竖坐标，l₁,…,l_i,…,l_N为细检测异物区域的序号，l_i为第i个细检测异物区域，f为损失函数，N为总的细检测异物区域数量，

为对第i个细检测异物区域进行拍摄时无人机的横坐标，

为第i个细检测异物区域进行拍摄时无人机的纵坐标，

为对第i个细检测异物区域进行拍摄时无人机的竖坐标，λ为高度惩罚因子。

S5、根据无人机遍历的细检测异物区域的顺序，依次沿直线飞行至细检测异物区域的中心坐标处，进行拍摄，得到细检测图像集；

S6、将细检测图像集输入训练完成的Yolo神经网络模型中，得到检测异物及其分类结果。

综上，本发明的有益效果为：

(1)、采用两轮高低空粗细检测相结合的方法，先通过高空快速粗检测，确定疑似点，使得低空细检测不需要检查整个跑道，而只需要检测指定的区域，从而在保证检测率的基础上，极大地提高了检测效率。

(2)、通过对Yolo神经网络模型进行训练，并采用两轮高低空粗细检测相结合的方法去获得精细的检测区域，再对精细的检测区域进行拍照，并将图片输入训练完成的Yolo神经网络模型中进行检测异物和分类，实现对异物的准确检测和分类。

(3)、根据待检测点的分布的疏密，自适应设置细检测时无人机的飞行高度。

Claims (7)

1.一种基于无人机高低空联合扫描的机场跑道异物检测分类方法，其特征在于，包括以下步骤：

S1、采用机场跑道的训练图像集对Yolo神经网络模型进行训练，并将训练完成的Yolo神经网络模型部署在无人机的机载计算机中；

S2、采用无人机对机场跑道进行粗检测，得到无人机跑道上所有疑似异物点的坐标；

S3、根据无人机跑道上所有疑似异物点的坐标，得到无人机在每个细检测异物区域上拍摄照片时的三维空间位置；

S4、根据无人机在每个细检测异物区域上拍摄照片时的三维空间位置，采用现代启发式算法训练得到无人机遍历的细检测异物区域的顺序，使损失函数近似得到全局最小值；

S5、根据无人机遍历的细检测异物区域的顺序，依次沿直线飞行至细检测异物区域的中心坐标处，进行拍摄，得到细检测图像集；

S6、将细检测图像集输入训练完成的Yolo神经网络模型中，得到检测异物及其分类结果。

2.根据权利要求1所述的基于无人机高低空联合扫描的机场跑道异物检测分类方法，其特征在于，所述步骤S1包括以下步骤：

S11、从俯视角度拍摄带有异物的机场跑道，得到原始图像集；

S12、对原始图像集中异物在跑道中的位置和类型进行标注，得到训练图像集；

S13、采用训练图像集训练Yolo神经网络模型，得到训练完成的Yolo神经网络模型；

S14、将训练完成的Yolo神经网络模型部署到无人机的机载计算机中。

3.根据权利要求1所述的基于无人机高低空联合扫描的机场跑道异物检测分类方法，其特征在于，所述步骤S2包括以下步骤：

S21、根据机场跑道的宽度W和无人机的相机参数，得到无人机的粗检测拍摄高度h₁：

其中，F为相机等效焦距，F_W为相机的水平拉伸系数，C_W为相机靶面宽度；

S22、构建无人机飞行线路，并以速度v和高度h₁匀速飞行；

S23、在匀速飞行过程中，通过无人机以间隔

的时间俯视拍摄照片，其中，F_l为相机竖直拉伸系数，C_l为相机靶面长度；

S24、通过机载GPS，记录每张照片对应的坐标；

S25、采用ITTI算法对每张照片进行显著性检测，得到一组异物疑似点相对坐标；

S26、将该组异物疑似点相对坐标与每张照片对应的坐标相加，得到异物疑似点绝对坐标；

S27、将所有照片中的异物疑似点绝对坐标进行合并，得到无人机跑道上所有疑似异物点的坐标。

4.根据权利要求1所述的基于无人机高低空联合扫描的机场跑道异物检测分类方法，其特征在于，所述步骤S3包括以下步骤：

S31、根据无人机跑道上所有疑似异物点的坐标，确定无人机的最大飞行高度和最小飞行高度；

S32、根据无人机的最大飞行高度和最小飞行高度，得到无人机在最大飞行高度时照片的最大覆盖范围和无人机在最小飞行高度时照片的最小覆盖范围；

S33、判断当前跑道范围内是否存在异物疑似点，若是，则跳转至步骤S34，若否，则跳转至步骤S36；

S34、找到一个异物疑似点，将该异物疑似点作为无人机视距的中心，记其坐标为中心坐标，并上升至照片的最大覆盖范围对应的高度，得到覆盖最多异物疑似点的检测区域；

S35、记录覆盖最多异物疑似点的检测区域，并删除该检测区域的所有异物疑似点，得到异物检测区域，并跳转至步骤S33；

S36、对每个异物检测区域，保持中心坐标不变，将每个异物检测区域按比例缩小，直到异物检测区域缩小为照片的最小覆盖范围或者异物疑似点处于异物检测区域的边界上，得到细检测异物区域的长度和宽度；

S37、根据细检测异物区域的长度和宽度，得到无人机细检测拍摄高度h₂：

S38、根据细检测异物区域对应的中心坐标和无人机细检测拍摄高度h₂，得到无人机在每个细检测异物区域上拍摄照片时的三维空间位置。

5.根据权利要求4所述的基于无人机高低空联合扫描的机场跑道异物检测分类方法，其特征在于，所述步骤S37中无人机细检测拍摄高度h₂为：

其中，F为相机等效焦距，L_s为细检测异物区域的长度，h_r为修正参数，F_l为相机竖直拉伸系数，C_l为相机靶面长度。

6.根据权利要求4所述的基于无人机高低空联合扫描的机场跑道异物检测分类方法，其特征在于，所述步骤S37中无人机细检测拍摄高度h₂为：

其中，F为相机等效焦距，W_s为细检测异物区域的宽度，h_r为修正参数，F_W为相机的水平拉伸系数，C_W为相机靶面宽度。

7.根据权利要求1所述的基于无人机高低空联合扫描的机场跑道异物检测分类方法，其特征在于，所述步骤S4中损失函数为：

其中，l₁,…,l_i,…,l_N为细检测异物区域的序号，l_i为第i个细检测异物区域，f为损失函数，N为总的细检测异物区域数量，

为对第i个细检测异物区域进行拍摄时无人机的横坐标，

为第i个细检测异物区域进行拍摄时无人机的纵坐标，

为对第i个细检测异物区域进行拍摄时无人机的竖坐标，λ为高度惩罚因子。

Images