CN111797785A - 一种基于机场场面先验与深度学习的多航空器跟踪方法 - Google Patents

Abstract

本发明公开了一种基于机场场面先验与深度学习的多航空器跟踪方法，包括以下步骤：S1：读取机场场面的视频帧；S2：识别图像中的航空器；S3：提取外观特征；S4：预测运动特征；S5：计算航空器先前帧的跟踪轨迹与当前帧的检测结果相似度；S6：匹配航空器的先前帧和当前帧；S7：获取匹配后的每一帧航空器的跟踪状态；S8：判断监控相机是否读取机场场面的视频帧，若是则返回步骤S1，否则结束跟踪航空器。本发明成功地解决了复杂场景的跟踪鲁棒性问题以及飞机转弯的跟踪问题，减少了ID交换、漏跟踪和错跟踪等问题；能够更加有效地为机场提供视频监控、检测和跟踪功能，提高机场场面航空器管理的效率。

Description

一种基于机场场面先验与深度学习的多航空器跟踪方法

技术领域

本发明属于数字图像处理技术领域，具体涉及一种基于机场场面先验与深度学习的多航空器跟踪方法。

背景技术

随着国际民用航空的快速发展，许多机场的区域日益扩大，机场场面也变得越来越复杂。基于此，国际民航组织开展了新的场面监控系统“先进场面运动引导控制系统”，该系统要求能够监视机场场面当中运动的目标，引导目标的运动路线以避免不同目标运动发生冲突，以及一些控制功能，其中基于机场场面的监督作为一项基础任务扮演着非常重要的角色。因此如何有效地检测和跟踪场面当中的运动目标是实现A-SMGCS的基础。

多航空器跟踪的主要任务是从输入的多个图像序列或者视频当中估计场景当中航空器的运动状态，如位置和形状，用于区分其他航空器的唯一ID序号等，接着利用这些信息形成场景当中每个航空器的跟踪轨迹。而目前视频多目标跟踪应用最广泛的框架是基于检测的跟踪，在该框架中跟踪主要包含两个时序步骤：目标检测和数据关联，首先通过一个预先训练好的目标检测器来获取视频中每一帧航空器的检测结果，通常这些结果都是矩形框区域Bbox；接着提取Bbox中目标的特征，根据特征度量先前时刻的运动轨迹与当前检测结果的距离，最后利用图匹配算法寻找最优匹配将属于同一目标的检测结果按时间顺序连接形成，而这也就是经典数据关联方法。

传统的方法当中，可以利用单模算法完成飞机跟踪，该算法主要是应用统计模型，但是机场场面的飞机运动状态总是不止一种的，因此单模算法显然不够合理。基于单模算法的不足，研究者提出了交互式多模算法，该方法通过马尔可夫链将实现航空器运动过程中各个模型之间的切换，增加了各个模型之间的交互功能。基于该框架，许多工作往往使用卡尔曼滤波算法及其一些改进算法来实现航空器不同运动状态的预测，这些工作都较好地完成跟踪任务，然而他们都没有使用当前火热的深度学习算法，这对于复杂场景跟踪的鲁棒性相对更差一些。当前许多行人跟踪算法使用深度网络提取行人特征或者求解图的最优匹配结果，这些方法较大地提升了跟踪器的性能。然而不同于行人，飞机是一个纯刚性物体，这就意味着行人跟踪与飞机跟踪所面临的挑战不太相同。

发明内容

本发明的目的是为了解决复杂场景的跟踪鲁棒性问题以及飞机转弯的跟踪问题，提出了一种基于机场场面先验与深度学习的多航空器跟踪方法。

本发明的技术方案是：一种基于机场场面先验与深度学习的多航空器跟踪方法包括以下步骤：

S1：利用监控相机读取机场场面的视频帧；

S2：利用YOLOv3检测器检测视频帧的每一帧图像，识别图像中的航空器；

S3：利用CNN网络提取每一帧图像中航空器的外观特征；

S4：利用马尔卡夫链获取航空器的运动状态，并根据运动状态预测其运动特征；

S5：根据航空器的外观特征和运动特征计算航空器先前帧的跟踪轨迹与当前帧的检测结果相似度；

S6：根据航空器先前帧的跟踪轨迹与当前帧的检测结果相似度，利用匈牙利算法匹配航空器的先前帧和当前帧；

S7：利用跟踪状态的马尔科夫链获取匹配后的每一帧航空器的跟踪状态；

S8：判断监控相机是否读取机场场面的视频帧，若是则返回步骤S1，否则结束跟踪航空器。

本发明的有益效果是：

(1)本发明结合机场场面先验信息与深度学习算法来完成机场场面航空器的跟踪，成功地解决了复杂场景的跟踪鲁棒性问题以及飞机转弯的跟踪问题。机场中飞机运动的区域主要是滑行道系统、跑道系统和停机坪系统，因此机场中飞机主要做直线运动和曲线运动，将此作为先验信息应用到机场跟踪问题；同时通过利用CNN网络提取飞机的外观信息能够使得跟踪器更加鲁棒。

(2)相对于传统算法，处理多航空器跟踪更加合理，能够准确地完成机场场景中所有飞机的跟踪，减少了ID交换、漏跟踪和错跟踪等问题。

(3)相对于当前行人跟踪的方法，本发明能够跟踪刚性物体，大大减少了行人跟踪在飞机转弯时跟丢问题。

(4)能够更加有效地为机场提供视频监控、检测和跟踪功能，提高机场场面航空器管理的效率。

进一步地，步骤S2包括以下子步骤：

S21：利用YOLOv3检测器检测视频帧的每一帧图像，得到航空器所处图像帧的序号、航空器的矩形坐标信息和航空器矩形框的置信度；

S22：设定阈值σ_the；

S23：判断航空器矩形框的置信度是否大于等于阈值σ_the，若是则保留该航空器矩阵框的置信度，否则删除该矩形框；

S24：利用非极大值抑制法对保留的航空器矩阵框进行筛选，完成航空器的识别。

进一步地，步骤S3中，将航空器的每一帧图像输入至CNN网络，得到每一帧图像中航空器的外观特征A＝{a₁,a₂,…,a₅₁₂}。

上述进一步方案的有益效果是：在本发明中，外观特征是一个512维的特征向量，能够提供最有效的图像证明，由此得到每架飞机的外观信息。

进一步地，步骤S4包括以下子步骤：

S41：利用马尔卡夫链判断航空器的运动状态S_M，其判断公式为：

S_M＝S_{straight/constant}∪S_{straight/accelerate}∪S_stop∪S_{curve/constant}

其中，S_{straight/constant}表示航空器的匀速直线模型，S_{straight/accelerate}表示航空器的匀加速直线模型，S_stop表示航空器的静止模型，S_{curve/constant}表示航空器的匀速转弯模型；

S42：根据航空器的运动状态S_M预测其运动特征M。

上述进一步方案的有益效果是：在本发明中，运动模型能为视频追踪问题提供有效的动态位置预测。

进一步地，步骤S42中，若航空器的运动状态S_M属于匀速直线、匀加速直线或静止，则利用卡尔曼滤波法预测其运动特征M；若航空器的运动状态S_M属于匀速转弯，则利用SiameseRPN跟踪器预测其运动特征M；其运动特征M的计算公式为：

M＝(x,y,w,h)

其中，x表示矩形框左上角坐标的横坐标，y表示矩形框左上角坐标的纵坐标，w表示矩形框的宽度，h表示矩形框的高度。

进一步地，步骤S5包括以下子步骤：

S51：根据航空器的外观特征计算第一中间变量MI和第二中间变量MU，其计算公式分别为：

MI＝|A_i∩A_j|

MU＝|A_i∪A_j|

其中，A_i表示先前帧航空器i的外观特征，A_j表示当前帧航空器j的外观特征；

S52：根据第一中间变量MI和第二中间变量MU计算航空器的外观特征距离

其计算公式为：

S53：根据航空器的运动特征计算航空器的运动特征距离

其计算公式为：

其中，M_i表示先前帧航空器i的运动特征，M_j表示当前帧航空器j的运动特征；area(·)表示区域面积函数运算；

S54：根据航空器的外观特征距离

和航空器的运动特征距离

计算航空器先前帧的跟踪轨迹与当前帧的检测结果相似度f_i,j，其计算公式为：

其中，α_app表示外观特征的超参数，α_mot表示运动特征的超参数。

进一步地，步骤S6中，匹配航空器的先前帧和当前帧的公式为：

其中，f_i,j表示先前帧的跟踪轨迹与当前帧的检测结果相似度，x_i,j＝1表示航空器先前帧与当前帧相匹配，x_i,j＝0表示航空器先前帧与当前帧不匹配，m表示先前帧跟踪轨迹的数量，n表示当前帧检测的数量，x_i,j表示一个01匹配变量。

上述进一步方案的有益效果是：在本发明中，利用匈牙利算法求解度量矩阵，有利于最优匹配。

进一步地，步骤S7中，每一帧航空器的跟踪状态S_T的计算公式为：

S_T＝S_{initialization}∪S_tracked∪S_lost∪S_death

其中，S_{initialization}表示航空器的初始化阶段，S_tracked表示航空器的被跟踪阶段，S_lost表示航空器的丢失阶段，S_death表示航空器的死亡阶段。

上述进一步方案的有益效果是：在本发明中，将新的目标加入轨迹，将长时间丢失的目标轨迹删除。发明将飞机的跟踪分为：初始化阶段，被跟踪阶段，丢失阶段以及死亡阶段。对于新的目标，将其设定为初始化阶段，当其连续几帧都被匹配上后，将其设定为被跟踪阶段，若没有被匹配上，则将其设为死亡阶段；对于处于跟踪阶段的飞机，可能会在下一帧仍然被匹配上，仍为被跟踪阶段，也可能由于遮挡等原因没有被匹配上，则将其设为丢失阶段；处于丢失阶段的目标，下一帧可能仍然处于丢失阶段，可能目标重现了并且匹配上则将其设为被跟踪阶段，而当该目标长时间处于丢失阶段，则将其设置为死亡阶段。

附图说明

图1为多航空器跟踪方法的流程图；

图2为本发明实施例利用YOLOv3检测器+DeepSort跟踪器的效果图；

图3为本发明CNN网络的整体框架图；

图4为本发明的整体框架图；

图5为本发明所设计的马尔可夫运动状态图；

图6为本发明所设计的马尔可夫跟踪状态图。

具体实施方式

下面结合附图对本发明的实施例作进一步的说明。

如图1所示，本发明提供了一种基于机场场面先验与深度学习的多航空器跟踪方法包括以下步骤：

S1：利用监控相机读取机场场面的视频帧；

S2：利用YOLOv3检测器检测视频帧的每一帧图像，识别图像中的航空器；

S3：利用CNN网络提取每一帧图像中航空器的外观特征；

S4：利用马尔卡夫链获取航空器的运动状态，并根据运动状态预测其运动特征；

S5：根据航空器的外观特征和运动特征计算航空器先前帧的跟踪轨迹与当前帧的检测结果相似度；

S6：根据航空器先前帧的跟踪轨迹与当前帧的检测结果相似度，利用匈牙利算法匹配航空器的先前帧和当前帧；

S7：利用跟踪状态的马尔科夫链获取匹配后的每一帧航空器的跟踪状态；

S8：判断监控相机是否读取机场场面的视频帧，若是则返回步骤S1，否则结束跟踪航空器。

在本发明实施例中，如图1所示，步骤S2包括以下子步骤：

S21：利用YOLOv3检测器检测视频帧的每一帧图像，得到航空器所处图像帧的序号、航空器的矩形坐标信息和航空器矩形框的置信度；

S22：设定阈值σ_the；

S23：判断航空器矩形框的置信度是否大于等于阈值σ_the，若是则保留该航空器矩阵框的置信度，否则删除该矩形框；

S24：利用非极大值抑制法对保留的航空器矩阵框进行筛选，完成航空器的识别。

如图2所示，为本发明的实施例利用YOLOv3检测器识别出的航空器效果图。

在本发明实施例中，如图1所示，步骤S3中，将航空器的每一帧图像输入至CNN网络，得到每一帧图像中航空器的外观特征A＝{a₁,a₂,…,a₅₁₂}。在本发明中，如图3所示，外观特征是一个512维的特征向量，能够提供最有效的图像证明，由此得到每架飞机的外观信息。

在本发明实施例中，如图1所示，步骤S4包括以下子步骤：

S41：利用马尔卡夫链判断航空器的运动状态S_M，其判断公式为：

S_M＝S_{straight/constant}∪S_{straight/accelerate}∪S_stop∪S_{curve/constant}

其中，S_{straight/constant}表示航空器的匀速直线模型，S_{straight/accelerate}表示航空器的匀加速直线模型，S_stop表示航空器的静止模型，S_{curve/constant}表示航空器的匀速转弯模型；

S42：根据航空器的运动状态S_M预测其运动特征M。

在本发明中，运动模型能为视频追踪问题提供有效的动态位置预测。

在本发明实施例中，如图1所示，步骤S42中，若航空器的运动状态S_M属于匀速直线、匀加速直线或静止，则利用卡尔曼滤波法预测其运动特征M；若航空器的运动状态S_M属于匀速转弯，则利用SiameseRPN跟踪器预测其运动特征M；其运动特征M的计算公式为：

M＝(x,y,w,h)

其中，x表示矩形框左上角坐标的横坐标，y表示矩形框左上角坐标的纵坐标，w表示矩形框的宽度，h表示矩形框的高度。

本发明将飞机的运动模型分为匀速直线、匀加速直线、静止以及匀速转弯四种，具体转换关系如图5所示，根据对应的运动模型对前面帧的轨迹进行预测飞机在当前帧的位置，获取矩形框坐标。这里本发明对匀速直线、匀加速直线以及静止采用卡尔曼滤波算法以及其相应的改进，而对于匀速转弯情况，由于此时飞机的运动为非线性的，则运动过程当中其外观变化较大，因此使用一种SiameseRPN跟踪器对其进行预测，该跟踪器能够根据前一帧的外观和位置信息预测后一帧的位置信息，相对于卡尔曼滤波等在处理转弯问题更加鲁棒。由此根据不同的运动模型S_M，可以得到每个航空器的运动特征M。

在本发明实施例中，如图1所示，步骤S5包括以下子步骤：

S51：根据航空器的外观特征计算第一中间变量MI和第二中间变量MU，其计算公式分别为：

MI＝|A_i∩A_j|

MU＝|A_i∪A_j|

其中，A_i表示先前帧航空器i的外观特征，A_j表示当前帧航空器j的外观特征；

S52：根据第一中间变量MI和第二中间变量MU计算航空器的外观特征距离

其计算公式为：

S53：根据航空器的运动特征计算航空器的运动特征距离

其计算公式为：

其中，M_i表示先前帧航空器i的运动特征，M_j表示当前帧航空器j的运动特征；area(·)表示区域面积函数运算；

S54：根据航空器的外观特征距离

和航空器的运动特征距离

计算航空器先前帧的跟踪轨迹与当前帧的检测结果相似度f_i,j，其计算公式为：

其中，α_app表示外观特征的超参数，α_mot表示运动特征的超参数。

在本发明实施例中，如图1所示，步骤S6中，匹配航空器的先前帧和当前帧的公式为：

其中，f_i,j表示先前帧的跟踪轨迹与当前帧的检测结果相似度，x_i,j＝1表示航空器先前帧与当前帧相匹配，x_i,j＝0表示航空器先前帧与当前帧不匹配，m表示先前帧跟踪轨迹的数量，n表示当前帧检测的数量，x_i,j表示一个01匹配变量。

如图4所示，在本发明中，利用匈牙利算法求解度量矩阵，有利于最优匹配。

在本发明实施例中，如图1和图4所示，步骤S7中，每一帧航空器的跟踪状态S_T的计算公式为：

S_T＝S_{initialization}∪S_tracked∪S_lost∪S_death

其中，S_{initialization}表示航空器的初始化阶段，S_tracked表示航空器的被跟踪阶段，S_lost表示航空器的丢失阶段，S_death表示航空器的死亡阶段。

上述进一步方案的有益效果是：在本发明中，将新的目标加入轨迹，将长时间丢失的目标轨迹删除。如图6所示，发明将飞机的跟踪分为：初始化阶段，被跟踪阶段，丢失阶段以及死亡阶段。对于新的目标，将其设定为初始化阶段，当其连续几帧都被匹配上后，将其设定为被跟踪阶段，若没有被匹配上，则将其设为死亡阶段；对于处于跟踪阶段的飞机，可能会在下一帧仍然被匹配上，仍为被跟踪阶段，也可能由于遮挡等原因没有被匹配上，则将其设为丢失阶段；处于丢失阶段的目标，下一帧可能仍然处于丢失阶段，可能目标重现了并且匹配上则将其设为被跟踪阶段，而当该目标长时间处于丢失阶段，则将其设置为死亡阶段。

本发明的工作原理及过程为：本发明根据机场场面的先验信息，通过一条马尔可夫链完成飞机运动过程中多个运动模型的切换，飞机运动的不同路段所切换的运动模型都各不相同，直道情况下使用简单的卡尔曼滤波进行预测，而在弯道飞机使用SiameseRPN网络进行跟踪。同时，场景中的飞机在跟踪过程中可能处于跟踪状态，由于遮挡等原因处于丢失状态，由于消失在视野外而处于死亡状态等，于是本发明利用另外一条马尔可夫链来管理一个跟踪目标的“生命”。结合上述两条马尔可夫链来处理目标的运动状态和跟踪状态并有效地完成跟踪任务。其次，通过训练CNN网络提取飞机的外观信息，用来判别飞机运动过程中的外观变化剧烈问题。

本发明的有益效果为：

(1)本发明结合机场场面先验信息与深度学习算法来完成机场场面航空器的跟踪，成功地解决了复杂场景的跟踪鲁棒性问题以及飞机转弯的跟踪问题。机场中飞机运动的区域主要是滑行道系统、跑道系统和停机坪系统，因此机场中飞机主要做直线运动和曲线运动，将此作为先验信息应用到机场跟踪问题；同时通过利用CNN网络提取飞机的外观信息能够使得跟踪器更加鲁棒。

(2)相对于传统算法，处理多航空器跟踪更加合理，能够准确地完成机场场景中所有飞机的跟踪，减少了ID交换、漏跟踪和错跟踪等问题。

(3)相对于当前行人跟踪的方法，本发明能够跟踪刚性物体，大大减少了行人跟踪在飞机转弯时跟丢问题。

(4)能够更加有效地为机场提供视频监控、检测和跟踪功能，提高机场场面航空器管理的效率。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (8)

1.一种基于机场场面先验与深度学习的多航空器跟踪方法，其特征在于，包括以下步骤：

S1：利用监控相机读取机场场面的视频帧；

S2：利用YOLOv3检测器检测视频帧的每一帧图像，识别图像中的航空器；

S3：利用CNN网络提取每一帧图像中航空器的外观特征；

S4：利用马尔卡夫链获取航空器的运动状态，并根据运动状态预测其运动特征；

S5：根据航空器的外观特征和运动特征计算航空器先前帧的跟踪轨迹与当前帧的检测结果相似度；

S6：根据航空器先前帧的跟踪轨迹与当前帧的检测结果相似度，利用匈牙利算法匹配航空器的先前帧和当前帧；

S7：利用跟踪状态的马尔科夫链获取匹配后的每一帧航空器的跟踪状态；

S8：判断监控相机是否读取机场场面的视频帧，若是则返回步骤S1，否则结束跟踪航空器。

2.根据权利要求1所述的基于机场场面先验与深度学习的多航空器跟踪方法，其特征在于，所述步骤S2包括以下子步骤：

S21：利用YOLOv3检测器检测视频帧的每一帧图像，得到航空器所处图像帧的序号、航空器的矩形坐标信息和航空器矩形框的置信度；

S22：设定阈值σ_the；

S23：判断航空器矩形框的置信度是否大于等于阈值σ_the，若是则保留该航空器矩阵框的置信度，否则删除该矩形框；

S24：利用非极大值抑制法对保留的航空器矩阵框进行筛选，完成航空器的识别。

3.根据权利要求1所述的基于机场场面先验与深度学习的多航空器跟踪方法，其特征在于，所述步骤S3中，将航空器的每一帧图像输入至CNN网络，得到每一帧图像中航空器的外观特征A＝{a₁,a₂,…,a₅₁₂}。

4.根据权利要求1所述的基于机场场面先验与深度学习的多航空器跟踪方法，其特征在于，所述步骤S4包括以下子步骤：

S41：利用马尔卡夫链判断航空器的运动状态S_M，其判断公式为：

S_M＝S_{straight/constant}∪S_{straight/accelerate}∪S_stop∪S_{curve/constant}

其中，S_{straight/constant}表示航空器的匀速直线模型，S_{straight/accelerate}表示航空器的匀加速直线模型，S_stop表示航空器的静止模型，S_{curve/constant}表示航空器的匀速转弯模型；

S42：根据航空器的运动状态S_M预测其运动特征M。

5.根据权利要求4所述的基于机场场面先验与深度学习的多航空器跟踪方法，其特征在于，所述步骤S42中，若航空器的运动状态S_M属于匀速直线、匀加速直线或静止，则利用卡尔曼滤波法预测其运动特征M；若航空器的运动状态S_M属于匀速转弯，则利用SiameseRPN跟踪器预测其运动特征M；其运动特征M的计算公式为：

M＝(x,y,w,h)

其中，x表示矩形框左上角坐标的横坐标，y表示矩形框左上角坐标的纵坐标，w表示矩形框的宽度，h表示矩形框的高度。

6.根据权利要求1所述的基于机场场面先验与深度学习的多航空器跟踪方法，其特征在于，所述步骤S5包括以下子步骤：

S51：根据航空器的外观特征计算第一中间变量MI和第二中间变量MU，其计算公式分别为：

MI＝|A_i∩A_j|

MU＝|A_i∪A_j|

其中，A_i表示先前帧航空器i的外观特征，A_j表示当前帧航空器j的外观特征；

S52：根据第一中间变量MI和第二中间变量MU计算航空器的外观特征距离

其计算公式为：

S53：根据航空器的运动特征计算航空器的运动特征距离

其计算公式为：

其中，M_i表示先前帧航空器i的运动特征，M_j表示当前帧航空器j的运动特征；area(·)表示区域面积函数运算；

S54：根据航空器的外观特征距离

和航空器的运动特征距离

计算航空器先前帧的跟踪轨迹与当前帧的检测结果相似度f_i,j，其计算公式为：

其中，α_app表示外观特征的超参数，α_mot表示运动特征的超参数。

7.根据权利要求1所述的基于机场场面先验与深度学习的多航空器跟踪方法，其特征在于，所述步骤S6中，匹配航空器的先前帧和当前帧的公式为：

其中，f_i,j表示先前帧的跟踪轨迹与当前帧的检测结果相似度，x_i,j＝1表示航空器先前帧与当前帧相匹配，x_i,j＝0表示航空器先前帧与当前帧不匹配，m表示先前帧跟踪轨迹的数量，n表示当前帧检测的数量，x_i,j表示一个01匹配变量。

8.根据权利要求1所述的基于机场场面先验与深度学习的多航空器跟踪方法，其特征在于，所述步骤S7中，每一帧航空器的跟踪状态S_T的计算公式为：

S_T＝S_{initialization}∪S_tracked∪S_lost∪S_death

其中，S_{initialization}表示航空器的初始化阶段，S_tracked表示航空器的被跟踪阶段，S_lost表示航空器的丢失阶段，S_death表示航空器的死亡阶段。

Images