CN109131843B - 长时视觉追踪主动分离式起落架 - Google Patents

Abstract

本发明公开了一种长时视觉追踪主动分离式起落架，包括以下步骤：在模型训练阶段，基于采集和标注的大量飞机起飞和降落时的图片和视频，分别训练飞机检测模型与飞机追踪模型；在模型应用阶段，首先根据检测模型在摄像机拍摄的全图范围内搜索飞机并估算其位姿；接着基于该估算结果初始化跟踪模型；随后基于该跟踪模型持续定位飞机在各个时刻的位姿，并根据连续的定位结果计算飞机的速度；最后根据这些定位结果，在地面分离式起落架端实时地作出相应的决策，本视觉系统通过该重检测机制实现稳定而快速的长时飞机追踪。本发明能应用于针对飞机主动分离式起落架的算法设计。

Description

长时视觉追踪主动分离式起落架

技术领域

本发明涉及模式识别、计算机视觉、视频感知领域，特别涉及视频中的视觉跟踪方法技术领域，具体为长时视觉追踪主动分离式起落架。

背景技术

现有的飞机起落架虽然看似不可或缺，但却只能在地面上才能发挥用武之地，一旦飞机升空，却不得不带着这个笨重的家伙一起飞行还要找个地方让它躲进机腹以减轻飞行阻力，还给飞行安全、地球环境等带来不少的问题，主要包括：

安全问题：据统计，飞机失事有百分之三十的概率是由起落架故障引起的，根据波音公司提供的数据，1996-1999世界各地波音系列飞机因起落架系统原因引起的事故与症候分别占总数的15.2％、17％、16.7％、16.8％，空客公司1996年提供的不完全统计中，起落架系统原因引起的事故与症候分别占总数的12.1％。

环境问题：飞机的温室气体排放发生在对流层上部，其温室效应将会放大，航空业排放物产生的暖化效应是二氧化碳的2.7倍。国际能源署(IEA)的初步数据显示，商用航空业每年的二氧化碳排放量正向10亿吨迈进。如果按最低标准一架飞机起落架3000千克，一天飞行3小时，CO₂排放指数为3150G/KG来计算，一年内由于携带起落架而多排放的二氧化碳排放量竟高达4000多万吨。

经济问题：除了起落架的日常维护保养，飞机轮胎一次装机的正常使用寿命一般只有150～200次起落，还是以B737-800为例，共有6个机轮，每个轮胎大约价值1万元人民币，一年更换轮胎的费用就超过10万元。普通民用客机，每小时耗油量在3-5吨。据统计2014年全世界日均航班数量首次超过10万次，为102465次；全年使用的航空燃油达2730亿升。据测算，2006-2010年，B737-800平均每小时耗油2441KG，按最低标准计算一年内由于携带起落架而增加的飞行油耗高达1314万吨，多耗费的经济价值达341亿元。

发明内容

本发明的目的是提供长时视觉追踪主动分离式起落架，通过引入联合视觉跟踪与重检测模型的长时飞机追踪系统，以在分离式起落架端实现实时稳定的飞机定位，并基于这些定位结果作出相应的决策。

为了实现上述目的，长时视觉追踪主动分离式起落架，它包括如下步骤：

1)训练飞机检测模型；

2)训练飞机跟踪模型；

3)应用检测模型搜索飞机位置；

4)初始化跟踪模型并基于该模型持续定位飞机；

5)在探测到跟丢时重复步骤3)和4)；

6)地面主动分离式起落架根据步骤4)的定位结果实时作出决策。

本发明进一步改进，训练飞机检测模型时，基于大量人工采集的飞机起飞与降落时的图片数据及其标注结果U＝[cx,cy,w,h,θ]；其中cx,cy表示飞机中心坐标，w,h表示其宽高，θ表示其飞行角度；定义损失函数如下：

其中，i表示图片中的第i个候选位置，p_i表示该候选位置是飞机的概率，

根据标注结果得到：当该候选位置是飞机时

否则为0，t_i表示估计的飞机框坐标向量，

表示真实的飞机框坐标向量；L_class和L_regress分别表示物体分类损失函数和物体位置回归损失函数；其中

L_class定义为：

L_regress定义为

其中R表示平滑L1函数，具体表示为：

此外，

项表示回归损失仅针对正样本计算；对于回归向量t，采用五维坐标编码：

t_cx＝(cx-cx_a)/w_a,t_cy＝(cy-cy_a)/h_a

t_w＝log(w/w_a),t_h＝log(h/h_a),t_θ＝log(θ/θ_a)

通过梯度下降法优化损失函数L，即可迭代求解得到模型参数。

本发明进一步改进，训练飞机跟踪模型时，基于大量采集的飞机起飞与降落时的视频数据及其逐帧标注结果U_f＝[cx,cy,w,h,θ]；其中cx,cy表示飞机中心坐标，w,h表示其宽高，θ表示其飞行角度，f表示帧号；每个候选样本处的损失函数定义如下：

l(y,v)＝log(1+exp(-yv))

其中y∈{+1,-1}表示标注结果，分别表示该候选样本属于飞机或属于背景；v表示模型对该样本的估计得分；对于搜索区域内的所有候选样本，损失定义为各位置候选样本得分的平均值：

其中D表示搜索区域内的所有候选样本集合，|D|表示候选样本个数；

对于模型参数η，本方法通过统计梯度下降最小化以下函数求解：

其中f(z,x；η)表示概率估计函数，用于预测候选样本属于飞机的概率。

本发明进一步改进，基于训练好的模型定位飞机时，首先基于检测模型计算飞机的位置和姿态；接着基于该检测结果初始化跟踪模型；随后跟踪模型持续定位飞机位姿并输出定位结果用于分离式起落架端的决策；最后，当跟踪模型丢失目标时，本方法立刻执行重检测，重新找回飞机后恢复跟踪模型并继续使用其完成飞机的连续定位。

本发明进一步改进，基于检测模型定位飞机时，首先根据卷积函数提取全图特征，接着以每个特征点为中心采样多个候选框，根据分类得分过滤掉大部分的候选框，剩余的候选框经过回归模型找到最贴合的飞机位置，并去除重叠率大的候选框以得到最终的检测位置。

本发明进一步改进，基于跟踪模型定位飞机时，通过模板与候选区域的卷积来实现快速的搜索：

f(z,x)＝φ(z)*φ(x)+b·1

其中z表示飞机的图片模板，x表示候选区域，b表示偏置变量，φ表示特征提取函数；通过卷积操作，本方法可在较短的时间内完成候选区域各个位置的得分f(z,x)计算。

本发明与目前的飞机起落架方法相比具有几个明显优点：

1)经济性：飞机不再携带起落架飞行，带来的经济效益和社会效益是十分明显的，首先可以降低燃油消耗，减少温室气体排放，其次是减少设备维护、零件更换费用，再次是可以增加机身有效空间的利用，为航空公司带来不小的收益；

2)安全性：一般来说，飞机起飞、降落时是最危险的时候。如果采用分离式起降装置，则能够由计算机通过电力来控制飞机的减速，不容易出现事故。上述设计思路不仅用于商业航空业，对于军事飞行也具有十分重要的作用，减轻的重量可以增加携带的燃油数量，为军机提供更远的巡航半径，减少空中加油次数，或者提供更多的载弹量，在空中格斗中赢得先机。

附图说明

图1为分离式起落架视觉系统构建总体流程。

具体实施方式

为了使本领域技术人员更好地理解本发明的技术方案，下面结合附图对本发明进行详细描述，本部分的描述仅是示范性和解释性，不应对本发明的保护范围有任何的限制作用。

本发明的思想要点是：

1)本发明提出主动分离式起落架来解决飞机起飞和降落时的安全问题和飞机承载起落架飞行过程中导致的环境和经济问题；

2)本发明提出基于长时物体追踪系统的主动分离式起落架方法，并给出可行的模型构建与模型应用完整流程；

3)本发明提出通过结合视觉检测与视觉跟踪，来实现稳定实时的飞机持续定位，从而及时地为分离式起落架提供决策依据。

下面对发明中所涉及到的技术细节予以说明。

1.数据采集与模型训练

本方法需要大量采集两组数据：飞机起飞和降落时的图片数据和视频数据，并标注飞机在每张图片和每段视频中的位姿U＝[cx,cy,w,h,θ]，其中cx,cy表示飞机中心坐标，w,h表示其宽高，θ表示其飞行角度；这两组数据分别用于训练两类飞机定位模型：飞机检测模型与飞机跟踪模型。

训练检测模型时，考虑两个训练目标：正确分类(区分飞机与背景其他物体)与正确定位。基于这两个目标，定义损失函数如下：

其中L_class和L_regress分别表示物体分类损失函数和物体位置回归损失函数，i表示图片中的第i个候选位置，p_i表示该候选位置是飞机的概率，

根据标注结果得到：当该候选位置是飞机时

否则为0，t_i表示模型估计的飞机位置坐标向量，

表示真实的飞机位置坐标向量；分类损失L_class定义为交叉熵：

回归损失L_regress定义为：

其中R表示平滑L1函数，具体表示为：

此外，

项表示回归损失仅针对正样本计算。对于回归位置向量t，本方法采用五维坐标编码：

t_cx＝(cx-cx_a)/w_a,t_cy＝(cy-cy_a)/h_a

t_w＝log(w/w_a),t_h＝log(h/h_a),t_θ＝log(θ/θ_a)

通过梯度下降法优化损失函数L，即可迭代求解得到检测模型参数。

训练跟踪模型时，基于大量采集的飞机起飞与降落时的视频及其逐帧标注结果U_f＝[cx,cy,w,h,θ]来训练模型。损失函数定义为飞机与其背景之间的逻辑回归分类损失：

l(y,v)＝log(1+exp(-yv))

其中二值变量y∈{+1,-1}表示标注结果，即该候选样本属于飞机或属于背景。十分靠近飞机位置的候选样本记为正样本，而远离飞机位置的候选样本记为负样本。v表示分类模型对该样本的估计得分。对于搜索区域内的所有候选样本，损失定义为各位置候选样本得分的平均值：

其中D表示搜索区域内的所有候选样本集合，|D|表示候选样本个数；

通过梯度下降方法最小化以下损失函数，可求解得到跟踪模型参数：

其中f(z,x；η)表示概率估计函数，用于预测候选样本属于飞机的概率。

2.实时飞机定位与必要时重检测

本方法结合检测与跟踪模型来实现稳定实时的长时飞机跟踪。具体过程如下：

总体跟踪流程见附图一，从分离式起落架启动工作开始，检测模型首先在全图范围内搜索飞机位置并估算其姿态；定位飞机后，基于该定位结果初始化跟踪模型，随后跟踪模型接管飞机定位任务，持续实时地输出飞机位姿；当跟踪模型探测到飞机跟丢时，检测模型在全图范围内执行重检测，直到找回飞机位置；重定位后，恢复跟踪模型并继续采用跟踪模型定位飞机。重复以上过程直到分离式起落架任务完成。

基于检测模型在全图范围内定位飞机时，首先根据卷积函数提取全图特征，接着以每个特征点为中心采样多个候选框，根据分类得分过滤掉大部分的候选框，剩余的候选框经过回归模型找到最贴合的飞机位置，最后去除重叠率大的候选框以筛选得到最终的检测位置。

基于跟踪模型在局部范围内定位飞机时，通过模板与候选区域特征的卷积来实现快速的搜索：

f(z,x)＝φ(z)*φ(x)+b·1

其中z表示飞机的图片模板，x表示候选区域，b表示偏置变量，φ表示特征提取函数。通过卷积操作，本方法可在较短的时间内完成候选区域各个位置的得分f(z,x)计算。

检测模型由于流程复杂且搜索范围很大，虽然精度很高，但速度较慢；而跟踪模型则相反，其搜索过程极快，但精度较低，且可能在遮挡等干扰情况下跟丢。因此，本方法结合二者的优势，实现长时稳定的飞机持续定位。

3.基于飞机定位结果实时决策

根据持续实时的机腹定位结果，并结合地面分离式起落架摄像机的焦距和位姿，即可计算得到飞机的位姿、速度和朝向。根据这些信息，主动分离式起落架可做出相应的决策，如以何种速度朝哪个方向前进以靠近飞机，并保持速度同步等等。

实施例

为了更好地说明本发明的具体实施方式，我们按下面步骤进行实施：

步骤1：采集并标注飞机图片，训练检测模型；以分离式起落架的视角，采集大量飞机起飞或降落时的图片；基于这些标注图片，通过优化以下损失函数，训练飞机检测模型：

步骤2：采集并标注飞机起飞、降落视频，训练跟踪模型。以分离式起落架的视角，采集大量飞机起飞或降落时的视频。基于这些标注视频，通过优化一下函数，训练飞机跟踪模型：

其中D表示搜索区域内的所有候选样本集合，|D|表示候选样本个数；

其中l(y,v)＝log(1+exp(-yv))

步骤3：检测飞机位姿并初始化跟踪模型；以分离式起落架的视角，拍摄图片并在全图范围内搜索飞机位置并估计其姿态。基于该估计结果，初始化跟踪模型。

步骤4：持续跟踪飞机位置；基于跟踪模型，通过搜索区域与模板之间的卷积，实时地跟踪飞机位置并持续输出飞机的位置、姿态、速度等信息：

f(z,x)＝φ(z)*φ(x)+b·1

步骤5：必要时执行全图重检测；当跟踪模型跟丢飞机目标时，重新采用检测模型在全图范围内搜索飞机位置；找到后，恢复跟踪模型，并继续用其定位飞机。

步骤6：实时决策；根据持续定位输出的飞机位姿信息，结合摄像机的焦距、位姿，来估计飞机的距离、速度、飞行方向等，并基于此对起落架作出相应的行为决策。

总之，本发明提出了长时视觉追踪主动分离式起落架。该发明通过联合视觉检测与跟踪系统，实现起落架与飞机机身的分离，并在起飞和降落过程中稳定实时地跟踪飞机位置以为分离式起落架的决策提供参考。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (4)

1.长时视觉追踪主动分离式起落架，其特征在于，它包括以下步骤：

1)训练飞机检测模型；

2)训练飞机跟踪模型；

3)应用检测模型搜索飞机位置；

4)初始化跟踪模型并基于该模型持续定位飞机；

5)在探测到跟丢时重复步骤3)和4)；

6)地面主动分离式起落架根据步骤4)的定位结果实时作出决策；

训练飞机检测模型时，基于大量人工采集的飞机起飞与降落时的图片数据及其标注结果U＝[cx,cy,w,h,θ]；其中cx,cy表示飞机中心坐标，w,h表示其宽高，θ表示其飞行角度；定义损失函数如下：

其中，i表示图片中第i个候选位置，p_i表示该候选位置是飞机的概率，

根据标注结果得到：当该候选位置是飞机时

否则为0，t_i表示估计的飞机框坐标向量，

表示真实的飞机框坐标向量；L_class和L_regress分别表示物体分类损失函数和物体位置回归损失函数；其中

L_class定义为：

L_regress定义为

其中R表示平滑L1函数，具体表示为：

此外，

项表示回归损失仅针对正样本计算；对于回归向量t，采用五维坐标编码：

t_cx＝(cx-cx_a)/w_a,t_cy＝(cy-cy_a)/h_a

t_w＝log(w/w_a),t_h＝log(h/h_a),t_θ＝log(θ/θ_a)

通过梯度下降法优化损失函数L，即可迭代求解得到模型参数；

训练飞机跟踪模型时，基于大量采集的飞机起飞与降落时的视频数据及其逐帧标注结果U_f＝[cx,cy,w,h,θ]；其中cx,cy表示飞机中心坐标，w,h表示其宽高，θ表示其飞行角度，f表示帧号；每个候选样本处的损失函数定义如下：

l(y,v)＝log(1+exp(-yv))

其中y∈{+1,-1}表示标注结果，分别表示该候选样本属于飞机或属于背景；v表示模型对该样本的估计得分；对于搜索区域内的所有候选样本，损失定义为各位置候选样本得分的平均值：

其中D表示搜索区域内的所有候选样本集合，|D|表示候选样本个数；

对于模型参数η，本方法通过统计梯度下降最小化以下函数求解：

其中f(z,x；η)表示概率估计函数，用于预测候选样本属于飞机的概率。

2.根据权利要求1所述的长时视觉追踪主动分离式起落架，其特征在于，基于训练好的模型定位飞机时，首先基于检测模型计算飞机的位置和姿态；接着基于该检测结果初始化跟踪模型；随后跟踪模型持续定位飞机位姿并输出定位结果用于分离式起落架端的决策；最后，当跟踪模型丢失目标时，本方法立刻执行重检测，重新找回飞机后恢复跟踪模型并继续使用其完成飞机的连续定位。

3.根据权利要求2所述的长时视觉追踪主动分离式起落架，其特征在于，基于检测模型定位飞机时，首先根据卷积函数提取全图特征，接着以每个特征点为中心采样多个候选框，根据分类得分过滤掉大部分的候选框，剩余的候选框经过回归模型找到最贴合的飞机位置，并去除重叠率大的候选框以得到最终的检测位置。

4.根据权利要求2所述的长时视觉追踪主动分离式起落架，其特征在于，基于跟踪模型定位飞机时，通过模板与候选区域的卷积来实现快速的搜索：

f(z,x)＝φ(z)*φ(x)+b·1

其中z表示飞机的图片模板，x表示候选区域，b表示偏置变量，φ表示特征提取函数；通过卷积操作，本方法可在较短的时间内完成候选区域各个位置的得分f(z,x)计算。

Images