CN109887343A - 一种航班地服保障节点自动采集监测系统及方法 - Google Patents

Abstract

本发明公开了一种航班地服保障节点自动采集监测系统及方法，包括航班地服监测采集系统、卷积神经网络划分系统、地服状态判断系统、存储模块和航班地服时间进度显示模块，卷积神经网络划分系统接收航班地服监测采集系统的电子数据并将电子数据按区域分别划分出飞机入位框、轮档框、廊桥框和燃油加注框；地服状态判断系统包括飞机状态判断模块、轮档状态判断模块、廊桥状态判断模块和燃油加注状态判断模块；航班地服时间进度显示模块对地服的进度及时间进行显示。本发明通过对飞机、燃油车、廊桥的实时监测采集及数据库图像特征分析判断飞机状态及地服保障状态，为航班运行保障提供了准确的数据支撑，减少机场地服人员的工作强度。

Description

一种航班地服保障节点自动采集监测系统及方法

技术领域

本发明涉及航班地服保障技术领域，尤其涉及一种航班地服保障节点自动采集监测系统及方法。

背景技术

航班保障进程是指航班在机场进行地面保障的进度，航班保障是机场的重要职能。各航班地面保障的实时进度信息是在机场和空管部门为各个航班分配停机位、保障车辆、保障人员和飞行时刻的主要依据。

航班保障过程包含但不限于以下节点：飞机入位、上轮档、上廊桥、燃油加注开始、燃油加注结束、撤廊桥、撤轮档、飞机推出，通过获取上述保障节点的完成时间，机场运控人员可以了解航班保障进度。

目前，航班地服保障时间节点信息的采集主要依靠人工笔录或通过便携式设备手动录入，但是人工填报随意性大，数据的准确性和及时性难以保证。

发明内容

针对现有技术存在的不足之处，本发明的目的在于提供一种航班地服保障节点自动采集监测系统及方法，通过对飞机、燃油车、廊桥的实时监测采集及数据库图像特征分析判断飞机状态及地服保障状态，为航班运行保障提供了准确的数据支撑，图像及视频记录后期可追溯确认，减少机场地服人员的工作强度，降低了人力成本。

本发明的目的通过下述技术方案实现：

一种航班地服保障节点自动采集监测系统，包括航班地服监测采集系统、卷积神经网络划分系统、地服状态判断系统、存储模块和航班地服时间进度显示模块，所述航班地服监测采集系统、卷积神经网络划分系统、地服状态判断系统、存储模块依次连接，所述航班地服监测采集系统与存储模块连接，所述航班地服时间进度显示模块与地服状态判断系统连接；所述航班地服监测采集系统用于监测并采集飞机地服区域的电子数据并储存于存储模块中，所述电子数据为图像或/和视频数据，所述卷积神经网络划分系统用于接收航班地服监测采集系统传输过来的电子数据并将电子数据按区域分别划分出飞机入位框、轮档框、廊桥框和燃油加注框；所述地服状态判断系统包括飞机状态判断模块、轮档状态判断模块、廊桥状态判断模块和燃油加注状态判断模块，所述存储模块内部存储有地服状态数据库，所述地服状态数据库包括飞机状态数据库、轮档状态数据库、廊桥状态数据库和燃油加注状态数据库，所述飞机入位框、飞机状态判断模块、飞机状态数据库一一对应，所述轮档框、轮档状态判断模块、轮档状态数据库一一对应，所述廊桥框、廊桥状态判断模块、廊桥状态数据库一一对应，所述燃油加注框、燃油加注状态判断模块、燃油加注状态数据库一一对应；所述飞机状态判断模块用于对飞机入位与推出节点的工作状态进行判断，所述轮档状态判断模块用于对轮档节点的工作状态进行判断，所述廊桥状态判断模块用于对廊桥节点的工作状态进行判断，所述燃油加注状态判断模块用于对飞机燃油加注节点的工作状态进行判断；所述航班地服时间进度显示模块用于按照地服保障节点顺序对地服的进度及时间进行显示。

为了更好地实现本发明，本发明还包括地服状态验证系统，所述地服状态验证系统包括飞机状态验证模块、飞机定位模块、廊桥状态验证模块、廊桥定位模块、燃油加注状态验证模块和燃油车定位模块，所述飞机定位模块设置于飞机中，所述廊桥定位模块设置于廊桥端部，所述燃油车定位模块设置于燃油车中，所述飞机状态验证模块与飞机定位模块连接，所述廊桥状态验证模块与廊桥定位模块连接，所述燃油加注状态验证模块与燃油车定位模块连接，所述飞机状态验证模块用于接收飞机定位模块的飞机定位数据并验证飞机状态，所述廊桥状态验证模块用于接收廊桥定位模块的廊桥定位数据并验证廊桥状态，所述燃油加注状态验证模块用于接收燃油车定位模块的燃油车定位数据并验证燃油加注状态。

作为优选，所述飞机状态包括飞机入位和飞机推出，所述轮档状态包括上轮档和撤轮档，所述廊桥状态包括上廊桥和撤廊桥，所述燃油加注状态包括燃油加注开始和燃油加注结束。

一种航班地服保障节点自动采集监测方法，其方法步骤如下：

A、实时监测并采集航班飞机地服区域的电子数据并存储，电子数据为图像或/和视频数据；

B、建立卷积神经网络框架，将采集到的电子数据输入到卷积神经网络框架中，对卷积神经网络框架划分出飞机入位框、轮档框、廊桥框和燃油加注框，飞机入位框对应飞机停靠位区域，轮档框对应飞机轮档区域，廊桥框对应廊桥位置区域，燃油加注框对应燃油车加注燃油区域；

C、对位于飞机入位框中的电子数据结合飞机状态数据库进行图像数据分析并判断出飞机状态，飞机状态包括飞机入位和飞机推出，飞机状态数据库包括飞机入位状态电子数据和飞机推出状态电子数据；对位于轮档框中的电子数据结合轮档状态数据库进行图像数据分析并判断出轮档状态，轮档状态包括上轮档和撤轮档，轮档状态数据库包括上轮档状态电子数据和撤轮档状态电子数据；对位于廊桥框中的电子数据结合廊桥状态数据库进行图像数据分析并判断出廊桥状态，廊桥状态包括上廊桥和撤廊桥，廊桥状态数据库包括上廊桥状态电子数据和撤廊桥状态电子数据；对位于燃油加注框中的电子数据结合燃油加注状态数据库进行图像数据分析并判断出燃油加注状态，燃油加注状态包括燃油加注开始和燃油加注结束，燃油加注状态数据库包括燃油加注开始状态电子数据和燃油加注结束状态电子数据；上述飞机状态、轮档状态、廊桥状态、燃油加注状态需结合地服保障节点顺序；

D、按照地服保障节点顺序依次显示地服保障节点进度及时间。

本发明航班地服保障节点自动采集监测方法优选的技术方案如下：所述飞机状态数据库包括夜间、雨雪、雾或雾霾、沙尘天气情况下的飞机状态数据，飞机状态数据包括飞机入位状态电子数据和飞机推出状态电子数据；所述轮档状态数据库包括夜间、雨雪、雾或雾霾、沙尘天气情况下的轮档状态数据，轮档状态数据包括上轮档状态电子数据和撤轮档状态电子数据；所述廊桥状态数据库包括夜间、雨雪、雾或雾霾、沙尘天气情况下的廊桥状态数据，廊桥状态数据包括上廊桥状态电子数据和撤廊桥状态电子数据；所述燃油加注状态数据库包括夜间、雨雪、雾或雾霾、沙尘天气情况下的燃油加注状态数据，燃油加注状态数据包括燃油加注开始状态电子数据和燃油加注结束状态电子数据。

本发明航班地服保障节点自动采集监测方法优选的技术方案如下：所述步骤B在电子数据输入到卷积神经网络框架中之前，对电子数据进行预处理，所述预处理包括直方图均衡、图像边缘增强和缩放处理，所述缩放处理为将电子数据的图像或视频缩放至卷积神经网络框架所需大小。

本发明航班地服保障节点自动采集监测方法优选的技术方案如下：所述步骤C中飞机状态的飞机入位判断方法如下：位于飞机入位框中的电子数据与飞机入位状态电子数据经过图像特征数据分析即可判断飞机是否入位，若飞机连续N1秒未发生移动，则判断飞机为已入位，入位完成时间为当前时间减去N1秒；

所述步骤C中轮档状态的上轮档状态判断方法如下：位于轮档框中的电子数据与上轮档状态电子数据经过图像特征数据分析即可判断飞机是否上轮档，若上轮档状态连续N2秒未发生移动，则判断为上轮档，上轮档时间为当前时间减去N2秒；

所述步骤C中廊桥状态的上廊桥状态判断方法如下：位于廊桥框中的电子数据与上廊桥状态电子数据经过图像特征数据分析即可判断是否上廊桥，若上廊桥状态连续N3秒未发生移动，则判断为上廊桥，上廊桥时间为当前时间减去N3秒；

所述步骤C中燃油加注状态的燃油加注开始状态判断方法如下：位于燃油加注框中的电子数据与燃油加注开始状态电子数据经过图像特征数据分析即可判断燃油是否开始加注，并记录开始加注的时间T1；

所述步骤C中燃油加注状态的燃油加注结束状态判断方法如下：位于燃油加注框中的电子数据与燃油加注结束状态电子数据经过图像特征数据分析即可判断燃油是否结束加注，并记录开始加注的时间T2；

所述步骤C中廊桥状态的撤廊桥状态判断方法如下：位于廊桥框中的电子数据与撤廊桥状态电子数据经过图像特征数据分析即可判断是否撤廊桥，并记录撤廊桥的时间T3；

所述步骤C中轮档状态的撤轮档状态判断方法如下：位于轮档框中的电子数据与撤轮档状态电子数据经过图像特征数据分析即可判断飞机是否撤轮档，并记录撤轮档的时间T4；

所述步骤C中飞机状态的飞机推出判断方法如下：位于飞机入位框中的电子数据与飞机推出状态电子数据经过图像特征数据分析即可判断飞机是否推出，并记录飞机推出的时间T5。

本发明较现有技术相比，具有以下优点及有益效果：

(1)本发明通过对飞机、燃油车、廊桥的实时监测及逻辑判断，可以实现航班保障节点的自动采集、自动上报、实时监控和地服保障进度及时间的可视化显示；与人工填报航班保障节点完成时间的工作方式相比，可以减少人为差错、漏报、误报，为航班运行保障提供准确的数据支撑；视频记录后期可追溯确认，减少机场地服人员的工作强度，降低了人力成本。

(2)本发明通过从视频监控数据中检测和分析飞机、特征作业保障车辆的实时位置和行为，实时提取进程管控的关键时间节点信息，并可将数据发送至航班地服时间进度显示模块或监控终端进行可视化显示；本发明可实现全年连续不间断运行，不受人为因素的影响，机场运营人员工作强度可大幅减轻，信息采集更为实时可靠，机场的运行效率、运营稳定性均可得到大幅提升。

附图说明

图1为本发明自动采集监测系统第一种的原理结构框图；

图2为本发明自动采集监测系统第二种的原理结构框图；

图3为本发明实施例二中航班地服保障节点自动采集监测方法的流程图；

图4为本发明实施例二中航班地服保障节点自动采集监测方法建立卷积神经网络的流程图；

图5为本发明实施例二中物体检测示意图；

图6为本发明实施例二中每帧视频图像平均划分示意图；

图7为本发明实施例二中状态判读模块的示意图；

图8为本发明实施例二中保障节点状态判读模块的判读过程；

图9为本发明实施例二中电子围栏的划定方法；

图10为本发明实施例二中判断飞机入位的方法；

图11为本发明实施例二中判断廊桥是否完成靠桥的方法；

图12为本发明实施例二中判断燃油加注是否开始的方法；

图13为本发明实施例二中判断燃油加注是否完成的方法；

图14为本发明实施例二中判断撤桥是否完成的方法；

图15为本发明实施例二中判断飞机是否已推出的方法。

具体实施方式

下面结合实施例对本发明作进一步地详细说明：

实施例一

如图1所示，一种航班地服保障节点自动采集监测系统，包括航班地服监测采集系统、卷积神经网络划分系统、地服状态判断系统、存储模块和航班地服时间进度显示模块，航班地服监测采集系统、卷积神经网络划分系统、地服状态判断系统、存储模块依次连接，航班地服监测采集系统与存储模块连接，航班地服时间进度显示模块与地服状态判断系统连接；航班地服监测采集系统用于监测并采集飞机地服区域的电子数据并储存于存储模块中，电子数据为图像或/和视频数据，卷积神经网络划分系统用于接收航班地服监测采集系统传输过来的电子数据并将电子数据按区域分别划分出飞机入位框、轮档框、廊桥框和燃油加注框；地服状态判断系统包括飞机状态判断模块、轮档状态判断模块、廊桥状态判断模块和燃油加注状态判断模块，存储模块内部存储有地服状态数据库，地服状态数据库包括飞机状态数据库、轮档状态数据库、廊桥状态数据库和燃油加注状态数据库，飞机入位框、飞机状态判断模块、飞机状态数据库一一对应，轮档框、轮档状态判断模块、轮档状态数据库一一对应，廊桥框、廊桥状态判断模块、廊桥状态数据库一一对应，燃油加注框、燃油加注状态判断模块、燃油加注状态数据库一一对应；飞机状态判断模块用于对飞机入位与推出节点的工作状态进行判断，轮档状态判断模块用于对轮档节点的工作状态进行判断，廊桥状态判断模块用于对廊桥节点的工作状态进行判断，燃油加注状态判断模块用于对飞机燃油加注节点的工作状态进行判断；航班地服时间进度显示模块用于按照地服保障节点顺序对地服的进度及时间进行显示。

如图2所示，本发明航班地服保障节点自动采集监测系统还包括地服状态验证系统，地服状态验证系统包括飞机状态验证模块、飞机定位模块、廊桥状态验证模块、廊桥定位模块、燃油加注状态验证模块和燃油车定位模块，飞机定位模块设置于飞机中，廊桥定位模块设置于廊桥端部，燃油车定位模块设置于燃油车中，飞机状态验证模块与飞机定位模块连接，廊桥状态验证模块与廊桥定位模块连接，燃油加注状态验证模块与燃油车定位模块连接，飞机状态验证模块用于接收飞机定位模块的飞机定位数据并验证飞机状态，廊桥状态验证模块用于接收廊桥定位模块的廊桥定位数据并验证廊桥状态，燃油加注状态验证模块用于接收燃油车定位模块的燃油车定位数据并验证燃油加注状态。

本发明优选的飞机状态包括飞机入位和飞机推出，轮档状态包括上轮档和撤轮档，廊桥状态包括上廊桥和撤廊桥，燃油加注状态包括燃油加注开始和燃油加注结束。

一种航班地服保障节点自动采集监测方法，其方法步骤如下：

A、实时监测并采集航班飞机地服区域的电子数据并存储，电子数据为图像或/和视频数据；

B、建立卷积神经网络框架，将采集到的电子数据输入到卷积神经网络框架中，对卷积神经网络框架划分出飞机入位框、轮档框、廊桥框和燃油加注框，飞机入位框对应飞机停靠位区域，轮档框对应飞机轮档区域，廊桥框对应廊桥位置区域，燃油加注框对应燃油车加注燃油区域。步骤B在电子数据输入到卷积神经网络框架中之前，对电子数据进行预处理，预处理包括直方图均衡、图像边缘增强和缩放处理，缩放处理为将电子数据的图像或视频缩放至卷积神经网络框架所需大小。

C、对位于飞机入位框中的电子数据结合飞机状态数据库进行图像数据分析并判断出飞机状态，飞机状态包括飞机入位和飞机推出，飞机状态数据库包括飞机入位状态电子数据和飞机推出状态电子数据；对位于轮档框中的电子数据结合轮档状态数据库进行图像数据分析并判断出轮档状态，轮档状态包括上轮档和撤轮档，轮档状态数据库包括上轮档状态电子数据和撤轮档状态电子数据；对位于廊桥框中的电子数据结合廊桥状态数据库进行图像数据分析并判断出廊桥状态，廊桥状态包括上廊桥和撤廊桥，廊桥状态数据库包括上廊桥状态电子数据和撤廊桥状态电子数据；对位于燃油加注框中的电子数据结合燃油加注状态数据库进行图像数据分析并判断出燃油加注状态，燃油加注状态包括燃油加注开始和燃油加注结束，燃油加注状态数据库包括燃油加注开始状态电子数据和燃油加注结束状态电子数据；上述飞机状态、轮档状态、廊桥状态、燃油加注状态需结合地服保障节点顺序。

步骤C中飞机状态的飞机入位判断方法如下：位于飞机入位框中的电子数据与飞机入位状态电子数据经过图像特征数据分析即可判断飞机是否入位，若飞机连续N1秒未发生移动，则判断飞机为已入位，入位完成时间为当前时间减去N1秒；

步骤C中轮档状态的上轮档状态判断方法如下：位于轮档框中的电子数据与上轮档状态电子数据经过图像特征数据分析即可判断飞机是否上轮档，若上轮档状态连续N2秒未发生移动，则判断为上轮档，上轮档时间为当前时间减去N2秒；

步骤C中廊桥状态的上廊桥状态判断方法如下：位于廊桥框中的电子数据与上廊桥状态电子数据经过图像特征数据分析即可判断是否上廊桥，若上廊桥状态连续N3秒未发生移动，则判断为上廊桥，上廊桥时间为当前时间减去N3秒；

步骤C中燃油加注状态的燃油加注开始状态判断方法如下：位于燃油加注框中的电子数据与燃油加注开始状态电子数据经过图像特征数据分析即可判断燃油是否开始加注，并记录开始加注的时间T1；

步骤C中燃油加注状态的燃油加注结束状态判断方法如下：位于燃油加注框中的电子数据与燃油加注结束状态电子数据经过图像特征数据分析即可判断燃油是否结束加注，并记录开始加注的时间T2；

步骤C中廊桥状态的撤廊桥状态判断方法如下：位于廊桥框中的电子数据与撤廊桥状态电子数据经过图像特征数据分析即可判断是否撤廊桥，并记录撤廊桥的时间T3；

步骤C中轮档状态的撤轮档状态判断方法如下：位于轮档框中的电子数据与撤轮档状态电子数据经过图像特征数据分析即可判断飞机是否撤轮档，并记录撤轮档的时间T4；

步骤C中飞机状态的飞机推出判断方法如下：位于飞机入位框中的电子数据与飞机推出状态电子数据经过图像特征数据分析即可判断飞机是否推出，并记录飞机推出的时间T5。

D、按照地服保障节点顺序依次显示地服保障节点进度及时间。

本发明优选的飞机状态数据库包括夜间、雨雪、雾或雾霾、沙尘天气情况下的飞机状态数据，飞机状态数据包括飞机入位状态电子数据和飞机推出状态电子数据；飞机状态数据库中夜间、雨天、雪天、雾天或雾霾天所采集的航班数量至少分别占所有航班数量的10％以上。轮档状态数据库包括夜间、雨雪、雾或雾霾、沙尘天气情况下的轮档状态数据，轮档状态数据包括上轮档状态电子数据和撤轮档状态电子数据；轮档状态数据库中夜间、雨天、雪天、雾天或雾霾天所采集的航班数量至少分别占所有航班数量的10％以上。廊桥状态数据库包括夜间、雨雪、雾或雾霾、沙尘天气情况下的廊桥状态数据，廊桥状态数据包括上廊桥状态电子数据和撤廊桥状态电子数据；廊桥状态数据库中夜间、雨天、雪天、雾天或雾霾天所采集的航班数量至少分别占所有航班数量的10％以上。燃油加注状态数据库包括夜间、雨雪、雾或雾霾、沙尘天气情况下的燃油加注状态数据，燃油加注状态数据包括燃油加注开始状态电子数据和燃油加注结束状态电子数据；燃油加注状态数据库中夜间、雨天、雪天、雾天或雾霾天所采集的航班数量至少分别占所有航班数量的10％以上。

实施例二

本实施例航班地服保障节点自动采集监测方法包括如下步骤：

步骤S10：如图3所示，建立卷积神经网络框架，具体来说，本实施例的整个卷积神经网络框架的建立是采用C++来实现。

如图4所示，在步骤S10中包括如下步骤：

步骤S101：采集100个以上航班的保障过程历史监控视频数据，为保证网络对夜间、雨雪、雾或雾霾、沙尘天气的适应性，所采集的视频数据中的一部分应为在上述天气情况下采集；其中夜间、雨天、雪天、雾天或雾霾天所采集的航班数量至少分别占所有航班数量的10％以上。

步骤S102：对每个航班的历史监控视频，进行以下处理：每隔10秒以上提取一帧视频，并将其保存为JPG格式的图片，随后对图片进行样本标注，所提取的视频帧中必须包含飞机、燃油车、廊桥中的至少一种物体。

步骤S103：使用标注好的训练样本，对物体检测卷积神经网络进行训练。所述神经网络的样本标注方法和训练方法可以如Redmon J,Divvala S K,Girshick R B,et al.YouOnly Look Once:Unified,Real-Time Object Detection[J].Computer Vision andPattern Recognition,2016:779-788.文献中提到的。

步骤S20：将航班地服监测采集系统(又称数据准备模块)与准备好的神经网络框架相连接，航班地服监测采集系统可以采集从停机位监控相机中获得的视频帧，并对视频帧进行必要的预处理，预处理包括直方图均衡、图像边缘增强、将图像缩放至卷积神经网络需要的大小。

步骤S30：利用训练好的神经网络框架对每帧视频进行物体检测，如图5所示，物体检测过程可以如Redmon J，Divvala S K，Girshick R B，et al.You Only Look Once：Unified，Real-Time Object Detection[J].Computer Vision and PatternRecognition，2016：779-788.文献中提到的，包含以下步骤：

步骤S301：将每帧视频图像平均划分为S*S个小格子，在本发明的一个实施例中，S可以设为7，如图6所示。

步骤S302：每个格子预测B个物体检测框，在本发明的一个实施例中，B可以参照所述文献的建议设为2。若待检测的物体类别数量为C，每个检测框对应(5+C)个预测参数，即其中心点坐标(X，Y)，宽高(W，H)，置信度评分，以及C个类置信度评分；在本发明的一个实施例中，物体类别数量C＝3，即飞机、廊桥和燃油车。

其中置信度评分Score_Object的计算式为：

Score_object＝P_r(Object)*IoU(pred|truth)

类置信度评分Score_{class_i}的计算式为：

Score_{class_i}＝P_r(Class_i|Object)*P_r(Object)*IoU(pred|truth)＝P_r(Class_i)*IoU(pred|truth)

步骤S303：对于类置信度评分大于0的检测框，进行非极大值抑制，即得到最终的检测结果。

步骤S40：将物体检测卷积网络框架与地服状态判断系统(又称状态判读模块)连接，并将检测结果传递给地服状态判断系统，并由地服状态判断系统对当前航班保障状态进行最终判读和修改。

如图7所示，地服状态判断系统(即状态判读模块)包括状态机单元和状态检测单元两部分。所述状态机单元存储当前航班保障进度状态，包括飞机状态、廊桥状态、燃油加注状态，所述飞机状态包括已入位、已推出，所述廊桥状态包括靠桥完成、撤桥完成，所述燃油加注状态包括燃油加注开始、燃油加注完成。

如图8所示，所述保障节点状态判读模块(又称地服状态判断系统)的判读过程包括以下步骤：

步骤S401:在视频画面中划定多边形电子围栏，电子围栏的划定方式应保证飞机完成停靠、廊桥完成靠桥、燃油车加注燃油开始后，在视频画面中均位于电子围栏之内，同时与航班保障作业无关的飞机、保障车辆不出现在所述电子围栏之内，以免对检测结果造成干扰。如图9所示，摄像机自停机位的正上方向下俯拍，因此所划定的电子围栏与停机位线重合。

步骤S402：判断飞机是否入位：如图10所示，若航班保障进度状态的飞机状态为飞机已推出，且所述物体检测网络检测到飞机，同时飞机位置框的中心点位于电子围栏内，已连续N1秒未发生移动，则状态机单元的飞机状态修改为飞机已入位，入位完成时间为当前时间减去N1秒。

步骤S403：判断廊桥是否靠桥：如图11所示，若所述航班保障进度状态为飞机已入位，且所述物体检测网络检测到廊桥位置框与飞机位置框有重叠，同时已连续N1秒未发生移动，则将所述状态机单元的廊桥状态修改为已靠桥，靠桥完成时间为当前时间减去N1秒。

步骤S404：判断燃油加注是否开始：如图12所示，若所述状态机单元的飞机状态为飞机已入位，且燃油加注未开始，且所述物体检测网络检测到燃油车，同时燃油车的位置框中心点位于电子围栏内，已连续N1秒未发生移动，则所述状态机单元将航班保障进度状态修改为燃油加注开始，加注开始时间为当前时间减去N1秒。

步骤S405：判断燃油加注是否完成：如图13所示，若所述航班保障进度状态为燃油加注已开始，且所述物体检测网络检测到燃油车，同时燃油车的位置框中心点位于电子围栏外，则所述状态机单元将燃油加注状态修改为燃油加注完成，加注完成时间为当前时间。

步骤S406：判断廊桥撤桥是否完成：如图14所示，若所述状态机的廊桥状态为已靠桥，且所述物体检测网络检测到廊桥位置框与飞机位置框无重叠，则所述状态机单元将航班保障进度状态的廊桥状态修改为撤桥完成，撤桥完成时间为当前时间。

步骤S407：判断飞机是否推出：如图15所示，若所述航班保障进度状态为飞机已入位，且所述物体检测网络检测到所有飞机的位置框中心点位于电子围栏外，则将航班保障进度状态的飞机状态修改为飞机已推出，飞机推出时间为当前时间。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种航班地服保障节点自动采集监测系统，其特征在于：包括航班地服监测采集系统、卷积神经网络划分系统、地服状态判断系统、存储模块和航班地服时间进度显示模块，所述航班地服监测采集系统、卷积神经网络划分系统、地服状态判断系统、存储模块依次连接，所述航班地服监测采集系统与存储模块连接，所述航班地服时间进度显示模块与地服状态判断系统连接；所述航班地服监测采集系统用于监测并采集飞机地服区域的电子数据并储存于存储模块中，所述电子数据为图像或/和视频数据，所述卷积神经网络划分系统用于接收航班地服监测采集系统传输过来的电子数据并将电子数据按区域分别划分出飞机入位框、轮档框、廊桥框和燃油加注框；所述地服状态判断系统包括飞机状态判断模块、轮档状态判断模块、廊桥状态判断模块和燃油加注状态判断模块，所述存储模块内部存储有地服状态数据库，所述地服状态数据库包括飞机状态数据库、轮档状态数据库、廊桥状态数据库和燃油加注状态数据库，所述飞机入位框、飞机状态判断模块、飞机状态数据库一一对应，所述轮档框、轮档状态判断模块、轮档状态数据库一一对应，所述廊桥框、廊桥状态判断模块、廊桥状态数据库一一对应，所述燃油加注框、燃油加注状态判断模块、燃油加注状态数据库一一对应；所述飞机状态判断模块用于对飞机入位与推出节点的工作状态进行判断，所述轮档状态判断模块用于对轮档节点的工作状态进行判断，所述廊桥状态判断模块用于对廊桥节点的工作状态进行判断，所述燃油加注状态判断模块用于对飞机燃油加注节点的工作状态进行判断；所述航班地服时间进度显示模块用于按照地服保障节点顺序对地服的进度及时间进行显示。

2.按照权利要求1所述的一种航班地服保障节点自动采集监测系统，其特征在于：还包括地服状态验证系统，所述地服状态验证系统包括飞机状态验证模块、飞机定位模块、廊桥状态验证模块、廊桥定位模块、燃油加注状态验证模块和燃油车定位模块，所述飞机定位模块设置于飞机中，所述廊桥定位模块设置于廊桥端部，所述燃油车定位模块设置于燃油车中，所述飞机状态验证模块与飞机定位模块连接，所述廊桥状态验证模块与廊桥定位模块连接，所述燃油加注状态验证模块与燃油车定位模块连接，所述飞机状态验证模块用于接收飞机定位模块的飞机定位数据并验证飞机状态，所述廊桥状态验证模块用于接收廊桥定位模块的廊桥定位数据并验证廊桥状态，所述燃油加注状态验证模块用于接收燃油车定位模块的燃油车定位数据并验证燃油加注状态。

3.按照权利要求1或2所述的一种航班地服保障节点自动采集监测系统，其特征在于：所述飞机状态包括飞机入位和飞机推出，所述轮档状态包括上轮档和撤轮档，所述廊桥状态包括上廊桥和撤廊桥，所述燃油加注状态包括燃油加注开始和燃油加注结束。

4.一种航班地服保障节点自动采集监测方法，其特征在于：其方法步骤如下：

A、实时监测并采集航班飞机地服区域的电子数据并存储，电子数据为图像或/和视频数据；

B、建立卷积神经网络框架，将采集到的电子数据输入到卷积神经网络框架中，对卷积神经网络框架划分出飞机入位框、轮档框、廊桥框和燃油加注框，飞机入位框对应飞机停靠位区域，轮档框对应飞机轮档区域，廊桥框对应廊桥位置区域，燃油加注框对应燃油车加注燃油区域；

C、对位于飞机入位框中的电子数据结合飞机状态数据库进行图像数据分析并判断出飞机状态，飞机状态包括飞机入位和飞机推出，飞机状态数据库包括飞机入位状态电子数据和飞机推出状态电子数据；对位于轮档框中的电子数据结合轮档状态数据库进行图像数据分析并判断出轮档状态，轮档状态包括上轮档和撤轮档，轮档状态数据库包括上轮档状态电子数据和撤轮档状态电子数据；对位于廊桥框中的电子数据结合廊桥状态数据库进行图像数据分析并判断出廊桥状态，廊桥状态包括上廊桥和撤廊桥，廊桥状态数据库包括上廊桥状态电子数据和撤廊桥状态电子数据；对位于燃油加注框中的电子数据结合燃油加注状态数据库进行图像数据分析并判断出燃油加注状态，燃油加注状态包括燃油加注开始和燃油加注结束，燃油加注状态数据库包括燃油加注开始状态电子数据和燃油加注结束状态电子数据；上述飞机状态、轮档状态、廊桥状态、燃油加注状态需结合地服保障节点顺序；

D、按照地服保障节点顺序依次显示地服保障节点进度及时间。

5.按照权利要求4所述的一种航班地服保障节点自动采集监测方法，其特征在于：所述飞机状态数据库包括夜间、雨雪、雾或雾霾、沙尘天气情况下的飞机状态数据，飞机状态数据包括飞机入位状态电子数据和飞机推出状态电子数据；所述轮档状态数据库包括夜间、雨雪、雾或雾霾、沙尘天气情况下的轮档状态数据，轮档状态数据包括上轮档状态电子数据和撤轮档状态电子数据；所述廊桥状态数据库包括夜间、雨雪、雾或雾霾、沙尘天气情况下的廊桥状态数据，廊桥状态数据包括上廊桥状态电子数据和撤廊桥状态电子数据；所述燃油加注状态数据库包括夜间、雨雪、雾或雾霾、沙尘天气情况下的燃油加注状态数据，燃油加注状态数据包括燃油加注开始状态电子数据和燃油加注结束状态电子数据。

6.按照权利要求4所述的一种航班地服保障节点自动采集监测方法，其特征在于：所述步骤B在电子数据输入到卷积神经网络框架中之前，对电子数据进行预处理，所述预处理包括直方图均衡、图像边缘增强和缩放处理，所述缩放处理为将电子数据的图像或视频缩放至卷积神经网络框架所需大小。

7.按照权利要求4所述的一种航班地服保障节点自动采集监测方法，其特征在于：所述步骤C中飞机状态的飞机入位判断方法如下：位于飞机入位框中的电子数据与飞机入位状态电子数据经过图像特征数据分析即可判断飞机是否入位，若飞机连续N1秒未发生移动，则判断飞机为已入位，入位完成时间为当前时间减去N1秒；

所述步骤C中轮档状态的上轮档状态判断方法如下：位于轮档框中的电子数据与上轮档状态电子数据经过图像特征数据分析即可判断飞机是否上轮档，若上轮档状态连续N2秒未发生移动，则判断为上轮档，上轮档时间为当前时间减去N2秒；

所述步骤C中廊桥状态的上廊桥状态判断方法如下：位于廊桥框中的电子数据与上廊桥状态电子数据经过图像特征数据分析即可判断是否上廊桥，若上廊桥状态连续N3秒未发生移动，则判断为上廊桥，上廊桥时间为当前时间减去N3秒；

所述步骤C中燃油加注状态的燃油加注开始状态判断方法如下：位于燃油加注框中的电子数据与燃油加注开始状态电子数据经过图像特征数据分析即可判断燃油是否开始加注，并记录开始加注的时间T1；

所述步骤C中燃油加注状态的燃油加注结束状态判断方法如下：位于燃油加注框中的电子数据与燃油加注结束状态电子数据经过图像特征数据分析即可判断燃油是否结束加注，并记录开始加注的时间T2；

所述步骤C中廊桥状态的撤廊桥状态判断方法如下：位于廊桥框中的电子数据与撤廊桥状态电子数据经过图像特征数据分析即可判断是否撤廊桥，并记录撤廊桥的时间T3；

所述步骤C中轮档状态的撤轮档状态判断方法如下：位于轮档框中的电子数据与撤轮档状态电子数据经过图像特征数据分析即可判断飞机是否撤轮档，并记录撤轮档的时间T4；

所述步骤C中飞机状态的飞机推出判断方法如下：位于飞机入位框中的电子数据与飞机推出状态电子数据经过图像特征数据分析即可判断飞机是否推出，并记录飞机推出的时间T5。