CN110662007A - 航班地面保障作业流程的监控方法、装置及监控系统 - Google Patents

Abstract

本发明提供了一种航班地面保障作业流程的监控方法、装置及监控系统，其中，该方法包括：根据航班计划信息确定目标航空器以及待监控的地面保障作业流程；重复执行以下步骤直至确定地面保障作业流程的所有节点已执行：步骤一，根据地面保障作业流程的当前节点，确定目标对象以及目标动作；步骤二，在目标摄像头的监控视频流的图像帧中识别目标航空器和目标对象；步骤三，基于不同时刻的图像帧中目标航空器和目标对象的状态信息，确定是否已执行目标动作；步骤四，如果确定已执行目标动作，确定当前节点已执行，并将下一节点作为当前节点。通过本发明，解决了相关技术中的航班流程节点监控方法需要人工参与、操作繁琐的技术问题。

Description

航班地面保障作业流程的监控方法、装置及监控系统

技术领域

本发明涉及图像处理领域，具体而言，涉及一种航班地面保障作业流程的监控方法、装置及监控系统。

背景技术

随着民航市场不断增长，机场普遍面临着容量饱和或超负荷运转，客运货运增长越来越快，航空器的地面保障效率问题日益凸显，航空器到达地面后，机场AOC中心及相关部门如何快速获取航空器进场节点状态，确保航班地面保障快速、高效、安全的进行，通过人工智能自动化进行全流程的数据采集及大数据智能分析，得到越来越广泛的应用。

目前视频分析、人工智能、大数据等本发明的核心技术已经在各行各业应用非常成熟、在医疗领域的智能CT技术就是基于视觉分析+深度学习+人工智能+大数据分析的应用，在视频分析应用还有人脸识别、车辆识别等相当成熟的技术应用，这些技术在机场领域也有深入的应用例如深圳宝安机场的“未来机场”项目其中主要就是利用大数据、云计算、人工智能、视频分析、深度学习等技术构建更具智慧的机场、如智能行李分析、人脸差异化安检、航班自动排序等。

目前的航班全流程采集系统，包括以下几种：

1、人工节点采集，人工记录对讲通知AOC中心方式。

2、通过手持终端设备进行人工采集，数据自动回传AOC中心方式。

现有的智能采集管理系统，能基于人工操作电子设备进行数据的存读使用，但仍然是人工记录为主，功能简单，缺失自动数字化，目前的采集方式是技术的过渡方式。

针对相关技术中存在的上述问题，目前尚未发现有效的解决方案。

发明内容

本发明提供了一种航班地面保障作业流程的监控方法、装置及监控系统，以至少解决相关技术中的航班流程节点监控方法需要人工参与、操作繁琐的技术问题。

本发明提供了一种航班地面保障作业流程的监控方法，包括：根据航班计划信息确定目标航空器以及待监控的地面保障作业流程；重复执行以下步骤直至确定地面保障作业流程的所有节点已执行：步骤一，根据地面保障作业流程的当前节点，确定目标对象以及目标动作，其中，目标动作为目标航空器与目标对象的相对动作；步骤二，在目标摄像头的监控视频流的图像帧中识别目标航空器和目标对象；步骤三，基于不同时刻的图像帧中目标航空器和目标对象的状态信息，确定是否已执行目标动作；步骤四，如果确定已执行目标动作，确定当前节点已执行，并将下一节点作为当前节点。

进一步地，根据航班计划信息确定目标航空器，包括：根据航班计划信息确定目标航空器的编号；在目标摄像头的监控视频流的图像帧中识别目标航空器，包括：在图像帧中识别是否存在航空器；在确定存在航空器的情况下，在图像帧中识别航空器类型和/或机身标识；根据识别出的航空器类型和/或机身标识确定航空器是否为目标航空器。

进一步地，在目标摄像头的监控视频流的图像帧中识别目标航空器和目标对象监控视频流之前，该方法还包括：根据航班计划信息确定机位；在多个摄像头中选择针对机位的摄像头，以确定目标摄像头。

进一步地，目标对象为以下之一：地面划线、舱门、车辆、廊桥、地面标志物。

进一步地，在目标对象为地面划线、车辆、廊桥或地面标志物的情况下，基于不同时刻的图像帧中目标航空器和目标对象的状态信息，确定是否已执行目标动作，包括：获取不同时刻的图像帧中目标航空器和目标对象的相对位置关系；判断相对位置关系是否为指定位置关系；在确定相对位置关系为指定位置关系的情况下，判断相对位置关系为指定位置关系的持续时长是否超过指定时长；

如果所述相对位置关系为所述指定位置关系的持续时长超过指定时长，则确定已执行所述目标动作。

进一步地，在确定已执行目标动作之后，该方法还包括：保存执行目标动作的关键图像帧。

进一步地，在确定地面保障作业流程的所有节点已执行之前，该方法还包括：判断当前节点的持续时长是否超过指定时长，或者，判断当前时刻是否超过当前节点的截止时刻，其中，指定时长或截止时刻为根据地面保障作业流程的节点信息确定的；如果判断结果为是，发出提示信息。

根据本发明的另一个实施例，提供了一种航班地面保障作业流程的监控装置，包括：第一确定模块，用于根据航班计划信息确定目标航空器以及待监控的地面保障作业流程；执行模块，用于重复执行以下模块直至确定地面保障作业流程的所有节点已执行：第二确定模块，用于根据地面保障作业流程的当前节点，确定目标对象以及目标动作，其中，目标动作为目标航空器与目标对象的相对动作；识别模块，用于在目标摄像头的监控视频流的图像帧中识别目标航空器和目标对象；第三确定模块，用于基于不同时刻的图像帧中目标航空器和目标对象的状态信息，确定是否已执行目标动作；第四确定模块，用于如果确定已执行目标动作，确定当前节点已执行，并将下一节点作为当前节点。

进一步地，第一确定模块包括以下单元以根据航班计划信息确定目标航空器：第一确定单元，用于根据航班计划信息确定目标航空器；第三确定模块包括以下单元以在目标摄像头的监控视频流的图像帧中识别目标航空器：第一识别单元，用于在图像帧中识别是否存在航空器；第二识别单元，用于在确定存在航空器的情况下，在图像帧中识别航空器类型和/或机身标识；第二确定单元，用于根据识别出的航空器类型和/或机身标识确定航空器是否为目标航空器。

进一步地，该装置还包括：第五确定模块，用于在目标摄像头的监控视频流的图像帧中识别目标航空器和目标对象监控视频流之前，根据航班计划信息确定机位；选择模块，用于在多个摄像头中选择针对机位的摄像头，以确定目标摄像头。

根据本发明的另一个实施例，提供了一种监控系统，该系统包括：多个摄像头，每个摄像头用于监控机场中的指定位置；视频监控服务器，用于控制多个摄像头，并获取每个摄像头的监控视频流；中心服务器，用于根据航班计划信息确定目标航空器以及待监控的地面保障作业流程；重复执行以下步骤直至确定地面保障作业流程的所有节点已执行：步骤一，根据地面保障作业流程的当前节点，确定目标对象以及目标动作，其中，目标动作为目标航空器与目标对象的相对动作；步骤二，控制图像识别服务器在目标摄像头的监控视频流的图像帧中识别目标航空器和目标对象；步骤三，基于不同时刻的图像帧中目标航空器和目标对象的状态信息，确定是否已执行目标动作；步骤四，如果确定已执行目标动作，确定当前节点已执行，并将下一节点作为当前节点；图像识别服务器，用于接收监控视频流，并基于中心服务器的控制在目标摄像头的监控视频流中识别目标航空器和目标对象。

根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本发明，确定待监控节点的目标动作，在目标摄像头的监控视频流的图像帧中识别目标航空器和目标对象的状态信息，以判断目标动作是否已被执行，如果执行则确定待监控节点已执行，可以监控下一个流程节点，解决了相关技术中的航班流程节点监控方法需要人工参与、操作繁琐的技术问题，提高了航班流程节点监控过程的自动化程度，达到了简化操作流程、无需人工参与的技术效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种可选的航班地面保障作业流程的监控方法的流程图；

图2是根据本发明实施例的航班地面保障作业流程的监控装置的示意图；

图3是本发明实施例的一种可选的监控系统的示意图；

图4是本发明实施例的另一种可选的监控系统的示意图；

图5是根据本发明实施例的另一种可选的航班地面保障作业流程的监控方法的流程图；

图6是根据本发明实施例的另一种可选的航班地面保障作业流程的监控方法的流程图；

图7是根据本发明实施例的另一种可选的航班地面保障作业流程的监控方法的流程图。

具体实施例

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

本实施例提供了一种航班地面保障作业流程的监控方法，可以运行于移动终端、手持终端或类似的运算设备之中。运行在不同的运算设备仅是方案在执行主体上的差异，本领域人员可预见在不同运算设备中运行能够产生相同的技术效果。

如图1所示，本实施例提供的航班地面保障作业流程的监控方法包括如下步骤：

步骤101，根据航班计划信息确定目标航空器以及待监控的地面保障作业流程。

航班计划信息包括航班的编号、航班对应的机位、航班当前的计划流程是哪一种地面保障作业流程。

目标航空器是飞机等航空器，地面保障作业流程是目标航空器在地面的流程，包括入位、航班保障（例如，客机入位后对接客梯和廊桥等程序）、离位等流程，在每种地面保障作业流程中，都存在多个流程节点。

步骤102，重复执行以下步骤直至确定地面保障作业流程的所有节点已执行：

步骤11，根据地面保障作业流程的当前节点，确定目标对象以及目标动作。

目标对象为以下之一：地面划线、舱门、车辆、廊桥、地面标志物。

目标动作为目标航空器与目标对象的相对动作。例如，如果当前节点为飞机进入红线区，则目标动作为飞机是否进入地面对应划线的区域，又如，如果当前节点为廊桥是否对接，则目标动作为廊桥与飞机之间的距离是否小于预设距离。

步骤12，在目标摄像头的监控视频流的图像帧中识别目标航空器和目标对象。

识别的方式可以是通过神经网络识别，每个种类的对象可以通过一个对应的识别模型进行识别，每个识别模型是预先利用样本训练出来的用于识别对应种类对象的神经网络图像识别模型。例如，可以通过识别航空器的神经网络图像识别算法识别图像帧中是否存在航空器，通过识别反光锥的图像识别算法识别图像帧中是否存在反光锥。

例如，在根据航班计划信息确定目标航空器时，可以根据航班计划信息确定目标航空器类型、所属的公司（从而确定机身上的公司Logo）、机身特征等信息，进而，在目标摄像头的监控视频流的图像帧中识别目标航空器时，可以在图像帧中识别是否存在航空器，在确定存在航空器的情况下，在图像帧中识别航空器类型和/或机身标识（如公司Logo或其他机身上涂装的图案标识）；根据识别出的航空器类型和/或机身标识确定航空器是否为目标航空器。

可选的，在目标摄像头的监控视频流的图像帧中识别目标航空器和目标对象监控视频流之前，通过以下方式确定目标摄像头：根据航班计划信息确定机位；在多个摄像头中选择针对机位的摄像头，以确定目标摄像头。

目标对象可以为以下之一：地面划线、舱门、车辆、廊桥、地面标志物（如反光锥等）。具体目标对象是根据当前节点确定的。

步骤13，基于不同时刻的图像帧中目标航空器和目标对象的状态信息，确定是否已执行目标动作。

其中，在目标对象为地面划线、车辆、廊桥或地面标志物的情况下，基于不同时刻的图像帧中目标航空器和目标对象的状态信息，确定是否已执行目标动作，包括：获取不同时刻的图像帧中目标航空器和目标对象的相对位置关系；判断相对位置关系是否为指定位置关系；在确定相对位置关系为指定位置关系的情况下，判断相对位置关系为指定位置关系的持续时长是否超过指定时长；

如果所述相对位置关系为所述指定位置关系的持续时长超过指定时长，则确定已执行所述目标动作。

在目标对象为舱门、目标动作为舱门开启的情况下，确定是否已执行舱门开启可以包括：识别图像中是否存在目标航空器，进而识别目标航空器的舱门是否开启。

步骤14，如果确定已执行目标动作，确定当前节点已执行，并将下一节点作为当前节点。

本实施例提供的方法能够基于人工智能提供航班保障节点数据采集及分析服务，具有全天候自主采集航班保障节点数据，并且在后台能自动分析处理检测机场所有停机位航空器的地面保障状态及机位使用情况，航班转运情况。实现对业务的实时监测和追踪，实现全局态势感知、预测预警、协同运行和智能决策，缩短航班过站时间、提升资源利用效率、提升机场有效容量、提升员工与旅客体验，有效提升机场航班正常放行率。同时能实现机场航班保障节点数据的自动化采集率的提升，助理机场获取实时高质量数据，监控航班保障的全流程、及时发现运行问题、协调各保障单位和驻场单位，确保航班放行正常。提升机场A-CDM平台能力，将地面保障数据和航班放行数据有效结合，减少航班地面等待时间、提升运行品质。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。

实施例2

在本实施例中还提供了一种航班地面保障作业流程的监控装置，该装置用于实现上述实施例1及其优选实施方式，对于本实施例中未详述的术语或实现方式，可参见实施例1中的相关说明，已经进行过说明的不再赘述。

如以下所使用的术语“模块”，是可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可以被构想的。

图2是根据本发明实施例的航班地面保障作业流程的监控装置的示意图，如图2所示，该装置包括：第一确定模块10，执行模块20，其中，执行模块20包括第二确定模块21，识别模块22，第三确定模块23，第四确定模块24。

其中，第一确定模块，用于根据航班计划信息确定目标航空器以及待监控的地面保障作业流程；执行模块，用于重复执行以下模块直至确定地面保障作业流程的所有节点已执行：第二确定模块，用于根据地面保障作业流程的当前节点，确定目标对象以及目标动作，其中，目标动作为目标航空器与目标对象的相对动作；识别模块，用于在目标摄像头的监控视频流的图像帧中识别目标航空器和目标对象；第三确定模块，用于基于不同时刻的图像帧中目标航空器和目标对象的状态信息，确定是否已执行目标动作；第四确定模块，用于如果确定已执行目标动作，确定当前节点已执行，并将下一节点作为当前节点。

进一步地，第一确定模块包括以下单元以根据航班计划信息确定目标航空器：第一确定单元，用于根据航班计划信息确定目标航空器；第三确定模块包括以下单元以在目标摄像头的监控视频流的图像帧中识别目标航空器：第一识别单元，用于在图像帧中识别是否存在航空器；第二识别单元，用于在确定存在航空器的情况下，在图像帧中识别航空器类型和/或机身标识；第二确定单元，用于根据识别出的航空器类型和/或机身标识确定航空器是否为目标航空器。

进一步地，该装置还包括：第五确定模块，用于在目标摄像头的监控视频流的图像帧中识别目标航空器和目标对象监控视频流之前，根据航班计划信息确定机位；选择模块，用于在多个摄像头中选择针对机位的摄像头，以确定目标摄像头。

进一步地，目标对象为以下之一：地面划线、舱门、车辆、廊桥、地面标志物。

进一步地，在目标对象为地面划线、车辆、廊桥或地面标志物的情况下，第三确定模块包括：获取单元，用于获取不同时刻的图像帧中目标航空器和目标对象的相对位置关系；第一判断单元，用于判断相对位置关系是否为指定位置关系；第二判断单元，用于在确定相对位置关系为指定位置关系的情况下，判断相对位置关系为指定位置关系的持续时长是否超过指定时长；第三确定单元，用于如果判断结果为是，确定已目标动作。

进一步地，该装置还包括：保存模块，用于在确定已执行目标动作之后，保存执行目标动作的关键图像帧。

进一步地，该装置还包括：判断模块，用于在确定地面保障作业流程的所有节点已执行之前，判断当前节点的持续时长是否超过指定时长，或者，判断当前时刻是否超过当前节点的截止时刻，其中，指定时长或截止时刻为根据地面保障作业流程的节点信息确定的；提示模块，用于如果判断结果为是，发出提示信息。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

实施例3

在本实施例中还提供了一种监控系统，该系统用于实现上述实施例1及其优选实施方式，对于本实施例中未详述的术语或实现方式，可参见实施例1中的相关说明，已经进行过说明的不再赘述。

如图3所示，该系统包括：多个摄像头110，包括摄像头11、摄像头12……，每个摄像头用于监控机场中的指定位置；视频监控服务器111，用于控制多个摄像头，并获取每个摄像头的监控视频流；中心服务器113，用于根据航班计划信息确定目标航空器以及待监控的地面保障作业流程；重复执行以下步骤直至确定地面保障作业流程的所有节点已执行：步骤一，根据地面保障作业流程的当前节点，确定目标对象以及目标动作，其中，目标动作为目标航空器与目标对象的相对动作；步骤二，控制图像识别服务器在目标摄像头的监控视频流的图像帧中识别目标航空器和目标对象；步骤三，基于不同时刻的图像帧中目标航空器和目标对象的状态信息，确定是否已执行目标动作；步骤四，如果确定已执行目标动作，确定当前节点已执行，并将下一节点作为当前节点；图像识别服务器112，用于接收监控视频流，并基于中心服务器的控制在目标摄像头的监控视频流中识别目标航空器和目标对象。

实施例4

本实施例为实施例3所述的监控系统的一种可选的实施方式，本实施例包括数据的接入、数据分析、数据交换、数据应用、数据展示五个部分，如图4所示，数据接入包括平台对接服务器、视频接入服务器、流媒体服务器：为整个系统提供视频的不同标准接入及复制分发服务；数据分析包括分析处理服务器、视频算法服务器；数据交换包括数据对接服务器、数据交换服务器；数据应用主要包括中心服务器（大数据分析平台）数据库服务器、地图服务器、数据算法服务器、存储服务器、神经网路架构搜索服务器、备份服务器；数据展示主要包括用户终端、AOC可视化大屏、APP客户端。

其中，平台对接服务器用于对接相关的视频监控平台以获取各个站坪（包括廊桥、停机坪等位置）监控的实时视频流，采用GB28181或者SDK协议；视频对接服务器为直接对接视频设备，采用设备私有SDK、ONVIF和国标GB/T28181协议从摄像机直接获取视频流。

流媒体服务器是处理视频流的复制分发，从视频接入源对多路复用分析视频进行视频的复制分发。

视频分析服务器：主要为即将处理的视频进行统一的二次编码压缩处理，为分析服务器生成统一标准的视频数据。

视频算法服务器：对视频进行视频结构化处理、并执行全流程规则算法进行目标检测、目标跟踪、规则是被及研判、时间节点数据采集、图片抓拍服务。视频算法通过对接入的机位视频进行结构化处理、对目标进行监测及跟踪、通过预先设定的触发规则进行判定节点的开始与完成，算法上传触发的时间同时对该帧图像进行抽取上传到中心服务器完成节点时间的采集，并有中心服务器生成航班保障进程。

数据对接服务器：对接机场的A-CDM平台、CDM平台、地服管理系统、IOC及廊桥收费系统等业务系统，提供平台间的对接服务。

A-cdm/cdm系统提供航班动态信息、飞行轨迹信息、泊位信息、气象信息、车辆GPS信息、路由引导信息、地面滑行信息、航空器滑行告警信息、无动力设施信息、基础设施信息。

地服管理系统：人员排班信息。

IOC及廊桥收费系统：为我方将航班保障节点采集的全部时间信息提交到对方平台。

数据交换服务器：接入来自A-CDM/CDM系统提供的航班信息、GIS信息、机位信息等数据、推送系统采集分析的航班保障节点信息服务器到IOC及廊桥收费系统。对信息进行双向标准化处理实现数据统一标准化转换服务。

中心服务器：中心服务器是系统的核心部分主要处理来自算法的计算结果、同时根据算法反馈结果调用不用算法服务，控制整个系统的数据通讯和统一管理包括资源管理、数据管理、设备管理、流程管理、存储管理、备份管理、应用管理、展示管理、终端管理等。

数据库服务器：主要包括系统配置与管理、数据存取与更新管理、数据完整性管理和数据安全性管理、数据库的查询和数据库检索和修改、数据导入/导出管理、数据库结构维护、数据恢复功能和性能监测等。

地图服务器：为平台提供基础地图服务功能包括地图图层二维、三维、卫星、BIM、模拟仿生、混合地图等，并提供地图见的地理编码、坐标转换、图上作业、图上视频监控、运动轨迹、图地面分区、防区分布、滑行线路及机位分布、比例换算等地图服务功能。

数据算法服务器：为平台数据进行数据仓库多维建模算法服务、数据视图、数据字典等功能为平台进行各种数据等分类分析计算及融合计算。

存储服务器：为系统提供数据存储管理包括事件视频、机位视频、航班保障节点抓拍图片、分析报告、节点流程等数据的存储服务及备份服务。

神经网络架构搜索服务器：为系统提供在大规模数据应用的数据搜索服务。

备份服务器：为系统提供数据的备份服务包括数据库备份、系统备份等。

存储服务器：为系统提供数据存储管理包括事件视频、机位视频、航班保障节点抓拍图片、分析报告、节点流程等数据的存储服务及备份服务。

神经网络架构搜索服务器：为系统提供在大规模数据应用的数据搜索服务。

备份服务器：为系统提供数据的备份服务包括数据库备份、系统备份等。

其中，中心服务器还可以实现以下功能：

1、机位资源状态管理：根据分析数据管理中心实时分析飞行区机位使用情况及使用状态、使用信息、时间、及地图动态多颜色状态显示站坪机位资源状态。

2、接入视频摄像机状态管理：通过平台数据交互及视频流丢失告警信息监测接入视频的在线率情况、多维信息验证视频丢失、离线状态并启动相应管理告警或处理，同时对视频质量进行分析告警判别视频卡顿、丢包延时、曝光过度、视频模糊、视频黑屏挡等视频质量状态管理。

3、航班保障节点时间采集及抓图：通过视频算法分析进行全流程航班保障节点的时间节点采集、时间节点照片抓拍、采集时间为保障节点开始时间、结束时间照片抓拍为保障节点开始时间抓拍、保障节点结束时间抓拍，40多个保障节点采集。

4、航班保障节点进程管理：系统根据全流程航班保障节点时间采集进度自动生成保障节点进程状态、用于节点时间记录、智能报告输出、图上信息查询、可视化进程动态展示。

5、航空器及动力设备地图实时动态管理：平台通过系统对接数据可进行航空器及动力设备（飞行区特种车辆）GPS或差分定位等设备动定位信息进行平台实时展示、轨迹分析、数据管理。

6、视频分析算法调度管理：中心平台统一对接入机位根据实际使用需求进行全流程算法的流程节点配置管理、及触发式流程算法的调用管理。

7、航班保障关键资源链接管理：航班保障关键资源的链接信息融合及分析，通过数据对接机场各平台数据实现保障航班的关键资源（加油车、廊桥、客梯车、摆渡车、牵引车、加油车、清水车、污水车、食品车、电源车等）关键资源的链接情况管理。

8、多维信息航空器定为校验：系统通过接入机场各相关平台数据、A-CDM系统的航班动态、飞行轨迹、机坪监控、航空器定位等信息，以及空地协同电子化管理系统中的航空器地面滑行引导、路由规划、航空器实时滑行监视，以及驻航灯光、智能引导等系统数据为平台及视频算法验证航空器的编号及进出机坪的信息验证管理。

9、视频丢失下航班保障节点信息融合模糊分析管理：系统在机位视频丢失情况下自主根据机场相关系统信息进行信息融合生成模糊节点数据信息管理，保障在无视频的情况下记录航班的节点数据信息。

10、全流程航班保障节点智能报告：系统进行人工智能的全流程航班保障节点生成详细定制化的智能报告、包括机位、航班号、机型、航司、保障时间进度、进度时间分析、保障流程分析的智能报告。

11、数据分析统计报告：系统自动对上传及对接交互的数据进行建模分析，根据用户使用要求生成相关的统计报告、分析报告。

12、视频图片数据库管理：对每一个保障节点的开始到结束完整视频进行视频存储、事件前后10秒的视频存储、节点抓拍的图片进行存储，系统的视图库管理。

13、系统及数据冗余备份管理：系统进行重要数据的冗余备份配置及管理，系统数据、配置数据的自动备份管理。

14、态势感知可视化数据大屏管理：为用户提供基于人工智能的数据分析、态势感知、全域可是的数据可视化大屏动态展示的配置与管理。

15、设备参数管理：管理中心对各子系统的服务器及设备进行统一的配配置、分别配置等管理。

16、系统运维管理：管理中心对各子系统的软硬件运行状态的管理、资源使用情况管理、能源消耗管理、系统拓扑结构自动化、系统运行自动化管理等。

在待监控的地面保障作业流程为航空器入位流程的情况下，如图5所示，基于本实施例提供的监控系统针对航空器入位流程进行监控的一种可选的实施方法包括如下步骤：

中心服务器通过与机场A-CDM系统对接的航班信息，启动或暂停及关闭算法流程，系统根据机场系统实时发布的航班信息进行机位算法流程启动排序，并对相应机位视频进行状态监测、在飞机落地前启动航空器入位检测算法，实现航空器自动入位检测并启动全流程算法分析，该过程可由系统自动进行无需人工干预。

在待监控的地面保障作业流程为航班保障流程的情况下，如图6所示，基于本实施例提供的监控系统针对航班保障流程进行监控的一种可选的实施方法包括如下步骤：

在算法检测到航空器滑行入位时与机场系统进行入位信息校验确认航空器的航班号、飞机机型、机位信息、航班保障类型准确无误根据视频分析检测到航空器滑行到停止线按预定规则启动停止线检测算法系统根据后续规则算法触发逐步采用顺序检测及并行检测方式提取航班保障节点各节点时间信息及节点照片抓拍。

在待监控的地面保障作业流程为航空器离位流程的情况下，如图7所示，基于本实施例提供的监控系统针对航空器离位流程进行监控的一种可选的实施方法包括如下步骤：

系统根据机场信息系统发布的航空器离港信息并结合视频算法检测到牵引车对接航空器完成，航空器开始推出算法检测并记录航空器推出至滑行道并消失在视频中即为航空器完全离位，航班保障节点全流程到此结束，系统自动根据整个记录情况生成智能保障分析报告。

本实施例提供的监控系统的有益效果在于：

1、轻量化部署：可在原机场视频监控系统后台直接加载分析服务不改变现有结构，

2、不增加飞行区场内设施：不增加额外的手持终端、平板设备、或其物联网设备减少系统的维护成本。

3、部署灵活：可根据用户使用需求灵活配置需要采集的机位、也可以根据使用需求增加或减少节点采集的数量，灵活更改灵活配置、一件智能化操作。

4、全自动化：系统基于视频分析、大数据分析、人工智能的的技术能满足民航发展需求即四型机场“智慧机场”数字化建设要求，高度的全自动化无需人工干预、无需增加人力资源。

5、全天候：系统基于视频分析能在绝多数天气环境下有效进行系统的自动化运行，在极端恶劣情况下可根据大数据分析模型实现数据纬度的时间自动补录。

6、智能性高：系统基于大数据与人工智能技术能在视频离线或丢失情况下通过数据融合的方式实现模糊节点数据的自动生成弥补在主要分析条件缺失下的智能节点进程生成。

7、具有自动成长进化：系统整体以人工智能为核心、结合深度学习、神经网络学习能够持续不断的自动学习提高系统各方面能力，并能持续提高系统的采集准确率、智能识别率并能不断进化更多附加识别。

8、更快的响应速度：通过实验数据有效的识别时间在10S以内。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种航班地面保障作业流程的监控方法，其特征在于，所述方法包括：

根据航班计划信息确定目标航空器以及待监控的地面保障作业流程；

重复执行以下步骤直至确定所述地面保障作业流程的所有节点已执行：

步骤一，根据所述地面保障作业流程的当前节点，确定目标对象以及目标动作，其中，所述目标动作为所述目标航空器与所述目标对象的相对动作；

步骤二，在目标摄像头的监控视频流的图像帧中识别所述目标航空器和所述目标对象；

步骤三，基于不同时刻的图像帧中所述目标航空器和所述目标对象的状态信息，确定是否已执行所述目标动作；

步骤四，如果确定已执行所述目标动作，确定所述当前节点已执行，并将下一节点作为所述当前节点。

2.根据权利要求1所述的方法，其特征在于，

所述根据航班计划信息确定目标航空器，包括：根据所述航班计划信息确定所述目标航空器的编号；

所述在目标摄像头的监控视频流的图像帧中识别所述目标航空器，包括：在所述图像帧中识别是否存在航空器；在确定存在所述航空器的情况下，在所述图像帧中识别所述航空器类型和/或机身标识；根据识别出的所述航空器类型和/或所述机身标识确定所述航空器是否为所述目标航空器。

3.根据权利要求1所述的方法，其特征在于，所述在目标摄像头的监控视频流的图像帧中识别所述目标航空器和所述目标对象监控视频流之前，所述方法还包括：

根据所述航班计划信息确定机位；

在多个摄像头中选择针对所述机位的摄像头，以确定所述目标摄像头。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述目标对象为以下之一：地面划线、舱门、车辆、廊桥、地面标志物。

5.根据权利要求4所述的方法，其特征在于，在所述目标对象为所述地面划线、所述车辆或所述廊桥的情况下，所述基于不同时刻的图像帧中所述目标航空器和所述目标对象的状态信息，确定是否已执行所述目标动作，包括：

获取不同时刻的图像帧中所述目标航空器和所述目标对象的相对位置关系；

判断所述相对位置关系是否为指定位置关系；

在确定所述相对位置关系为所述指定位置关系的情况下，判断所述相对位置关系为所述指定位置关系的持续时长是否超过指定时长；

如果所述相对位置关系为所述指定位置关系的持续时长超过指定时长，则确定已执行所述目标动作。

6.根据权利要求1所述的方法，其特征在于，在确定已执行所述目标动作之后，所述方法还包括：

保存执行所述目标动作的关键图像帧。

7.根据权利要求1所述的方法，其特征在于，在确定所述地面保障作业流程的所有节点已执行之前，所述方法还包括：

判断所述当前节点的持续时长是否超过指定时长，或者，判断所述当前时刻是否超过所述当前节点的截止时刻，其中，所述指定时长或所述截止时刻为根据所述地面保障作业流程的节点信息确定的；

如果判断结果为是，发出提示信息。

8.一种航班地面保障作业流程的监控装置，其特征在于，所述装置包括：

第一确定模块，用于根据航班计划信息确定目标航空器以及待监控的地面保障作业流程；

执行模块，用于重复执行以下模块直至确定所述地面保障作业流程的所有节点已执行：

第二确定模块，用于根据所述地面保障作业流程的当前节点，确定目标对象以及目标动作，其中，所述目标动作为所述目标航空器与所述目标对象的相对动作；

识别模块，用于在目标摄像头的监控视频流的图像帧中识别所述目标航空器和所述目标对象；

第三确定模块，用于基于不同时刻的图像帧中所述目标航空器和所述目标对象的状态信息，确定是否已执行所述目标动作；

第四确定模块，用于如果确定已执行所述目标动作，确定所述当前节点已执行，并将下一节点作为所述当前节点。

9.根据权利要求8所述的装置，其特征在于，

所述第一确定模块包括以下单元以根据航班计划信息确定目标航空器：第一确定单元，用于根据所述航班计划信息确定所述目标航空器的编号；

所述第三确定模块包括以下单元以在目标摄像头的监控视频流的图像帧中识别所述目标航空器：第一识别单元，用于在所述图像帧中识别是否存在航空器；第二识别单元，用于在确定存在所述航空器的情况下，在所述图像帧中识别所述航空器类型和/或机身标识；第二确定单元，用于根据识别出的所述航空器类型和/或所述机身标识确定所述航空器是否为所述目标航空器。

10.根据权利要求8所述的装置，其特征在于，所述装置还包括：

第五确定模块，用于在目标摄像头的监控视频流的图像帧中识别所述目标航空器和所述目标对象监控视频流之前，根据所述航班计划信息确定机位；

选择模块，用于在多个摄像头中选择针对所述机位的摄像头，以确定所述目标摄像头。

11.一种监控系统，其特征在于，所述系统包括：

多个摄像头，每个所述摄像头用于监控机场中的指定位置；

视频监控服务器，用于控制所述多个摄像头，并获取每个所述摄像头的监控视频流；

中心服务器，用于根据航班计划信息确定目标航空器以及待监控的地面保障作业流程；重复执行以下步骤直至确定所述地面保障作业流程的所有节点已执行：步骤一，根据所述地面保障作业流程的当前节点，确定目标对象以及目标动作，其中，所述目标动作为所述目标航空器与所述目标对象的相对动作；步骤二，控制所述图像识别服务器在目标摄像头的监控视频流的图像帧中识别所述目标航空器和所述目标对象；步骤三，基于不同时刻的图像帧中所述目标航空器和所述目标对象的状态信息，确定是否已执行所述目标动作；步骤四，如果确定已执行所述目标动作，确定所述当前节点已执行，并将下一节点作为所述当前节点；

所述图像识别服务器，用于接收所述监控视频流，并基于所述中心服务器的控制在所述目标摄像头的监控视频流中识别所述目标航空器和所述目标对象。

Images