CN112101253B - 一种基于视频动作识别的民用机场地面保障状态识别方法 - Google Patents
一种基于视频动作识别的民用机场地面保障状态识别方法 Download PDFInfo
- Publication number
- CN112101253B CN112101253B CN202010988721.3A CN202010988721A CN112101253B CN 112101253 B CN112101253 B CN 112101253B CN 202010988721 A CN202010988721 A CN 202010988721A CN 112101253 B CN112101253 B CN 112101253B
- Authority
- CN
- China
- Prior art keywords
- video
- truck
- passenger
- flight
- door
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000009471 action Effects 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000012544 monitoring process Methods 0.000 claims abstract description 11
- 230000033001 locomotion Effects 0.000 claims description 34
- 238000001514 detection method Methods 0.000 claims description 27
- 238000003032 molecular docking Methods 0.000 claims description 26
- 238000004140 cleaning Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000010006 flight Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
Abstract
本发明涉及一种计算机视觉的应用方法,尤其是一种基于视频动作识别的民用机场地面保障状态识别方法,包括:步骤A.监测机场停机坪区域,获取停机坪区域的视频图像数据,从所述视频图像数据中检测特定目标;步骤B.以检测到特定目标之刻为起点,根据所述特定目标的相应先验时长经滑窗选取视频段;步骤C.将所述视频段作为动作识别网络的输入,获得所述特定目标的动作在所述视频段内的起始帧和结束帧,将起始帧和结束帧转换为起始时间和终止时间进行显示。本发明的民用机场地面保障状态识别方法用于准确的识别航班地面保障的多个状态。
Description
技术领域
本发明涉及一种计算机视觉的应用方法,尤其是一种基于视频动作识别的民用机场地面保障状态识别方法。
背景技术
现有的航班地面保障状态的识别,大多是基于图像的目标检测方法,其航班地面保障系统每次仅根据监控设备获取的单张视频截图进行目标检测,很难获取相同目标的时序信息,对于航班地面保障状态的判断依据不够充分,导致对地面保障状态的识别存在精准性不足的缺陷,无法准确判断目标当前所处的状态。同时,以往的基于图像的目标检测方法未对上下客梯车人员的身份做出分类,以及乘客上下的方向做出详细的判断。
发明内容
本发明的目的在于准确的识别航班地面保障的多个状态。
为实现上述目的,本发明的技术方案为:
一种基于视频动作识别的民用机场地面保障状态识别方法,包括:
步骤A.监测机场停机坪区域,获取停机坪区域的视频图像数据,从所述视频图像数据中检测特定目标;
步骤B.以检测到特定目标之刻为起点,根据所述特定目标的相应先验时长经滑窗选取视频段;
步骤C.将所述视频段作为动作识别网络的输入,获得所述特定目标的动作在所述视频段内的起始帧和结束帧,将起始帧和结束帧转换为起始时间和终止时间进行显示。
作为一种实施方案,所述动作识别网络为动作识别卷积神经网络,其输入视频图像,输出为视频中包含的动作得分和动作的起始帧和结束帧,通过为录制视频中每个动作发生的时间段设置标签,以带标签视频为训练数据,训练后可获得能够识别输入视频段内发生的不同动作,并输出动作起始帧和结束帧的所述动作识别卷积神经网络;
所述步骤C中,当第一次出现所述特定目标的动作得分高于设定阈值的视频段时,采纳该视频段输出的动作起始帧作为所述起始帧,当得分由高于设定阈值转至低于设定阈值时,采纳上一视频段输入动作识别网络得到的结束帧作为所述结束帧。
作为另一种实施方案,所述动作识别网络为视频动作识别网络,其输入为固定长度的视频图像,输出为视频图像的动作得分;
所述步骤C中,将动作得分结合所述滑窗从而获得视频帧-动作得分曲线,以视频帧-动作得分曲线与设定阈值D的前后交点分别作为所述起始帧和所述结束帧。
进一步地,根据视频图像中动作与目标动作的相似度,计算出所述动作得分。
进一步地,所述特定目标包括飞机、飞机头、飞机车轮、客梯车、传送带车、货舱门、货车、升降车、餐车、拖头车、加油车、牵引车中的一者或多者;
所述民用机场地面保障状态识别方法包括航班入机位状态判断、航班上轮档状态判断、客梯车对接状态判断、客舱门/货舱门开启状态判断、加油车对接状态判断、加油车离开状态判断、餐车/货车/垃圾车配送状态判断、关客舱/货舱门状态识别、牵引车对接状态判断、航班撤轮档状态判断、航班推出状态判断,其中,航班上轮档状态判断、客梯车对接状态判断、加油车对接状态判断、餐车/货车/垃圾车配送状态判断、牵引车对接状态判断于航班入机位状态判断之后执行且以所述步骤A、步骤B、步骤C实施。
进一步地,所述加油车离开状态判断于加油车对接状态判断之后执行,其方法包括:当目标检测网络检测到加油车发生移动时,记录当前时间tjy1,根据加油车离开的先验时长滑窗选取视频段,将滑窗获得的视频作为动作识别网络的输入,得到加油车离开的起始时间和终止时间。
进一步地,所述客舱门/货舱门开启状态判断的方法包括:当目标检测网络检测到客舱门/货舱门时,则判断客舱门/货舱门打开;且
所述关客舱/货舱门状态识别在客舱门/货舱门开启状态判断之后执行,其包括:当目标检测网络未检测到客舱门/货舱门时,判断客舱门/货舱门关闭。
进一步地,所述航班撤轮档状态判断于关客舱/货舱门状态识别之后执行,其方法包括:检测到航班客舱门以及货舱门关闭后,记录当前时间tsc1,根据航班撤轮档的先验时长,进行滑窗选取视频段,将其输入动作识别网络,获得撤轮档这个动作的起始时间和终止时间。
进一步地,所述航班入机位状态判断的方法包括:监控机场停机坪区域,当目标检测网络检测到出现飞机后,若检测到飞机边框的中心点在设定时长内没有发生变化,则判定飞机入机位完成。
进一步地,所述民用机场地面保障状态识别方法还包括在客梯车对接状态判断之后执行的人员身份的识别,以及乘客上下客梯车方向的判断;
所述人员身份的识别的方法包括根据客梯车上行人的服装差异识别行人的身份,标记其中的乘客;
所述人员上下客梯车方向的判断包括使用目标跟踪网络对客梯车区域的乘客对象进行多人跟踪,根据乘客的轨迹路线判断乘客上下客梯车的方向。
本发明先对航班视频数据进行特定目标(飞机,飞机头,飞机轮,客梯车,客舱门,加油车,拖头车,空的拖板车,载货拖板车,传动带车,舱门,餐车,货车,升降车,垃圾车,推车)的检测,再根据相应目标的先验时长,获取视频序列,通过特定目标的视频动作识别进行航班地面保障状态的判断。本发明充分利用了每个航班地面保障状态都是一个过程这一先验,通过一段时间的视频动作识别更加符合实际场景,提高航班地面保障状态的识别准确度。同时,为了降低误识别的影响,本发明引入航班地面保障的时序信息,每一个航班地面保障状态都有一定的先后关系,在实际应用中不会发生状态顺序发生很大变化的情况,一定程度上也能提高航班地面保障状态的识别效果。
针对已有的发明没有对客梯车区域人员上下方向的判断,本发明通过对客梯车门区域用行人服装识别网络进行身份区分,包括乘客,清洁人员,机组人员,并通过多人跟踪网络判断他们的运动方向。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的台件。
在附图中:
图1示出了本发明的功能模块组成架构;
图2示出了本发明的实施流程图;
图3示出了本发明的视频动作识别网络的视频帧-动作得分曲线;
图4为本发明的电子设备的结构示意图;
图5为本发明的计算机可读存储介质的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
本实施例的基于视频动作识别的民用机场地面保障状态识别方法,由监控设备视频数据采集系统、目标检测网络、行人服装识别网络、多人跟踪网络、动作识别网络、保障状态显示系统、时间显示系统、视频数据保存系统等八个部分组成。各部分之间的连接关系如图1所示。
上述中,监控设备视频数据采集系统的功能是获取机场停机坪区域的视频图像;目标检测网络的功能是对监控设备获取的视频图像数据进行目标检测;行人服装识别网络主要用于判断在客梯车上出现的人员身份;多人目标跟踪网络的功能是检测客梯车上人员运动轨迹,进而得到其运动方向;动作识别网络的功能是识别输入时间段的动作以及检测出动作的开始帧和结束帧;保障状态显示系统的功能是显示当前地面保障的状态(包括各个模块的输出);时间显示系统的功能是根据视频帧的序号计算得出北京时间。
本实施例的基于视频动作识别的民用机场地面保障状态识别方法,如图2所示,其工作原理为:
首先,监控设备视频数据采集系统对机场停机坪区域进行监测,获取停机坪区域的视频图像数据,该数据作为目标检测网络的输入,目标检测网络主要负责检测的目标包括飞机、飞机头、飞机车轮、客梯车、传送带车、货舱门、货车、升降车、餐车、拖头车、加油车、牵引车等;在视频图像中检测到相应的特定目标后,根据每个特定目标的先验时长经滑窗选取视频段,将其作为动作识别网络的输入,即可获得该目标动作在该滑窗视频内的起始和结束帧,进而得到在数据采集系统中的时间,再根据时间显示系统转换成北京时间,实现对地面保障状态的识别;在动作识别网络识别到客梯车对接飞机成功后,使用行人服装识别网络进行人员身份的区分,多人跟踪网络用于人员上下客梯车的方向进行判断,由于三个群体如乘客、清洁人员以及机组人员服装上存在一定的差异,乘客服装没有统一,每一名乘客的服装差异比较大,且与清洁人员以及机组人员差异也比较大,清洁人员服装有统一,一般会有反光横条,当行人服装识别网络判断出每个人的服装均有反光横条时,判断其为清洁人员,机组人员着装统一,基于该特点,可用行人服装识别网络进行区分判断人员身份;同时,在客梯车区域进行多人跟踪,获得乘客运动方向并保存记录,实现客梯车区域的乘客跟踪。
具体而言,本实施例的基于视频动作识别的民用机场地面保障状态识别方法,其包括的步骤为:航班入机位状态判断、航班上轮档状态判断、客梯车对接状态判断、客舱门/货舱门开启状态判断、加油车对接状态判断、加油车离开状态判断、餐车/货车/垃圾车配送状态判断、关客舱/货舱门状态识别、牵引车对接状态判断、航班撤轮档状态判断、航班推出状态判断。同时包括人员身份的识别,以及乘客上下客梯车方向的判断。
所述航班入机位状态判断方法如下:视频监控仅监控机场停机坪区域,当目标检测网络通过图像匹配算法检测到出现飞机后,根据相邻1s内目标检测的结果,只考虑飞机边框的变化情况,若飞机边框的中心点在一秒内发生移动位移超过阈值s1,则判断为飞机正在移动,如果检测到飞机的框的中心点一秒内没有发生变化,则认为飞机已经停稳,已经入机位完成,输出航班入机位状态标记进行显示。
所述航班上轮档状态判断方法如下:由上一步检测到航班入机位后,通过目标检测网络以图像匹配算法检测航班机轮,当检测到航班机轮时,记录当前时间ts1,以时间ts1为起始点,滑窗截取预先输入的航班上轮档的先验时长,然后将滑窗视频输入动作识别网络,得到上轮档动作的起始和终止时间。
具体地,作为一种实施方式,所述动作识别网络为端到端的神经网络模型,输入为一段时间序列图像(即视频),输出为视频中包含的动作得分和动作的起始帧和结束帧。训练数据为监控摄像头录制的视频,为视频中每个动作发生的时间段设置标签,比如说第几帧到第几帧,动作类别为哪一类,然后以带标签视频训练动作识别卷积神经网络,使其能够识别输入视频段内发生的不同动作,并输出该段视频各个动作的起始帧和结束帧。所述动作得分为时间序列图像中动作与目标动作的相似度,两者呈正相关,相似度越高则动作得分越大。
以航班上轮档状态判断为例,动作识别网络识别上轮档动作的起始和终止时间的过程为:对航班上轮档的动作得分设定阈值,动作识别网络通过比对识别到第一次出现航班上轮档动作得分高于阈值的视频段时,则采纳其输出的动作起始帧作为航班上轮档动作起始帧,当得分由高于阈值转至低于阈值时,采纳上一视频段输入动作识别网络得到的结束帧作为航班上轮档动作结束帧,以起始帧和结束帧转换成该动作的起始时间和终止时间(以北京时间显示)进行输出,并标记显示航班上轮档状态,实现对航班上轮档状态的识别。
作为另一种实施方式,所述动作识别网络可使用视频动作识别网络,所述视频动作识别网络是端到端的神经网络模型,输入为一段固定长度的时间序列图像(即视频),输出为该段视频的所述动作得分,结合滑窗,即可得到一条视频帧-动作得分曲线,设定阈值D,即可得到视频帧-动作得分曲线与阈值D的交点作为起始帧和结束帧,如图3所示。
所述客梯车对接状态判断方法如下:根据第一步判断的航班入机位,在航班入机位之后,当目标检测网络检测到客梯车时,记录当前时间tk1,记录当前时间tk1,根据客梯车的先验时长滑窗获得的视频作为动作识别网络的输入,得到相应客梯车对接动作的起始时间和终止时间,标记显示客梯车对接状态,其中,方法参见航班上轮档状态判断实施,此处不再赘述。
所述客舱门/货舱门开启状态判断如下:当目标检测网络检测到客舱门时,则判断客舱门打开,若没有检测到客舱门,则判断为客舱门关闭,然后标记显示相应状态,货车门同理。
所述加油车对接状态判断方法如下:根据第一步判断的航班入机位,在航班入机位之后,当目标检测网络检测到加油车时,记录当前时间tk1,根据加油车的先验时长滑窗获得的视频作为动作识别网络的输入,得到加油车对接动作的起始时间和终止时间,标记显示加油车对接状态。
所述加油车离开状态判断方法如下:加油车对接成功后,在加油过程中,加油车不会发生移动,当目标检测网络检测到加油车发生比较大的移动时,记录当前时间tjy1,根据加油车离开的先验时长滑窗选取视频段,将滑窗获得的视频作为动作识别网络的输入,得到加油车离开的起始时间和终止时间,标记显示加油车离开状态。
所述餐车/货车/垃圾车配送状态判断方法如下:根据第一步判断的航班入机位,在航班入机位之后,若目标检测网络检测到餐车时,记录当前时间tc1,根据餐车配送的先验时长滑窗选取视频作为动作识别网络的输入,得到餐车配送动作的起始时间和终止时间,标记显示餐车配送状态,货车、垃圾车同理。
所述关客舱/货舱门状态识别方法如下:根据上述客舱门、货舱门开启后,当目标检测网络未检测到客舱门时,判断客舱门关闭;当未检测到货舱门时,判断货舱门关闭。
所述航班撤轮档状态判断方法如下:根据上述检测到航班客舱门以及货舱门关闭后,记录当前时间tsc1,根据航班撤轮档的先验时长,进行滑窗选取视频段,将其输入动作识别网络,获得撤轮档这个动作的起始时间和终止时间,标记显示撤轮档状态。
所述牵引车对接状态判断方法如下:根据第一步判断的航班入机位,在航班入机位之后,当目标检测网络检测到牵引车时,记录当前时间tq1,根据牵引车的先验时长滑窗选取视频作为动作识别网络的输入,得到相应牵引车对接动作的起始时间和终止时间,标记显示牵引车对接状态。
所述航班推出状态判断方法如下:根据上一步判断的牵引车对接完成时,根据目标检测网络的结果,若航班1秒内发生较大的位移变化,则视为航班推出。
所述人员身份的识别如下:当客梯车对接成功后,根据客梯车上行人的服装差异识别行人的身份,其中服装带有有反光横条的识别为清洁人员,服装统一且为输入的特定服装模型的为机组人员,其余人员标记为乘客。
所述乘客上下客梯车方向的判断如下:在客梯车对接成功后,使用目标跟踪网络对客梯车区域的乘客对象进行多人跟踪,根据乘客的轨迹路线即可判断乘客上下客梯车的方向,并保存记录以供追溯。
在上述各状态判断/识别中,若识别到所用时间超出经验时长或无检测到相应状态发生,则向相应工作人员示警以启动应对方案。
本发明相比于已有的技术,所具有的优点在于充分利用了航班地面保障每个状态的视频信息,解决了单帧图像没有时序信息的不足,提高了节点状态判断的准确性,同时本发明还提供了客梯车上行人身份的识别以及行人上下客梯车判断方法,增加了航班地面保障可检测到的节点数量。
需要说明的是:
本实施例所用的方法,可转化为可存储于计算机存储介质中的程序步骤及装置,通过被控制器调用执行的方式进行实施。
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述,构造这类装置所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
例如,图4示出了根据本发明一个实施例的电子设备的结构示意图。该电子设备传统上包括处理器31和被安排成存储计算机可执行指令(程序代码)的存储器32。存储器32可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器32具有存储用于执行实施例中的任何方法步骤的程序代码34的存储空间33。例如,用于程序代码的存储空间33可以包括分别用于实现上面的方法中的各种步骤的各个程序代码34。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘,紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为例如图5所述的计算机可读存储介质。该计算机可读存储介质可以具有与图3的电子设备中的存储器32类似布置的存储段、存储空间等。程序代码可以例如以适当形式进行压缩。通常,存储单元存储有用于执行根据本发明的方法步骤的程序代码41,即可以由诸如31之类的处理器读取的程序代码,当这些程序代码由电子设备运行时,导致该电子设备执行上面所描述的方法中的各个步骤。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
Claims (6)
1.一种基于视频动作识别的民用机场地面保障状态识别方法,其特征在于,包括:
步骤A.监测机场停机坪区域,获取停机坪区域的视频图像数据,从所述视频图像数据中检测特定目标;
步骤B.以检测到特定目标之刻为起点,根据所述特定目标的相应先验时长经滑窗选取视频段;
步骤C.将所述视频段作为动作识别网络的输入,获得所述特定目标的动作在所述视频段内的起始帧和结束帧,将起始帧和结束帧转换为起始时间和终止时间进行显示;
步骤D.在动作识别网络识别到客梯车对接飞机成功后,使用行人服装识别网络进行人员身份的区分,当行人服装识别网络判断出服装有反光横条时判断其为清洁人员,当行人服装识别网络判断出具有统一着装时判断其为机组人员,并将其他人员判断为乘客;使用多人跟踪网络在客梯车区域对乘客上下客梯车的方向进行判断,获得乘客运动方向并保存记录;
所述动作识别网络为视频动作识别网络,其输入为固定长度的视频图像,输出为视频图像的动作得分;
所述步骤C中,将动作得分结合所述滑窗从而获得视频帧-动作得分曲线,以视频帧-动作得分曲线与设定阈值D的前后交点分别作为所述起始帧和所述结束帧;
根据视频图像中动作与目标动作的相似度,计算出所述动作得分。
2.如权利要求1所述的方法,其特征在于:
所述特定目标包括飞机、飞机头、飞机车轮、客梯车、传送带车、货舱门、货车、升降车、餐车、拖头车、加油车、牵引车中的一者或多者;
所述民用机场地面保障状态识别方法包括航班入机位状态判断、航班上轮档状态判断、客梯车对接状态判断、客舱门/货舱门开启状态判断、加油车对接状态判断、加油车离开状态判断、餐车/货车/垃圾车配送状态判断、关客舱/货舱门状态识别、牵引车对接状态判断、航班撤轮档状态判断、航班推出状态判断,其中,航班上轮档状态判断、客梯车对接状态判断、加油车对接状态判断、餐车/货车/垃圾车配送状态判断、牵引车对接状态判断于航班入机位状态判断之后执行且以所述步骤A、步骤B、步骤C实施。
3.如权利要求2所述的方法,其特征在于,所述加油车离开状态判断于加油车对接状态判断之后执行,其方法包括:当目标检测网络检测到加油车发生移动时,记录当前时间tjy1,根据加油车离开的先验时长滑窗选取视频段,将滑窗获得的视频作为动作识别网络的输入,得到加油车离开的起始时间和终止时间。
4.如权利要求2所述的方法,其特征在于,
所述客舱门/货舱门开启状态判断的方法包括:当目标检测网络检测到客舱门/货舱门时,则判断客舱门/货舱门打开;且
所述关客舱/货舱门状态识别在客舱门/货舱门开启状态判断之后执行,其包括:当目标检测网络未检测到客舱门/货舱门时,判断客舱门/货舱门关闭。
5.如权利要求4所述的方法,其特征在于,
所述航班撤轮档状态判断于关客舱/货舱门状态识别之后执行,其方法包括:检测到航班客舱门以及货舱门关闭后,记录当前时间tsc1,根据航班撤轮档的先验时长,进行滑窗选取视频段,将其输入动作识别网络,获得撤轮档这个动作的起始时间和终止时间。
6.如权利要求2所述的方法,其特征在于,
所述航班入机位状态判断的方法包括:监控机场停机坪区域,当目标检测网络检测到出现飞机后,若检测到飞机边框的中心点在设定时长内没有发生变化,则判定飞机入机位完成。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010988721.3A CN112101253B (zh) | 2020-09-18 | 一种基于视频动作识别的民用机场地面保障状态识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010988721.3A CN112101253B (zh) | 2020-09-18 | 一种基于视频动作识别的民用机场地面保障状态识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112101253A CN112101253A (zh) | 2020-12-18 |
CN112101253B true CN112101253B (zh) | 2024-07-12 |
Family
ID=
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105046206A (zh) * | 2015-06-24 | 2015-11-11 | 北京系统工程研究所 | 基于视频中运动先验信息的行人检测方法及装置 |
CN108399380A (zh) * | 2018-02-12 | 2018-08-14 | 北京工业大学 | 一种基于三维卷积和Faster RCNN的视频动作检测方法 |
CN110662007A (zh) * | 2019-12-02 | 2020-01-07 | 杭州云视通互联网科技有限公司 | 航班地面保障作业流程的监控方法、装置及监控系统 |
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105046206A (zh) * | 2015-06-24 | 2015-11-11 | 北京系统工程研究所 | 基于视频中运动先验信息的行人检测方法及装置 |
CN108399380A (zh) * | 2018-02-12 | 2018-08-14 | 北京工业大学 | 一种基于三维卷积和Faster RCNN的视频动作检测方法 |
CN110662007A (zh) * | 2019-12-02 | 2020-01-07 | 杭州云视通互联网科技有限公司 | 航班地面保障作业流程的监控方法、装置及监控系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
ES2908944B2 (es) | Un metodo y sistema implementados por ordenador para detectar objetos pequenos en una imagen usando redes neuronales convolucionales | |
Kumar et al. | Driver drowsiness monitoring system using visual behaviour and machine learning | |
Saleh et al. | Driving behavior classification based on sensor data fusion using LSTM recurrent neural networks | |
CN109784162A (zh) | 一种行人行为识别及轨迹跟踪方法 | |
Ottlik et al. | Initialization of model-based vehicle tracking in video sequences of inner-city intersections | |
CN107122747A (zh) | 一种轨道车辆车厢状态非接触检测装置及方法 | |
JP6595375B2 (ja) | 交通状況解析装置、交通状況解析方法、及び、交通状況解析プログラム | |
CN108596056A (zh) | 一种出租车运营行为动作识别方法及系统 | |
DE102018222665A1 (de) | Autonom fahrendes Taxi | |
CN107416629A (zh) | 电梯安全运行的控制方法和系统 | |
CN111942317B (zh) | 开车门防撞方法、装置、系统和计算机可读存储介质 | |
CN105955099A (zh) | 无人驾驶车辆的驾驶模式切换方法和装置 | |
CN109919066B (zh) | 一种检测轨道交通车厢内乘客密度异常的方法和装置 | |
CN102496275A (zh) | 客车超载检测方法 | |
DE102015207047A1 (de) | Verfahren und System automatisierten Sequenzieren von Fahrzeugen in nebeneinander angeordneten Durchfahrtskonfigurationen über eine bildbasierte Einstufung | |
CN114926422B (zh) | 一种上下车客流量检测方法及系统 | |
GB2615217A (en) | A damage detection apparatus and method | |
CN112101253B (zh) | 一种基于视频动作识别的民用机场地面保障状态识别方法 | |
Al Nasim et al. | An automated approach for the recognition of bengali license plates | |
US8983129B2 (en) | Detecting and classifying persons in a prescribed area | |
CN117274380A (zh) | 飞机廊桥靠接状态实时检测方法以及相关设备 | |
CN112101253A (zh) | 一种基于视频动作识别的民用机场地面保障状态识别方法 | |
CN115550611A (zh) | 一种航班保障节点的智能监测方法、装置及系统 | |
CN114399671A (zh) | 目标识别方法及装置 | |
CN108074422A (zh) | 用于分析机场处的转向的系统和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
CB03 | Change of inventor or designer information |
Inventor after: Wan Hao Inventor after: Mou Song Inventor after: Tang Wenxiao Inventor after: Guan Hua Inventor after: Deng Zhuangzhi Inventor after: Chen Xingfa Inventor before: Wan Hao |
|
GR01 | Patent grant |