CN112836642A - 一种基于组合标注的机场地面服务保障事件判断方法 - Google Patents

一种基于组合标注的机场地面服务保障事件判断方法 Download PDF

Info

Publication number
CN112836642A
CN112836642A CN202110153001.XA CN202110153001A CN112836642A CN 112836642 A CN112836642 A CN 112836642A CN 202110153001 A CN202110153001 A CN 202110153001A CN 112836642 A CN112836642 A CN 112836642A
Authority
CN
China
Prior art keywords
vehicle
service
service guarantee
combined
airplane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110153001.XA
Other languages
English (en)
Inventor
刘军
柏川
吴介桅
朱军伟
白知恒
辜乐希
李宇豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Guoyi Electronic Technology Co ltd
Original Assignee
Chengdu Guoyi Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Guoyi Electronic Technology Co ltd filed Critical Chengdu Guoyi Electronic Technology Co ltd
Priority to CN202110153001.XA priority Critical patent/CN112836642A/zh
Publication of CN112836642A publication Critical patent/CN112836642A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于组合标注的机场地面服务保障事件判断方法，所述基于组合标注的机场地面服务保障事件判断方法在数据标注上采用组合标注方法，将服务保障车辆和飞机部件当成一个整体，当检测到有该部件时表示作业开始，当该部件消失时表示作业完成，将逻辑事件和图像识别绑定在一起，降低了后端逻辑设计的压力。本发明可自动通过现有监控摄像画面实时识别并跟踪停机坪内车辆位置，记录停机坪内各活动目标的工作环节、工作进程和该进程完成的时刻，提高机场服务保障车辆事件检测和识别的效率。

Description

一种基于组合标注的机场地面服务保障事件判断方法
技术领域
本发明涉及机场地面服务保障技术领域，尤其涉及一种基于组合标注的机场地面服务保障事件判断方法。
背景技术
机场地面服务保障是机场的重要职能，针对机场地面服务保障问题，现有的方法是通过人力实现，停机坪内各活动目标的工作环节、工作进程和该进程完成的时刻通过对讲机实现记录，人工录入可能会造成数据漏报、数据误差、数据延迟，而且作业强度较大容易疲劳，极大增加了人力成本，不符合机场高效管理。
由于现有机场对服务保障车辆事件的采集大部分是基于人力进行，很少使用图像识别的方法采集事件，而且直接采用深度学习目标检测方法，需要做划线闯入检测，而且精度不高。
因此，如何有效提高机场服务保障车辆事件检测和识别效率、实现机场的高效管理是一个亟需解决的技术问题。
发明内容
为了解决上述问题，本发明提供了一种基于组合标注的机场地面服务保障事件判断方法，该方法包括如下步骤：
S1：选择服务保障车辆正在作业的图像样本，并将该数据集设为M，选择其他非作业的服务保障车辆图像样本，并将该数据集记为N；
S2：选择M数据集，将服务保障车辆与飞机部分标注成一个整体，选择以服务保障车辆为参考，纵向不变，横向可扩展的最小外接矩形进行组合标注，并形成一个组合标注框；
S3：将标注的M集样本与N集样本组合成训练集，采用目标检测模型进行模型训练；
S4：对服务保障车辆作业事件进行预测判断。
优选的，数据集M样本至少为500张，数据集N样本至少为500张。
优选的，所述步骤S2组合标注框中服务保障车辆与飞机像素各占50%。
优选的，所述步骤S2服务保障车辆需要全部进入组合标注框中。
优选的，所述数据集N为负样本。
优选的，所述步骤S3采用公知的目标检测模型，如YOLOv4、fasterRcnn、ssd等算法模型进行训练。
优选的，所述步骤S4服务保障车辆靠近飞机后，检测器检测到训练过的组合标注框，当稳定持续2s检测到组合框后，则表示服务保障车辆作业事件开始；当组合框消失，稳定持续2s消失后，则表示服务保障车辆作业事件结束，并结束退出。
优选的，所述服务保障车辆包括餐车和/或加油车和/或牵引车和/或廊桥。
本发明的有益效果在于：本发明可自动通过现有监控摄像画面实时识别并跟踪停机坪内车辆位置，记录停机坪内各活动目标的工作环节、工作进程和该进程完成的时刻，提高机场服务保障车辆事件检测和识别的效率。
附图说明
图1为本发明的流程图；
图2为本发明的服务保障车辆作业判断流程图；
图3为本发明的餐车标注方法示意图；
图4为本发明的廊桥标注方法示意图；
图5为本发明的牵引车标注方法示意图；
图6为本发明的加油车标注方法示意图；
其中：1-组合框，2-餐车，3-飞机，4-廊桥，5-牵引车，6-加油车。
具体实施方式
为了对本发明的实施例进行详细说明，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。本发明的主要目的在于提供一种基于组合标注的机场地面服务保障事件判断方法，旨在解决如何提供一种采用图像算法代替人对服务保障车辆事件判断的方法，减少算法复杂度，同时提高检测精度和实时性，提高机场服务保障车辆事件检测和识别的效率。
为实现上述目的，本发明提供了一种实施例，如图1所示，图1为本发明提供的一种基于组合标注的机场地面服务保障事件判断方法流程图，所述基于组合标注的机场地面服务保障事件判断方法包括：数据筛选、数据标注、模型训练及预测判断，具体的：
S1：选择服务保障车辆正在作业的图像样本，并将该数据集设为M，选择其他非作业的服务保障车辆图像样本，并将该数据集记为N；
S2：选择M数据集，将服务保障车辆与飞机部分标注成一个整体，选择以服务保障车辆为参考，纵向不变，横向可扩展的最小外接矩形进行组合标注，并形成一个组合标注框；
S3：将标注的M集样本与N集样本组合成训练集，采用目标检测模型进行模型训练；
S4：对服务保障车辆作业事件进行预测判断。
具体的，选择服务保障车辆正在作业的数张图像样本（约5000张），将该数据集设为M，选择其他数张非作业的服务保障车辆样本（约500张），该数据集记为N。
具体的，作业样本数据的选择（选择服务保障车辆像素距离飞机≤0pixel的样本）；服务保障车辆离开样本数据的选择（服务保障车辆离开飞机像素距离＞0 pixel的样本）。
具体的，选择M数据集，标注方法为服务保障车辆与飞机部分标注成一个整体，选择以服务保障车辆为参考，纵向不变，横向可扩展的最小外接矩形进行标注，在组合标注框中服务保障车辆与飞机像素各占50%，其中服务保障车辆需要全部进入组合部件中，其中数据集N为负样本。
具体的，将标注的M集样本与N集负样本组合成训练集，用公知的目标检测模型，如YOLOv4、fasterRcnn、ssd等算法模型进行训练。
如图2所示，图2为本发明提供的服务保障车辆作业判断流程图，服务保障车辆作业时靠近飞机，当服务保障车辆靠近飞机后检测器会检测到训练过的组合标注框，当稳定持续2s检测到组合框后，则表示服务保障车辆作业事件开始；当组合框消失，稳定持续2s消失后，则表示服务保障车辆作业事件结束，并结束退出。
具体的，本发明采用图像组合标注（将飞机和服务保障车辆作为一个整体标注）可以减少算法复杂度，同时提高检测精度和实时性。
可以理解的，飞机停在机坪上后，服务保障车辆作业位置相对固定，因此可以通过组合标注的方法，将服务保障车辆和飞机部件当成一个整体，当检测到有该部件时表示作业开始，当该部件消失时表示作业完成，将逻辑事件和图像识别绑定在一起，降低了后端逻辑设计的压力。具体步骤为：首先是选数据，然后是标注数据（在组合标注框中飞机部分和服务保障车辆各占50%），训练得到模型后，上线识别业务逻辑是，当服务保障车辆靠近飞机并停稳，检测到组合部件时，通过运动检测算法得到组合框前后处于较小波动，可以判断为服务保障车辆作业开始；当服务保障车辆离开飞机时，服务保障车辆与飞机形成的组合标注框稳定消失一段时间后，可以判定为服务保障车辆作业结束。
可以理解的，服务保障车辆作业有较强的稳定性，其位置相对于机身较为固定，因此可以在数据标注上采用组合标注方法，该发明能降低后端业务逻辑设计复杂度，提高识别率，在机场服务保障车辆事件（作业开始和完成作业）的检测和识别属于首创，本专利具有较好的应用创新及算法框架创新。
进一步的，所述服务保障车辆包括餐车2和/或加油车6和/或牵引车5和/或廊桥4。
如图3所示，图3为本发明提供的餐车2标注方法示意图，在此实施例中：当餐车2作业时首先会靠近飞机3左后方，当餐车2靠近飞机3后检测器会检测到训练过的组合标注框，当稳定持续2s检测到组合框1后，则表示餐车2作业事件开始；当组合框1消失，稳定持续2s消失后，则表示餐车作业事件结束，并结束退出。
如图4所示，图4为本发明提供的廊桥4标注方法示意图，在此实施例中：当廊桥4作业时首先会靠近飞机3左侧机头位置，当廊桥4靠近飞机3后检测器会检测到训练过的组合标注框，当稳定持续2s检测到组合1框后，则表示廊桥4作业事件开始；当组合框1消失，稳定持续2s消失后，则表示廊桥4作业事件结束，并结束退出。
如图5所示，图5为本发明提供的牵引车5标注方法示意图，在此实施例中：当牵引车5作业时首先会靠近飞机3正面机头位置，当牵引车5靠近飞机3后检测器会检测到训练过的组合标注框，当稳定持续2s检测到组合框1后，则表示牵引车5作业事件开始；当组合框1消失，稳定持续2s消失后，则表示牵引车5作业事件结束，并结束退出。
如图6所示，图6为本发明提供的加油车6标注方法示意图，在此实施例中：当加油车6作业时首先会靠近飞机3右侧机翼位置，当加油车6靠近飞机1后检测器会检测到训练过的组合标注框，当稳定持续2s检测到组合框1后，则表示加油车6作业事件开始；当组合框1消失，稳定持续2s消失后，则表示加油车6作业事件结束，并结束退出。
具体的，本发明所提出的方法/技术已经上线试运行1年时间，与人为判断进行对比，其效果比人眼准确，达到秒级精度，得到客户较高认可。相关检测模块选用了成熟的深度学习技术路线，且标注方法与工程相结合，降低算法复杂度，能大大提高准确率和实时性。
上述实施例中，描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (6)

1.一种基于组合标注的机场地面服务保障事件判断方法，其特征在于，包括如下步骤：
S1：输入服务保障车辆正在作业的图像样本，并将该数据集设为M，还输入其他非作业的服务保障车辆图像样本，并将该数据集记为N；
S2：选择M数据集，将服务保障车辆与飞机部分标注成一个整体，以服务保障车辆为参考，纵向不变，横向可扩展的最小外接矩形进行组合标注，并形成一个组合标注框；
S3：将标注的M集样本与N集样本组合成训练集，采用目标检测模型进行模型训练；
S4：对服务保障车辆作业事件进行预测判断。
2.如权利要求1所述的一种基于组合标注的机场地面服务保障事件判断方法，其特征在于，所述步骤S2组合标注框中服务保障车辆与飞机像素各占50%。
3.如权利要求1所述的一种基于组合标注的机场地面服务保障事件判断方法，其特征在于，所述步骤S2服务保障车辆需要全部进入组合标注框中。
4.如权利要求1所述的一种基于组合标注的机场地面服务保障事件判断方法，其特征在于，所述数据集N为负样本。
5.如权利要求1所述的一种基于组合标注的机场地面服务保障事件判断方法，其特征在于，所述步骤S4服务保障车辆靠近飞机后，检测器检测到训练过的组合标注框，当稳定持续2s检测到组合框，则表示服务保障车辆作业事件开始；当组合框消失，稳定持续2s消失，则表示服务保障车辆作业事件结束。
6.如权利要求1所述的一种基于组合标注的机场地面服务保障事件判断方法，其特征在于，所述服务保障车辆包括餐车和/或加油车和/或牵引车和/或廊桥。
CN202110153001.XA 2021-02-04 2021-02-04 一种基于组合标注的机场地面服务保障事件判断方法 Pending CN112836642A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110153001.XA CN112836642A (zh) 2021-02-04 2021-02-04 一种基于组合标注的机场地面服务保障事件判断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110153001.XA CN112836642A (zh) 2021-02-04 2021-02-04 一种基于组合标注的机场地面服务保障事件判断方法

Publications (1)

Publication Number Publication Date
CN112836642A true CN112836642A (zh) 2021-05-25

Family

ID=75932044

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110153001.XA Pending CN112836642A (zh) 2021-02-04 2021-02-04 一种基于组合标注的机场地面服务保障事件判断方法

Country Status (1)

Country Link
CN (1) CN112836642A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103616872A (zh) * 2013-11-27 2014-03-05 中国民航大学 面向机场地面保障设备运行的数据采集装置
CN108985621A (zh) * 2018-07-13 2018-12-11 南京航空航天大学 基于风险管控的区域多机场不正常航班恢复方法
CN110113397A (zh) * 2019-04-23 2019-08-09 青岛民航凯亚系统集成有限公司 基于gis的机场保障车辆自动到位上报系统
CN111428684A (zh) * 2020-04-13 2020-07-17 捻果科技(深圳)有限公司 一种机场停机坪作业人员作业规范及数量的自动识别方法
CN111709341A (zh) * 2020-06-09 2020-09-25 杭州云视通互联网科技有限公司 客梯车作业状态的检测方法与系统
CN112101253A (zh) * 2020-09-18 2020-12-18 广东机场白云信息科技有限公司 一种基于视频动作识别的民用机场地面保障状态识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103616872A (zh) * 2013-11-27 2014-03-05 中国民航大学 面向机场地面保障设备运行的数据采集装置
CN108985621A (zh) * 2018-07-13 2018-12-11 南京航空航天大学 基于风险管控的区域多机场不正常航班恢复方法
CN110113397A (zh) * 2019-04-23 2019-08-09 青岛民航凯亚系统集成有限公司 基于gis的机场保障车辆自动到位上报系统
CN111428684A (zh) * 2020-04-13 2020-07-17 捻果科技(深圳)有限公司 一种机场停机坪作业人员作业规范及数量的自动识别方法
CN111709341A (zh) * 2020-06-09 2020-09-25 杭州云视通互联网科技有限公司 客梯车作业状态的检测方法与系统
CN112101253A (zh) * 2020-09-18 2020-12-18 广东机场白云信息科技有限公司 一种基于视频动作识别的民用机场地面保障状态识别方法

Similar Documents

Publication Publication Date Title
CN109784162B (zh) 一种行人行为识别及轨迹跟踪方法
CN105488453A (zh) 一种基于图像处理的驾驶员未系安全带检测识别方法
CN101510356B (zh) 视频检测系统及其数据处理装置、视频检测方法
CN103465857A (zh) 一种基于手机的汽车主动安全的预警方法
CN112101253B (zh) 一种基于视频动作识别的民用机场地面保障状态识别方法
CN102073852A (zh) 基于最优阈值和随机标号法的多车辆分割方法
CN112130168A (zh) 一种用于折返控制的列车位置状态检测方法及系统
CN118135491B (zh) 基于工业机器人的数字化洗车运营管理系统
CN112949457A (zh) 基于增强现实技术的维修方法、装置及系统
CN112307842B (zh) 用于列车运行监控记录文件匹配的视频识别系统及方法
CN109543533B (zh) 一种用于机场作业人员管理的自动识别方法
CN113313051B (zh) 一种违规使用他人etc行为的检测识别方法及系统
CN112836642A (zh) 一种基于组合标注的机场地面服务保障事件判断方法
CN112991769A (zh) 基于视频的交通量调查方法和装置
CN114360267B (zh) 基于云端检测系统的车况检测方法、装置及云端检测系统
CN114693722B (zh) 一种车辆行驶行为检测方法、检测装置及检测设备
CN115550611A (zh) 一种航班保障节点的智能监测方法、装置及系统
CN103366598B (zh) 一种车辆停靠到位检测系统及检测方法
CN113705549B (zh) 道路救援工作节点确定方法、装置及相关设备
Tschürtz et al. System of systems safety analysis and evaluation in ZalaZONE
CN214497275U (zh) 一种用于边缘计算计费的门架
CN111626334B (zh) 一种车载高级辅助驾驶系统的关键控制目标选择方法
CN110956072B (zh) 一种基于大数据分析的驾驶技能培训方法
CN118333614B (zh) 电单车运维工作审核方法、程序产品、电子设备及介质
CN113152328A (zh) 一种用于边缘计算计费的门架及使用该门架的边缘计算的门架计费方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210525