CN109543533A - 一种用于机场作业人员管理的自动识别方法 - Google Patents
一种用于机场作业人员管理的自动识别方法 Download PDFInfo
- Publication number
- CN109543533A CN109543533A CN201811228523.6A CN201811228523A CN109543533A CN 109543533 A CN109543533 A CN 109543533A CN 201811228523 A CN201811228523 A CN 201811228523A CN 109543533 A CN109543533 A CN 109543533A
- Authority
- CN
- China
- Prior art keywords
- aircraft
- operating personnel
- identifying method
- parking area
- automatic identifying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000012545 processing Methods 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 4
- 238000013136 deep learning model Methods 0.000 claims description 3
- 241001269238 Data Species 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000012544 monitoring process Methods 0.000 abstract description 3
- 230000000284 resting effect Effects 0.000 abstract description 3
- 238000004458 analytical method Methods 0.000 abstract description 2
- 238000007689 inspection Methods 0.000 description 4
- 238000003032 molecular docking Methods 0.000 description 3
- 238000011897 real-time detection Methods 0.000 description 2
- 230000006641 stabilisation Effects 0.000 description 2
- 238000011105 stabilization Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/40—Business processes related to the transportation industry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Multimedia (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明属于视频分析技术领域，尤其是涉及一种用于机场作业人员管理的自动识别方法。其利用了人工智能算法来识别飞机停靠状态，能够有针对性地提取飞机刚刚停靠前后几帧的数据进行处理，从而达到节省算力，降低误报率。主要优势有：①利用了人工智能算法来识别飞机停靠状态，通过智能识别算法可以实现全天时监测，节省人工监测成本；②通过提取飞机刚刚停靠前后几帧的数据进行处理，从而达到节省算力，降低误报率。③采用模板化的方式进行飞机停靠自动识别与迎机人员检测，实际实施中可随停机坪和民航规范改动而灵活更改，方案移植性强。
Description
技术领域
本发明属于视频分析技术领域，尤其是涉及一种用于机场作业人员管理的自动识别方法。
背景技术
停机坪迎机人员的管理是机场运营管理的一个重要方面，要求在飞机落地到稳定停靠的过程当中，有两名工作人员引导飞机停靠至规定位置。一名人员位于飞机稳定停靠时的前轮位置，一名人员位于飞机稳定停靠时机头前方驾驶员视线范围内的某个位置。对迎机人员的管理侧重两个方面：第一，要求飞机落地前的某个时间段就必须就位；第二，要求飞机在停靠过程当中给予合适的引导。
目前对迎机人员的管理主要通过两种方式实现,第一种是采取人工巡视的方式；第二种是采取事后视频浏览的方式。
随着计算机视觉技术的发展，有人提出，利用目标识别的方法，来识别迎机人员，从而分析他就位的时间，以及行为，这种方法需要对每帧数据实时处理，算力消耗大，而且有很多误报，经过实际测试，若对每帧都做处理的方法，误报率在25％左右。
按照当前的运营管理模式，采取人工巡视的方法，巡视的范围和巡视的时间非常有限，不能做到全天候24小时巡视，若要同时巡视多个机位则需要增派人手，耗时耗力，很不经济；若采取视频或者图像浏览的方式来巡检则存在浏览工作量巨大，容易漏检的问题，而且视频浏览是事后追查的方式，无法做到及时预警。
若利用计算机视觉技术实时对图片进行处理，则存在数据量庞大，处理的目标太多，没有针对性，尤其是无关场景所带来的干扰，遮挡等问题造成误检率和漏检率居高不下。
发明内容
本发明的目的在于，针对现有技术中存在的不足，提供一种用于机场作业人员管理的自动识别方法。
为此，本发明的上述目的通过以下技术方案来实现：
一种用于机场作业人员管理的自动识别方法，所述方法包括以下步骤：
(101)存储一张飞机稳定停靠时的图像作为模板图像，记为imageT；
(102)利用计算机视觉技术自动检测飞机出现在模板图像imageT中的位置和大小，记为RectT；
(103)存储当前帧图像以及当前帧以前的N张图像，存储顺序为先进先出，且该N张图像的集合记为HistData；当前帧图像、当前帧以前的N张图像以及模板图像均由布置在停机坪旁边的摄像机所拍摄；
(104)对于集合HistData中的图像HistData[i]，利用计算机视觉技术自动检测飞机出现的位置和大小，并记为RectI；
(105)计算RectI和RectT的重合程度，并将重合程度归一化处理，记为overlap[i]；
(106)取k1＝N-1，k2＝N-5，若overlap[k1]＞0.7，同时overlap[k2]＝0，则认为飞机刚刚停靠，该时刻记为t；停机坪迎机人员应该在时刻t之前就位；
(107)以时刻t为基准，向前追溯一个固定时间段(若干帧)的图像数据，并对这些图像数据利用计算机视觉技术自动检测方法来识别指定区域的停机坪迎机人员；若至少有一个停机坪迎机人员检测不到，则预警。
在采用上述技术方案的同时，本发明还可以采用或者组合采用以下进一步的技术方案：
作为优选，所述步骤(102)、(104)和(107)中的计算机视觉技术的自动检测方法包括 SSD、yolo系列、Faster-rcnn系列的深度学习模型中的任意一种或者多种的组合。
作为优选，所述步骤(103)中的N≥10。
作为优选，所述步骤(105)中重合程度的归一化方法为：将RectI和RectT的重合面积除以RectI和RectT两个中最小的面积。
作为优选，所述用于机场作业人员管理的自动识别方法还包括：对overlap的数据进行补洞处理，以消除飞机误检给自动识别方法带来的影响，补洞处理的规则为：若overlap[i-1]和 overlap[i+1]都为0，则将overlap[i]设置为0。
作为优选，所述用于机场作业人员管理的自动识别方法还包括：
(201)检测到飞机稳定停靠的时间t后，将模板图像imageT自动配准到当前图像imageI 上，获得匹配关系后，计算停机坪迎机人员应该处于的标准位置，并分别标记为person1、……、 personM；停机坪迎机人员的人数与中国民用航空规范有关，目前要求两名停机坪迎机人员。
(202)以时刻t为基准，向前追溯若干帧，在位置person1、……、personM附近的一个邻域内检测是否出现停机坪迎机人员；若都能检测到停机坪迎机人员，则说明停机坪迎机人员引导合理，否则给出预警。若目前要求两名停机坪迎机人员，则M＝2。
作为优选，所述步骤(201)中的配准方法：采用透视变换进行配准，透视变换所需控制点为imageT中rectT与imageI中rectI的矩形角点。
本发明提供一种用于机场作业人员管理的自动识别方法，主要优势有：①利用了人工智能算法来识别飞机停靠状态，通过智能识别算法可以实现全天时监测，节省人工监测成本；②通过提取飞机刚刚停靠前后几帧的数据进行处理，从而达到节省算力，降低误报率。③采用模板化的方式进行飞机停靠自动识别与迎机人员检测，实际实施中可随停机坪和民航规范改动而灵活更改，方案移植性强。
附图说明
图1为本发明所提供的模板图像imageT。
图2为本发明所提供的飞机停靠过程中对飞机的实时检测图像。
图3为本发明所提供的飞机停靠过程中对停机坪迎机人员的实时检测图像。
具体实施方式
参照附图和具体实施例对本发明作进一步详细地描述。
一种用于机场作业人员管理的自动识别方法，包括以下步骤：
(101)存储一张飞机稳定停靠时的图像作为模板图像，记为imageT；
(102)利用计算机视觉技术自动检测飞机出现在模板图像imageT中的位置和大小，记为RectT，如图1中方框所示；
(103)存储当前帧图像以及当前帧以前的N张图像，存储顺序为先进先出，且该N张图像的集合记为HistData；当前帧图像、当前帧以前的N张图像以及模板图像均由布置在停机坪旁边的摄像机所拍摄；
(104)对于集合HistData中的图像HistData[i]，利用计算机视觉技术自动检测飞机出现的位置和大小，并记为RectI，如图2中方框所示；
(105)计算RectI和RectT的重合程度，并将重合程度归一化处理，记为overlap[i]；
(106)取k1＝N-1，k2＝N-5，若overlap[k1]＞0.7，同时overlap[k2]＝0，则认为飞机刚刚停靠，该时刻记为t；停机坪迎机人员应该在时刻t之前就位；
(107)以时刻t为基准，向前追溯一个固定时间段(若干帧)的图像数据，并对这些图像数据利用计算机视觉技术自动检测方法来识别指定区域的停机坪迎机人员，如图3所示；若至少有一个停机坪迎机人员检测不到，则预警。追溯的时间段长度与引导飞机稳定停靠所需时间有关，可以根据实际情况灵活设置。
步骤(102)、(104)和(107)中的计算机视觉技术的自动检测方法包括SSD、yolo系列、 Faster-rcnn系列的深度学习模型中的任意一种或者多种的组合。
步骤(103)中的N≥10。
步骤(105)中重合程度的归一化方法为：将RectI和RectT的重合面积除以RectI和RectT 两个中最小的面积。
用于机场作业人员管理的自动识别方法还包括：对overlap的数据进行补洞处理，以消除飞机误检给自动识别方法带来的影响，补洞处理的规则为：若overlap[i-1]和overlap[i+1]都为0，则将overlap[i]设置为0。
用于机场作业人员管理的自动识别方法还包括：
(201)检测到飞机稳定停靠的时间t后，将模板图像imageT自动配准到当前图像imageI 上，获得匹配关系后，计算停机坪迎机人员应该处于的标准位置，并分别标记为person1、 person2；停机坪迎机人员的人数与中国民用航空规范有关，目前要求两名停机坪迎机人员。
(202)以时刻t为基准，向前追溯若干帧，在位置person1、person2附近的一个邻域内检测是否出现停机坪迎机人员；若都能检测到停机坪迎机人员，则说明停机坪迎机人员引导合理，否则给出预警。邻域大小的设置可以参考机场对停机坪迎机人员的管理要求进行确定。
步骤(201)中的配准方法为透视变换，透视变换所需控制点为imageT中rectT与imageI 中rectI的矩形角点。
上述具体实施方式用来解释说明本发明，仅为本发明的优选实施例，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改、等同替换、改进等，都落入本发明的保护范围。
Claims (7)
1.一种用于机场作业人员管理的自动识别方法，其特征在于，所述方法包括以下步骤：
(101)存储一张飞机稳定停靠时停机坪迎机人员标准引导的图像作为模板图像，记为imageT；
(102)利用计算机视觉技术自动检测飞机出现在模板图像imageT中的位置和大小，记为RectT；
(103)存储当前帧图像以及当前帧以前的N张图像，存储顺序为先进先出，且该N张图像的集合记为HistData；
(104)对于集合HistData中的图像HistData[i]，利用计算机视觉技术自动检测飞机出现的位置和大小，并记为RectI；
(105)计算RectI和RectT的重合程度，并将重合程度归一化处理，记为overlap[i]；
(106)取k1＝N-1，k2＝N-5，若overlap[k1]＞0.7，同时overlap[k2]＝0，则认为飞机刚刚停靠，该时刻记为t；停机坪迎机人员应该在时刻t之前就位；
(107)以时刻t为基准，向前追溯一个固定时间段的图像数据，并对这些图像数据利用计算机视觉技术自动检测方法来识别指定区域的停机坪迎机人员；若至少有一个停机坪迎机人员检测不到，则预警。
2.根据权利要求1所述的用于机场作业人员管理的自动识别方法，其特征在于，所述步骤(102)、(104)和(107)中的计算机视觉技术的自动检测方法包括SSD、yolo系列、Faster-rcnn系列的深度学习模型中的任意一种或者多种的组合。
3.根据权利要求1所述的用于机场作业人员管理的自动识别方法，其特征在于，所述步骤(103)中的N≥10。
4.根据权利要求1所述的用于机场作业人员管理的自动识别方法，其特征在于，所述步骤(105)中重合程度的归一化方法为：将RectI和RectT的重合面积除以RectI和RectT两个中最小的面积。
5.根据权利要求1所述的用于机场作业人员管理的自动识别方法，其特征在于，所述用于机场作业人员管理的自动识别方法还包括：对overlap的数据进行补洞处理，以消除飞机误检给自动识别方法带来的影响，补洞处理的规则为：若overlap[i-1]和overlap[i+1]都为0，则将overlap[i]设置为0。
6.根据权利要求1所述的用于机场作业人员管理的自动识别方法，其特征在于，所述用于机场作业人员管理的自动识别方法还包括：
(201)检测到飞机稳定停靠的时间t后，将模板图像imageT自动配准到当前图像imageI上，获得匹配关系后，计算停机坪迎机人员应该处于的标准位置，并分别标记为person1、……、personM；
(202)以时刻t为基准，向前追溯若干帧在位置person1、……、personM附近的一个邻域内检测是否出现停机坪迎机人员；若都能检测到停机坪迎机人员，则说明停机坪迎机人员引导合理，否则给出预警。
7.根据权利要求6所述的用于机场作业人员管理的自动识别方法，其特征在于，所述步骤(201)中的配准方法：采用透视变换进行配准，透视变换所需控制点为imageT中rectT与imageI中rectI的矩形角点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811228523.6A CN109543533B (zh) | 2018-10-22 | 2018-10-22 | 一种用于机场作业人员管理的自动识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811228523.6A CN109543533B (zh) | 2018-10-22 | 2018-10-22 | 一种用于机场作业人员管理的自动识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109543533A true CN109543533A (zh) | 2019-03-29 |
| CN109543533B CN109543533B (zh) | 2023-05-09 |
Family
ID=65844629
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811228523.6A Active CN109543533B (zh) | 2018-10-22 | 2018-10-22 | 一种用于机场作业人员管理的自动识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109543533B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110490168A (zh) * | 2019-08-26 | 2019-11-22 | 杭州视在科技有限公司 | 基于目标检测与骨骼点算法的机场迎机人员行为监测方法 |
| CN111709341A (zh) * | 2020-06-09 | 2020-09-25 | 杭州云视通互联网科技有限公司 | 客梯车作业状态的检测方法与系统 |
| CN111915848A (zh) * | 2020-08-18 | 2020-11-10 | 成都森川科技股份有限公司 | 一种铁路工务防洪减灾监测报警装备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030160710A1 (en) * | 1997-09-22 | 2003-08-28 | Siemens Ag | Docking system for airport terminals |
| CN105302151A (zh) * | 2014-08-01 | 2016-02-03 | 深圳中集天达空港设备有限公司 | 一种飞机入坞引导和机型识别的系统及方法 |
| CN105335751A (zh) * | 2014-08-01 | 2016-02-17 | 深圳中集天达空港设备有限公司 | 一种基于视觉图像的泊位飞机前轮定位方法 |
| CN105391975A (zh) * | 2015-11-02 | 2016-03-09 | 中国民用航空总局第二研究所 | 一种场面监视中的视频处理方法、装置及场面监视系统 |
-
2018
- 2018-10-22 CN CN201811228523.6A patent/CN109543533B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030160710A1 (en) * | 1997-09-22 | 2003-08-28 | Siemens Ag | Docking system for airport terminals |
| CN105302151A (zh) * | 2014-08-01 | 2016-02-03 | 深圳中集天达空港设备有限公司 | 一种飞机入坞引导和机型识别的系统及方法 |
| CN105335751A (zh) * | 2014-08-01 | 2016-02-17 | 深圳中集天达空港设备有限公司 | 一种基于视觉图像的泊位飞机前轮定位方法 |
| CN105391975A (zh) * | 2015-11-02 | 2016-03-09 | 中国民用航空总局第二研究所 | 一种场面监视中的视频处理方法、装置及场面监视系统 |
Non-Patent Citations (1)
| Title |
|---|
| 黄超: "基于智能视觉的机场区域移动目标的检测方法研究", 《现代电子技术》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110490168A (zh) * | 2019-08-26 | 2019-11-22 | 杭州视在科技有限公司 | 基于目标检测与骨骼点算法的机场迎机人员行为监测方法 |
| CN111709341A (zh) * | 2020-06-09 | 2020-09-25 | 杭州云视通互联网科技有限公司 | 客梯车作业状态的检测方法与系统 |
| CN111709341B (zh) * | 2020-06-09 | 2023-04-28 | 杭州云视通互联网科技有限公司 | 客梯车作业状态的检测方法与系统 |
| CN111915848A (zh) * | 2020-08-18 | 2020-11-10 | 成都森川科技股份有限公司 | 一种铁路工务防洪减灾监测报警装备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109543533B (zh) | 2023-05-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109543533A (zh) | 一种用于机场作业人员管理的自动识别方法 | |
| CN103413395B (zh) | 烟气智能检测预警方法及装置 | |
| CN105373135B (zh) | 一种基于机器视觉的飞机入坞引导和机型识别的方法及系统 | |
| CN206672041U (zh) | 一种基于增强现实的矿用设备智能巡检和维护辅助系统 | |
| CN104253482A (zh) | 基于图像数据库和巡检机器人的设备故障检测方法 | |
| CN102043964A (zh) | 基于云台摄像头的飞行器起降跟踪算法及跟踪系统 | |
| CN108527382A (zh) | 一种巡检机器人 | |
| CN111325048B (zh) | 一种人员聚集检测方法和装置 | |
| CN113269142A (zh) | 一种检察领域值班人员睡觉行为识别方法 | |
| CN209543514U (zh) | 基于人脸识别的监控与报警系统 | |
| CN110274160A (zh) | 一种基于红外可见光融合图像的管道巡检系统 | |
| CN112184773A (zh) | 一种基于深度学习的安全帽佩戴检测方法及系统 | |
| CN104110271A (zh) | 一种基于人脸识别技术的矿井下设备监控报警系统 | |
| CN110673141A (zh) | 一种移动式机场道面异物检测方法及系统 | |
| CN111898444A (zh) | 一种基于图像识别的飞机起落架状态判定方法 | |
| US9950812B2 (en) | System and method for airside activity management using video analytics | |
| CN109583339A (zh) | 一种基于图像处理的atm视频智能监控方法 | |
| CN206833192U (zh) | 一种机场鸟情探测处理系统 | |
| CN112800975A (zh) | 一种基于图像处理的安检通道内行为识别方法 | |
| US11211070B2 (en) | Method, device and system for detecting working state of tower controller | |
| CN109257576A (zh) | 基于人工智能技术的输电线路防外破监控系统及方法 | |
| CN106376163B (zh) | 机场中线灯具的安全检测系统及方法 | |
| CN116311034A (zh) | 一种基于对比检测的机器人巡检系统 | |
| CN111610504A (zh) | 一种基于场面监视雷达的静止目标检测方法及系统 | |
| CN206002282U (zh) | 机场中线灯具的安全检测系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20221209 Address after: 518128 Room 202, Floor 2, Xiaoshu (6B) Building, Taihua wutong Industrial Park, Sanwei Community, Hangcheng Street, Bao'an District, Shenzhen City, Guangdong Province Applicant after: Twist Fruit Technology (Shenzhen) Co.,Ltd. Address before: No. 415, Floor 4, Shenzhen Colorful Huiwei Cultural and Creative Expo City T3, No. 5010, Bao'an Avenue, Caowei Community, Hangcheng Street, Bao'an District, Shenzhen, Guangdong 518126 Applicant before: SHENZHEN SHIZAISHENKE INFORMATION TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |