CN113590766A - 一种基于多模态数据融合的航班推出状态监视方法 - Google Patents

一种基于多模态数据融合的航班推出状态监视方法 Download PDF

Info

Publication number
CN113590766A
CN113590766A CN202111141715.5A CN202111141715A CN113590766A CN 113590766 A CN113590766 A CN 113590766A CN 202111141715 A CN202111141715 A CN 202111141715A CN 113590766 A CN113590766 A CN 113590766A
Authority
CN
China
Prior art keywords
flight
intention
monitoring
control
push
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111141715.5A
Other languages
English (en)
Other versions
CN113590766B (zh
Inventor
王煊
汤闻易
丁辉
黄吉波
刘岩
徐秋程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 28 Research Institute
Original Assignee
CETC 28 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 28 Research Institute filed Critical CETC 28 Research Institute
Priority to CN202111141715.5A priority Critical patent/CN113590766B/zh
Publication of CN113590766A publication Critical patent/CN113590766A/zh
Application granted granted Critical
Publication of CN113590766B publication Critical patent/CN113590766B/zh
Priority to PCT/CN2022/101836 priority patent/WO2023050935A1/zh
Priority to US17/882,486 priority patent/US11636180B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/90335—Query processing
    • G06F16/90344—Query processing by using string matching techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于多模态数据融合的航班推出状态监视方法，属于空中交通管制自动化系统技术领域，包括1、构建管制意图识别规则，从管制员发出的管制指令中识别推出意图；2、构建航班意图识别模型，从实时监视视频中提取航空器动作，捕捉航班意图；3、构建意图对齐融合规则，判断管制意图信息和航班意图信息是否存在冲突。通过对管制意图和航班意图进行融合处理，该方法可以实现以下辅助功能：及时判断航空器是否遵循管制员发出的推出指令，若机长未按照管制指令行动，或在没有管制指令的情况下擅自行动，则进行不一致告警，实现对航班推出状态的监视功能。

Description

一种基于多模态数据融合的航班推出状态监视方法
技术领域
本发明属于空中交通管制自动化系统技术领域，尤其涉及一种基于多模态数据融合的航班推出状态监视方法。
背景技术
随着近30年中国民航业的蓬勃发展，空中交通管理的需求不断膨胀，导致安全隐患问题日益突出。其中，停机位上的航班未执行管制员的推出指令，并在一段时间后擅自推出会导致滑行道冲突，引发安全隐患。当前的处置流程如下：若某航班在一段时间后才推出停机位，滑至滑行道上，则视为无效行为，管制员会下指令让该航班再滑入停机位。该流程存在巨大的安全隐患，即当航班滑行至滑行道后才可能被发现，若出现滑行道冲突或场面繁忙时，将会出现严重后果。针对这一问题，管制员只能依靠场面监视系统进行实时追踪，导致问题发现滞后且效率低下。
该问题的难点在于：当前没有一个系统能识别管制员意图和航班意图，因此难以判断两个意图间是否一致，无法预防因未执行指令或擅自执行指令而导致的冲突问题。
发明内容
发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种基于多模态数据融合的航班推出状态监视方法。
技术方案：本发明提供了一种基于多模态数据融合的航班推出状态监视方法，包括以下步骤。
步骤1，构建管制意图识别规则，从管制指令文本中提取管制意图。
步骤2，构建航班意图识别模型，从场面监视视频中提取航班意图。
步骤3，设计意图对齐规则，将不同时间上的管制意图和航班意图进行对齐处理。
步骤4，意图匹配判断，将对齐的管制意图和航班意图进行融合，判断是否出现匹配不一致；若不一致，触发告警。
在一种实现方式中，步骤1中，所述构建管制意图识别规则包括：分析已有管制指令文本，整理与推出开车过程相关指令的语法结构和词汇分布，构建关键词字典；采用字典遍历法实现管制意图识别。
所述与推出开车过程相关指令包括航班号、动作、起始位置和终点位置在内的信息。
所述关键词字典包括航班动作字典、场面位置字典和航班号字典，所述航班动作字典包括与推出开车过程相关的动作指令关键词：推出、开车、推开和推出开车；所述场面位置字典包括与推出开车过程相关的起始位置和终点位置关键词：停机位和滑行道位置字符串；所述航班号字典包括从管制自动化系统中采集的航班信息中的航班号。
构建关键词字典的优势在于，可以通过遍历字典快速提取管制指令文本中的关键信息，有助于精准提取管制意图信息。
在一种实现方式中，步骤1中，所述从管制指令文本中提取管制意图包括：将管制话音转化成管制指令文本；遍历关键词字典，匹配管制指令文本中与推出开车过程相关指令，生成结构化指令并储存。
在一种实现方式中，步骤1中，所述遍历关键词字典，匹配管制指令文本中与推出开车过程相关指令包括：遍历航班动作字典中关键词，筛选获得推出开车场景下的管制指令文本，提取动作。
遍历场面位置字典中的所有位置字符串，从推出开车场景下的管制指令文本中，提取起始位置和终止位置。
遍历航班号字典中的航班号信息，从推出开车场景下的管制指令文本中提取航班号字符串。
在一种实现方式中，步骤1中，所述生成结构化指令并储存包括：将匹配管制指令文本中与推出开车过程相关指令提取的信息进行汇聚形成结构化指令，并进行标记，以及关联指令发出时间，格式如下。
{“结构化指令”：{“航班”：航班号字符串，“动作”：推出开车，“起始位置”：停机位名称，“终止位置”：滑行道名称}；
“管制意图”：推出；
“指令时间”：时-分-秒
}。
将上述结构化指令、所述结构化指令的管制意图以及关联指令发出时间存储进数据库。
通过上述步骤，可以实现管制指令的结构化信息抽取，快速有效地捕捉管制意图信息。
在一种实现方式中，步骤2中所述构建航班意图识别模型包括：使用高分辨率摄像头监视场面停机位，采集停机位监视视频数据，按区域划分图像，形成面向单一停机位的监视图像，设置监视图像的长宽均为n，标注监视图像，从而构建测试数据集；基于卷积神经网络构建图像分类模型，所述图像分类模型能够识别三种航班状态类型：一是航班在停机位上，即未移动状态；二是航班一部分在停机位上，即不确定状态；三是航班不在停机位上，即移动状态；采用测试数据集训练图像分类模型。
所述按区域划分图像是由于摄像头可以同时监视多个停机位，因此需要进行预处理，对视频帧进行区域划分，形成面向单一停机位的监视图像；所述标注监视图像，即对监视图像标注航班状态类型，包括未移动状态、不确定状态和移动状态；平均分配三种航班状态类型的测试数据，作为样本数据训练图像分类模型。
在一种实现方式中，步骤2中所述图像分类模型，包含卷积层、池化层和全连接层 三部分。假设输入图像为：
Figure 243597DEST_PATH_IMAGE001
，其中n 1表示输入图像长度，n 2表示图像的宽度，即输入 图像是
Figure 278680DEST_PATH_IMAGE002
维的矩阵，R表示实数集合；假设卷积层包含F个
Figure 439010DEST_PATH_IMAGE003
维的卷积核，
Figure 280058DEST_PATH_IMAGE004
表示卷积核的尺寸，经过公式（1）计算，得到卷积层的第f个特征图的净激活输 出
Figure 523958DEST_PATH_IMAGE005
，w f 表示第f个卷积核，b f 表示第f个卷积核的偏置。
Figure 526680DEST_PATH_IMAGE006
（1）。
将u f 输入sigmoid激活函数，得到第f个特征图
Figure 488820DEST_PATH_IMAGE007
。
Figure 54930DEST_PATH_IMAGE008
（2）。
随后输入池化层，再将池化层输出信号输入sigmoid激活函数，得到第f个输出结 果
Figure 184296DEST_PATH_IMAGE009
。
Figure 607187DEST_PATH_IMAGE010
（3）。
其中，down()表示池化函数，常见的池化函数包括最大池化和平均池化函数。
Figure 807356DEST_PATH_IMAGE011
表 示池化层权重参数，
Figure 177157DEST_PATH_IMAGE012
表示池化层偏置参数；
Figure 130070DEST_PATH_IMAGE013
表示池化层输出信号。
最后将输出结果按照F的个数进行拼接，形成向量后输入全连接层。
Figure 740174DEST_PATH_IMAGE014
（4）。
其中，conc()表示特征拼接处理，w o 表示全连接层权重参数，b o 表示全连接层偏置 参数，u o 表示全连接层输出信号，softmax()表示归一化处理函数，输出
Figure 411326DEST_PATH_IMAGE015
表示三种 类型的归一化概率，最后取概率最大的类型作为分类结果。
在一种实现方式中，步骤2种所述从场面监视视频中提取航班意图包括：定位停机位上的航班，结合高级地面活动引导与控制系统A-SMGCS（Advanced Surface MovementGuidance and Control System）提供的目标停机位上的航班信息，可知每一个停机位上航班的航班号，利用场面监视摄像头固定位置可以定位不同停机位，从而定位不同停机位上的航班号。
判断航班是否推出，对实时监视视频数据进行采样，两次采样间隔设为T，将采样监视图像输入图像分类模型，输出分类结果，即航班状态类型；检测连续三张采样监视图像中的航班状态类型，若连续三张采样监视图像中航班状态类型依次为未移动状态、不确定状态和移动状态时，判定航班已经推出。
关联航班信息、推出状态以及推出时间，所述推出时间以第二帧采样监视图像时间为准，格式如下。
{“航班”：航班号字符串；
“航班意图”：推出；
“推出时间”：时-分-秒
}。
将上述内容存储进数据库。
通过上述方法，构建图像分类模型可以从视频数据中提取航班的实际运行状态，并根据航班实际状态提取航班意图信息。
在一种实现方式中，步骤3中，设计意图对齐规则，使管制意图和航班意图按照时间范围进行对齐。在实际运行过程中，当管制员发出指令后，机长再执行指令并推出航空器。因此可知航班意图应当再管制意图时间后，故假设两者间隔时间段为T 1。
在一种实现方式中，步骤4中，实时遍历数据库，当搜索出数据库中存在推出的管制意图时，提取航班号，同时搜索是否在之后T 1时间段内该航班出现推出意图。若存在，则说明该航班机长已经执行了推出指令，否则未执行。同理，当在数据库中搜索航班推出意图时，若未在之前的T 1时间段内发现相同航班的管制意图，则说明该航班擅自行动，从而导致了意图不一致。此时会触发告警功能，提示管制员发出相关指令调整该航班的后续运行，以避免可能出现的冲突。
有益效果：本发明提供的方法通过构建管制意图识别规则，可以从管制指令中快速提取管制意图；同时构建航班意图识别模型，对监视视频中的航班状态进行解析，捕捉实时航班运行意图；最后融合两类意图判断意图一致性，实现航班推出状态实时监视功能。上述方法通过处理管制指令文本、场面监视视频等多模态数据，融合管制意图和航班运行意图，可以有效预防因未执行指令而导致的冲突问题。即本发明从意图一致性判断角度防止滑行道冲突，构建意图识别模型，提取管制意图和航班意图；再融合判断是否一致，并对不一致意图进行告警，提升航班推出状态监视能力。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。
图1为基于多模态数据融合的航班推出状态监视方法流程图。
图2为图像分类模型结构示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
本发明可应用于空中交通管制系统中，判断管制指令推出意图是否被执行。本发明能有效处理指令执行情况判断的工作。
本申请实施例中提到的管制自动化系统、通话系统、管制语音识别系统和场面自动监视系统均为本领域技术人员公知的系统。
本发明的实现过程和步骤如下，其流程如图1所示。
步骤1：构建管制意图识别规则，从管制指令文本中提取管制意图。分析管制指令词汇和语法结构，构建关键词字典，包括航班号、滑行道、停机位等基础知识，以及推出开车等场景关键词。实时监听管制陆空通话内容，使用管制语音识别系统转译管制语音信号，生成管制指令文本，然后遍历关键词字典，检测管制指令中是否包含推出、开车、推开和推出开车关键词，筛选出该推出开车场景下的管制指令文本。面向推出开车场景构建管制意图抽取规则，遍历字典中的航班号、滑行道号、停机位等信息，匹配并提取关键信息，生成结构化管制指令，按照相应格式在数据库中存储。
步骤2：构建航班意图识别模型，从场面监视视频中提取航班意图。构建并训练图像分类模型，对所有停机位监视摄像头产生的视频进行采样，抓取图像，定义采样间隔为T，预处理采样图像数据，按照不同停机位划分区域，生成输入图像数据。使用图像分类模型处理数据，得到分类结果，判断航班是否移动。
如图2所示，图像分类模型包含卷积层、池化层和全连接层三部分；假设输入监视 图像为：
Figure 397868DEST_PATH_IMAGE001
,其中n 1表示输入图像长度，n 2表示图像的宽度，即输入图像是
Figure 408549DEST_PATH_IMAGE002
维 的矩阵，R表示实数集合，本实施例中，n 1= 384像素，n 2 = 180像素；假设卷积层包含F个
Figure 438822DEST_PATH_IMAGE003
维的卷积核，
Figure 345074DEST_PATH_IMAGE004
表示卷积核的尺寸，经过公式（1）计算，得到卷积层的第f个 特征图的净激活输出
Figure 56678DEST_PATH_IMAGE005
，w f 表示第f个卷积核，b f 表示第f个卷积核的偏置。
Figure 984183DEST_PATH_IMAGE006
（1）。
通过卷积运算
Figure 936089DEST_PATH_IMAGE016
得到第(t,k)位置上的卷积 值，其中
Figure 519517DEST_PATH_IMAGE017
。
将u f 输入sigmoid激活函数，得到第f个特征图
Figure 831550DEST_PATH_IMAGE007
，如公式（2）所示。
Figure 629873DEST_PATH_IMAGE008
（2）。
随后输入池化层，再将池化层输出信号输入sigmoid激活函数，得到第f个输出结 果
Figure 939632DEST_PATH_IMAGE009
，如公式（3）所示。
Figure 72673DEST_PATH_IMAGE018
（3）。
其中，down()表示池化函数，
Figure 939129DEST_PATH_IMAGE011
表示池化层权重参数，
Figure 778909DEST_PATH_IMAGE012
表示池化层偏置参数；
Figure 321885DEST_PATH_IMAGE013
表示池化层输出信号。
最后将输出结果按照F的个数进行拼接，形成向量后输入全连接层，如公式（4）所示。
Figure 430306DEST_PATH_IMAGE014
（4）。
其中，conc()表示特征拼接处理，w o 表示全连接层权重参数，b o 表示全连接层偏置 参数，u o 表示全连接层输出信号，softmax()表示归一化处理函数，输出
Figure 287403DEST_PATH_IMAGE015
表示三种 类型的归一化概率，最后取概率最大的类型作为分类结果。
若相邻的三张图像的分类结果依次是未移动状态、不确定状态和移动状态时，则该停机位上的航班已经推出，通过摄像头位置和停机位区域可以锁定停机位，结合A-SMGCS等系统提取该停机位上的航班号。以第二张采样图像时间为基准，结合航班号构建结构化数据，并按照相应格式在数据库中存储。
步骤3：对齐管制意图。定义间隔时间段为T 1，若数据库中的管制意图对应时间与航班意图对应时间的间隔不超过T 1，则两类意图实现了对齐。通过遍历数据库中的两类意图结构化数据，将对齐的意图信息进行关联汇聚。
步骤4：判断意图一致性。分析对齐的意图信息中是否出现相同航班号。若存在相同航班号，则说明该机机长已经执行了推出指令；若航班号相同，但两类意图之间的时间差超出T 1，则说明航班未立即执行推出指令；若航班号相同，若航班意图在管制意图之前或没有管制意图时，则说明该航班未接到推出指令，就擅自行动，触发告警。
实施例一。
航班CES3485停靠在停机位12，已准备好，并等待推出，管制员在北京时间8:30发出管制指令：东方三四八五，从幺两停机位推出，到阿尔法等待。机长听到指令后立即推出停机位，并于4分钟后到达滑行道。
步骤1：管制自动化系统实时监听通话系统，使用管制语音识别系统将管制话音转化成管制指令文本，遍历关键词字典中的航班动作字典，匹配“推出”、“开车”或“推出开车”等词，筛选出本条指令，提取关键词“推出”。通过字典遍历提取其它信息，根据管制自动化系统中的计划信息获得航班号字典，遍历航班号字典匹配航班号为CES3485，从场面位置字典中的机场基础信息中匹配，得到停机位为幺两，滑行道为阿尔法的信息。之后生成结构化指令，格式如下。
{“结构化指令”：{“航班”：CES3485，“动作”：推出，“起始位置”：停机位12，“终止位置”：滑行道A}；
“管制意图”：推出；
“指令时间”：08-30-00
}。
并储存进数据库中。
步骤2：场面自动监视系统对监视视频进行定时采样，间隔时间T设置为1分钟。其中，在监视停机位12的视频数据中，分别于8:31、8:32、8:33三个时间采样图像，并进行预处理，将图像截取为大小为384×180维的输入监视图像数据。构建并训练图像分类模型，将采样图像数据输入图像分类模型进行判断，结果如下。
在8:31，航班还在停机位上，因此分类结果为：未移动。
在8:32，航班有一部分在停机位上，因此分类结果为：不确定。
在8:33，停机位上没有任何飞机，因此分类结果为：移动。
由于连续采样的三张图片状态是未移动、不确定和移动，可知该航班已经推出停机位，推出时间以第二次采样图片时间为准，即8:32。根据A-SMGCS等系统可以判断停机位12上的航班的航班号为CES3485。
之后生成结构化信息，格式如下。
{“航班”：CES3485；
“航班意图”：推出；
“推出时间”：08-32-00
}。
并储存进数据库中。
步骤3：定义语音时间与图像时间的间隔T 1为5分钟，即当管制员下达指令后，航班应在5分钟内推出停机位。
步骤4：搜索数据库，发现当语音推出意图数据存储后2分钟时出现航班推出意图数据，因此两者意图一致，航班CES3485按照管制指令推出。
实施例二。
航班CES3485停靠在停机位12，正在推出，但管制员却已经在10分中前，即北京时间8:30就发出管制指令：东方三四八五，从幺两停机位推出，到阿尔法等待。机长听到指令后未立即推出停机位，而于10分钟后才开始推出。
步骤1：管制自动化系统实时监听通话系统，使用管制语音识别系统将管制话音转化成管制指令文本，遍历关键词字典中的航班动作字典，匹配“推出”、“开车”或“推出开车”等词，筛选出本条指令，提取关键词“推出”。通过字典遍历提取其它信息，根据管制自动化系统中的计划信息获得航班号字典，遍历航班号字典匹配航班号为CES3485，从场面位置字典中的机场基础信息中匹配，得到停机位为幺两，滑行道为阿尔法的信息。之后生成结构化指令，格式如下。
{“结构化指令”：{“航班”：CES3485，“动作”：推出，“起始位置”：停机位12，“终止位置”：滑行道A}；
“管制意图”：推出；
“指令时间”：08-30-00
}。
并储存进数据库中。
步骤2：场面自动监视系统对监视视频进行定时采样，间隔时间为1分钟。其中，在监视停机位12的视频数据中，分别于8:40、8:41、8:42三个时间采样图像，并进行预处理，将图像截取为大小为384×180维的输入监视图像数据。构建并训练图像分类模型，将采样图像数据输入图像分类模型进行判断，结果如下。
在8:40，航班还在停机位上，因此分类结果为：未移动。
在8:41，航班有一部分在停机位上，因此分类结果为：不确定。
在8:42，停机位上没有任何飞机，因此分类结果为：移动。
由于连续采样的三张图片状态依次是未移动、不确定和移动，可知该航班已经推出停机位，推出时间以第二次采样图片时间为准，即8:41。根据A-SMGCS等系统可以判断停机位12上的航班的航班号为CES3485。
之后生成结构化信息，格式如下。
{“航班”：CES3485；
“航班意图”：推出；
“推出时间”：08-41-00
}。
并储存进数据库中。
步骤3：定义语音时间与图像时间的间隔T 1为5分钟，即当管制员下达指令后，航班应在5分钟内推出停机位。
步骤4：搜索数据库，发现当语音推出意图数据存储后11分钟才出现航班推出意图数据，两者意图虽一致但时差已经超出规定时间范围T 1，因此航班CES3485未按照管制指令推出，此时会触发告警功能，提示管制员发出相关指令调整该航班的后续运行，以避免可能出现的冲突。
本发明提供了一种基于多模态数据融合的航班推出状态监视方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (10)

1.一种基于多模态数据融合的航班推出状态监视方法，其特征在于，包括如下步骤：
步骤1，构建管制意图识别规则，从管制指令文本中提取管制意图；
步骤2，构建航班意图识别模型，从场面监视视频中提取航班意图；
步骤3，设计意图对齐规则，将不同时间上的管制意图和航班意图进行对齐处理；
步骤4，意图匹配判断，将对齐的管制意图和航班意图进行融合，判断是否出现匹配不一致；若不一致，触发告警。
2.根据权利要求1所述的一种基于多模态数据融合的航班推出状态监视方法，其特征在于，步骤1中，所述构建管制意图识别规则包括：分析已有管制指令文本，整理与推出开车过程相关指令的语法结构和词汇分布，构建关键词字典；采用字典遍历法实现管制意图识别；
所述与推出开车过程相关指令包括航班号、动作、起始位置和终点位置在内的信息；
所述关键词字典包括航班动作字典、场面位置字典和航班号字典，所述航班动作字典包括与推出开车过程相关的动作指令关键词：推出、开车、推开和推出开车；所述场面位置字典包括与推出开车过程相关的起始位置和终点位置关键词：停机位和滑行道位置字符串；所述航班号字典包括从管制自动化系统中采集的航班信息中的航班号。
3.根据权利要求2所述的一种基于多模态数据融合的航班推出状态监视方法，其特征在于，步骤1中，所述从管制指令文本中提取管制意图包括：将管制话音转化成管制指令文本；遍历关键词字典，匹配管制指令文本中与推出开车过程相关指令，生成结构化指令并储存。
4.根据权利要求3所述的一种基于多模态数据融合的航班推出状态监视方法，其特征在于，步骤1中，所述遍历关键词字典，匹配管制指令文本中与推出开车过程相关指令包括：
遍历航班动作字典中关键词，筛选获得推出开车场景下的管制指令文本，提取动作；
遍历场面位置字典中的所有位置字符串，从推出开车场景下的管制指令文本中，提取起始位置和终止位置；
遍历航班号字典中的航班号信息，从推出开车场景下的管制指令文本中提取航班号字符串。
5.根据权利要求4所述的一种基于多模态数据融合的航班推出状态监视方法，其特征在于，步骤1中，所述生成结构化指令并储存包括：将匹配管制指令文本中与推出开车过程相关指令提取的信息进行汇聚形成结构化指令，将所述结构化指令、所述结构化指令的管制意图以及关联指令发出时间存储进数据库。
6.根据权利要求5所述的一种基于多模态数据融合的航班推出状态监视方法，其特征在于，步骤2中所述构建航班意图识别模型包括：使用高分辨率摄像头监视场面停机位，采集停机位监视视频数据，按区域划分图像，形成面向单一停机位的监视图像，标注监视图像，从而构建测试数据集；基于卷积神经网络构建图像分类模型，所述图像分类模型能够识别三种航班状态类型：一是航班在停机位上，即未移动状态；二是航班一部分在停机位上，即不确定状态；三是航班不在停机位上，即移动状态；采用测试数据集训练图像分类模型。
7.根据权利要求6所述的一种基于多模态数据融合的航班推出状态监视方法，其特征 在于，步骤2中所述图像分类模型包含卷积层、池化层和全连接层三部分；假设输入监视图 像为
Figure 453424DEST_PATH_IMAGE001
,其中n 1表示输入图像长度，n 2表示图像的宽度，即输入图像是
Figure 34578DEST_PATH_IMAGE002
维的 矩阵，R表示实数集合；假设卷积层包含F个
Figure 295708DEST_PATH_IMAGE003
维的卷积核，
Figure 962313DEST_PATH_IMAGE004
表示卷积核的尺 寸，经过以下计算：
Figure 41127DEST_PATH_IMAGE005
(1)
得到卷积层的第f个特征图的净激活输出
Figure 476788DEST_PATH_IMAGE006
，w f 表示第f个卷积核，b f 表示第f个 卷积核的偏置；
将u f 输入sigmoid激活函数，得到第f个特征图
Figure 186118DEST_PATH_IMAGE007
：
Figure 74440DEST_PATH_IMAGE008
(2)
随后输入池化层，再将池化层输出信号输入sigmoid激活函数，得到第f个输出结果
Figure 956945DEST_PATH_IMAGE009
：
Figure 247112DEST_PATH_IMAGE010
(3)
其中，down()表示池化函数，
Figure 127343DEST_PATH_IMAGE011
表示池化层权重参数，
Figure 502961DEST_PATH_IMAGE012
表示池化层偏置参数；
Figure 861261DEST_PATH_IMAGE013
表示 池化层输出信号；
最后将输出结果按照F的个数进行拼接，形成向量后输入全连接层：
Figure 271514DEST_PATH_IMAGE014
(4)
其中，conc()表示特征拼接处理，w o 表示全连接层权重参数，b o 表示全连接层偏置参数，u o 表示全连接层输出信号，softmax()表示归一化处理函数，输出
Figure 384963DEST_PATH_IMAGE015
表示三种类型的 归一化概率，最后取概率最大的类型作为分类结果。
8.根据权利要求7所述的一种基于多模态数据融合的航班推出状态监视方法，其特征在于，步骤2中，所述从场面监视视频中提取航班意图包括：
定位停机位上的航班，结合高级地面活动引导与控制系统A-SMGCS提供的目标停机位上的航班信息，获得每一个停机位上航班的航班号；利用场面监视摄像头固定位置定位不同停机位，从而定位不同停机位上的航班号；
判断航班是否推出，对实时监视视频数据进行采样，抓取采样监视图像，两次采样间隔设为T，将采样监视图像输入图像分类模型，输出分类结果，即航班状态类型；检测连续三张采样监视图像中的航班状态类型，若连续三张采样监视图像中航班状态类型依次为未移动状态、不确定状态和移动状态时，判定航班已经推出；
关联航班号、推出状态以及推出时间形成结构化数据，将所述结构化数据存储进数据库，所述推出时间以第二帧采样监视图像时间为准。
9.根据权利要求8所述的一种基于多模态数据融合的航班推出状态监视方法，其特征在于，步骤3中，设计意图对齐规则，使管制意图和航班意图按照时间范围进行对齐；航班意图应当在管制意图时间后，设置两者间隔时间段为T 1。
10.根据权利要求9所述的一种基于多模态数据融合的航班推出状态监视方法，其特征在于，步骤4中，实时遍历数据库，当搜索出数据库中存在推出的管制意图时，提取航班号，同时搜索是否在之后T 1时间段内该航班出现推出意图；若存在，则说明该航班机长已经执行推出指令，否则未执行；同理，当在数据库中搜索航班推出意图时，若未在之前的T 1时段内发现相同航班的管制意图，则说明该航班擅自行动，导致意图不一致。
CN202111141715.5A 2021-09-28 2021-09-28 一种基于多模态数据融合的航班推出状态监视方法 Active CN113590766B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202111141715.5A CN113590766B (zh) 2021-09-28 2021-09-28 一种基于多模态数据融合的航班推出状态监视方法
PCT/CN2022/101836 WO2023050935A1 (zh) 2021-09-28 2022-06-28 一种基于多模态数据融合的航班推出状态监视方法
US17/882,486 US11636180B2 (en) 2021-09-28 2022-08-05 Flight pushback state monitoring method based on multi-modal data fusion

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111141715.5A CN113590766B (zh) 2021-09-28 2021-09-28 一种基于多模态数据融合的航班推出状态监视方法

Publications (2)

Publication Number Publication Date
CN113590766A true CN113590766A (zh) 2021-11-02
CN113590766B CN113590766B (zh) 2021-12-17

Family

ID=78242343

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111141715.5A Active CN113590766B (zh) 2021-09-28 2021-09-28 一种基于多模态数据融合的航班推出状态监视方法

Country Status (2)

Country Link
CN (1) CN113590766B (zh)
WO (1) WO2023050935A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114912465A (zh) * 2022-06-17 2022-08-16 四川九洲空管科技有限责任公司 一种管制通话场景的生成及维护方法
CN115695852A (zh) * 2022-12-30 2023-02-03 成都华栖云科技有限公司 一种基于多模态信息融合的视频镜头自动挑选组合方法
WO2023050935A1 (zh) * 2021-09-28 2023-04-06 中国电子科技集团公司第二十八研究所 一种基于多模态数据融合的航班推出状态监视方法
CN117351257A (zh) * 2023-08-24 2024-01-05 长江水上交通监测与应急处置中心 一种基于多模态信息的航运数据抽取方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080077397A1 (en) * 2006-09-27 2008-03-27 Oki Electric Industry Co., Ltd. Dictionary creation support system, method and program
CN109448493A (zh) * 2018-12-27 2019-03-08 中国电子科技集团公司第十五研究所 塔台管制模拟训练系统、语音管制指令识别及报读方法
CN112397071A (zh) * 2020-09-22 2021-02-23 南京莱斯信息技术股份有限公司 一种基于管制语音识别的进近及跑道运行风险预警方法
CN113112877A (zh) * 2021-03-16 2021-07-13 广州市中南民航空管通信网络科技有限公司 跑道入侵预警方法、终端以及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6161097A (en) * 1997-08-11 2000-12-12 The United Sates Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Automated traffic management system and method
US9830829B1 (en) * 2015-08-17 2017-11-28 Rockwell Collins, Inc. Management system and methods for implementing aircraft intentions harmonization
CN109887343B (zh) * 2019-04-04 2020-08-25 中国民航科学技术研究院 一种航班地服保障节点自动采集监测系统及方法
CN112349150B (zh) * 2020-11-19 2022-05-20 飞友科技有限公司 一种机场航班保障时间节点的视频采集方法和系统
CN113590766B (zh) * 2021-09-28 2021-12-17 中国电子科技集团公司第二十八研究所 一种基于多模态数据融合的航班推出状态监视方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080077397A1 (en) * 2006-09-27 2008-03-27 Oki Electric Industry Co., Ltd. Dictionary creation support system, method and program
CN109448493A (zh) * 2018-12-27 2019-03-08 中国电子科技集团公司第十五研究所 塔台管制模拟训练系统、语音管制指令识别及报读方法
CN112397071A (zh) * 2020-09-22 2021-02-23 南京莱斯信息技术股份有限公司 一种基于管制语音识别的进近及跑道运行风险预警方法
CN113112877A (zh) * 2021-03-16 2021-07-13 广州市中南民航空管通信网络科技有限公司 跑道入侵预警方法、终端以及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘岩 等: "《基于管制语音识别的航空器冲突告警技术研究》", 《第一届空中交通管理系统技术学术年会论文》 *
刘燕 等: "《空管多源情报监视信息综述》", 《信息化研究》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023050935A1 (zh) * 2021-09-28 2023-04-06 中国电子科技集团公司第二十八研究所 一种基于多模态数据融合的航班推出状态监视方法
CN114912465A (zh) * 2022-06-17 2022-08-16 四川九洲空管科技有限责任公司 一种管制通话场景的生成及维护方法
CN115695852A (zh) * 2022-12-30 2023-02-03 成都华栖云科技有限公司 一种基于多模态信息融合的视频镜头自动挑选组合方法
CN115695852B (zh) * 2022-12-30 2023-03-28 成都华栖云科技有限公司 一种基于多模态信息融合的视频镜头自动挑选组合方法
CN117351257A (zh) * 2023-08-24 2024-01-05 长江水上交通监测与应急处置中心 一种基于多模态信息的航运数据抽取方法及系统
CN117351257B (zh) * 2023-08-24 2024-04-02 长江水上交通监测与应急处置中心 一种基于多模态信息的航运数据抽取方法及系统

Also Published As

Publication number Publication date
WO2023050935A1 (zh) 2023-04-06
CN113590766B (zh) 2021-12-17

Similar Documents

Publication Publication Date Title
CN113590766B (zh) 一种基于多模态数据融合的航班推出状态监视方法
US11636180B2 (en) Flight pushback state monitoring method based on multi-modal data fusion
EP3099061A1 (en) Image search system and image search method
CN111767831B (zh) 用于处理图像的方法、装置、设备及存储介质
Shan et al. Multiple auxiliaries assisted airborne power line detection
CN110414375A (zh) 低空目标的识别方法、装置、存储介质及电子设备
CN111898444A (zh) 一种基于图像识别的飞机起落架状态判定方法
CN114812398A (zh) 一种基于无人机的高精度实时裂缝检测平台
CN114724246B (zh) 危险行为识别方法及装置
CN115410100A (zh) 一种基于无人机图像的小目标检测方法及系统
US20220227388A1 (en) Method and apparatus for determining green wave speed, and storage medium
CN103049764A (zh) 一种低空飞行器目标识别方法
Pan et al. Leveraging spatial context disparity for power line detection
CN113449676B (zh) 一种基于双路互促进解纠缠学习的行人重识别方法
Chen Traffic Lights Detection Method Based on the Improved YOLOv5 Network
CN116403162B (zh) 一种机场场面目标行为识别方法、系统及电子设备
KR20230048434A (ko) 자기 차량의 자율 및 지원 운전에서 환경 특징을 연속적이고 적응적으로 검출하는 컴퓨터 구현 방법
CN112766176A (zh) 轻量化卷积神经网络的训练方法及人脸属性识别方法
US11670098B2 (en) Systems and methods for automatic recognition of vehicle information
Sun et al. Cdva/vcm: Language for intelligent and autonomous vehicles
CN111210150A (zh) 一种基于边缘计算的智慧园区系统
CN111832358A (zh) 一种点云语义解析方法和装置
CN106874928B (zh) 跟踪目标突发关键事件自动判决方法及系统
Choe et al. Semantic video event search for surveillance video
CN114240901A (zh) 一种机场道面异常状态实时检测方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant