CN112053085A - 一种基于数字孪生的机场场面运行管理系统及方法 - Google Patents
一种基于数字孪生的机场场面运行管理系统及方法 Download PDFInfo
- Publication number
- CN112053085A CN112053085A CN202010976087.1A CN202010976087A CN112053085A CN 112053085 A CN112053085 A CN 112053085A CN 202010976087 A CN202010976087 A CN 202010976087A CN 112053085 A CN112053085 A CN 112053085A
- Authority
- CN
- China
- Prior art keywords
- information
- airport
- scene
- target
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 230000004927 fusion Effects 0.000 claims abstract description 75
- 230000004044 response Effects 0.000 claims description 23
- 238000007500 overflow downdraw method Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 238000013079 data visualisation Methods 0.000 claims description 7
- 230000003068 static effect Effects 0.000 claims description 7
- 230000003993 interaction Effects 0.000 claims description 5
- 238000007726 management method Methods 0.000 abstract description 37
- 238000005516 engineering process Methods 0.000 abstract description 8
- 230000006870 function Effects 0.000 abstract description 8
- 238000012544 monitoring process Methods 0.000 abstract description 7
- 238000013473 artificial intelligence Methods 0.000 abstract description 5
- 238000004458 analytical method Methods 0.000 abstract description 4
- 238000007499 fusion processing Methods 0.000 abstract description 4
- 238000001514 detection method Methods 0.000 abstract description 3
- 230000000007 visual effect Effects 0.000 description 7
- 238000005457 optimization Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06311—Scheduling, planning or task assignment for a person or group
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06311—Scheduling, planning or task assignment for a person or group
- G06Q10/063114—Status monitoring or status determination for a person or group
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/103—Workflow collaboration or project management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/40—Business processes related to the transportation industry
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Marketing (AREA)
- General Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Educational Administration (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Traffic Control Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供了一种基于数字孪生的机场场面运行管理系统及方法，属于机场场面运行管理技术领域，包括机场运行场景模块、数字孪生机场模块、业务系统服务模块以及数据融合模块。本发明实时地构建与机场运行情况完全相同的机场场面运行数字环境，并将目标状态信息、空管信息、机场信息叠加到虚拟场景中，直观地实时呈现机场运行状况，同时，利用人工智能方法对视频图像进行智能分析，自动完成航空器、车辆和人员目标的检测、跟踪、识别、定位、姿态估计、行为估计等功能，从而提高视频监控的智能化水平，并利用多源数据融合技术将机场场面上的目标状态信息与空管和机场信息进行匹配融合处理，实现视频图像与业务异构数据之间的智能匹配与融合。
Description
技术领域
本发明属于机场场面运行管理技术领域，尤其涉及一种基于数字孪生的机场场面运行管理系统及方法。
背景技术
全球的航空运输业市场在过去的数十年间一直保持着稳定的增长，并且在可预计的未来将会持续增长。民航运输业市场需求的不断释放，交通流量快速增长，给本已十分拥挤和繁忙的机场带来了更大的负担，因此，为了应对日益增长的航空运输需求，在保证安全的基础上提高机场场面运行效率是现阶段唯一的途径。基于此，一些技术手段也在机场场面运行管理中得到了试验和应用，例如协同离港排队管理、推出率控制、基于轨迹的运行管理等，但是由于机场场面运行包含很多不确定因素，理想化的建模优化方法无法完全模拟这些不确定因素。现阶段这些技术方法和手段对机场运行效率和安全水平的提升并未产生根本性的影响，因此，迫切需要探索与研究机场场面运行监控、指挥和管理的新技术，以提高机场场面运行的安全和效率，满足航空运输持续增长的需求。
数字孪生技术充分利用物理模型、智能感知、运行历史等数据，在数字空间内完成对于物理实体的映射，并伴随物理实体进化发展，从而真实反映物理实体的整个生命周期。在机场场面运行和管理中应用数字孪生技术，可以提供对机场的整体态势感知能力，这对于机场场面的运行指挥至关重要；可以为机场场面运行管理提供仿真、评估、验证等手段，提供高级的智能决策服务，提高机场场面的运行效率；其次，基于数字孪生的机场场面运行管理是建立在充分数据融合的基础上，将最大限度的集成空管、机场、航空公司等各方的数据，打破信息孤岛，实现各层级的数据互联互通；此外，在数字孪生机场中，可以进行各种异常冲突的模拟和仿真，探索各种情况下的解决冲突措施和途径，增加场面运行的安全性。
发明内容
针对现有技术中的上述不足，本发明提供的一种基于数字孪生的机场场面运行管理系统及方法，解决了由于机场场面运行包含很多不确定因素，理想化的建模优化方法无法完全模拟不确定因素的问题。
为了达到以上目的，本发明采用的技术方案为：
本方案提供一种基于数字孪生的机场场面运行管理系统，包括机场运行场景模块、数字孪生机场模块、业务系统服务模块以及数据融合模块；
所述机场运行场景模块，用于拼接融合多个摄像机的实时视频信息，得到全景融合视频信息，并根据所述全景融合视频信息生成结构化标牌信息，协同响应所述结构化标牌信息至数字孪生机场模块；
所述数字孪生机场模块，用于根据数据融合模块的融合结果以及结构化标牌信息构建与机场运行情况完全相同的机场场面运行数字环境，并生成目标信息，将目标信息、空管信息、机场信息叠加到虚拟场景中，并通过数字孪生场景与全景视频协同响应叠加至虚拟场景中的信息；
所述数据融合模块，用于利用多源数据融合方法将虚拟场景上的目标信息、空管信息、机场信息进行匹配融合处理，并对所述匹配融合结果进行分析，实现机场管理主动决策，完成基于数字孪生的机场场面运行管理；以及用于与业务系统服务模块相互进行数据反馈处理；
所述业务系统服务模块，用于分别与机场运行场景模块、数字孪生机场模块进行数据交互，以及与数据融合模块进行数据反馈，满足机场场面安全运行的需求。
进一步地，所述机场运行场景模块包括全景拼接显示单元、高低点关联单元、枪球联动单元、时间对准单元、空间匹配单元、目标标牌信息单元以及第一协同响应单元。
再进一步地，所述全景拼接显示单元，用于拼接融合多个摄像机的实时视频信息，得到全景融合视频信息，以及用于与数字孪生机场模块进行协同响应；
所述高低点关联单元，用于根据在全景融合视频信息中选取所需监控的区域，自动调度时间区域的低点视频信息；
所述枪球联动单元，用于根据在全景融合视频信息中选取所需监控的区域，自动调度时间区域或目标周围的球机视频信息，其中，所述球机根据所监控区域的环境自动变倍显示；
所述时间对准单元，用于分别获取目标位置、类型信息、ADS-B、多点定位、GPS以及飞行情报数据，并将目标位置、类型信息、ADS-B、多点定位、GPS以及飞行情报的数据进行时间对齐，得到时间对齐数据；
所述空间匹配单元，用于分别将低点视频信息和球机视频信息与空管信息和机场信息进行空间匹配，得到空间匹配信息；
所述目标标牌信息单元，用于将时间对齐数据和空间匹配信息进行关联，得到目标属性信息与目标图像信息，并根据目标属性信息与目标图像信息生成结构化标牌信息；
所述第一协同响应单元，通过全景拼接显示单元与数字孪生机场模块协同响应结构化标牌信息。
再进一步地，所述数字孪生机场模块包括静态机场环境生成单元、动态目标生成单元、数据可视化单元以及第二协同响应单元。
再进一步地，所述静态机场环境生成单元，用于根据结构化标牌信息，构建与机场运行情况相同的机场场面运行数字环境，得到虚拟场景；
所述动态目标生成单元，用于根据数据融合模块的匹配融合结果，在三维视景中呈现出与实际机场场景中一致的目标运动状态，得到目标信息；
所述数据可视化单元，用于将目标信息、空管信息以及机场信息叠加至虚拟场景中；
所述第二协同响应单元，用于通过数字孪生场景与全景视频协同响应叠加至虚拟场景中的信息。
再进一步地，所述数据融合模块包括异构异步数据单元和辅助决策单元。
再进一步地，所述异构异步数据单元，用于利用多源数据融合方法将机场场面上的目标信息、空管信息和机场信息进行匹配融合处理；
所述辅助决策单元，用于对所述匹配融合结果进行分析，实现机场管理主动决策。
基于上述系统，本发明还提供了一种基于数字孪生的机场场面运行管理方法，包括以下步骤：
S1、拼接融合多个摄像机的实时视频信息，得到全景融合视频信息，并根据所述全景融合视频信息生成结构化标牌信息，协同响应所述结构化标牌信息；
S2、根据所述结构化标牌信息，构建与机场运行情况完全相同的机场场面运行数字环境，并生成目标信息，将目标信息、空管信息、机场信息叠加到虚拟场景中，并通过数字孪生场景与全景视频协同响应叠加至虚拟场景中的信息；
S3、利用多源数据融合方法将虚拟场景上的目标信息、空管信息、机场信息叠进行匹配融合处理，并对所述匹配融合结果进行分析，实现机场管理主动决策，完成基于数字孪生的机场场面运行管理。
进一步地，所述步骤S1包括以下步骤：
S101、拼接融合多个摄像机的实时视频信息，得到全景融合视频信息，并协同响应所述全景融合视频信息；
S102、在全景融合视频信息中选取所需监控的区域，自动调度时间区域的低点视频信息；
S103、在全景融合视频信息中选取所需监控的区域，自动调度时间区域或目标周围的球机视频信息；
S104、分别获取目标位置、类型信息、ADS-B、多点定位、GPS以及飞行情报数据，并将目标位置、类型信息、ADS-B、多点定位、GPS以及飞行情报的数据进行时间对齐，得到时间对齐数据；
S105、分别将低点视频信息和球机视频信息与空管信息和机场信息进行空间匹配，得到空间匹配信息；
S106、将时间对齐数据和空间匹配信息进行关联，得到目标属性信息与目标图像信息，并根据目标属性信息与目标图像信息生成结构化标牌信息；
S107、协同响应结构化标牌信息。
再进一步地，所述步骤S2包括以下步骤：
S201、根据所述结构化标牌信息，构建与机场运行情况相同的机场场面运行数字环境，得到虚拟场景；
S202、在三维视景中呈现出与实际机场场景中一致的目标运动状态，得到目标信息；
S203、将目标信息、空管信息以及机场信息叠加至虚拟场景中；
S204、通过数字孪生场景与全景视频协同响应叠加至虚拟场景中的信息。
本发明的有益效果：
(1)本发明实时地构建出与机场运行情况完全相同的平滑、无缝、无失真的机场场面运行数字环境，依托系统强大的数据展示功能，将目标状态信息、空管信息、机场信息叠加到虚拟场景中，直观地实时呈现机场运行状况，从而突破目视和视频传感器的物理限制，为管制员提供全方位、全区域的监视服务。
(2)本发明利用人工智能方法对视频图像进行智能分析，自动完成航空器、车辆和人员目标的检测、跟踪、识别、定位、姿态估计、行为估计等功能，从而提高视频监控的智能化水平。
(3)本发明利用多源数据融合技术，将机场场面上的目标状态信息与空管和机场信息进行匹配融合处理，实现视频图像与业务异构数据之间的智能匹配与融合，并在此基础上集成诸如电子进程单、ACDM等业务功能，从而丰富数据维度，增强数据来源的准确性。
附图说明
图1为本发明的系统组成示意图。
图2为本实施例中基于数字孪生的机场场面运行管理系统示意图。
图3为本实施例中数字孪生机场与实际机场之间的对应关系示意图。
图4为本实施例中系统的软件结构示意图。
图5为航班路径滑行轨迹以及可视化示意图。
图6为跑道磨损情况可视化示意图。(请在实施例中对图5和图6进行对应的文字说明)
图7为本发明的方法流程图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
实施例1
如图1所示，本发明一种基于数字孪生的机场场面运行管理系统，包括机场运行场景模块、数字孪生机场模块、业务系统服务模块以及数据融合模块；机场运行场景模块，用于拼接融合多个摄像机的实时视频信息，得到全景融合视频信息，并根据所述全景融合视频信息生成结构化标牌信息，协同响应所述结构化标牌信息至数字孪生机场模块；数字孪生机场模块，用于根据数据融合模块的融合结果以及结构化标牌信息构建与机场运行情况完全相同的机场场面运行数字环境，并生成目标信息，将目标信息、空管信息、机场信息叠加到虚拟场景中，并通过数字孪生场景与全景视频协同响应叠加至虚拟场景中的信息；数据融合模块，用于利用多源数据融合方法将虚拟场景上的目标信息、空管信息、机场信息叠进行匹配融合处理，并对所述匹配融合结果进行分析，实现机场管理主动决策，完成基于数字孪生的机场场面运行管理；以及用于与业务系统服务模块相互进行数据反馈处理；业务系统服务模块，用于分别与机场运行场景模块、数字孪生机场模块进行数据交互，以及与数据融合模块进行数据反馈，满足机场场面安全运行的需求。
如图2所示，机场运行场景模块主要通过全景视频拼接的方式进行呈现，其包括全景拼接显示单元、高低点关联单元、枪球联动单元、时间对准单元、空间匹配单元、目标标牌信息单元以及第一协同响应单元；全景拼接显示单元，用于拼接融合多个摄像机的实时视频信息，得到全景融合视频信息，以及用于与数字孪生机场模块进行协同响应；高低点关联单元，用于根据在全景融合视频信息中选取所需监控的区域，自动调度时间区域的低点视频；枪球联动单元，用于根据在全景融合视频信息中选取所需监控的区域，自动调度时间区域或目标周围的球机视频信息，其中，所述球机根据所监控区域的环境自动变倍显示；时间对准单元，用于分别获取目标位置、类型信息、ADS-B、多点定位、GPS以及飞行情报数据，并将目标位置、类型信息，ADS-B、多点定位、GPS以及飞行情报的数据进行时间对齐，得到时间对齐数据；空间匹配单元，用于分别将低点视频、球机视频信息与空管信息和机场信息进行空间匹配，得到空间匹配信息；目标标牌信息单元，用于将时间对齐数据和空间匹配信息进行关联，得到目标属性信息与目标图像信息，并根据目标属性信息与目标图像信息生成结构化标牌信息；第一协同响应单元，通过全景拼接显示单元与数字孪生机场模块协同响应结构化标牌信息。
本实施例中，出现明显的空管数据解算错误或者匹配错误时，可以通过人工修改的方式，对结构化标牌信息进行修正。
本实施例中，针对成功挂标牌的目标，可以使数字孪生场景与全景视频图像的协同响应，也就是在视频中选择某一目标，在数字孪生场景要进行相应的显示，或者在数字孪生场景中进行选择，视频中也要予以相应的响应。
如图3所示，数字孪生机场模块包括静态机场环境生成单元、动态目标生成单元、数据可视化单元以及第二协同响应单元；静态机场环境生成单元，用于构建与机场运行情况相同的机场场面运行数字环境，得到虚拟场景；动态目标生成单元，用于根据数据融合模块的匹配融合结果，在三维视景中呈现出与实际机场场景中一致的目标运动状态，得到目标信息；数据可视化单元，用于将目标信息、空管信息以及机场信息叠加至虚拟场景中；第二协同响应单元，用于通过数字孪生场景与全景视频图像协同响应叠加至虚拟场景中的信息。
本实施例中，数字孪生机场模块主要通过三维建模、数字孪生等技术生成逼真的三维数字场景，根据数据融合的结果，实时呈现与实际场景完全一致的机场场面运行情况。
本实施例中，静态机场环境生成单元逼真的模拟出机场场景，展现出平滑、无缝、无失真的机场环境，包括航站楼、登机桥、停机位、滑行线、跑道、机场内各建筑。
本实施例中，动态目标生成单元根据多源数据融合结果，数字孪生模块能够在三维视景中呈现出与实际机场场景中完全一致的航空器、车辆等目标的运动状态。
本实施例中，数据可视化单元可将机场信息信息直接叠加到虚拟场景中，比如跑道滑行道磨损情况、飞行滑行轨迹、飞机车辆标牌、廊桥信息等。
本实施例中，与实际机场模块的协同响应单元可以在数字孪生场景与全景视频图像中实现目标的协同响应，也就是在全景视频中选择某一目标，在数字孪生场景要进行相应的显示，或者在数字孪生中进行选择，全景视频中也要予以相应的响应。
本实施例中，数据融合模块包括异构异步数据单元和辅助决策单元；异构异步数据单元，用于利用多源数据融合方法将机场场面上的目标信息、空管信息和机场信息进行匹配融合处理；辅助决策单元，用于对所述匹配融合结果进行分析，实现机场管理主动决策。
本实施例中，数据融合模块对各类数据进行融合，包括运行数据、状态数据、模型数据、预测数据、控制指令、业务程序和流程数据等。
本实施例中，异构异步数据融合可以将来自机场、空管和航空公司的不同结构、不同采样率的数据进行融合。
本实施例中，辅助决策功能分析机场管理中异构的行为特点和优化目标，建立多智能体强化学习模型，实现机场管理主动决策。在分析机场运行管理规程基础上，将运行意图应用于场面态势预测，可以在管制协商时实现更高精度且更长时间裕量的场面态势预测和指挥决策。
本实施例中，业务服务系统模块主要满足机场场面安全运行的各种需求，实现对机场场面运行的监视、引导、预测和优化，以及飞行过站保障等。
本实施例中，如图4所示，基于上述系统，本发明的软件结构主要设计为三层。第一层是数据层，第二层是业务层，第三层是数据层。数据层指的是主要从机场场景运行模块中采集各类传感器的数据和信息。业务层主要是对应着数据融合模块，完成信息提取、数据融合、数据分析、数据计算、机器学习和数据挖掘等任务。表现层主要对应着业务系统服务模块和数字孪生机场模块。表现层主要完成的任务是人机交互，因此数字孪生机场模块的全视景、视景渲染、三维图表、三维趋势、三维要素等服务，都是通过表现层来实现的。另外，本系统的最终目标是为机场场面管理提供服务，也需要通过表现层来提供系统对外的人机接口，完成图表呈现、交互管理的工作。
本系统可以升级现行机坪塔台管制模式，摆脱物理塔台的限制，既具备重大迫切的现实需求，也具有切实可行的技术条件。通过采用人工智能、虚拟现实/增强现实、数字孪生、多源信息融合等技术，以全景视频、三维再生场景作为主要的人机交互手段，利用视觉合成、视频分析、增强现实等手段产生并叠加诸如天气、雷达、异常事件等增强视景信息数据，进而突破物理塔台视觉限制，提供更加全面、准确、可视化的机场运行信息，有效增强管制员情景意识，采用深度学习、强化学习等人工智能方法为机坪管制员提供高级智能辅助决策服务，进一步减轻管制员工作负荷，提升机场安全水平和运行效率，进而有效提高机场运行容量，提高机场管理运行安全和效率的需要。当出现突发状况时，工作人员可应用本系统在在三维视景地图上定位突发事件所在位置，显示有关设备设施情况信息，并按照应急事故等级分类启动相应的应急预案，对各应急单位人员、车辆力量、位置形成直观展示，对机场各驻场单位应急任务进行调度分配，监督控制应急事务处理的流程，从而协助机场决策层及运营、公安、特警、消防、救护和其它相关部门完成对包括各类航空安全紧急事故在内的重大突发事件的指挥处理，有效减少应急状况下的人员、财产损失，对机场的日常安全与持续发展起到了保障作用，满足机场应急指挥的需求，如图5-6所示。
实施例2
如图7所示，本发明提供了一种基于数字孪生的机场场面运行管理方法，其实现方法如下：
S1、拼接融合多个摄像机的实时视频信息，得到全景融合视频信息，并根据所述全景融合视频信息生成结构化标牌信息，协同响应所述结构化标牌信息，其实现方法如下：
S101、拼接融合多个摄像机的实时视频信息，得到全景融合视频信息，并协同响应所述全景融合视频信息；
S102、在全景融合视频信息中选取所需监控的区域，自动调度时间区域的低点视频信息；
S103、在全景融合视频信息中选取所需监控的区域，自动调度时间区域或目标周围的球机视频信息；
S104、分别获取目标位置、类型信息、ADS-B、多点定位、GPS以及飞行情报数据，并将目标位置、类型信息，ADS-B、多点定位、GPS以及飞行情报的数据进行时间对齐，得到时间对齐数据；
S105、分别将低点视频信息和球机视频信息与空管信息和机场信息进行空间匹配，得到空间匹配信息；
S106、将时间对齐数据和空间匹配信息进行关联，得到目标属性信息与目标图像信息，并根据目标属性信息与目标图像信息生成结构化标牌信息；
S107、协同响应结构化标牌信息；
S2、根据所述结构化标牌信息，构建与机场运行情况完全相同的机场场面运行数字环境，并生成目标信息，将目标信息、空管信息、机场信息叠加到虚拟场景中，并通过数字孪生场景与全景视频协同响应叠加至虚拟场景中的信息，其实现方法如下：
S201、根据所述结构化标牌信息，构建与机场运行情况相同的机场场面运行数字环境，得到虚拟场景；
S202、在三维视景中呈现出与实际机场场景中一致的目标运动状态，得到目标信息；
S203、将目标信息、空管信息以及机场信息叠加至虚拟场景中；
S204、通过数字孪生场景与全景视频协同响应叠加至虚拟场景中的信息；
S3、利用多源数据融合方法将虚拟场景上的目标信息、空管信息、机场信息叠进行匹配融合处理，并对所述匹配融合结果进行分析，实现机场管理主动决策，完成基于数字孪生的机场场面运行管理。
本发明通过以上设计，实时地构建出与机场运行情况完全相同的平滑、无缝、无失真的机场场面运行数字环境，依托系统强大的数据展示功能，将目标状态信息、空管信息、机场信息叠加到虚拟场景中，直观地实时呈现机场运行状况，从而突破目视和视频传感器的物理限制，为管制员提供全方位、全区域的监视服务。同时，系统利用人工智能方法对视频图像进行智能分析，自动完成航空器、车辆和人员目标的检测、跟踪、识别、定位、姿态估计、行为估计等功能，从而提高视频监控的智能化水平。利用多源数据融合技术，将机场场面上的目标状态信息与空管和机场信息进行匹配融合处理，实现视频图像与业务异构数据之间的智能匹配与融合，并在此基础上集成诸如电子进程单、ACDM等业务功能，从而丰富数据维度，增强数据来源的准确性。解决了由于机场场面运行包含很多不确定因素，理想化的建模优化方法无法完全模拟不确定因素的问题。
Claims (10)
1.一种基于数字孪生的机场场面运行管理系统，其特征在于，包括机场运行场景模块、数字孪生机场模块、业务系统服务模块以及数据融合模块；
所述机场运行场景模块，用于拼接融合多个摄像机的实时视频信息，得到全景融合视频信息，并根据所述全景融合视频信息生成结构化标牌信息，协同响应所述结构化标牌信息至数字孪生机场模块；
所述数字孪生机场模块，用于根据数据融合模块的融合结果以及结构化标牌信息构建与机场运行情况完全相同的机场场面运行数字环境，并生成目标信息，以及将目标信息、空管信息、机场信息叠加到虚拟场景中，并通过数字孪生场景与全景视频协同响应叠加至虚拟场景中的信息；
所述数据融合模块，用于利用多源数据融合方法将虚拟场景上的目标信息、空管信息、机场信息进行匹配融合处理，并对所述匹配融合结果进行分析，实现机场管理主动决策，完成基于数字孪生的机场场面运行管理；以及用于与业务系统服务模块相互进行数据反馈处理；
所述业务系统服务模块，用于分别与机场运行场景模块、数字孪生机场模块进行数据交互，以及与数据融合模块进行数据反馈，满足机场场面安全运行的需求。
2.根据权利要求1所述的基于数字孪生的机场场面运行管理系统，其特征在于，所述机场运行场景模块包括全景拼接显示单元、高低点关联单元、枪球联动单元、时间对准单元、空间匹配单元、目标标牌信息单元以及第一协同响应单元。
3.根据权利要求2所述的基于数字孪生的机场场面运行管理系统，其特征在于，所述全景拼接显示单元，用于拼接融合多个摄像机的实时视频信息，得到全景融合视频信息，以及用于与数字孪生机场模块进行协同响应；
所述高低点关联单元，用于根据在全景融合视频信息中选取所需监控的区域，自动调度时间区域的低点视频信息；
所述枪球联动单元，用于根据在全景融合视频信息中选取所需监控的区域，自动调度时间区域或目标周围的球机视频信息，其中，所述球机根据所监控区域的环境自动变倍显示；
所述时间对准单元，用于分别获取目标位置、类型信息、ADS-B、多点定位、GPS以及飞行情报数据，并将目标位置、类型信息、ADS-B、多点定位、GPS以及飞行情报的数据进行时间对齐，得到时间对齐数据；
所述空间匹配单元，用于分别将低点视频信息和球机视频信息与空管信息和机场信息进行空间匹配，得到空间匹配信息；
所述目标标牌信息单元，用于将时间对齐数据和空间匹配信息进行关联，得到目标属性信息与目标图像信息，并根据目标属性信息与目标图像信息生成结构化标牌信息；
所述第一协同响应单元，通过全景拼接显示单元与数字孪生机场模块协同响应结构化标牌信息。
4.根据权利要求1所述的基于数字孪生的机场场面运行管理系统，其特征在于，所述数字孪生机场模块包括静态机场环境生成单元、动态目标生成单元、数据可视化单元以及第二协同响应单元。
5.根据权利要求4所述的基于数字孪生的机场场面运行管理系统，其特征在于，所述静态机场环境生成单元，用于根据结构化标牌信息，构建与机场运行情况相同的机场场面运行数字环境，得到虚拟场景；
所述动态目标生成单元，用于根据数据融合模块的匹配融合结果，在三维视景中呈现出与实际机场场景中一致的目标运动状态，得到目标信息；
所述数据可视化单元，用于将目标信息、空管信息以及机场信息叠加至虚拟场景中；
所述第二协同响应单元，用于通过数字孪生场景与全景视频协同响应叠加至虚拟场景中的信息。
6.根据权利要求1所述的基于数字孪生的机场场面运行管理系统，其特征在于，所述数据融合模块包括异构异步数据单元和辅助决策单元。
7.根据权利要求6所述的基于数字孪生的机场场面运行管理系统，其特征在于，所述异构异步数据单元，用于利用多源数据融合方法将机场场面上的目标信息、空管信息和机场信息进行匹配融合处理；
所述辅助决策单元，用于对所述匹配融合结果进行分析，实现机场管理主动决策。
8.一种基于数字孪生的机场场面运行管理方法，其特征在于，包括以下步骤：
S1、拼接融合多个摄像机的实时视频信息，得到全景融合视频信息，并根据所述全景融合视频信息生成结构化标牌信息，协同响应所述结构化标牌信息；
S2、根据所述结构化标牌信息，构建与机场运行情况完全相同的机场场面运行数字环境，并生成目标信息，将目标信息、空管信息、机场信息叠加到虚拟场景中，并通过数字孪生场景与全景视频协同响应叠加至虚拟场景中的信息；
S3、利用多源数据融合方法将虚拟场景上的目标信息、空管信息、机场信息叠进行匹配融合处理，并对所述匹配融合结果进行分析，实现机场管理主动决策，完成基于数字孪生的机场场面运行管理。
9.根据权利要求8所述的基于数字孪生的机场场面运行管理方法，其特征在于，所述步骤S1包括以下步骤：
S101、拼接融合多个摄像机的实时视频信息，得到全景融合视频信息，并协同响应所述全景融合视频信息；
S102、在全景融合视频信息中选取所需监控的区域，自动调度时间区域的低点视频信息；
S103、在全景融合视频信息中选取所需监控的区域，自动调度时间区域或目标周围的球机视频信息；
S104、分别获取目标位置、类型信息、ADS-B、多点定位、GPS以及飞行情报数据，并将目标位置、类型信息、ADS-B、多点定位、GPS以及飞行情报的数据进行时间对齐，得到时间对齐数据；
S105、分别将低点视频信息和球机视频信息与空管信息和机场信息进行空间匹配，得到空间匹配信息；
S106、将时间对齐数据和空间匹配信息进行关联，得到目标属性信息与目标图像信息，并根据目标属性信息与目标图像信息生成结构化标牌信息；
S107、协同响应结构化标牌信息。
10.根据权利要求8所述的基于数字孪生的机场场面运行管理方法，其特征在于，所述步骤S2包括以下步骤：
S201、根据所述结构化标牌信息，构建与机场运行情况相同的机场场面运行数字环境，得到虚拟场景；
S202、在三维视景中呈现出与实际机场场景中一致的目标运动状态，得到目标信息；
S203、将目标信息、空管信息以及机场信息叠加至虚拟场景中；
S204、通过数字孪生场景与全景视频协同响应叠加至虚拟场景中的信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010976087.1A CN112053085B (zh) | 2020-09-16 | 2020-09-16 | 一种基于数字孪生的机场场面运行管理系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010976087.1A CN112053085B (zh) | 2020-09-16 | 2020-09-16 | 一种基于数字孪生的机场场面运行管理系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112053085A true CN112053085A (zh) | 2020-12-08 |
| CN112053085B CN112053085B (zh) | 2023-04-07 |
Family
ID=73603068
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010976087.1A Active CN112053085B (zh) | 2020-09-16 | 2020-09-16 | 一种基于数字孪生的机场场面运行管理系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112053085B (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113420722A (zh) * | 2021-07-21 | 2021-09-21 | 上海塞嘉电子科技有限公司 | 一种机场安全管理平台的突发事件联动方法及系统 |
| CN113487138A (zh) * | 2021-06-09 | 2021-10-08 | 中国民航大学 | 一种基于数字孪生的机场应急演练方法和系统 |
| CN113486602A (zh) * | 2021-06-09 | 2021-10-08 | 中国民航大学 | 机场飞机跑道管理数字孪生系统仿真方法、系统及装置 |
| CN113495578A (zh) * | 2021-09-07 | 2021-10-12 | 南京航空航天大学 | 一种基于数字孪生式训练的集群航迹规划强化学习方法 |
| CN113592390A (zh) * | 2021-07-12 | 2021-11-02 | 嘉兴恒创电力集团有限公司博创物资分公司 | 一种基于多传感器融合的仓储数字孪生的方法与系统 |
| CN113628479A (zh) * | 2021-08-16 | 2021-11-09 | 成都民航空管科技发展有限公司 | 一种基于视频的塔台管制信息融合系统及方法 |
| CN113741910A (zh) * | 2021-09-01 | 2021-12-03 | 上海商汤智能科技有限公司 | 场景交互方法及装置、电子设备和存储介质 |
| CN114253228A (zh) * | 2021-11-22 | 2022-03-29 | 中国科学院软件研究所 | 一种基于数字孪生的工业设备对象建模方法及装置 |
| CN115077488A (zh) * | 2022-05-26 | 2022-09-20 | 燕山大学 | 一种基于数字孪生的厂区人员实时定位监测系统和方法 |
| CN115116296A (zh) * | 2022-08-25 | 2022-09-27 | 中国电子科技集团公司第十五研究所 | 一种基于数字孪生的塔台飞行指挥仿真方法及系统 |
| CN115577317A (zh) * | 2022-09-30 | 2023-01-06 | 北京大数据先进技术研究院 | 数据融合效果评估方法、系统、电子设备及储存介质 |
| CN115796397A (zh) * | 2023-02-06 | 2023-03-14 | 中国民航大学 | 用于机场运行保障过程的场景生成方法、场景生成系统 |
| CN115798265A (zh) * | 2022-11-01 | 2023-03-14 | 航科院中宇（北京）新技术发展有限公司 | 一种基于数字孪生技术的数字塔台构建方法及其实现系统 |
| CN117252407A (zh) * | 2023-11-20 | 2023-12-19 | 中国民用航空总局第二研究所 | 基于数字孪生体的航空机场监控方法、装置、设备及介质 |
| CN117933840A (zh) * | 2024-03-21 | 2024-04-26 | 中国民用航空总局第二研究所 | 数字孪生驱动的航班地面保障延误诊断方法、系统及设备 |
| CN117933840B (zh) * | 2024-03-21 | 2024-05-31 | 中国民用航空总局第二研究所 | 数字孪生驱动的航班地面保障延误诊断方法、系统及设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103455982A (zh) * | 2013-08-31 | 2013-12-18 | 四川川大智胜软件股份有限公司 | 一种基于虚实融合机场场面监视视觉增强的方法 |
| WO2020045837A1 (ko) * | 2018-08-28 | 2020-03-05 | 김영대 | 가상 및 증강 현실 강의실에서 인공지능 기능의 자동 장면 전환 기술을 이용한 스마트-원격 강의 방법 및 그 장치 |
| CN111210359A (zh) * | 2019-12-30 | 2020-05-29 | 中国矿业大学(北京) | 面向智能矿山场景的数字孪生演化机理及方法 |
-
2020
- 2020-09-16 CN CN202010976087.1A patent/CN112053085B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103455982A (zh) * | 2013-08-31 | 2013-12-18 | 四川川大智胜软件股份有限公司 | 一种基于虚实融合机场场面监视视觉增强的方法 |
| WO2020045837A1 (ko) * | 2018-08-28 | 2020-03-05 | 김영대 | 가상 및 증강 현실 강의실에서 인공지능 기능의 자동 장면 전환 기술을 이용한 스마트-원격 강의 방법 및 그 장치 |
| CN111210359A (zh) * | 2019-12-30 | 2020-05-29 | 中国矿业大学(北京) | 面向智能矿山场景的数字孪生演化机理及方法 |
Non-Patent Citations (2)
| Title |
|---|
| DAOYONG FU等: "The Aircraft Pose Estimation Based on a Convolutional Neural Network" * |
| 王红微等: "基于数字孪生的航班保障预警系统" * |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113486602B (zh) * | 2021-06-09 | 2022-08-12 | 中国民航大学 | 机场飞机跑道管理数字孪生系统仿真方法、系统及装置 |
| CN113487138A (zh) * | 2021-06-09 | 2021-10-08 | 中国民航大学 | 一种基于数字孪生的机场应急演练方法和系统 |
| CN113486602A (zh) * | 2021-06-09 | 2021-10-08 | 中国民航大学 | 机场飞机跑道管理数字孪生系统仿真方法、系统及装置 |
| CN113592390A (zh) * | 2021-07-12 | 2021-11-02 | 嘉兴恒创电力集团有限公司博创物资分公司 | 一种基于多传感器融合的仓储数字孪生的方法与系统 |
| CN113420722B (zh) * | 2021-07-21 | 2023-02-17 | 上海塞嘉电子科技有限公司 | 一种机场安全管理平台的突发事件联动方法及系统 |
| CN113420722A (zh) * | 2021-07-21 | 2021-09-21 | 上海塞嘉电子科技有限公司 | 一种机场安全管理平台的突发事件联动方法及系统 |
| CN113628479A (zh) * | 2021-08-16 | 2021-11-09 | 成都民航空管科技发展有限公司 | 一种基于视频的塔台管制信息融合系统及方法 |
| CN113628479B (zh) * | 2021-08-16 | 2022-11-04 | 成都民航空管科技发展有限公司 | 一种基于视频的塔台管制信息融合系统及方法 |
| CN113741910A (zh) * | 2021-09-01 | 2021-12-03 | 上海商汤智能科技有限公司 | 场景交互方法及装置、电子设备和存储介质 |
| CN113495578B (zh) * | 2021-09-07 | 2021-12-10 | 南京航空航天大学 | 一种基于数字孪生式训练的集群航迹规划强化学习方法 |
| CN113495578A (zh) * | 2021-09-07 | 2021-10-12 | 南京航空航天大学 | 一种基于数字孪生式训练的集群航迹规划强化学习方法 |
| CN114253228B (zh) * | 2021-11-22 | 2023-09-12 | 中国科学院软件研究所 | 一种基于数字孪生的工业设备对象建模方法及装置 |
| CN114253228A (zh) * | 2021-11-22 | 2022-03-29 | 中国科学院软件研究所 | 一种基于数字孪生的工业设备对象建模方法及装置 |
| CN115077488A (zh) * | 2022-05-26 | 2022-09-20 | 燕山大学 | 一种基于数字孪生的厂区人员实时定位监测系统和方法 |
| CN115077488B (zh) * | 2022-05-26 | 2023-04-28 | 燕山大学 | 一种基于数字孪生的厂区人员实时定位监测系统和方法 |
| CN115116296A (zh) * | 2022-08-25 | 2022-09-27 | 中国电子科技集团公司第十五研究所 | 一种基于数字孪生的塔台飞行指挥仿真方法及系统 |
| CN115116296B (zh) * | 2022-08-25 | 2022-11-18 | 中国电子科技集团公司第十五研究所 | 一种基于数字孪生的塔台飞行指挥仿真方法及系统 |
| CN115577317A (zh) * | 2022-09-30 | 2023-01-06 | 北京大数据先进技术研究院 | 数据融合效果评估方法、系统、电子设备及储存介质 |
| CN115577317B (zh) * | 2022-09-30 | 2024-04-05 | 北京大数据先进技术研究院 | 数据融合效果评估方法、系统、电子设备及储存介质 |
| CN115798265A (zh) * | 2022-11-01 | 2023-03-14 | 航科院中宇（北京）新技术发展有限公司 | 一种基于数字孪生技术的数字塔台构建方法及其实现系统 |
| CN115798265B (zh) * | 2022-11-01 | 2024-04-02 | 航科院中宇（北京）新技术发展有限公司 | 一种基于数字孪生技术的数字塔台构建方法及其实现系统 |
| CN115796397A (zh) * | 2023-02-06 | 2023-03-14 | 中国民航大学 | 用于机场运行保障过程的场景生成方法、场景生成系统 |
| CN117252407A (zh) * | 2023-11-20 | 2023-12-19 | 中国民用航空总局第二研究所 | 基于数字孪生体的航空机场监控方法、装置、设备及介质 |
| CN117252407B (zh) * | 2023-11-20 | 2024-03-29 | 中国民用航空总局第二研究所 | 基于数字孪生体的航空机场监控方法、装置、设备及介质 |
| CN117933840A (zh) * | 2024-03-21 | 2024-04-26 | 中国民用航空总局第二研究所 | 数字孪生驱动的航班地面保障延误诊断方法、系统及设备 |
| CN117933840B (zh) * | 2024-03-21 | 2024-05-31 | 中国民用航空总局第二研究所 | 数字孪生驱动的航班地面保障延误诊断方法、系统及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112053085B (zh) | 2023-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112053085B (zh) | 一种基于数字孪生的机场场面运行管理系统及方法 | |
| US9573698B1 (en) | Flight deck display systems and methods for generating cockpit displays including dynamically-adjusted usable runway length symbology | |
| Bao et al. | Review of digital twin for intelligent transportation system | |
| CN103578322B (zh) | 机场运行指挥模拟训练系统及其模拟训练方法 | |
| CN108961843A (zh) | 一种基于航迹运行技术的仿真系统和方法 | |
| CN112270847B (zh) | 基于高通路数据链的机组航空器路由共享系统及方法 | |
| CN107194581B (zh) | 一种基于3d技术的机场应急调度管控系统及方法 | |
| CN111062644A (zh) | 一种基于高精导航定位的机场地勤车辆管控系统和方法 | |
| CN112541684A (zh) | 一种基于bim的应急调度指挥方法、系统、计算机设备及可读介质 | |
| CN114093111A (zh) | 森林火灾救援空地一体化指挥调度系统及方法 | |
| CN112614394A (zh) | 一种基于bim的地铁应急培训演练系统及方法 | |
| Saifutdinov et al. | Time and space discretization in the digital twin of the airport transport network | |
| CN113190635A (zh) | 基于数据链的增强型机场移动地图装置 | |
| Otte et al. | User-centered integration of automated air mobility into urban transportation networks | |
| Helm et al. | Integration of landside processes into the concept of Total Airport Management | |
| CN104106012A (zh) | 用于多功能飞行器的信息和控制系统 | |
| Diange et al. | Research on the construction of civil airport safety management system based on digital twin technology | |
| Koskela et al. | Centres of coordination as a nexus of aviation | |
| CN110795787A (zh) | 一种机场飞行区内设备巡查的可视化方法 | |
| Bagassi et al. | The use of synthetic vision tools in the control tower environment: the RETINA concept | |
| Saifutdinov et al. | An emulation oriented method and tool for test of ground traffic control systems at airports | |
| Enea et al. | Operational Integration of Required Time of Arrival (RTA) with Time-Based Management (TBM): Concept of Operations and Human-in-the-Loop Simulation Results | |
| Morlang et al. | Commercial Space Transportation and Air Traffic Insertion-SESAR Requirements and the European Perspective | |
| Cheng | Research progress on an automation concept for surface operation with time-based trajectories | |
| Li et al. | The Certification Processes of Multiple Remote Tower Operations for Single European Sky |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |