CN115116296A - 一种基于数字孪生的塔台飞行指挥仿真方法及系统 - Google Patents

Abstract

本申请公开了一种基于数字孪生的塔台飞行指挥仿真方法及系统，属于航空管制教学训练系统的研究领域，用于真实模拟机场塔台环境，将机场的航空器状态信息、空管数据、机场信息等加载至虚拟的机场塔台场景中，并采用智能语音识别技术，模拟地空通话过程，将管制员指挥口令转化为模拟航空器指令，仿真模拟航空器飞行动作，同时采用智能语音合成技术，模拟飞行员报告，为管制员训练提供真实训练场景。

Description

一种基于数字孪生的塔台飞行指挥仿真方法及系统

技术领域

本申请属于航空管制教学训练系统的研究领域，特别涉及一种基于数字孪生的塔台飞行指挥仿真方法及一种基于数字孪生的塔台飞行指挥仿真系统。

背景技术

目前业界对数字孪生的关注度与日俱增，借助数字孪生，可以在信息化平台中了解物理实体的状态，可以对物理实体里预定义的接口组件进行控制，从而帮助组织监控运行、执行预测性维护和改进流程，已经成功应用于智慧工厂、智慧城市、建筑模拟等领域。现有塔台飞行指挥仿真系统主要依靠预设的飞行计划、飞行方法及三维场景进行仿真推演，不能真实再现塔台飞行指挥场景且建模仿真速度较慢。

针对上述问题，本申请提供一种基于数字孪生的塔台飞行指挥仿真方法及系统，能够真实模拟机场塔台环境，为管制员训练提供真实训练场景。

发明内容

为了解决所述现有技术的不足，本申请提供了一种基于数字孪生的塔台飞行指挥仿真方法，首先获取机场实时影像数据，并将机场实时影像数据孪生至虚拟机场模型以建立虚拟机场环境；之后从机场实时影像数据中识别得到航空器基本信息，并融合航空器基本信息、飞行计划信息、预设航迹信息和气象信息至虚拟机场模型以建立虚拟机场数字环境；再将机场塔台的实时航迹信息孪生至虚拟机场模型中，并将实时航迹信息与虚拟机场模型中的模拟航空器联动，以展现机场塔台的实时飞行动态；最后对管制员与飞行员的实时地空通话信息进行语音识别并同步孪生至虚拟机场模型中，以教学观摩模式展示飞行和指挥过程；或者响应于管制员的模拟飞行指令，模拟航空器进行模拟飞行并生成模拟飞行报告信息，并将模拟飞行报告信息合成为模拟飞行员语音以指挥训练模式进行虚实结合指挥训练。本申请的一种基于数字孪生的塔台飞行指挥仿真方法能够真实模拟机场塔台环境，为管制员训练提供真实训练场景。

本申请所要达到的技术效果通过以下方案实现：

本申请提供了一种基于数字孪生的塔台飞行指挥仿真方法，所述方法包括：

获取机场实时影像数据，并将所述机场实时影像数据孪生至虚拟机场模型以建立虚拟机场环境；

从所述机场实时影像数据中识别得到航空器基本信息，并融合所述航空器基本信息、飞行计划信息、预设航迹信息和气象信息至所述虚拟机场模型以建立虚拟机场数字环境；

将机场塔台的实时航迹信息孪生至所述虚拟机场模型中，并将所述实时航迹信息与所述虚拟机场模型中的模拟航空器联动，以展现所述机场塔台的实时飞行动态；

对管制员与飞行员的实时地空通话信息进行语音识别并同步孪生至所述虚拟机场模型中，以教学观摩模式展示飞行和指挥过程；

响应于管制员的模拟飞行指令，所述模拟航空器进行模拟飞行并生成模拟飞行报告信息，并将所述模拟飞行报告信息合成为模拟飞行员语音以指挥训练模式进行虚实结合指挥训练。

优选地，所述获取机场实时影像数据，并将所述机场实时影像数据孪生至虚拟机场模型以建立虚拟机场环境，包括：

实时引接机场中多个摄像头采集的视频信息；

从所述视频信息中识别出多个机场环境；

依据所述多个摄像头的数量和位置、所述多个机场环境以及所述视频信息的质量对所述视频信息进行拼接融合，以形成所述机场实时影像数据；

将所述机场实时影像数据孪生至所述虚拟机场模型以建立所述虚拟机场环境。

优选地，所述机场环境包括停机位、滑行道、联络道、跑道、迫降带和机场塔台；所述航空器基本信息包括机号、航向、灯光信息、滑行速度和起落架状态。

优选地，所述将机场塔台的实时航迹信息孪生至所述虚拟机场模型中，包括：

引接所述机场塔台获得的所述实时航迹信息；

对所述实时航迹信息进行解析得到解析数据信息；

将所述解析数据信息与所述飞行计划信息进行配对后孪生至所述虚拟机场模型中。

优选地，所述将机场塔台的实时航迹信息孪生至所述虚拟机场模型中，并将所述实时航迹信息与所述虚拟机场模型中的模拟航空器联动，以展现所述机场塔台的实时飞行动态，包括：

将所述实时航迹信息孪生至二维目标显示终端；

将所述实时航迹信息与所述虚拟机场模型中的模拟航空器的三维模型关联，以将所述机场塔台的实时飞行动态孪生至所述虚拟机场模型中。

优选地，所述语音识别包括训练阶段和识别阶段，所述训练阶段是通过训练大量塔台飞行管制用语获取管制语音识别参考模式库；所述识别阶段是通过训练管制员的管制指令语音形成测试模式库，通过比较所述测试模式库和所述管制语音识别参考模式库得到相似度结果，并根据所述相似度结果识别得到管制指令语意信息。

优选地，所述将所述模拟飞行报告信息合成为模拟飞行员语音，包括：

分析所述模拟飞行报告信息的内容确定多个索引，其中，预先定义每个空管用语的索引；

根据所述多个索引从多个语音库中获取相应的多个语音，其中，预先建立每个索引对应的语音库，每个索引支持标准普通话中文和英文两种方式；

按顺序把所述多个语音进行拼接形成所述模拟飞行员语音。

另一方面，本申请还提供了一种基于数字孪生的塔台飞行指挥仿真系统，所述系统包括：

机场环境构建模块，用于获取机场实时影像数据，并将所述机场实时影像数据孪生至虚拟机场模型以建立虚拟机场环境；

数字环境构建模块，用于从所述机场实时影像数据中识别得到航空器基本信息，并融合所述航空器基本信息、飞行计划信息、预设航迹信息和气象信息至所述虚拟机场模型以建立虚拟机场数字环境；

联动模块，用于将机场塔台的实时航迹信息孪生至所述虚拟机场模型中，并将所述实时航迹信息与所述虚拟机场模型中的模拟航空器联动，以展现所述机场塔台的实时飞行动态；

教学训练模块，用于对管制员与飞行员的实时地空通话信息进行语音识别并同步孪生至所述虚拟机场模型中以教学观摩模式展示飞行和指挥过程；

指挥训练模块，用于响应于管制员的模拟飞行指令，所述模拟航空器进行模拟飞行并生成模拟飞行报告信息，并将所述模拟飞行报告信息合成为模拟飞行员语音以指挥训练模式进行虚实结合指挥训练。

再一方面，本申请还提供了一种电子设备，包括：处理器和存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现如上述所述的一种基于数字孪生的塔台飞行指挥仿真方法。

又一方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述的一种基于数字孪生的塔台飞行指挥仿真方法。

附图说明

为了更清楚地说明本申请实施例或现有的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一实施例中一种基于数字孪生的塔台飞行指挥仿真方法的流程图；

图2为本申请一实施例中一种基于数字孪生的塔台飞行指挥仿真方法中步骤100的具体流程图；

图3为本申请一实施例中机场环境数字孪生的具体流程图；

图4为本申请一实施例中一种基于数字孪生的塔台飞行指挥仿真方法中步骤300的具体流程图；

图5为本申请一实施例中管制员模拟训练的具体流程图；

图6为本申请一实施例中一种基于数字孪生的塔台飞行指挥仿真方法中步骤500的具体流程图；

图7为本申请一实施例中智能语音识别的具体流程图；

图8为本申请一实施例中智能语音合成的具体流程图；

图9为本申请一实施例中一种基于数字孪生的塔台飞行指挥仿真系统的结构框图；

图10为本申请一实施例中塔台飞行指挥仿真系统的具体结构图；

图11为本申请一实施例中一种电子设备的结构框图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合具体实施例及相应的附图对本申请的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

现有技术中，塔台飞行指挥仿真系统主要依靠预设的飞行计划、飞行方法及三维场景进行仿真推演，不能真实再现塔台飞行指挥场景且建模仿真速度较慢。针对上述问题，本申请提出一种基于数字孪生的塔台飞行指挥仿真方法，首先获取机场实时影像数据，并将机场实时影像数据孪生至虚拟机场模型以建立虚拟机场环境；之后从机场实时影像数据中识别得到航空器基本信息，并融合航空器基本信息、飞行计划信息、预设航迹信息和气象信息至虚拟机场模型以建立虚拟机场数字环境；再将机场塔台的实时航迹信息孪生至虚拟机场模型中，并将实时航迹信息与虚拟机场模型中的模拟航空器联动，以展现机场塔台的实时飞行动态；最后对管制员与飞行员的实时地空通话信息进行语音识别并同步孪生至虚拟机场模型中，以教学观摩模式展示飞行和指挥过程；或者响应于管制员的模拟飞行指令模拟航空器进行模拟飞行并生成模拟飞行报告信息，并将模拟飞行报告信息合成为模拟飞行员语音以指挥训练模式进行虚实结合指挥训练。本申请的一种基于数字孪生的塔台飞行指挥仿真方法能够真实模拟机场塔台环境，为管制员训练提供真实训练场景。

下面结合附图，详细说明本申请的各种非限制性实施方式。

参见图1所示，本申请实施例提供了一种基于数字孪生的塔台飞行指挥仿真方法，该方法包括：

步骤100：获取机场实时影像数据，并将机场实时影像数据孪生至虚拟机场模型以建立虚拟机场环境；

本步骤中通过设置于机场的不同位置的多个摄像头摄取机场环境视频信息，之后对视频信息进行拼接融合后孪生至虚拟机场模型以建立虚拟机场环境，从而建立与机场场景一致的虚拟机场。

步骤200：从机场实时影像数据中识别得到航空器基本信息，并融合航空器基本信息、飞行计划信息、预设航迹信息和气象信息至虚拟机场模型以建立虚拟机场数字环境；

本步骤中采用现有的智能图像识别技术识别机场实时影像数据包含的航空器基本信息，之后与飞行计划信息、预设航迹信息和气象信息等进行智能融合，形成与机场环境完全相同的虚拟数字环境。这样为管制员孪生出与实际机场塔台完全一致（机场环境、飞行计划、气象信息）的虚拟场景。

步骤300：将机场塔台的实时航迹信息孪生至虚拟机场模型中，并将实时航迹信息与虚拟机场模型中的模拟航空器联动，以展现机场塔台的实时飞行动态；

本步骤中将塔台实时航迹信息孪生至虚拟机场中并与虚拟机场的模拟航空器联动，为管制员模拟训练提供真实的航空器的飞行状态。

步骤400：对管制员与飞行员的实时地空通话信息进行语音识别并同步孪生至虚拟机场模型中，以教学观摩模式展示飞行和指挥过程；

本步骤中将管制员与飞行员的地空通话同步孪生至虚拟机场中，为管制员提供塔台视角、跟随视角、飞行员视角、跑道视角等诸多视角，系统的沉浸感大大增强，管制员可观摩学习成熟管制员的指挥过程。

步骤500：响应于管制员的模拟飞行指令模拟航空器进行模拟飞行并生成模拟飞行报告信息，并将模拟飞行报告信息合成为模拟飞行员语音以指挥训练模式进行虚实结合指挥训练。

本步骤中，管制员作为虚拟机场中的实际指挥员，可在任意时间选择指挥虚拟机场中的某一/多架次模拟航空器，而其他未接受指挥的模拟航空器，则按照引接的航迹信息进行数字孪生，真实再现到虚拟机场中。这样实现了虚实结合的训练效果，管制员仿佛置身于实际塔台中进行飞行指挥。

在一些实施例中，参见图2所示，本申请的基于数字孪生的塔台飞行指挥仿真方法中步骤100具体包括：

步骤101：实时引接机场中多个摄像头采集的视频信息；

步骤102：从视频信息中识别出多个机场环境；

步骤103：依据多个摄像头的数量和位置、多个机场环境以及视频信息的质量对视频信息进行拼接融合，以形成机场实时影像数据；

步骤104：将机场实时影像数据孪生至虚拟机场模型以建立虚拟机场环境。

可选地，本申请实施例的基于数字孪生的塔台飞行指挥仿真方法中机场环境包括停机位、滑行道、联络道、跑道、迫降带和机场塔台；航空器基本信息包括机号、航向、灯光信息、滑行速度和起落架状态。

具体的，参见图3所示，本申请中采用机场环境数字孪生技术将机场数据信息进行融合处理，构建与机场环境完全相同的虚拟数字环境。首先实时引接机场多个摄像头采集的视频信息，将视频信息进行拼接融合，形成机场实时影像数据，并将其叠加至虚拟机场环境。之后采用智能图像识别技术，识别视频中的航空器基本信息，包括机号、航向、灯光信息、滑行速度、起落架状态等，以及机场环境信息，包括停机位、滑行道、联络道、跑道、迫降带、塔台等等，并将这些信息与飞行计划信息、航迹信息和气象信息等进行智能融合，形成与机场环境完全相同的虚拟数字环境。为管制员孪生出与实际机场塔台完全一致（机场环境、飞行计划、气象信息）的虚拟场景。

在一些实施例中，参见图4和图5所示，本申请的基于数字孪生的塔台飞行指挥仿真方法中步骤300将机场塔台的实时航迹信息孪生至虚拟机场模型中具体包括：

步骤301：引接机场塔台获得的实时航迹信息；

步骤302：对实时航迹信息进行解析得到解析数据信息；

步骤303：将解析数据信息与飞行计划信息进行配对后孪生至虚拟机场模型中。

在一些实施例中，参见图4和图5所示，本申请的基于数字孪生的塔台飞行指挥仿真方法中步骤300还包括：

步骤304：将实时航迹信息孪生至二维目标显示终端；

步骤305：将实时航迹信息与虚拟机场模型中的模拟航空器的三维模型关联，以将机场塔台的实时飞行动态孪生至虚拟机场模型中。

本申请实施例中实时引接雷达的航迹信息，解析雷达的航迹信息中的呼号、坐标、航向、二次代码等信息，与飞行计划信息进行配对，孪生至训练系统的二维目标显示终端，并与虚拟机场中的航空器三维模型关联，将其飞行姿态孪生至虚拟三维机场中。

可选地，本申请实施例的基于数字孪生的塔台飞行指挥仿真方法中语音识别包括训练阶段和识别阶段，训练阶段是通过训练大量塔台飞行管制用语获取管制语音识别参考模式库；识别阶段是通过训练管制员的管制指令语音形成测试模式库，通过比较测试模式库和管制语音识别参考模式库得到相似度结果，并根据相似度结果识别得到管制指令语意信息。

在一些实施例中，参见图6所示，本申请的基于数字孪生的塔台飞行指挥仿真方法中步骤500将模拟飞行报告信息合成为模拟飞行员语音，具体包括：

步骤501：分析模拟飞行报告信息的内容确定多个索引，其中，预先定义每个空管用语的索引；

步骤502：根据多个索引从多个语音库中获取相应的多个语音，其中，预先建立每个索引对应的语音库，每个索引支持标准普通话中文和英文两种方式；

步骤503：按顺序把多个语音进行拼接形成模拟飞行员语音。

具体的，本申请实施例基于航迹数字孪生的智能仿真技术，将塔台实时航迹信息孪生至虚拟机场中，与虚拟机场的航空器模型联动，为管制员模拟训练提供真实的航空器的飞行状态。

可提供教学观摩模式和指挥训练模式。在教学观摩模式下，管制员不直接指挥航空器，而是观摩学习一线成熟管制员的飞行指挥过程，系统将实际塔台的飞行动态孪生至虚拟机场中，将管制员与飞行员的地空通话同步孪生至虚拟机场中，为管制员提供塔台视角、跟随视角、飞行员视角、跑道视角等诸多视角，系统的沉浸感大大增强，管制员可快速学习成熟管制员的指挥口令、口令下达时机、飞行调配方法等。

在指挥训练模式下，管制员作为虚拟机场中的实际指挥员，可在任意时间选择指挥虚拟机场中的某一/多架次航空器，系统采用智能语音识别技术，响应管制员的指挥口令，形成模拟飞行员指令，飞行数据仿真模拟模块响应模拟飞行员指令，对航空器的进行飞行状态进行模拟，并采用智能语音合成技术将模拟飞行员状态合成语音，自动报读给管制员。而其他未接受指挥的航空器，则按照引接的航迹信息进行数字孪生，真实再现到虚拟机场中。这样实现了虚实结合的训练效果，管制员仿佛置身于实际塔台中进行飞行指挥。管制员可根据熟悉程度逐步增加指挥的航空器架次，直至胜任指挥全部计划。另外系统会将接受指挥的航空器航迹孪生至虚拟机场环境中，管制员可直观对比自己指挥的航迹与成熟管制员实际指挥的航空器航迹，直观展现管制员指挥效果。

参见图7和图8所示，本申请实施例中采用智能语音识别与自动报读技术（即语音识别与合成技术），通过采集大量一线管制指挥用语,形成管制指挥语音语料库，将管制指挥用语自动转换为管制指令文本，并进行仿真计算，动态模拟飞行和指挥过程，并通过二三维直观展现机场近空动态；同时将实时飞行动态信息、预警告警信息、特情信息等报告信息自动合成为模拟飞行员语音，实现管制员与飞行员的自动语音交互过程。

管制员通过语音终端下达管制指令，通过语音识别将管制指令语音转换为管制指令文本，同时进行仿真计算，动态模拟飞行和指挥过程。智能语音识别包括了语音的预处理、语音特征的提取、语音模型库以及语音模式匹配等组成部分。预处理包括预滤波、采样、模/数转换、预加重、分帧加窗等操作，之后进行端点检测。其中信号分帧是将信号数字化后的语音信号分成短时信号作为识别的基本单位。特征提取是根据语音信号的波形提取出有效的声学特征，本系统采用梅尔频率倒谱系数（MFCC）特征，MFCC是最为经典的语音特征，MFCC的提取模仿了人耳的听觉系统。提取了语音特征之后就是识别的两个关键部分语音模型库和语音模式匹配，分别对应语音识别的“训练”和“识别”两个主要过程，训练阶段是建立在我们对输入的语音信号进行了必要的预处理及端点检测并提取相应的特征参数的基础上，通过训练大量塔台飞行管制用语（包括中文和英文）获取管制语音识别参考模式库。其次是“识别”,输入语音经过同样的方法通过训练形成测试模式库。最后选取一种识别方法，即一种合适的测度和准则，按照此识别方法比较两个模式库间相似度，根据结果从而识别出管制指令的语意信息并发送至模拟飞行员。

同时将实时飞行动态信息、预警告警信息、特情信息等报告信息自动合成为模拟飞行员语音，并发送至飞行管制员席。自动报读包括文本解析、特殊符号处理、文语转换和语音输出等功能部分，将模拟飞行员的文字报告进行解析，如有特殊符号，则对特殊符号进行单独处理，对解析的报告进行文语转换，首先定义空管用语索引，其次建立每个索引的语音库，每个索引支持标准普通话中文和英文两种方式，然后根据报告内容，按顺序把各个语音进行拼接，形成标准PCM音频，最后通过模拟话音系统将PCM音频传送至飞行管制员席。

本申请实施例的一种基于数字孪生的塔台飞行指挥仿真方法，将真实一线指挥的飞行数据孪生至虚拟机场，为管制员营造一个与真实塔台完全一致的训练场景，管制员与一线成熟管制员同步进行管制指挥，并采用智能语音识别和合成技术，实时响应管制指挥过程，自动模拟地空通话，并将真实数据与模拟数据实时叠加，实时反馈训练效果，便于管制员快速适应塔台指挥工作。

另一方面，参见图9所示，本申请实施例还提供了一种基于数字孪生的塔台飞行指挥仿真系统，该系统包括：

机场环境构建模块10，用于获取机场实时影像数据，并将机场实时影像数据孪生至虚拟机场模型以建立虚拟机场环境；

数字环境构建模块20，用于从机场实时影像数据中识别得到航空器基本信息，并融合航空器基本信息、飞行计划信息、预设航迹信息和气象信息至虚拟机场模型以建立虚拟机场数字环境；

联动模块30，用于将机场塔台的实时航迹信息孪生至虚拟机场模型中，并将实时航迹信息与虚拟机场模型中的模拟航空器联动，以展现机场塔台的实时飞行动态；

教学训练模块40，用于对管制员与飞行员的实时地空通话信息进行语音识别并同步孪生至虚拟机场模型中以教学观摩模式展示飞行和指挥过程；

指挥训练模块50，用于响应于管制员的模拟飞行指令，模拟航空器进行模拟飞行并生成模拟飞行报告信息，并将模拟飞行报告信息合成为模拟飞行员语音以指挥训练模式进行虚实结合指挥训练。

上述中基于数字孪生的塔台飞行指挥仿真系统各模块的具体细节已经在对应的基于数字孪生的塔台飞行指挥仿真方法中进行了详细的描述，因此此处不再赘述。

具体的，参见图10所示，本实施例的基于数字孪生的塔台飞行指挥仿真系统的硬件部分由塔台管制员席位、教员/飞行员席、接入交换机、数字孪生服务器、综合应用服务器、语音识别服务器组成。其中：

（1）塔台管制员席由一台双屏席位主机、语音通信终端、由三台曲面屏以及三台塔台三维视景渲染主机组成的塔台视景系统构成。

1）双屏席位主机在使用时左屏显示主塔台管制员界面（包括二次雷达目标显示、机场场面雷达显示等）、右屏显示副塔台管制员界面（飞行计划表显示等），相应软件界面可在两屏之间自由切换。

2）语音通信终端为一体式触摸屏主机，部署语音通信软件，语音识别软件，配备带有 PTT手柄的管制员话务耳机、电话手柄。

3）塔台视景系统由三块显示器及视景主机组成。视景系统采用分布式渲染技术进行三维渲染，通过运用数字孪生技术，构建虚拟三维机场环境，将机场塔台的实时航迹信息孪生至虚拟机场模型中，并将实时航迹信息与虚拟机场模型中的模拟航空器联动，展现机场塔台的实时飞行动态。

（2）教员/飞行员席包括1套单屏席位主机与语音通信终端。

1）单屏席位部署教员席软件和模拟飞行员席软件，教员席主要用于训练过程管理以及想定编辑的工作；模拟飞行员席用于管理训练过程、环境等要素，对训练场景进行控制。系统支持指定人员扮演模拟飞行角色配合管制员进行训练。

2）语音通信终端为一体式触摸屏主机，部署语音通信软件，自动报读软件，配备普通耳机以及脚踏开关。

（3）接入交换机为全系统提供网络环境支撑。连接内部各个席位主机和服务器。同时负责接入机场多个摄像头采集的视频信息、机场实时雷达航迹信息、飞行计划信息、地空通话信息等信息，作为为数字孪生的基本数据。

（4）数字孪生服务器，将引接的视频信息进行拼接融合，形成机场实时影像数据，并发送至塔台视景系统，渲染出与机场环境完全相同的虚拟数字环境。将接入的实时雷达航迹信息进行解析，解析出其呼号、坐标、航向、二次代码等信息，发送至塔台管制员席的二次雷达显示界面以及塔台视景系统，在虚拟三维视景中进行数字化孪生。将引接的地空通话信息中的管制员语音孪生至塔台管制员席的语音通信终端，将引接的飞行员语音孪生至教员/飞行员席的语音通信终端。

（5）综合应用服务器提供仿真模拟计算、数据库服务、系统运维服务（一键开关机等）、时钟同步服务等，支撑全系统正常运行。

（6）语音识别服务器，部署语音识别服务和自动报读服务，为系统提供语音识别和语音合成的基础运算服务。

本申请实施例提供一个真实塔台飞行指挥模拟系统，包括机场环境构建模块、数字环境构建模块、联动模块、教学训练模块以及指挥训练模块等，首先将机场多个摄像头采集的视频信息进行拼接融合，采用人工智能技术生成机场动态视频数据，采用数字孪生技术将机场数据信息进行融合处理，构建与机场环境完全相同的虚拟数字环境，将飞行计划信息、航迹信息、气象信息等叠加至虚拟场景中，管制员可基于该虚拟场景进行管制指挥模拟训练，智能语音识别模块采集管制员口令，对管制口令进行智能语音识别，形成模拟飞行员指令，飞行数据仿真模拟模块响应模拟飞行员指令，对航空器的进行飞行状态进行模拟，并采用智能语音合成技术，将模拟飞行员状态合成语音，自动报读给管制员。系统可实时引接真实航迹数据，将真实航迹与与训练管制员指挥的虚拟航迹进行实时对比，直观展现管制指挥效果，大大提高了模拟训练的真实性，有助于管制员的快速成长。

再一方面，本申请实施例还提供了一种电子设备，包括：处理器和存储器，存储器上存储有计算机可读指令，计算机可读指令被处理器执行时实现如上述实施例所述的一种基于数字孪生的塔台飞行指挥仿真方法。

具体地，上述存储器和处理器能够为通用的存储器和处理器，这里不做具体限定，当处理器运行存储器存储的计算机可读指令时，能够执行上述实施例所述的基于数字孪生的塔台飞行指挥仿真方法。

图11为根据本发明实施例的一种电子设备的结构图，如图11所示，电子设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和流程模型建模的装置。该内存储器为非易失性存储介质中的操作系统和流程模型建模的装置的运行提供环境。该电子设备的网络接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、近场通信（NFC）或其他技术实现。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图11中示出的结构，仅仅是与本公开的技术方案相关的部分的结构图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

又一方面，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述实施例所述的一种基于数字孪生的塔台飞行指挥仿真方法。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(read-only memory, ROM)、随机存取器(randomaccessmemory, RAM)、磁盘或光盘等。

应该指出，上述详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语均具有与本申请所属技术领域的普通技术人员的通常理解所相同的含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请所述的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式。此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在上面详细的说明中，参考了附图，附图形成本文的一部分。在附图中，类似的符号典型地确定类似的部件，除非上下文以其他方式指明。在详细的说明书、附图及权利要求书中所描述的图示说明的实施方案不意味是限制性的。在不脱离本文所呈现的主题的精神或范围下，其他实施方案可以被使用，并且可以作其他改变。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于数字孪生的塔台飞行指挥仿真方法，其特征在于，所述方法包括：

获取机场实时影像数据，并将所述机场实时影像数据孪生至虚拟机场模型以建立虚拟机场环境；

从所述机场实时影像数据中识别得到航空器基本信息，并融合所述航空器基本信息、飞行计划信息、预设航迹信息和气象信息至所述虚拟机场模型以建立虚拟机场数字环境；

将机场塔台的实时航迹信息孪生至所述虚拟机场模型中，并将所述实时航迹信息与所述虚拟机场模型中的模拟航空器联动，以展现所述机场塔台的实时飞行动态；

对管制员与飞行员的实时地空通话信息进行语音识别并同步孪生至所述虚拟机场模型中，以教学观摩模式展示飞行和指挥过程；

响应于管制员的模拟飞行指令，所述模拟航空器进行模拟飞行并生成模拟飞行报告信息，并将所述模拟飞行报告信息合成为模拟飞行员语音以指挥训练模式进行虚实结合指挥训练。

2.如权利要求1所述的基于数字孪生的塔台飞行指挥仿真方法，其特征在于，所述获取机场实时影像数据，并将所述机场实时影像数据孪生至虚拟机场模型以建立虚拟机场环境，包括：

实时引接机场中多个摄像头采集的视频信息；

从所述视频信息中识别出多个机场环境；

依据所述多个摄像头的数量和位置、所述多个机场环境以及所述视频信息的质量对所述视频信息进行拼接融合，以形成所述机场实时影像数据；

将所述机场实时影像数据孪生至所述虚拟机场模型以建立所述虚拟机场环境。

3.如权利要求2所述的基于数字孪生的塔台飞行指挥仿真方法，其特征在于，所述机场环境包括停机位、滑行道、联络道、跑道、迫降带和机场塔台；所述航空器基本信息包括机号、航向、灯光信息、滑行速度和起落架状态。

4.如权利要求1所述的基于数字孪生的塔台飞行指挥仿真方法，其特征在于，所述将机场塔台的实时航迹信息孪生至所述虚拟机场模型中，包括：

引接所述机场塔台获得的所述实时航迹信息；

对所述实时航迹信息进行解析得到解析数据信息；

将所述解析数据信息与所述飞行计划信息进行配对后孪生至所述虚拟机场模型中。

5.如权利要求4所述的基于数字孪生的塔台飞行指挥仿真方法，其特征在于，所述将机场塔台的实时航迹信息孪生至所述虚拟机场模型中，并将所述实时航迹信息与所述虚拟机场模型中的模拟航空器联动，以展现所述机场塔台的实时飞行动态，包括：

将所述实时航迹信息孪生至二维目标显示终端；

将所述实时航迹信息与所述虚拟机场模型中的模拟航空器的三维模型关联，以将所述机场塔台的实时飞行动态孪生至所述虚拟机场模型中。

6.如权利要求1所述的基于数字孪生的塔台飞行指挥仿真方法，其特征在于，所述语音识别包括训练阶段和识别阶段，所述训练阶段是通过训练大量塔台飞行管制用语获取管制语音识别参考模式库；所述识别阶段是通过训练管制员的管制指令语音形成测试模式库，通过比较所述测试模式库和所述管制语音识别参考模式库得到相似度结果，并根据所述相似度结果识别得到管制指令语意信息。

7.如权利要求1所述的基于数字孪生的塔台飞行指挥仿真方法，其特征在于，所述将所述模拟飞行报告信息合成为模拟飞行员语音，包括：

分析所述模拟飞行报告信息的内容确定多个索引，其中，预先定义每个空管用语的索引；

根据所述多个索引从多个语音库中获取相应的多个语音，其中，预先建立每个索引对应的语音库，每个索引支持标准普通话中文和英文两种方式；

按顺序把所述多个语音进行拼接形成所述模拟飞行员语音。

8.一种基于数字孪生的塔台飞行指挥仿真系统，其特征在于，所述系统包括：

机场环境构建模块，用于获取机场实时影像数据，并将所述机场实时影像数据孪生至虚拟机场模型以建立虚拟机场环境；

数字环境构建模块，用于从所述机场实时影像数据中识别得到航空器基本信息，并融合所述航空器基本信息、飞行计划信息、预设航迹信息和气象信息至所述虚拟机场模型以建立虚拟机场数字环境；

联动模块，用于将机场塔台的实时航迹信息孪生至所述虚拟机场模型中，并将所述实时航迹信息与所述虚拟机场模型中的模拟航空器联动，以展现所述机场塔台的实时飞行动态；

教学训练模块，用于对管制员与飞行员的实时地空通话信息进行语音识别并同步孪生至所述虚拟机场模型中以教学观摩模式展示飞行和指挥过程；

指挥训练模块，用于响应于管制员的模拟飞行指令，所述模拟航空器进行模拟飞行并生成模拟飞行报告信息，并将所述模拟飞行报告信息合成为模拟飞行员语音以指挥训练模式进行虚实结合指挥训练。

9.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现如权利要求1-7任一项所述的一种基于数字孪生的塔台飞行指挥仿真方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的一种基于数字孪生的塔台飞行指挥仿真方法。

Images