CN111667831B - 基于管制员指令语义识别的飞机地面引导系统及方法 - Google Patents

Abstract

一种基于管制员指令语义识别的飞机地面引导系统及方法。系统包括语义识别模块、路径生成及GIS映射模块和飞机引导终端模块；本发明优点：可有效杜绝在管制调度过程中因人为因素而造成的事故及其事故征候，大大提高飞机地面运行安全。无需人工操作航空器引导车，可大幅度降低建设成本、改造成本、维护成本和运营成本。适用于机场管制需求，形成高可靠、低故障、经济实用的机场管制决策支持系统和机场飞行区内飞机地面引导系统，实现飞机地面运行安全性的提升。

Description

基于管制员指令语义识别的飞机地面引导系统及方法

技术领域

本发明属于机场管理技术领域，尤其涉及一种基于管制员指令语义识别的飞机地面引导系统及方法。

背景技术

目前，全球民航正处于高速发展阶段，近20年来，最繁忙的国际机场航班数已经翻了一倍，而机场跑道和滑行道数量却没有相应增加，因此各个国家的大型机场特别是枢纽机场将长期处于高负荷的运行状态，这将产生机场运行的众多问题，尤其增加了机场对飞机地面滑行引导的压力。飞机在机场滑行区和跑道行驶时，一般采用航空器引导车或者是高级场面活动引导控制系统对飞机进行地面引导，前者为在飞机起飞前和降落后利用航空器引导车对飞机在机场地面滑行进行引导，规定引导车和航空器之间的间隔不应该超过50米；而后者的高级场面活动引导控制系统是一个通过监视、路由计划和引导功能实现对场面飞机管制或控制的综合集成系统。但这两种方法的缺点是人力物力投入大，前者受人为因素及天气因素影响很大；后者建设或者改造时，资金投入太大，尤其是在现有机场，需要对助航灯进行改造，施工难度较大。所以，这两种引导方法在实用性和经济性方面都有欠缺。另外，机场越繁忙，对管制员和航空器调度的要求也愈大，所以管制员和特种车辆驾驶员也愈加地忙碌，相应地也增加了管制员以及相关调度人员的出错率。

发明内容

为了解决上述问题，本发明的目的在于提供一种基于管制员指令语义识别的飞机地面引导系统及方法。

为了达到上述目的，本发明提供的基于管制员指令语义识别的飞机地面引导系统包括语义识别模块、路径生成及GIS映射模块和飞机引导终端模块；其中语义识别模块用于采集机场管制席位上的管制员指令和飞行员语音并进行要素信息提取；路径生成及GIS映射模块依据语义识别结果，将管制员指令转换成飞机滑行路径并映射到机场地理信息系统上，进行管制员指令安全性验证后生成与飞机地面运行相关的飞机地面滑行路径图；飞机引导终端模块将飞机的实时位置与既定的滑行路径图展示给飞行员，并提供机场飞行区道面实景基础上的AR飞机引导。

本发明提供的基于管制员指令语义识别的飞机地面引导方法包括按顺序进行的下列步骤：

(1)构建面向机场安全运行的管制员专用语音库；

基于机场管制工作流程、飞行区相关运行管理标准、管制员指令信息内容、管制员标准用语手册《空中交通无线电通话用语》，并通过采用机场中管制员与飞行员陆空通话记录备份、使用甚高频通信设备或塔台语音接入设备收集管制员与飞行员语音对话信息和《空中交通无线电通话用语》语音文件三种方式获得语音数据和发音文本，再对上述管制员和飞行员的发音文本进行切分并对语音数据进行音段标注和韵律标注，形成符合机场管制标准用语的标注语音文件构成的数据集，最终构建成面向机场安全运行的管制员专用语音库；

(2)利用语义识别模块基于上述管制员专用语音库对管制员和飞行员双方的语音对话进行采集；

基于管制员专用语音库，分别对放行席、地面席、塔台席在内的席位的管制员指令以及飞行员语音进行采集，然后基于智能学习方法对上述语音进行训练，以实现对不同席位的专用术语语音的精准识别；

(3)对上述采集的语音对话进行噪声处理和语音识别；

对上述采集的语音对话中的甚高频通讯噪声和机场背景高噪声进行滤波，并加入放大器来提高信噪比；方法是提取出噪声的频谱，然后将含噪语音根据噪声的频谱做一个反向的补偿运算，从而得到降噪后的语音对话；

然后对上述降噪后的语音对话进行语音识别，并得到识别后的文本；

(4)对上述语音识别后的语音对话进行语义识别；

在对管制员和飞行员语音识别的基础上，从管制员指令中提取出航班号、推出信息、路径信息、关键位置点、起始点、时序在内的要素信息，关联分析多要素并结合机场飞行区构型，利用词语解析、信息抽取、时间因果、情绪判断在内的技术手段对上述语音识别后的语音对话进行多次语义识别而获得语义识别信息，为飞机地面滑行引导提供保证；

(5)依据上述语义识别信息，利用路径生成及GIS映射模块验证管制员指令的安全性，并生成飞机地面滑行路径图；

将上述语义识别信息映射到机场地理信息系统中，仿真推演飞机按照管制员指令在机场地面滑行的路径和过程，接收基于管制员指令语义识别的飞机地面滑行路径信息，验证管制员指令的安全性，并将该信息以出现飞机冲突事件的概率反馈给管制员，并生成与飞机地面运行相关的飞机地面滑行路径图；

(6)由飞机引导终端模块将GPS、机场基站、机场飞行区特定位置标志物信息相结合而获得飞机实时位置；

由飞机引导终端模块将基站定位、GPS、机场飞行区特定位置标志物信息结合在一起，进一步提高定位精度，达到实时定位的要求；

(7)实时采集飞机前端视角图像并识别机场飞行区特定位置标志物：

实时采集飞机前端视角图像，对机场飞行区特定位置标志物进行识别，当上述飞机前端视角图像与飞机引导终端模块中的模版匹配成功时，根据模版与飞机前端视角图像之间的变换矩阵计算出飞机与机场飞行区特定位置标志物之间的距离，辅助飞机定位并形成载有飞机地面引导信息的虚拟图像；

(8)在获得飞机实时位置和机场飞行区特定位置标志物识别的基础上进行AR导航：

在形成虚拟图像的同时，接收实时采集的飞机前端视角图像；将虚拟图像渲染，并增强显示在实时采集的飞机前端视角图像上，构成AR的现实图像；通过实时采集的飞机前端视角图像和载有飞机地面引导信息的虚拟图像的叠加，构成供飞行员观察的飞机地面引导显示图像，达到在机场飞行区道面实景进行导航的目的；最后将飞机的实时位置与上述飞机地面滑行路径图展示给飞机驾驶舱内的飞行员，并提供语音提示，以更加形象的方式进行飞机地面滑行引导。

所述语义识别模块工作步骤具体为：

首先对降噪后的语音对话信号进行预处理并基于神经网络提取出其中的特征参数，然后利用上述特征参数对声学模型、语言模型和字典进行训练和识别，将特征参数与已经训练好的声学模型、语言模型和字典进行比较，通过规则计算出相应概率，选择与特征参数最大概率匹配的结果，得到语音识别的文本，最后从语音识别的文本中提取出航班号、推出信息、路径信息、关键位置点、起始点、时序在内的要素信息，关联分析多要素并结合机场飞行区构型，利用词语解析、信息抽取、时间因果、情绪判断在内的技术手段对上述语音识别后的语音对话进行多次语义识别而获得语义识别信息，为飞机地面滑行引导提供保证。

所述训练是指获得模型参数，并对语音识别模型中的机场管制标准用语识别能力进行评估，与管制员专用语音库进行匹配，对与机场管制标准用语拟合能力和泛化能力进行优化；

所述识别是一个遍历管制员专用语音库的过程；

所述声学模型表示基于神经网络搭建的一种语言的发音，能够通过训练来识别管制员的语音模型和所处塔台环境的特征；

所述语言模型是对管制员专用语音库单词规则化的概率模型；

所述字典中含有大量的民航业管制领域中特有的专业名词及发音规则。

本发明与现有方法相比的优点在于：

1.本发明针对空中交通管制过程中管制员以及相关调度人员的“错、忘、漏”人为因素隐患，对管制员指令进行安全性验证，可有效杜绝在管制调度过程中因人为因素而造成的事故及其事故征候，大大提高飞机地面运行安全。

2.此引导系统无需人工操作航空器引导车，不会出现人为因素引发的引导飞机停错机位或漏引导的情况。此引导系统无需借助助航灯进行引导，不会受助航灯故障影响。本发明不需要对现有机场飞行区尤其是跑道进行大规模改造，且不涉及到航空器引导车和助航灯，可大幅度降低建设成本、改造成本、维护成本和运营成本。

3.本发明利用机场地理信息系统生成的飞机地面滑行路径，通过GPS、机场基站、机场飞行区特定位置标志物识别相结合的方式来保证飞机导航系统的精度。通过显示终端，将飞机的实时位置与既定的滑行路径展示给飞行员，并提供机场飞行区道面实景基础上的AR飞机引导，保证了系统的实用性的同时提高了飞机引导的效率。

4.本发明适用于机场管制需求，形成高可靠、低故障、经济实用的机场管制决策支持系统和机场飞行区内飞机地面引导系统，实现飞机地面运行安全性的提升。

附图说明

图1为本发明提供的基于管制员指令语义识别的飞机地面引导方法流程图

具体实施方式

下面对本发明进行进一步详细说明：

本发明提供的基于管制员指令语义识别的飞机地面引导系统包括语义识别模块、路径生成及GIS映射模块和飞机引导终端模块；其中语义识别模块用于采集机场管制席位上的管制员指令和飞行员语音并进行要素信息提取；路径生成及GIS映射模块依据语义识别结果，将管制员指令转换成飞机滑行路径并映射到机场地理信息系统上，进行管制员指令安全性验证后生成与飞机地面运行相关的飞机地面滑行路径图；飞机引导终端模块将飞机的实时位置与既定的滑行路径图展示给飞行员，并提供机场飞行区道面实景基础上的AR飞机引导。

如图1所示，本发明提供的采用上述基于管制员指令语义识别的飞机地面引导系统的飞机地面引导方法包括按顺序进行的下列步骤：

(1)构建面向机场安全运行的管制员专用语音库；

构建面向机场安全运行的管制员专用语音库是为了全面反映出民航管制领域特有的声学特性和为建立语音模型提供完备的数据集。基于机场管制工作流程、飞行区相关运行管理标准、管制员指令信息内容、管制员标准用语手册《空中交通无线电通话用语》，并通过采用机场中管制员与飞行员陆空通话记录备份、使用甚高频通信设备或塔台语音接入设备收集管制员与飞行员语音对话信息和《空中交通无线电通话用语》语音文件三种方式获得语音数据和发音文本，再对上述管制员和飞行员的发音文本进行切分并对语音数据进行音段标注和韵律标注，形成符合机场管制标准用语的标注语音文件构成的数据集，最终构建成面向机场安全运行的管制员专用语音库。

(2)利用语义识别模块基于上述管制员专用语音库对管制员和飞行员双方的语音对话进行采集；

基于由《空中交通无线电通话用语》中管制员和飞行员语音对话信息作为基本语素而构建的面向机场安全运行的管制员专用语音库，分别对放行席、地面席、塔台席在内的席位的管制员指令以及飞行员语音进行采集，然后基于智能学习方法对上述语音进行训练，以实现对不同席位的专用术语语音的精准识别。

(3)对上述采集的语音对话进行噪声处理和语音识别；

由于在机场采集到的语音通常会夹杂一定强度的背景音，这些背景音一般是甚高频通讯噪声和机场背景高噪声噪音，当背景噪音强度较大时，会对后续的语音识别效果产生明显的影响。因此对上述采集的语音对话中的甚高频通讯噪声和机场背景高噪声进行滤波，以减少噪声干扰，并加入放大器来提高信噪比。方法是提取出噪声的频谱，然后将含噪语音根据噪声的频谱做一个反向的补偿运算，从而得到降噪后的语音对话。

然后对上述降噪后的语音对话进行语音识别，并得到识别后的文本。所述语义识别模块工作步骤具体为：

首先对降噪后的语音对话信号进行预处理并基于神经网络提取出其中的特征参数，然后利用上述特征参数对声学模型、语言模型和字典进行训练和识别，最后将特征参数与已经训练好的声学模型、语言模型和字典进行比较，通过规则计算出相应概率，选择与特征参数最大概率匹配的结果，得到语音识别的文本。

所述训练是指获得模型参数，并对语义识别模型中的机场管制标准用语识别能力进行评估，与管制员专用语音库进行匹配，对与机场管制标准用语拟合能力和泛化能力进行优化；

所述识别是一个遍历管制员专用语音库的过程；

所述声学模型表示基于神经网络搭建的一种语言的发音，能够通过训练来识别管制员的语音模型和所处塔台环境的特征；

所述语言模型是对管制员专用语音库单词规则化的概率模型；

所述字典中含有大量的民航业管制领域中特有的专业名词及发音规则。

(4)对上述语音识别后的语音对话进行语义识别；

在对管制员和飞行员语音识别的基础上，从管制员指令中提取出航班号、推出信息、路径信息、关键位置点、起始点、时序在内的要素信息，关联分析多要素并结合机场飞行区构型，利用词语解析、信息抽取、时间因果、情绪判断在内的技术手段对上述语音识别后的语音对话进行语义识别而获得语义识别信息，为飞机地面滑行引导提供保证。为了提高语义识别的准确度，需要对语音识别后的语音对话进行多次语义识别并获取大量的语音数据，用这些数据不断训练语义识别模块中的模型；

(5)依据上述语义识别信息，利用路径生成及GIS映射模块验证管制员指令的安全性，并生成飞机地面滑行路径图；

将上述语义识别信息映射到机场地理信息系统中，仿真推演飞机按照管制员指令在机场地面滑行的路径和过程，接收基于管制员指令语义识别的飞机地面滑行路径信息，验证管制员指令的安全性，并将该信息以出现飞机冲突事件的概率反馈给管制员，并生成与飞机地面运行相关的飞机地面滑行路径图；

(6)由飞机引导终端模块将GPS、机场基站、机场飞行区特定位置标志物信息相结合而获得飞机实时位置；

由于全球定位系统对卫星的依赖较强，导致盲区很多。而基站定位的方法可通过基站直接采集数据，在网络的覆盖区均无盲区。所以由飞机引导终端模块将基站定位、GPS、机场飞行区特定位置标志物信息结合在一起，可进一步提高定位精度，达到实时定位的要求。

(7)实时采集飞机前端视角图像并识别机场飞行区特定位置标志物：

实时采集飞机前端视角图像，对机场飞行区特定位置标志物进行识别，当上述飞机前端视角图像与飞机引导终端模块中的模版匹配成功时，根据模版与飞机前端视角图像之间的变换矩阵计算出飞机与机场飞行区特定位置标志物之间的距离，辅助飞机定位并形成载有飞机地面引导信息的虚拟图像。

(8)在获得的飞机实时位置和机场飞行区特定位置标志物识别的基础上进行AR导航：

在形成虚拟图像的同时，接收实时采集的飞机前端视角图像；将虚拟图像渲染，并增强显示在实时采集的飞机前端视角图像上，构成AR的现实图像；通过实时采集的飞机前端视角图像和载有飞机地面引导信息的虚拟图像的叠加，构成供飞行员观察的飞机地面引导显示图像，达到在机场飞行区道面实景进行导航的目的；最后将飞机的实时位置与上述飞机地面滑行路径图展示给飞机驾驶舱内的飞行员，并提供语音提示，以更加形象的方式进行飞机地面滑行引导。

本发明针对航空管制特有的语音发音，构建符合机场管制标准用语的专门语音库，实现对管制员的专用术语的语音识别，在语音识别的基础上，从管制员指令中提取航班号、推出信息、路径信息、关键位置点、起始点、时序等要素信息，关联分析多要素并结合机场飞行区构型，进行语义识别，将其映射到机场地理信息系统系统上，生成与飞机地面运行相关的飞机地面滑行路径图，通过显示终端，将飞机的实时位置与既定的飞机地面滑行路径图展示给飞行员，并提供语音提示，在机场飞行区道面实景的基础上进行AR导航。

本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (3)

1.一种基于管制员指令语义识别的飞机地面引导系统的飞机地面引导方法，所述的飞机地面引导系统包括语义识别模块、路径生成及GIS映射模块和飞机引导终端模块；其中语义识别模块用于采集机场管制席位上的管制员指令和飞行员语音并进行要素信息提取；路径生成及GIS映射模块依据语义识别结果，将管制员指令转换成飞机滑行路径并映射到机场地理信息系统上，进行管制员指令安全性验证后生成与飞机地面运行相关的飞机地面滑行路径图；飞机引导终端模块将飞机的实时位置与既定的滑行路径图展示给飞行员，并提供机场飞行区道面实景基础上的AR飞机引导；

其特征在于：所述的飞机地面引导方法包括按顺序进行的下列步骤：

(1)构建面向机场安全运行的管制员专用语音库；

基于机场管制工作流程、飞行区相关运行管理标准、管制员指令信息内容、管制员标准用语手册《空中交通无线电通话用语》，并通过采用机场中管制员与飞行员陆空通话记录备份、使用甚高频通信设备或塔台语音接入设备收集管制员与飞行员语音对话信息和《空中交通无线电通话用语》语音文件三种方式获得语音数据和发音文本，再对上述管制员和飞行员的发音文本进行切分并对语音数据进行音段标注和韵律标注，形成符合机场管制标准用语的标注语音文件构成的数据集，最终构建成面向机场安全运行的管制员专用语音库；

(2)利用语义识别模块基于上述管制员专用语音库对管制员和飞行员双方的语音对话进行采集；

基于管制员专用语音库，分别对放行席、地面席、塔台席在内的席位的管制员指令以及飞行员语音进行采集，然后基于智能学习方法对上述语音进行训练，以实现对不同席位的专用术语语音的精准识别；

(3)对上述采集的语音对话进行噪声处理和语音识别；

对上述采集的语音对话中的甚高频通讯噪声和机场背景高噪声进行滤波，并加入放大器来提高信噪比；方法是提取出噪声的频谱，然后将含噪语音根据噪声的频谱做一个反向的补偿运算，从而得到降噪后的语音对话；

然后对上述降噪后的语音对话进行语音识别，并得到识别后的文本；

(4)对上述语音识别后的语音对话进行语义识别；

在对管制员和飞行员语音识别的基础上，从管制员指令中提取出航班号、推出信息、路径信息、关键位置点、起始点、时序在内的要素信息，关联分析多要素并结合机场飞行区构型，利用词语解析、信息抽取、时间因果、情绪判断在内的技术手段对上述语音识别后的语音对话进行多次语义识别而获得语义识别信息，为飞机地面滑行引导提供保证；

(5)依据上述语义识别信息，利用路径生成及GIS映射模块验证管制员指令的安全性，并生成飞机地面滑行路径图；

将上述语义识别信息映射到机场地理信息系统中，仿真推演飞机按照管制员指令在机场地面滑行的路径和过程，接收基于管制员指令语义识别的飞机地面滑行路径信息，验证管制员指令的安全性，并将该信息以出现飞机冲突事件的概率反馈给管制员，并生成与飞机地面运行相关的飞机地面滑行路径图；

(6)由飞机引导终端模块将GPS、机场基站、机场飞行区特定位置标志物信息相结合而获得飞机实时位置；

由飞机引导终端模块将基站定位、GPS、机场飞行区特定位置标志物信息结合在一起，进一步提高定位精度，达到实时定位的要求；

(7)实时采集飞机前端视角图像并识别机场飞行区特定位置标志物：

实时采集飞机前端视角图像，对机场飞行区特定位置标志物进行识别，当上述飞机前端视角图像与飞机引导终端模块中的模版匹配成功时，根据模版与飞机前端视角图像之间的变换矩阵计算出飞机与机场飞行区特定位置标志物之间的距离，辅助飞机定位并形成载有飞机地面引导信息的虚拟图像；

(8)在获得飞机实时位置和机场飞行区特定位置标志物识别的基础上进行AR导航：

在形成虚拟图像的同时，接收实时采集的飞机前端视角图像；将虚拟图像渲染，并增强显示在实时采集的飞机前端视角图像上，构成AR的现实图像；通过实时采集的飞机前端视角图像和载有飞机地面引导信息的虚拟图像的叠加，构成供飞行员观察的飞机地面引导显示图像，达到在机场飞行区道面实景进行导航的目的；最后将飞机的实时位置与上述飞机地面滑行路径图展示给飞机驾驶舱内的飞行员，并提供语音提示，以更加形象的方式进行飞机地面滑行引导。

2.根据权利要求1所述的飞机地面引导方法，其特征在于：在步骤(3)中，所述语义识别模块工作步骤具体为：

首先对降噪后的语音对话信号进行预处理并基于神经网络提取出其中的特征参数，然后利用上述特征参数对声学模型、语言模型和字典进行训练和识别，将特征参数与已经训练好的声学模型、语言模型和字典进行比较，通过规则计算出相应概率，选择与特征参数最大概率匹配的结果，得到语音识别的文本，最后从语音识别的文本中提取出航班号、推出信息、路径信息、关键位置点、起始点、时序在内的要素信息，关联分析多要素并结合机场飞行区构型，利用词语解析、信息抽取、时间因果、情绪判断在内的技术手段对上述语音识别后的语音对话进行多次语义识别而获得语义识别信息，为飞机地面滑行引导提供保证。

3.根据权利要求2所述的飞机地面引导方法，其特征在于：所述训练是指获得模型参数，并对语音识别模型中的机场管制标准用语识别能力进行评估，与管制员专用语音库进行匹配，对与机场管制标准用语拟合能力和泛化能力进行优化；

所述识别是一个遍历管制员专用语音库的过程；

所述声学模型表示基于神经网络搭建的一种语言的发音，能够通过训练来识别管制员的语音模型和所处塔台环境的特征；

所述语言模型是对管制员专用语音库单词规则化的概率模型；

所述字典中含有大量的民航业管制领域中特有的专业名词及发音规则。

Images