CN113409787A - 一种基于人工智能技术的民航管制语音识别系统 - Google Patents
一种基于人工智能技术的民航管制语音识别系统 Download PDFInfo
- Publication number
- CN113409787A CN113409787A CN202110772358.6A CN202110772358A CN113409787A CN 113409787 A CN113409787 A CN 113409787A CN 202110772358 A CN202110772358 A CN 202110772358A CN 113409787 A CN113409787 A CN 113409787A
- Authority
- CN
- China
- Prior art keywords
- control
- voice
- module
- instruction
- voice recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 15
- 238000005516 engineering process Methods 0.000 title claims abstract description 12
- 238000012937 correction Methods 0.000 claims abstract description 10
- 230000011218 segmentation Effects 0.000 claims abstract description 9
- 238000011156 evaluation Methods 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 18
- 238000007689 inspection Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 5
- 230000001105 regulatory effect Effects 0.000 claims description 4
- 230000002265 prevention Effects 0.000 claims 1
- 238000012546 transfer Methods 0.000 claims 1
- 238000012549 training Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012550 audit Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013524 data verification Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010006 flight Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/16—Speech classification or search using artificial neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及基于人工智能技术的民航管制语音识别系统，其包括：音频切分模块，与所述音频切分模块连接的人工智能语音识别模块；与所述人工智能语音识别模块连接的语音指令修正模块；与所述人工智能语音识别模块连接的人工审核模块；与所述语音指令修正模块连接的语音意图识别模块；与所述语音意图识别模块连接的管制指令评估模块；本发明能基于识别结果，判断飞机的管制场景、管制意图以及复诵正确性，辅助管制指令校验，提高管制工作的安全性。
Description
技术领域
本发明涉及航空管理领域，具体涉及基于人工智能技术的民航管制语音识别系统。
背景技术
近年来民航业快速发展，每年都增加大量的飞机和航班，对航空安全及空管保障的要求更加严峻。当前中国的空中交通管制仍是以管制员主观决策为主的高强度脑力劳动，难免发生人为失误。据统计，人为差错占航空事故的80%，已经成为影响航空安全的重要原因。因此，有必要引入语音识别系统，实时发送与记录管制员和飞行员的指令和回复语音，从而减少理解歧义和遗忘等情况。
基于上述情况，面对现阶段航空业日益严重的空中交通堵塞与航班延误等现象以及管制保障的巨大压力，目前迫切需要通过智能化的辅助手段，以电脑协助人脑，以克服不利于管制安全运行的人为因素，依靠智能化系统帮对管制员发布的指令进行辅助校验，保障机场安全。
发明内容
为了解决上述现有技术存在的问题，本发明旨在提供一种空中交通管制智能化指挥系统，以在现有的空域环境中，实现航空器的自动管制，降低人为因素造成不安全事件发生的概率。
本发明所述的基于人工智能技术的民航管制语音识别系统，其特征在于，该系统包括：
音频切分模块：其接收并根据外部输入的管制语音数据，分析、切分成便于人工智能识别模块处理的子数据。
与所述音频切分模块连接的人工智能语音识别模块：其接收由音频切分模块处理生成的子数据，通过对子数据的逐个解析，完成对管制指令的识别。
与所述人工智能语音识别模块连接的语音指令修正模块：其接收已经完成识别处理的管制指令，结合外部接收到的数据信息对指令进行修正。
与所述人工智能语音识别模块连接的人工审核模块：对接收到的系统无法识别的管制指令进行人工介入，人工对管制指令进行审核。
与所述语音指令修正模块连接的语音意图识别模块：根据管制语音内容判断其当前所处的管制场景，并推断其接下来可能的管制意图。
与所述语音意图识别模块连接的管制指令评估模块：其对生成的管制意图结果数据进行评估校验，确定管制指令的正确性。
根据权利要求1所述的管制语音数据，其特征在于，所述语音数据包括：人工录入的语音数据以及塔台实时采集的语音信号数据。
由于采用了上述的技术解决方案，本发明通过人工智能语音识别技术、语音修正技术应用在民航空管指挥系统中，在管制指令发出时进行即时检查，以便在机组进行操作之前就阻止跑道侵入发生，指令检查包括跑道指令检查、指令安全检查、脱波检查、误领指令检查等。其次本发明可以精确的识别解析管制指令，对管制过程的品质进行量化，提升空管管制运行品质。因此，可以通过对这些管制指令进行统计分析以实现对于管制品质的量化评价。通过对通话质量分析、指令意图分析、解冲突指令分析综合分析后，降低人为因素造成不安全事件发生的概率。
附图说明
图1是本发明基于人工智能技术的民航管制语音识别系统的结构示意图。
具体实施方式
下面结合附图，给出本发明的较佳实施例，并予以详细描述。
如图1所示，本发明，即基于人工智能技术的民航管制语音识别系统，其包括：音频切分模块1、人工智能语音识别模块2、语音指令修正模块3、人工审核模块4、语音意图识别模块5以及管制指令评估模块6。
音频切分模块1用于接收外部输入的管制语音数据，分析、切分成便于人工智能识别模块处理的子数据，外部输入的管制语音数据包括：人工录制的语音数据以及塔台实时采集的语音信号数据。
音频切分模块1在接收到上述管制语音数据后，需要对这些数据进行切分处理，通过对输入的音频进行解析，通过每帧采样点以及每秒采样率来确定音频帧的帧长度。确定帧长度之后，通过相关算法对音频数据进行数据保护以及精准切分。最终输出可用于逐个解析的音频子数据。
人工智能语音识别模块2接收由音频切分模块处理生成的子数据，通过对子数据的逐个解析拼合，完成对管制指令的识别。具体来说：
人工智能语音识别模块是整个语音识别系统的核心，负责识别语音并将其转化为文字序列。在识别过程中，语音作为数据输入，从音频形式转换为语谱图的形式传入引擎。数据首先经过语音特征提取模块，该模块由多层卷积神经网络组成，可以提取不同层次的音频特征，同时大幅压缩数据和参数量，提高训练效率并防止参数过拟合。随后，数据进入序列学习模块，该模块由四层双向门控循环单元组成，具有模拟人类记忆系统的功能，能够控制不同时刻状态信息的记忆与遗忘程度，从而实现语言序列的学习。最后，数据进入三层全连接层进行分类学习与决策，并由连接时序分类（CTC）模块计算得到概率最大的一条输出序列，即语音的识别结果。
由于语音数据集大，训练时间长，因此使用GPU集群进行训练，在一周时间内即可训练得到初步可用的语音识别模型。随着GPU数量的增加还可以进一步大幅缩减训练时间。该模块还可以在工作过程中进行增量训练，不断优化模型，提高识别准确率。
语音指令修正模块3接收已经完成识别处理的管制指令，结合外部接收到的数据信息对指令进行修正。具体来说：
语音指令修正模块在接收到已经初步处理完成的指令后将会根据外部系统获取到的航班相关信息（包括航空器的机型、航班号、二次代码、起飞机场、落地机场、起飞时刻、航班状态信息、飞行高度），通过比对指令中所述的航班信息与实际系统中的航班信息计划、状态是否匹配来对人工智能语音识别模块生成的初步识别结果做数据校验，当发现识别到的指令与实际情况不符的情况时，会根据实际数据对识别结果进行修正。
人工审核模块4接收到的系统无法识别的管制指令进行人工介入，人工对管制指令进行审核。具体来说：
管制指令的规范十分繁琐，标准说法有很多需要注意的地方，各个地区也有不同的标准要求。因此，即使是专业的管制人员也很难做好每一条规则。该模块会对多种不规范的用语习惯，包括过于口语化的指令、关键字顺序不当的用语、复诵不完整等情况进行识别，也会实时通过对平静时间的强度进行分析，进而实现对噪音强度的检测。当发生人工智能语音识别模块无法正常进行初步语音识别的情况时，可以通过人工介入的方法进行人工识别，以保证语音识别的正确率。
语音意图识别模块5根据管制语音内容判断其当前所处的管制场景，并推断其接下来可能的管制意图。具体来说：
飞机在空域飞行过程中有着严格的飞行流程和对话规范，因此可以根据管制语音内容判断其当前所处的管制场景，并推断其接下来可能的管制意图。据此可以建立场景推理子系统，其核心在于建立完备的空管管制场景库。管制场景库的格式为树形结构，每个节点为可能的对话。如在飞机的“修改高度”场景中，固定对话格式为：“管制员：南方3547，上高度拐八保持。机组：上高度拐八保持，南方3547。”在这个例子中，“修改高度”的对话模式相对固定，可以作为一个树结构管制场景库中的一个结点。通过对话的术语可以确定航班当前所处的场景，比如航班正在滑行、进出机位，管制进行频率移交或者应答机识别。有的场景根据实际情况存在若干种不同的对话，在场景库中表现为若干个并列的结点，并根据统计结果给定每个并列结点相应的概率。在使用过程中，将管制语音识别结果在管制场景库中进行搜索与计算，不仅可以获得当前的管制场景，还可以预测下一阶段的管制意图。
管制指令评估模块6对生成的管制意图结果数据进行评估校验，确定管制指令的正确性。具体来说：
管制指令评估模块主要是将最终生成的意图结果数据与实际情况进行对比来评估当前管制指令是否正确。目前管制指令偏差导致的人为失误大致可分为五类：跑道防侵入、指令安全检查、脱波检查、误领指令检查和疲劳告警功能。
以上所述的，仅为本发明的较佳实施例，并非用以限定本发明的范围，本发明的上述实施例还可以做出各种变化。即凡是依据本发明申请的权利要求书及说明书内容所作的简单、等效变化与修饰，皆落入本发明专利的权利要求保护范围。本发明未详尽描述的均为常规技术内容。
Claims (5)
1.基于人工智能技术的民航管制语音识别系统，其特征在于，该系统包括：
音频切分模块：其接收并根据外部输入的管制语音数据，分析、切分成便于人工智能识别模块处理的子数据；
与所述音频切分模块连接的人工智能语音识别模块：其接收由音频切分模块处理生成的子数据，通过对子数据的逐个解析，完成对管制指令的识别；
与所述人工智能语音识别模块连接的语音指令修正模块：其接收已经完成识别处理的管制指令，结合外部接收到的数据信息对指令进行修正；
与所述人工智能语音识别模块连接的人工审核模块：对接收到的系统无法识别的管制指令进行人工介入，人工对管制指令进行审核；
与所述语音指令修正模块连接的语音意图识别模块：根据管制语音内容判断其当前所处的管制场景，并推断其接下来可能的管制意图；
与所述语音意图识别模块连接的管制指令评估模块：其对生成的管制意图结果数据进行评估校验，确定管制指令的正确性。
2.根据权利要求1所述的民航管制语音识别系统，其特征在于，所述语音数据包括：人工录入的语音数据以及塔台实时采集的语音信号数据。
3.根据权利要求1所述的一种基于人工智能技术的民航管制语音识别系统，其特征在于，所述管制意图包括：滑行、进出机位、频率移交、应答机识别。
4.根据权利要求1所述的一种基于人工智能技术的民航管制语音识别系统，其特征在于，所述管制指令评估包括：跑道防侵入、指令安全检查、脱波检查、误领指令检查、疲劳告警检查。
5.根据权利要求1所述的一种基于人工智能技术的民航管制语音识别系统，其特征在于，所述外部接收到的数据信息包括：航空器的机型、航班号、二次代码、起飞机场、落地机场、起飞时刻、航班状态信息、飞行高度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110772358.6A CN113409787A (zh) | 2021-07-08 | 2021-07-08 | 一种基于人工智能技术的民航管制语音识别系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110772358.6A CN113409787A (zh) | 2021-07-08 | 2021-07-08 | 一种基于人工智能技术的民航管制语音识别系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113409787A true CN113409787A (zh) | 2021-09-17 |
Family
ID=77685567
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110772358.6A Pending CN113409787A (zh) | 2021-07-08 | 2021-07-08 | 一种基于人工智能技术的民航管制语音识别系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113409787A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113948091A (zh) * | 2021-12-20 | 2022-01-18 | 山东贝宁电子科技开发有限公司 | 民航客机陆空通话语音识别引擎及其应用方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101916565A (zh) * | 2010-06-24 | 2010-12-15 | 北京华安天诚科技有限公司 | 空管系统中的语音识别方法及语音识别装置 |
| CN106875948A (zh) * | 2017-02-22 | 2017-06-20 | 中国电子科技集团公司第二十八研究所 | 一种基于管制语音的冲突告警方法 |
| CN109697765A (zh) * | 2017-10-23 | 2019-04-30 | 霍尼韦尔国际公司 | 用于监视与空中交通管制指令的依从性的系统和方法 |
| CN110415683A (zh) * | 2019-07-10 | 2019-11-05 | 上海麦图信息科技有限公司 | 一种基于深度学习的空中管制语音指令识别方法 |
| CN110428830A (zh) * | 2019-07-17 | 2019-11-08 | 上海麦图信息科技有限公司 | 一种基于正则表达式的空管指令意图识别方法 |
| CN111243591A (zh) * | 2020-02-25 | 2020-06-05 | 上海麦图信息科技有限公司 | 一种引入外部数据校正的空中管制语音识别方法 |
| CN111667830A (zh) * | 2020-06-08 | 2020-09-15 | 中国民航大学 | 基于管制员指令语义识别的机场管制决策支持系统及方法 |
| CN112397071A (zh) * | 2020-09-22 | 2021-02-23 | 南京莱斯信息技术股份有限公司 | 一种基于管制语音识别的进近及跑道运行风险预警方法 |
-
2021
- 2021-07-08 CN CN202110772358.6A patent/CN113409787A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101916565A (zh) * | 2010-06-24 | 2010-12-15 | 北京华安天诚科技有限公司 | 空管系统中的语音识别方法及语音识别装置 |
| CN106875948A (zh) * | 2017-02-22 | 2017-06-20 | 中国电子科技集团公司第二十八研究所 | 一种基于管制语音的冲突告警方法 |
| CN109697765A (zh) * | 2017-10-23 | 2019-04-30 | 霍尼韦尔国际公司 | 用于监视与空中交通管制指令的依从性的系统和方法 |
| CN110415683A (zh) * | 2019-07-10 | 2019-11-05 | 上海麦图信息科技有限公司 | 一种基于深度学习的空中管制语音指令识别方法 |
| CN110428830A (zh) * | 2019-07-17 | 2019-11-08 | 上海麦图信息科技有限公司 | 一种基于正则表达式的空管指令意图识别方法 |
| CN111243591A (zh) * | 2020-02-25 | 2020-06-05 | 上海麦图信息科技有限公司 | 一种引入外部数据校正的空中管制语音识别方法 |
| CN111667830A (zh) * | 2020-06-08 | 2020-09-15 | 中国民航大学 | 基于管制员指令语义识别的机场管制决策支持系统及方法 |
| CN112397071A (zh) * | 2020-09-22 | 2021-02-23 | 南京莱斯信息技术股份有限公司 | 一种基于管制语音识别的进近及跑道运行风险预警方法 |
Non-Patent Citations (1)
| Title |
|---|
| 田军等: ""管制指令语音识别技术应用之我见"", 《民航管理》, no. 4, pages 84 - 86 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113948091A (zh) * | 2021-12-20 | 2022-01-18 | 山东贝宁电子科技开发有限公司 | 民航客机陆空通话语音识别引擎及其应用方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Helmke et al. | Reducing controller workload with automatic speech recognition | |
| CN111667830B (zh) | 基于管制员指令语义识别的机场管制决策支持系统及方法 | |
| CN106910376B (zh) | 一种空中交通运行管制指令监控方法与系统 | |
| CN111667831B (zh) | 基于管制员指令语义识别的飞机地面引导系统及方法 | |
| CN111627257B (zh) | 基于航空器运动趋势预判的管制指令安全预演与校验方法 | |
| CN110428830B (zh) | 一种基于正则表达式的空管指令意图识别方法 | |
| US11508254B2 (en) | Training and/or assistance platform for air management via air traffic management electronic system, associated method | |
| CN113409787A (zh) | 一种基于人工智能技术的民航管制语音识别系统 | |
| CN114049893A (zh) | 一种基于空管语音识别的管制员违规操作监控与分析方法 | |
| CN110232121B (zh) | 一种基于语义网的管制指令分类方法 | |
| CN115470796A (zh) | 一种面向空管模拟培训的文本指令生成方法及设备 | |
| CN115064009A (zh) | 一种终端区无人机与有人机冲突风险等级划分方法 | |
| Chen et al. | Automatic pilot report extraction from radio communications | |
| Bashatah et al. | A model-based approach for the qualification of standard operating procedures | |
| CN111199073B (zh) | 一种基于功能的任务失效分析方法 | |
| CN112948161B (zh) | 一种基于深度学习的航空报文纠错修正方法及系统 | |
| CN113948091A (zh) | 民航客机陆空通话语音识别引擎及其应用方法 | |
| Zhou et al. | Data-driven traffic dynamic understanding and safety monitoring applications | |
| CN114003697A (zh) | 飞行状态识别系统及方法 | |
| CN114187893A (zh) | 空管语音智能监控方法和系统 | |
| CN109032950B (zh) | 一种tcasii机载防撞系统实际飞行场景标准用例生成、转换及标准性验证方法与系统 | |
| CN113095624A (zh) | 一种民航机场不安全事件分类方法及系统 | |
| CN111721480A (zh) | 一种基于飞行数据的民机机组氧气系统渗漏预警方法 | |
| CN117194982B (zh) | 民航客机着陆载荷风险预警方法、系统及电子设备 | |
| CN115511010B (zh) | 一种基于飞机着陆过程的飞行员驾驶风格分类方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |