CN117593924B - 一种基于场景复现的空管员培训方法及系统 - Google Patents
一种基于场景复现的空管员培训方法及系统 Download PDFInfo
- Publication number
- CN117593924B CN117593924B CN202410078854.5A CN202410078854A CN117593924B CN 117593924 B CN117593924 B CN 117593924B CN 202410078854 A CN202410078854 A CN 202410078854A CN 117593924 B CN117593924 B CN 117593924B
- Authority
- CN
- China
- Prior art keywords
- data
- voice
- sample data
- aircraft
- tower
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000003993 interaction Effects 0.000 claims abstract description 29
- 230000002452 interceptive effect Effects 0.000 claims abstract description 25
- 238000004088 simulation Methods 0.000 claims description 29
- 230000004044 response Effects 0.000 claims description 21
- 230000007613 environmental effect Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012351 Integrated analysis Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
- G09B5/14—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations with provision for individual teacher-student communication
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
- G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于场景复现的空管员培训方法及系统，方法包括：获取交互样本数据和环境样本数据；将交互样本数据拆解为塔台样本数据和飞机样本数据；提供环境样本数据，并展示环境样本数据；接收空管语音数据，并反馈对应的飞机样本数据；形成练习语音数据和第一评分数据，并标记练习语音数据；播放练习语音数据，并记录点评数据；生成第二评分数据；对培训进行评分。本发明一种基于场景复现的空管员培训方法及系统，通过上述技术方案，一方面可以采用已经存在的实际的空管语音交互数据对空管员进行培训，另一方面通过练习语音数据复现的方式可以有效的提高空管员的培训效果，且两次评分也可以更准确的评价空管员的训练程度。
Description
技术领域
本发明涉及空管智能培训系统，具体涉及一种基于场景复现的空管员培训方法及系统。
背景技术
空管员是负责保障航空安全的重要力量，其工作涉及到复杂的航空管制知识和技能，因此进行培训是为了确保空管员具备专业素养和技能，以保障航空安全。现有技术中，提供了丰富的对空管员进行培训或联合飞行培训的方案，如申请号为202211448091.6的中国专利公开了一种管制员模拟培训自动应答和质量评估方法及系统，基于人工智能技术，通过语音识别、语义解析、指令生成、语音合成等步骤建立了一套自动应答方法。同时结合引入的飞行计划、航迹、气象和告警信息进行综合分析，对无效和错误管制指令进行提示，有效的提高了培训的真实度；此外本方法还包含了培训评估步骤，根据生成的指令参数操控飞机飞行状态，从而实时输出培训内容分析报告。从现有技术中可以看到，现有技术已经存在利用多种音频数据进行培训和评估的手段。但是现有技术中的数据源无法对真实的空管情况进行利用，并且无法让学员准确的认识到自己训练过程中的不足，降低了空管员培训的效率。
发明内容
为了至少克服现有技术中的上述不足，本申请的目的在于提供一种基于场景复现的空管员培训方法及系统。
第一方面，本申请实施例提供了一种基于场景复现的空管员培训方法，包括：
获取塔台与飞机交互的语音数据作为交互样本数据，并获取对应所述交互样本数据的飞行环境数据作为环境样本数据；
将所述交互样本数据拆解为塔台样本数据和飞机样本数据；所述塔台样本数据为塔台向飞机发出的语音数据，所述飞机样本数据为飞机向塔台应答的语音数据；
当空管员在空管模拟仓中培训时，向所述空管模拟仓提供所述环境样本数据，并通过所述空管模拟仓向所述空管员展示所述环境样本数据；
接收所述空管模拟仓采集的所述空管员根据所述环境样本数据反馈的空管语音数据，并根据所述空管语音数据反馈对应的所述飞机样本数据；
将所述空管语音数据和所述飞机样本数据沿时序整合形成练习语音数据，根据所述空管语音数据和对应的所述塔台样本数据的差异生成第一评分数据，并将所述空管语音数据和对应的所述塔台样本数据的差异大于预设值的所述空管语音数据标记在所述练习语音数据上；
当所述空管员在空管模拟仓中完成一轮培训时，将所述练习语音数据向所述空管员播放，并记录所述空管员对所述练习语音数据的点评数据；所述点评数据为所述空管员选出的所述空管语音数据为不正确的数据；
将所述点评数据与所述练习语音数据的标记进行比对生成第二评分数据；
根据所述第一评分数据和所述第二评分数据对所述空管员的培训进行评分。
本申请实施例实施时，需要先根据实际的空管语音进行训练用语音的生成，实际的空管语音即塔台与飞机交互的语音数据，与之对应的还有飞行环境数据，飞行环境数据需要包括各架飞机的飞行数据，如飞行高度、航向、速度等数据，还需要包括气象相关数据、管制区域以及其他需要向空管员展示的数据。对于交互样本数据来说，其中包括有塔台发出的语音数据即塔台样本数据，如四川八八九拐上八千四保持，也包括飞机发出的语音数据即飞机样本数据，飞机发出的语音数据一般需要包括飞机主动应答的数据，也需要包括飞机对空管指令应答的数据。应当理解的是，如果是进行空管员和地勤交互的培训，也可将飞机样本数据替换为地勤相关语音，其也应当在本申请实施例的保护范围之内。
在本申请实施例中，在相关数据预处理完成后，可以进行空管员的相关培训，其可以使用现有技术中较为成熟的模拟仓向空管员学员提供各种信息，并进行空管员的语音反馈采集；其中需要向空管员直接展示的数据为环境样本数据，而需要向空管员播放的语音为飞机样本数据。应当理解的是，为了提高培训的实时性，提供的所有数据应该是沿时序对齐后的数据，飞机样本数据可以根据需要进行些许时序调整，但是整体序列是不能发生变化的。在空管员的一轮培训中，会产生空管员所发出的空管语音数据，将空管语音数据和飞机样本数据进行时序混合后，可以获取完整的该空管员和飞机的对话；对于空管语音数据，由于存在与之对应的样本即塔台样本数据，所以基于塔台样本数据可以对空管语音数据进行评分，并将判定为错误的空管语音数据在练习语音数据上进行标记，判定为错误一般采用差异大于预设值，从而完成对空管员培训的第一次评分。
在本申请实施例中，在完成一轮培训后，还需要将练习语音数据向空管员播放，其同样可以采用在空管模拟仓内完成，让该空管员可以以完整的视角听取自己的语音和飞机样本数据结合后的效果，帮助空管员找出自身的不足和错误，对于存在问题的地方需要由空管员自己进行点评打标，形成点评数据。对点评数据进行评分即可获取第二评分数据，即第二次评分。基于第一评分数据和第二评分数据可以更准确的对空管员的培训效果进行准确的评价。本申请通过上述技术方案，一方面可以采用已经存在的实际的空管语音交互数据对空管员进行培训，另一方面通过练习语音数据复现的方式可以有效的提高空管员的培训效果，且两次评分也可以更准确的评价空管员的训练程度。
在一种可能的实现方式中，将所述交互样本数据拆解为塔台样本数据和飞机样本数据包括：
根据所述交互样本数据中的空白间隔将所述交互样本数据拆解为多段语音样本数据；相邻的所述语音样本数据之间间隔至少一个音频幅值小于预设值的所述空白间隔；
通过人工方式对所述语音样本数据中至少一段塔台发出的语音进行标记，并对标记的所述语音样本数据进行特征识别形成塔台语音特征；
将符合所述塔台语音特征的所述语音样本数据作为所述塔台样本数据，并将不符合所述塔台语音特征的所述语音样本数据作为所述飞机样本数据。
在一种可能的实现方式中，所述飞机样本数据包括主动报告语音和应答语音；
将所述交互样本数据拆解为塔台样本数据和飞机样本数据还包括：
获取相邻的所述飞机样本数据作为相邻飞机数据；相邻的所述飞机样本数据之间不存在所述塔台样本数据；
以相邻的所述飞机样本数据中沿时序靠后的所述飞机样本数据作为所述主动报告语音，并以非所述主动报告语音的所述飞机样本数据作为所述应答语音。
在一种可能的实现方式中，所述环境样本数据、塔台样本数据和飞机样本数据沿时序对齐；
根据所述空管语音数据反馈对应的所述飞机样本数据包括：
按照时序播放所述主动报告语音，并在播放一段所述主动报告语音后等待空管语音数据；
接收完一段完整的所述空管语音数据时，沿时序播放上一条飞机样本数据的下一条应答语音。
在一种可能的实现方式中，根据所述空管语音数据和对应的所述塔台样本数据的差异生成第一评分数据包括：
对所述空管语音数据进行语音文字识别生成空管语音文字，并提取对应的所述塔台样本数据的样本文字；所述样本文字为对所述塔台样本数据进行预识别生成的文字；
对所述空管语音文字和所述样本文字进行比对形成文字差异度，并将所述文字差异度作为所述第一评分数据。
在一种可能的实现方式中，将所述点评数据与所述练习语音数据的标记进行比对生成第二评分数据包括：
记录所述练习语音数据的标记的总数，并记录所述练习语音数据的标记与所述点评数据沿时序重合的次数；
将所述次数与所述总数的比例作为所述第二评分数据。
在一种可能的实现方式中，根据所述第一评分数据和所述第二评分数据对所述空管员的培训进行评分；
为所述第一评分数据和所述第二评分数据设置对应的权重，并根据所述权重将所述第一评分数据和所述第二评分数据进行加权计算形成所述空管员的培训评分。
第二方面，本申请实施例提供了一种基于场景复现的空管员培训系统，包括：
获取单元，被配置为获取塔台与飞机交互的语音数据作为交互样本数据，并获取对应所述交互样本数据的飞行环境数据作为环境样本数据；
拆解单元，被配置为将所述交互样本数据拆解为塔台样本数据和飞机样本数据；所述塔台样本数据为塔台向飞机发出的语音数据，所述飞机样本数据为飞机向塔台应答的语音数据；
培训单元，被配置为当空管员在空管模拟仓中培训时，向所述空管模拟仓提供所述环境样本数据，并通过所述空管模拟仓向所述空管员展示所述环境样本数据；
接收所述空管模拟仓采集的所述空管员根据所述环境样本数据反馈的空管语音数据，并根据所述空管语音数据反馈对应的所述飞机样本数据；
第一评分单元，被配置为将所述空管语音数据和所述飞机样本数据沿时序整合形成练习语音数据，根据所述空管语音数据和对应的所述塔台样本数据的差异生成第一评分数据，并将所述空管语音数据和对应的所述塔台样本数据的差异大于预设值的所述空管语音数据标记在所述练习语音数据上；
所述培训单元还被配置为，当所述空管员在空管模拟仓中完成一轮培训时，将所述练习语音数据向所述空管员播放，并记录所述空管员对所述练习语音数据的点评数据；所述点评数据为所述空管员选出的所述空管语音数据为不正确的数据；
第二评分单元，被配置为将所述点评数据与所述练习语音数据的标记进行比对生成第二评分数据；
第三评分单元，被配置为根据所述第一评分数据和所述第二评分数据对所述空管员的培训进行评分。
在一种可能的实现方式中，所述拆解单元还被配置为：
根据所述交互样本数据中的空白间隔将所述交互样本数据拆解为多段语音样本数据；相邻的所述语音样本数据之间间隔至少一个音频幅值小于预设值的所述空白间隔；
通过人工方式对所述语音样本数据中至少一段塔台发出的语音进行标记，并对标记的所述语音样本数据进行特征识别形成塔台语音特征；
将符合所述塔台语音特征的所述语音样本数据作为所述塔台样本数据，并将不符合所述塔台语音特征的所述语音样本数据作为所述飞机样本数据。
在一种可能的实现方式中，所述飞机样本数据包括主动报告语音和应答语音；
所述拆解单元还被配置为：
获取相邻的所述飞机样本数据作为相邻飞机数据；相邻的所述飞机样本数据之间不存在所述塔台样本数据；
以相邻的所述飞机样本数据中沿时序靠后的所述飞机样本数据作为所述主动报告语音，并以非所述主动报告语音的所述飞机样本数据作为所述应答语音。
本发明与现有技术相比，具有如下的优点和有益效果：
本发明一种基于场景复现的空管员培训方法及系统，通过上述技术方案，一方面可以采用已经存在的实际的空管语音交互数据对空管员进行培训，另一方面通过练习语音数据复现的方式可以有效的提高空管员的培训效果，且两次评分也可以更准确的评价空管员的训练程度。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1为本申请实施例流程示意图；
图2为本申请实施例系统机构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请实施例的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其它操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本申请保护的范围。
请结合参阅图1，为本发明实施例所提供的一种基于场景复现的空管员培训方法的流程示意图，所述一种基于场景复现的空管员培训方法可以应用于图2中的一种基于场景复现的空管员培训系统，进一步地，所述一种基于场景复现的空管员培训方法具体可以包括以下步骤S1-步骤S8所描述的内容。
S1：获取塔台与飞机交互的语音数据作为交互样本数据，并获取对应所述交互样本数据的飞行环境数据作为环境样本数据；
S2：将所述交互样本数据拆解为塔台样本数据和飞机样本数据；所述塔台样本数据为塔台向飞机发出的语音数据，所述飞机样本数据为飞机向塔台应答的语音数据；
S3：当空管员在空管模拟仓中培训时，向所述空管模拟仓提供所述环境样本数据，并通过所述空管模拟仓向所述空管员展示所述环境样本数据；
S4：接收所述空管模拟仓采集的所述空管员根据所述环境样本数据反馈的空管语音数据，并根据所述空管语音数据反馈对应的所述飞机样本数据；
S5：将所述空管语音数据和所述飞机样本数据沿时序整合形成练习语音数据，根据所述空管语音数据和对应的所述塔台样本数据的差异生成第一评分数据，并将所述空管语音数据和对应的所述塔台样本数据的差异大于预设值的所述空管语音数据标记在所述练习语音数据上；
S6：当所述空管员在空管模拟仓中完成一轮培训时，将所述练习语音数据向所述空管员播放，并记录所述空管员对所述练习语音数据的点评数据；所述点评数据为所述空管员选出的所述空管语音数据为不正确的数据；
S7：将所述点评数据与所述练习语音数据的标记进行比对生成第二评分数据；
S8：根据所述第一评分数据和所述第二评分数据对所述空管员的培训进行评分。
本申请实施例实施时，需要先根据实际的空管语音进行训练用语音的生成，实际的空管语音即塔台与飞机交互的语音数据，与之对应的还有飞行环境数据，飞行环境数据需要包括各架飞机的飞行数据，如飞行高度、航向、速度等数据，还需要包括气象相关数据、管制区域以及其他需要向空管员展示的数据。对于交互样本数据来说，其中包括有塔台发出的语音数据即塔台样本数据，如四川八八九拐上八千四保持，也包括飞机发出的语音数据即飞机样本数据，飞机发出的语音数据一般需要包括飞机主动应答的数据，也需要包括飞机对空管指令应答的数据。应当理解的是，如果是进行空管员和地勤交互的培训，也可将飞机样本数据替换为地勤相关语音，其也应当在本申请实施例的保护范围之内。
在本申请实施例中，在相关数据预处理完成后，可以进行空管员的相关培训，其可以使用现有技术中较为成熟的模拟仓向空管员学员提供各种信息，并进行空管员的语音反馈采集；其中需要向空管员直接展示的数据为环境样本数据，而需要向空管员播放的语音为飞机样本数据。应当理解的是，为了提高培训的实时性，提供的所有数据应该是沿时序对齐后的数据，飞机样本数据可以根据需要进行些许时序调整，但是整体序列是不能发生变化的。在空管员的一轮培训中，会产生空管员所发出的空管语音数据，将空管语音数据和飞机样本数据进行时序混合后，可以获取完整的该空管员和飞机的对话；对于空管语音数据，由于存在与之对应的样本即塔台样本数据，所以基于塔台样本数据可以对空管语音数据进行评分，并将判定为错误的空管语音数据在练习语音数据上进行标记，判定为错误一般采用差异大于预设值，从而完成对空管员培训的第一次评分。
在本申请实施例中，在完成一轮培训后，还需要将练习语音数据向空管员播放，其同样可以采用在空管模拟仓内完成，让该空管员可以以完整的视角听取自己的语音和飞机样本数据结合后的效果，帮助空管员找出自身的不足和错误，对于存在问题的地方需要由空管员自己进行点评打标，形成点评数据。对点评数据进行评分即可获取第二评分数据，即第二次评分。基于第一评分数据和第二评分数据可以更准确的对空管员的培训效果进行准确的评价。本申请通过上述技术方案，一方面可以采用已经存在的实际的空管语音交互数据对空管员进行培训，另一方面通过练习语音数据复现的方式可以有效的提高空管员的培训效果，且两次评分也可以更准确的评价空管员的训练程度。
在一种可能的实现方式中，将所述交互样本数据拆解为塔台样本数据和飞机样本数据包括：
根据所述交互样本数据中的空白间隔将所述交互样本数据拆解为多段语音样本数据；相邻的所述语音样本数据之间间隔至少一个音频幅值小于预设值的所述空白间隔；
通过人工方式对所述语音样本数据中至少一段塔台发出的语音进行标记，并对标记的所述语音样本数据进行特征识别形成塔台语音特征；
将符合所述塔台语音特征的所述语音样本数据作为所述塔台样本数据，并将不符合所述塔台语音特征的所述语音样本数据作为所述飞机样本数据。
本申请实施例实施时，交互样本数据需要拆解为塔台样本数据和飞机样本数据，为了提高拆解效率，本申请实施例需要先通过空白间隔将交互样本数据拆解成多段语音样本数据，每段语音样本数据对应一个塔台样本数据或飞机样本数据，其中空白间隔的长度可以根据需要进行设置，而空白间隔的音频幅值预设值也可以根据需要进行设置，本申请实施例不多做限定。
在本申请实施例中，为了实现对拆解的多段语音样本数据进行识别，发明人发现对于同一段交互样本数据来说，塔台的音源来自于同一个空管员，所以可以通过人工的方式从语音样本数据找出一段塔台发出的语音进行标记，并进行特征识别，识别方式采用梅尔频谱或梅尔倒频谱，其属于非常现有的技术，本申请实施例不多做限定；完成了特征识别后，根据该塔台语音特征对语音样本数据进行进一步识别，以确认哪些数据为塔台样本数据和飞机样本数据。
在一种可能的实现方式中，所述飞机样本数据包括主动报告语音和应答语音；
将所述交互样本数据拆解为塔台样本数据和飞机样本数据还包括：
获取相邻的所述飞机样本数据作为相邻飞机数据；相邻的所述飞机样本数据之间不存在所述塔台样本数据；
以相邻的所述飞机样本数据中沿时序靠后的所述飞机样本数据作为所述主动报告语音，并以非所述主动报告语音的所述飞机样本数据作为所述应答语音。
本申请实施例实施时，在上述实施例中识别出的飞机样本数据包括两类，主动报告语音和应答语音，其中主动报告语音是飞机主动报告的语音和应答语音是针对塔台呼叫应答的语音；为了提高培训效果，主动报告语音一般需要随着时间的推进主动播放给空管员，而应答语音需要在空管员发出了语音后向空管员应答，所以本申请实施例还提供了一种自动区分主动报告语音和应答语音的技术方案。一般来说，空管员所发出的语音，飞行员在非特殊情况下都需要以复述的形式进行应答，所以空管员和飞行员完成的一轮对话都是以飞行员的复述作为结尾的；而飞行员主动发出的主动报告则一定是在一轮对话的头部，所以如果连续出现了两个飞机样本数据，中间没有塔台样本数据时，后一个飞机样本数据就一定是主动报告。基于上述原因，本申请实施例进行了主动报告语音和应答语音区分识别。
在一种可能的实现方式中，所述环境样本数据、塔台样本数据和飞机样本数据沿时序对齐；
根据所述空管语音数据反馈对应的所述飞机样本数据包括：
按照时序播放所述主动报告语音，并在播放一段所述主动报告语音后等待空管语音数据；
接收完一段完整的所述空管语音数据时，沿时序播放上一条飞机样本数据的下一条应答语音。
本申请实施例实施时，一轮语音交互如果是由飞机发起的，则会需要播放主动报告语音，而在空管员做出反馈后，基于反馈数据沿时序播放上一条飞机样本数据的下一条应答语音，以实现交互。同样的如果一轮语音交互如果是由空管员发起的，则不需要主动报告语音，所以主动报告语音只需要按照时序进行播放即可，对于空管员每次发出的空管语音数据都沿时序播放上一条飞机样本数据的下一条应答语音。
在一种可能的实现方式中，根据所述空管语音数据和对应的所述塔台样本数据的差异生成第一评分数据包括：
对所述空管语音数据进行语音文字识别生成空管语音文字，并提取对应的所述塔台样本数据的样本文字；所述样本文字为对所述塔台样本数据进行预识别生成的文字；
对所述空管语音文字和所述样本文字进行比对形成文字差异度，并将所述文字差异度作为所述第一评分数据。
本申请实施例实施时，在进行第一评分数据的生成时，需要将语音文字识别成文字，再与已经被识别为文字的塔台样本数据进行文字差异度比对，其中涉及的自然语言处理过程属于现有技术，本申请实施例不多做复述。
在一种可能的实现方式中，将所述点评数据与所述练习语音数据的标记进行比对生成第二评分数据包括：
记录所述练习语音数据的标记的总数，并记录所述练习语音数据的标记与所述点评数据沿时序重合的次数；
将所述次数与所述总数的比例作为所述第二评分数据。
本申请实施例实施时，还提供了一种第二评分数据的生成方式，其可以判断出空管员在培训过程中可以发现自己错误的比例。
在一种可能的实现方式中，根据所述第一评分数据和所述第二评分数据对所述空管员的培训进行评分；
为所述第一评分数据和所述第二评分数据设置对应的权重，并根据所述权重将所述第一评分数据和所述第二评分数据进行加权计算形成所述空管员的培训评分。
基于上述同样的发明构思，请结合参阅图2，还提供了一种基于场景复现的空管员培训系统系统架构图，系统包括：
获取单元，被配置为获取塔台与飞机交互的语音数据作为交互样本数据，并获取对应所述交互样本数据的飞行环境数据作为环境样本数据；
拆解单元，被配置为将所述交互样本数据拆解为塔台样本数据和飞机样本数据；所述塔台样本数据为塔台向飞机发出的语音数据，所述飞机样本数据为飞机向塔台应答的语音数据；
培训单元，被配置为当空管员在空管模拟仓中培训时，向所述空管模拟仓提供所述环境样本数据，并通过所述空管模拟仓向所述空管员展示所述环境样本数据；
接收所述空管模拟仓采集的所述空管员根据所述环境样本数据反馈的空管语音数据，并根据所述空管语音数据反馈对应的所述飞机样本数据；
第一评分单元，被配置为将所述空管语音数据和所述飞机样本数据沿时序整合形成练习语音数据，根据所述空管语音数据和对应的所述塔台样本数据的差异生成第一评分数据，并将所述空管语音数据和对应的所述塔台样本数据的差异大于预设值的所述空管语音数据标记在所述练习语音数据上；
所述培训单元还被配置为，当所述空管员在空管模拟仓中完成一轮培训时，将所述练习语音数据向所述空管员播放，并记录所述空管员对所述练习语音数据的点评数据；所述点评数据为所述空管员选出的所述空管语音数据为不正确的数据；
第二评分单元，被配置为将所述点评数据与所述练习语音数据的标记进行比对生成第二评分数据；
第三评分单元，被配置为根据所述第一评分数据和所述第二评分数据对所述空管员的培训进行评分。
在一种可能的实现方式中，所述拆解单元还被配置为：
根据所述交互样本数据中的空白间隔将所述交互样本数据拆解为多段语音样本数据；相邻的所述语音样本数据之间间隔至少一个音频幅值小于预设值的所述空白间隔；
通过人工方式对所述语音样本数据中至少一段塔台发出的语音进行标记，并对标记的所述语音样本数据进行特征识别形成塔台语音特征；
将符合所述塔台语音特征的所述语音样本数据作为所述塔台样本数据，并将不符合所述塔台语音特征的所述语音样本数据作为所述飞机样本数据。
在一种可能的实现方式中，所述飞机样本数据包括主动报告语音和应答语音；
所述拆解单元还被配置为：
获取相邻的所述飞机样本数据作为相邻飞机数据；相邻的所述飞机样本数据之间不存在所述塔台样本数据；
以相邻的所述飞机样本数据中沿时序靠后的所述飞机样本数据作为所述主动报告语音，并以非所述主动报告语音的所述飞机样本数据作为所述应答语音。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显然本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网格设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于场景复现的空管员培训方法，其特征在于，包括：
获取塔台与飞机交互的语音数据作为交互样本数据，并获取对应所述交互样本数据的飞行环境数据作为环境样本数据；
将所述交互样本数据拆解为塔台样本数据和飞机样本数据；所述塔台样本数据为塔台向飞机发出的语音数据，所述飞机样本数据为飞机向塔台应答的语音数据；
当空管员在空管模拟仓中培训时，向所述空管模拟仓提供所述环境样本数据，并通过所述空管模拟仓向所述空管员展示所述环境样本数据；
接收所述空管模拟仓采集的所述空管员根据所述环境样本数据反馈的空管语音数据，并根据所述空管语音数据反馈对应的所述飞机样本数据；
将所述空管语音数据和所述飞机样本数据沿时序整合形成练习语音数据，根据所述空管语音数据和对应的所述塔台样本数据的差异生成第一评分数据，并将所述空管语音数据和对应的所述塔台样本数据的差异大于预设值的所述空管语音数据标记在所述练习语音数据上；
当所述空管员在空管模拟仓中完成一轮培训时，将所述练习语音数据向所述空管员播放，并记录所述空管员对所述练习语音数据的点评数据；所述点评数据为所述空管员选出的所述空管语音数据为不正确的数据；
将所述点评数据与所述练习语音数据的标记进行比对生成第二评分数据；
根据所述第一评分数据和所述第二评分数据对所述空管员的培训进行评分；
将所述交互样本数据拆解为塔台样本数据和飞机样本数据包括：
根据所述交互样本数据中的空白间隔将所述交互样本数据拆解为多段语音样本数据；相邻的所述语音样本数据之间间隔至少一个音频幅值小于预设值的所述空白间隔；
通过人工方式对所述语音样本数据中至少一段塔台发出的语音进行标记，并对标记的所述语音样本数据进行特征识别形成塔台语音特征；
将符合所述塔台语音特征的所述语音样本数据作为所述塔台样本数据，并将不符合所述塔台语音特征的所述语音样本数据作为所述飞机样本数据；
所述飞机样本数据包括主动报告语音和应答语音；
将所述交互样本数据拆解为塔台样本数据和飞机样本数据还包括：
获取相邻的所述飞机样本数据作为相邻飞机数据；相邻的所述飞机样本数据之间不存在所述塔台样本数据；
以相邻的所述飞机样本数据中沿时序靠后的所述飞机样本数据作为所述主动报告语音，并以非所述主动报告语音的所述飞机样本数据作为所述应答语音；
所述环境样本数据、塔台样本数据和飞机样本数据沿时序对齐；
根据所述空管语音数据反馈对应的所述飞机样本数据包括：
按照时序播放所述主动报告语音，并在播放一段所述主动报告语音后等待空管语音数据；
接收完一段完整的所述空管语音数据时，沿时序播放上一条飞机样本数据的下一条应答语音；
将所述点评数据与所述练习语音数据的标记进行比对生成第二评分数据包括：
记录所述练习语音数据的标记的总数，并记录所述练习语音数据的标记与所述点评数据沿时序重合的次数；
将所述次数与所述总数的比例作为所述第二评分数据。
2.根据权利要求1所述的一种基于场景复现的空管员培训方法，其特征在于，根据所述空管语音数据和对应的所述塔台样本数据的差异生成第一评分数据包括：
对所述空管语音数据进行语音文字识别生成空管语音文字，并提取对应的所述塔台样本数据的样本文字；所述样本文字为对所述塔台样本数据进行预识别生成的文字；
对所述空管语音文字和所述样本文字进行比对形成文字差异度，并将所述文字差异度作为所述第一评分数据。
3.根据权利要求1所述的一种基于场景复现的空管员培训方法，其特征在于，根据所述第一评分数据和所述第二评分数据对所述空管员的培训进行评分；
为所述第一评分数据和所述第二评分数据设置对应的权重，并根据所述权重将所述第一评分数据和所述第二评分数据进行加权计算形成所述空管员的培训评分。
4.使用权利要求1~3任意一项所述方法的一种基于场景复现的空管员培训系统，其特征在于，包括：
获取单元，被配置为获取塔台与飞机交互的语音数据作为交互样本数据，并获取对应所述交互样本数据的飞行环境数据作为环境样本数据；
拆解单元，被配置为将所述交互样本数据拆解为塔台样本数据和飞机样本数据；所述塔台样本数据为塔台向飞机发出的语音数据，所述飞机样本数据为飞机向塔台应答的语音数据；
培训单元，被配置为当空管员在空管模拟仓中培训时，向所述空管模拟仓提供所述环境样本数据，并通过所述空管模拟仓向所述空管员展示所述环境样本数据；
接收所述空管模拟仓采集的所述空管员根据所述环境样本数据反馈的空管语音数据，并根据所述空管语音数据反馈对应的所述飞机样本数据；
第一评分单元，被配置为将所述空管语音数据和所述飞机样本数据沿时序整合形成练习语音数据，根据所述空管语音数据和对应的所述塔台样本数据的差异生成第一评分数据，并将所述空管语音数据和对应的所述塔台样本数据的差异大于预设值的所述空管语音数据标记在所述练习语音数据上；
所述培训单元还被配置为，当所述空管员在空管模拟仓中完成一轮培训时，将所述练习语音数据向所述空管员播放，并记录所述空管员对所述练习语音数据的点评数据；所述点评数据为所述空管员选出的所述空管语音数据为不正确的数据；
第二评分单元，被配置为将所述点评数据与所述练习语音数据的标记进行比对生成第二评分数据；
第三评分单元，被配置为根据所述第一评分数据和所述第二评分数据对所述空管员的培训进行评分。
5.根据权利要求4所述的一种基于场景复现的空管员培训系统，其特征在于，所述拆解单元还被配置为：
根据所述交互样本数据中的空白间隔将所述交互样本数据拆解为多段语音样本数据；相邻的所述语音样本数据之间间隔至少一个音频幅值小于预设值的所述空白间隔；
通过人工方式对所述语音样本数据中至少一段塔台发出的语音进行标记，并对标记的所述语音样本数据进行特征识别形成塔台语音特征；
将符合所述塔台语音特征的所述语音样本数据作为所述塔台样本数据，并将不符合所述塔台语音特征的所述语音样本数据作为所述飞机样本数据。
6.根据权利要求5所述的一种基于场景复现的空管员培训系统，其特征在于，所述飞机样本数据包括主动报告语音和应答语音；
所述拆解单元还被配置为：
获取相邻的所述飞机样本数据作为相邻飞机数据；相邻的所述飞机样本数据之间不存在所述塔台样本数据；
以相邻的所述飞机样本数据中沿时序靠后的所述飞机样本数据作为所述主动报告语音，并以非所述主动报告语音的所述飞机样本数据作为所述应答语音。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410078854.5A CN117593924B (zh) | 2024-01-19 | 2024-01-19 | 一种基于场景复现的空管员培训方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410078854.5A CN117593924B (zh) | 2024-01-19 | 2024-01-19 | 一种基于场景复现的空管员培训方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117593924A CN117593924A (zh) | 2024-02-23 |
| CN117593924B true CN117593924B (zh) | 2024-03-26 |
Family
ID=89920591
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410078854.5A Active CN117593924B (zh) | 2024-01-19 | 2024-01-19 | 一种基于场景复现的空管员培训方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117593924B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014093534A2 (en) * | 2012-12-13 | 2014-06-19 | The Boeing Company | Data sharing system for aircraft training |
| WO2017126026A1 (ja) * | 2016-01-19 | 2017-07-27 | 株式会社Ｅ３ | 飛行訓練支援システム、携帯端末および飛行訓練支援用プログラム |
| CN109448493A (zh) * | 2018-12-27 | 2019-03-08 | 中国电子科技集团公司第十五研究所 | 塔台管制模拟训练系统、语音管制指令识别及报读方法 |
| RU2703325C1 (ru) * | 2018-12-26 | 2019-10-16 | Анатолий Михайлович Качалин | Интегральная система дистанционного обучения пилотированию летательных аппаратов, комплексных испытаний и видеоконференцсвязи |
| CN112330133A (zh) * | 2020-10-30 | 2021-02-05 | 南京航空航天大学 | 一种空中交通管制员培训效果智能评价方法及装置 |
| CN114049893A (zh) * | 2022-01-11 | 2022-02-15 | 四川大学 | 一种基于空管语音识别的管制员违规操作监控与分析方法 |
| CN115116296A (zh) * | 2022-08-25 | 2022-09-27 | 中国电子科技集团公司第十五研究所 | 一种基于数字孪生的塔台飞行指挥仿真方法及系统 |
| WO2022212622A1 (en) * | 2021-03-31 | 2022-10-06 | Siemens Aktiengesellschaft | Digital companion for perceptually enabled task guidance |
| CN115470796A (zh) * | 2022-09-14 | 2022-12-13 | 四川大学 | 一种面向空管模拟培训的文本指令生成方法及设备 |
| CN115938347A (zh) * | 2023-03-13 | 2023-04-07 | 中国民用航空飞行学院 | 基于语音识别的飞行学员通话规范性评分方法及系统 |
| CN116092342A (zh) * | 2022-11-18 | 2023-05-09 | 四川大学 | 一种管制员模拟培训自动应答和质量评估方法及系统 |
| CN117314189A (zh) * | 2023-09-25 | 2023-12-29 | 中国民用航空飞行学院 | 一种远程塔台空中交通管制员态势感知评估模型建立方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10990174B2 (en) * | 2016-07-25 | 2021-04-27 | Facebook Technologies, Llc | Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors |
-
2024
- 2024-01-19 CN CN202410078854.5A patent/CN117593924B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014093534A2 (en) * | 2012-12-13 | 2014-06-19 | The Boeing Company | Data sharing system for aircraft training |
| WO2017126026A1 (ja) * | 2016-01-19 | 2017-07-27 | 株式会社Ｅ３ | 飛行訓練支援システム、携帯端末および飛行訓練支援用プログラム |
| RU2703325C1 (ru) * | 2018-12-26 | 2019-10-16 | Анатолий Михайлович Качалин | Интегральная система дистанционного обучения пилотированию летательных аппаратов, комплексных испытаний и видеоконференцсвязи |
| CN109448493A (zh) * | 2018-12-27 | 2019-03-08 | 中国电子科技集团公司第十五研究所 | 塔台管制模拟训练系统、语音管制指令识别及报读方法 |
| CN112330133A (zh) * | 2020-10-30 | 2021-02-05 | 南京航空航天大学 | 一种空中交通管制员培训效果智能评价方法及装置 |
| WO2022212622A1 (en) * | 2021-03-31 | 2022-10-06 | Siemens Aktiengesellschaft | Digital companion for perceptually enabled task guidance |
| CN114049893A (zh) * | 2022-01-11 | 2022-02-15 | 四川大学 | 一种基于空管语音识别的管制员违规操作监控与分析方法 |
| CN115116296A (zh) * | 2022-08-25 | 2022-09-27 | 中国电子科技集团公司第十五研究所 | 一种基于数字孪生的塔台飞行指挥仿真方法及系统 |
| CN115470796A (zh) * | 2022-09-14 | 2022-12-13 | 四川大学 | 一种面向空管模拟培训的文本指令生成方法及设备 |
| CN116092342A (zh) * | 2022-11-18 | 2023-05-09 | 四川大学 | 一种管制员模拟培训自动应答和质量评估方法及系统 |
| CN115938347A (zh) * | 2023-03-13 | 2023-04-07 | 中国民用航空飞行学院 | 基于语音识别的飞行学员通话规范性评分方法及系统 |
| CN117314189A (zh) * | 2023-09-25 | 2023-12-29 | 中国民用航空飞行学院 | 一种远程塔台空中交通管制员态势感知评估模型建立方法 |
Non-Patent Citations (5)
| Title |
|---|
| Speaker segmentation for air traffic control;Neffe, M 等;Speaker Classification II. Selected Projects;20070101;Page177-91 * |
| 中文语音识别技术在塔台模拟机中的研究与应用;杨璐宇;;微计算机信息;20121015(第10期);全文 * |
| 塔台管制模拟系统关键技术研究及系统实现;胡誉;;电子测试;20200215(第04期);全文 * |
| 空中交通管制雷达管制训练分类考核方法研究;陈亚青;唐卫贞;罗晓利;;中国安全科学学报;20071230(第12期);全文 * |
| 飞机飞行品质规范及评价准则;肖艳平 等;中国科技信息;20170413;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117593924A (zh) | 2024-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Richards et al. | Vocal mimicry of computer-generated sounds and vocal labeling of objects by a bottlenosed dolphin, Tursiops truncatus.. | |
| CN107203953B (zh) | 一种基于互联网、表情识别和语音识别的教学系统及其实现方法 | |
| US11417234B2 (en) | Interactive multisensory learning process and tutorial device | |
| WO2019174072A1 (zh) | 智能机器人培训方法、装置、计算机设备及存储介质 | |
| EP0087725B1 (en) | Process of human-machine interactive educational instruction using voice response verification | |
| KR101054052B1 (ko) | 문장의 블랭크를 이용한 외국어 학습 제공 시스템 | |
| CN109074345A (zh) | 通过数字媒体内容提取自动生成和呈现课程 | |
| US11557217B1 (en) | Communications training system | |
| CN108182838A (zh) | 一种钢琴课的实时评价系统 | |
| WO2006029458A1 (en) | Literacy training system and method | |
| US7409348B2 (en) | Language listening and speaking training system and method with random test, appropriate shadowing and instant paraphrase functions | |
| Field | Listening instruction | |
| CN104537926A (zh) | 听障儿童语言训练辅助系统及方法 | |
| CN113377200B (zh) | 基于vr技术的交互式培训方法及装置、存储介质 | |
| CN117593924B (zh) | 一种基于场景复现的空管员培训方法及系统 | |
| CN114429412A (zh) | 一种职业教育数字化教学内容生产系统 | |
| CN106454491A (zh) | 一种智能播放视频中语音信息的方法及装置 | |
| CN115278272B (zh) | 一种教育实践在线指导系统及方法 | |
| CN111724282A (zh) | Ic制造虚拟仿真教学平台 | |
| KR100385892B1 (ko) | 외국어말하기평가시스템 | |
| CN108399803A (zh) | 一种中学生英语口语练习系统 | |
| Stuckless | Real-time transliteration of speech into print for hearing-impaired students in regular classes | |
| CN108682210A (zh) | 一种英语教学语言学习系统 | |
| KR102275200B1 (ko) | 한글 음가 매칭 기반의 영어 파닉스 교육 시스템 | |
| Shackleton | Planning for positive washback: The case of a listening proficiency test |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |