CN112330133A - 一种空中交通管制员培训效果智能评价方法及装置 - Google Patents

一种空中交通管制员培训效果智能评价方法及装置 Download PDF

Info

Publication number
CN112330133A
CN112330133A CN202011199912.8A CN202011199912A CN112330133A CN 112330133 A CN112330133 A CN 112330133A CN 202011199912 A CN202011199912 A CN 202011199912A CN 112330133 A CN112330133 A CN 112330133A
Authority
CN
China
Prior art keywords
aircraft
neural network
indexes
training
height
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011199912.8A
Other languages
English (en)
Inventor
沈志远
冯铮
陈章齐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202011199912.8A priority Critical patent/CN112330133A/zh
Publication of CN112330133A publication Critical patent/CN112330133A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G06Q50/2057—Career enhancement or continuing education service

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Educational Administration (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Educational Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Primary Health Care (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供空中交通管制员培训效果智能评价方法及装置。该方法首次建立空中交通管制员培训效果评价指标集，所述指标集为国内首次建立。建立第一神经网络，所述第一神经网络的输入层包括N个输入节点和5个输出节点；所述每个输入节点与每个二级指标一一对应；所述每个输出节点与每个一级指标一一对应；获得管制员在模拟机上的实验数据，并获得实验数据对应的每个二级指标的数量，作为第一神经网络的输入层，利用第一神经网络计算获得5个输出值分别对应5个一级指标的打分；利用模糊数学方法，将输出值去模糊化获得评分；判断是否采纳上述评分，若采纳，则输出评分结果；反之，人工重新对5个一级指标进行打分，并将对应的实验数据与重新打分后的结果作为一组训练数据更新上述第一神经网络。

Description

一种空中交通管制员培训效果智能评价方法及装置
技术领域
本发明涉及空管领域，特别是提供一种空中交通管制员培训效果智能评价方法。
背景技术
空中交通管制是指：由在地面的空中交通管制员为飞行中的民用航空器提供空中交通服务，包括空中交通管制服务、飞行情报服务和告警服务。
根据(CCAR-66TM-I-R4)《民用航空空中交通管制员执照管理规则》(以下简称“规则”)要求，管制员执照申请人应当具备相当多的专业知识和技能，还需具有实际的相关工作经验要求。
上述“规则”中规定：开展管制基础模拟机培训上机训练时，基础培训教员与受训人比例不得低于二分之一。
根据我国现有的见习管制员数量的统计，假设对于800人的见习管制员进行为期2个月的共计240小时的管制基础模拟机培训，需要模拟机教员共计400人次进行为期2个月的脱岗培训任务，人手严重不足。
目前，包括管制员模拟机培训在内的管制员培训评价方法均采用管制模拟机教员现场打分，人工评价的方法。教员提前确定培训考核的目标，编制相应的模拟机练习习题供学员进行管制模拟机练习，单次练习的时长在0.5小时～2.0小时不等，练习期间需要教员需要全程在旁监督，记录学员练习过程中的不足，并对学员的练习效果进行评分和讲评。
上述传统的考评办法本身和实施过程也存在一定的瑕疵。具体举例如下：教员对学员的练习效果进行评分的评分标准，以雷达管制下进近管制的基础模拟机培训考核“间隔与安全”为例，考核指标如下：小于雷达间隔、小于尾流间隔、指标航空器低于安全高度、指令航空器距管制区边界小于1/2雷达间隔、发布危险指令，造成紧张局面，但未小于间隔、口误未纠正或未纠正机组的错误复诵、未监视到航空器的异常状态。
以上指标的优点和缺点如下：
优点：便于教员从大局上进行判断，符合人脑的判断的习惯。
缺点：1)缺乏实时性：需要教员一刻不停的盯着学员的练习情况，当学员在练习过程中出现了航空器小于最小雷达间隔的错误时，有时两架航空器间小于该间隔的告警时长仅有十几秒，在此期间，如果教员不能及时的关注到学员的情况，则这一重大的错误可能就会被忽略。同样的不足还体现在其它诸多方面，如教员需要监听学员的每一句指标，并同步的关注空中的航空器动态，以评价学员的指令是否准确；
2)缺乏条件性：如“指令航空器距管制区边界小于1/2雷达间隔”中，该项考核指标存在明显漏洞，因为练习中几乎所有的航空器都会穿越管制区边界。即没有一个标准来说明并衡量考核指标的客观性和权威性；
3)分类不明确：本项指标的标题是“间隔与安全”，却出现了“口误未纠正或未纠正机组的错误复诵”考核指标，该项指标衡量学员通话的标准与否的功能占主要部分，对于间隔和安全的影响占次要部分，故考核指标的划分的更细致，才能反应出对学员考核的合规性。
以上指标的缺点不仅存在于示例指标中，同时也部分存在于七大地区空管局管制员模拟机培训中塔台、进近、区域的程序管制、雷达管制的基础培训、复习培训的所有指标集中。
因此，管制员培训传统评分方法至少具有以下缺点:
1)培训人员基数大，教员人数不足，其中具有模拟机培训资质的教员仅占全体管制员数量12％；
2)管制行业现状是人手不足，抽调一线管制教员，占用生产单位生产资源。管制工作是倒班制度，安排管制教员忙于培训评论，或两家单位间相互抽调管制教员，会干扰单位的正常运行；
3)现行评价方法基于管制教员主观评价方式，暂无统一的评价指标、打分方法，各单位间、以及单位内部不同阶段的模拟机培训所使用的标准差异巨大，导致培训效果不理想。
发明内容
本发明目的在于提供一种对控制交通管制员培训效果智能评价方法，用于替代教员的角色，用于解决教员人手不足、人工实施过程难度大以及人工评判结论随意性大的问题，同时也能解决传统的评判标准不科学的技术问题。
为达成上述目的，本发明提出如下技术方案：
一种空中交通管制员培训效果智能评价方法，
建立第一神经网络，所述第一神经网络的输入层包括N个输入节点和5个输出节点；
所述每个输入节点与每个二级指标一一对应；所述二级指标是指用于评价管制工作操作的指标，管制工作中任一操作与所有二级指标中至少一个二级指标对应；所述二级指标为从多个地区空管局的考核指标中利用德菲尔法筛选出来的且满足可计算机代码化、可量化的指标；
所述每个输出节点与每个一级指标一一对应，所述一级指标包括5个，分别为规则、通话、安全、效率、人机界面；
获得管制员在模拟机上的实验数据，并获得实验数据对应的每个二级指标的数量，作为第一神经网络的输入层，利用第一神经网络计算获得5个输出值分别对应5个一级指标的打分；
利用模糊数学方法，将上述第一神经网络的5个输出值和其对应的第一权重求积获得5个模糊数学系统的输入数据，根据模糊运算规则获得模糊数学系统的输出值，将输出值去模糊化获得评分；
判断是否采纳上述评分，若采纳，则输出评分结果；反之，人工重新对5个一级指标进行打分，并将对应的实验数据与重新打分后的结果作为一组训练数据更新上述第一神经网络。
进一步的，本发明中，所述第一权重通过层次分析法获得。
进一步的，本发明中，所述第一神经网络按照如下方式建立：
获取m组实验数据，每组实验数据为管制员在模拟机上的操作以及评分，所述评分根据操作产生的与上述二级指标中的每个二级指标的数量结合其对应的第二权重获得；所述第二权重通过层次分析法获得；
将m组实验数据划分为训练集、测试集和开发集，利用训练集训练N个不同结构的神经网络，所述每个神经网络的输入层节点数量为上述二级指标中的指标数量，每个神经网络的输出层节点有5个，在输入层与输出层之间设置n个隐藏层，所述每个隐藏层均设置有5个神经节点；利用测试集在N个神经网络中进行优势筛选，利用开发集评价优势神经网络的预测效果，最终确定第一神经网络。
进一步的，本发明中，所述第一神经网络在训练时，采用的激活函数为ReLU函数，采用的损失函数为均方误差MES，采用的优势筛选方法为包含正则化的梯度下降。
进一步的，本发明中，所述管制员在模拟机上进行如下3种不同区域的管制：
进近管制、塔台管制和区域管制；
每一类均独立利用上述方法进行评价。
进一步的，在本发明中，三种管制情况下的二级指标共计132个；
进近管制的二级指标如下：
A101未及时关注到SPI识别、A102错误进行雷达识别、A201过早移交、A202过迟移交、A203未移交标牌、A204未移交频率、A205未按移交高度进行移交、A206标牌移交错误单位、A207频率移交错误单位、A301雷达管制服务结束时未通报、A302盲降时与航向道夹角大于40度、A303航空器穿越五边未进行通报、A304结束雷达引导后未恢复自主领航、A305航空器建立最后进近航迹的高度、航向、速度不符合要求、A401改变未雷达识别航空器的航行诸元、A402未通报进场程序、A501 5min内指令航空器频率交替加速和减速、A502对正在盘旋等待的航空器进行调速、A503指令距离跑道入口8km的航空器调整水平速度、A504同时要求大下降率和减速或大上升率和加速、A601首次指令通过渡高度/过渡高度层，未明确气压面、A602除指令建立盲降高度外，指令航空器到达非标准高度、A701未正确使用标准进场程序代号；
B101一次发话中的指令要素大于4个、B102同一句指令更正次数过多、B103建立盲降的航空器，未发布进近许可、B104未对CA告警的航空器和需要进行冲突连线的航空器进行冲突通报、B105通话省略指令元的前缀或后缀；
C101除五边外，航空器间触发CA告警、C102五边附近，航空器小于尾流间隔，C201航空器突破区域内高度上限、C202航空器低于扇区安全高、C203航空器突破区域内高度下限、C204航空器低于航路、航线安全高度、C205航空器进入禁区、限制区、危险区、C206指令航空器低于最低引导高度、C301对不在管制权限范围内的航空器发布指令；
D101单一航空器航向指令大于10个、D102累积盘旋超过n个架次、D103平均每个航空器航向指令大于8个、D104复飞航空器累计超过1个架次、D105五边间隔大于尾流间隔的n倍、D106五边间隔小于尾流间隔的n倍、D107对于CA告警进行冲突解脱的发话时间大于10秒；
E101未及时接收航空器标牌、E102未及时处理自动化告警、E103未更正错误标牌信息、E104未及时更新指令高度、E105未为未相关航空器制作标牌，E106未进行冲突连线；
塔台管制的二级指标如下：
A101过早移交航空器、A102过迟移交航空器、A103频率移交错误单位、A104未移交标牌、A105未移交频率、A201对航空器发布航向指令、A202错误发布起飞许可、A203错误发布落地许可、A204错误发布进跑道许可、A301指令飞越跑道入口8km后的航空器调整水平速度、A302指令航空器交替加速和减速；
B101放行许可要素不全面、B102起飞许可要素不全面、B103着陆许可要素不全面、B104发布错误跑道号、B105通话省略指令元的前缀或后缀，B106更改滑行路线大于2次；
C101两架落地航空器间插入起飞航空器，不满足间隔、C102起飞航空器不满足间隔，C201指令航空器在错误的滑行道上滑行、C202指令起飞航空器从错误道口进入跑道起飞、C203指令起飞航空器从错误道口进入跑道起飞、C204指令落地航空器使用错误跑道、C205指令航空器占用错误停机位、C206指令未开车航空器滑行、C207指令需要推出但未推出的航空器滑行、C208指令相临机位的航空器同时推出；
D101落地航空器跑道入口20km以前，指令减速最小；
E101进程单位置与飞机状态不匹配、E102未修改航空器跑道号、E103未修改航空器应答机、E104未修改落地航空器停机位；
区域管制的二级指标如下：
A101未及时关注到SPI识别、A102错误进行雷达识别、A201过早移交、A202过迟移交、A203未移交标牌、A204未移交频率、A205未按移交高度进行移交、A206标牌移交错误单位、A207频率移交错误单位、A301结束雷达引导未“恢复自主领航”、A302引导航空器飞出管制区域、A303未指令归航点以结束雷达引导，A401改变未雷达识别航空器的航行诸元、A501未按规定调速单位调速、A502指令航空器交替加速和减速、A503同时要求大下降率和减速或大升率和加速、A504对正在盘旋等待的航空器进行了调速、A505表速与马赫数适用高度范围错误、A506航空器长时间保持最大速度或最小速度、A601指令航空器使用大于3000ft/min的上升率或下降率、A602在移交点前20km未保持移交高度超过3次、A603指令航空器到达非标准高度；
B101一次发话中的指令要素大于3个、B102通话省略指令元的前缀或后缀、B103指令不符合航空器的操作性能；
C101小于安全间隔、C201航空器突破区域内高度上限/下限、C202航空器低于扇区(网格)安全高度、C203航空器进入禁区、限制区、危险区；
D101累计盘旋超过n个架次、D102移交时平飞间隔过小、D103单一航空器航向指令大于5个、D104移交时平飞间隔过大、D105平均每个航空器航向指令大于3个、D106雷达引导超过80km、D107单一航空器盘旋超过2圈、D201航空器高度长时间不符合东单西双、D202无RVSM航空器高度不符合RVSM要求；
E101确认屏幕告警信息超过10秒、E102过早点击指令高度、E103未及时更新指令高度、E104未进行冲突连线、E105未及时接收航空器标牌、E106未更正错误标牌信息、E107未为未相关航空器制作标牌、E108练习过程中频繁调整雷达视频图范围；
其中，上述字母A、B、C、D、E分别指代一级指标中的规则、通话、安全、效率、人机界面。
本发明的另一方面在于提供一种空中交通管制员培训效果智能评价装置，包括
第一神经网络建立模块，用于建立第一神经网络，所述第一神经网络的输入层包括N个输入节点和5个输出节点；
所述每个输入节点与每个二级指标一一对应；所述二级指标是指用于评价管制工作操作的指标，管制工作中任一操作与所有二级指标中至少一个二级指标对应；所述二级指标为从多个地区空管局的考核指标中利用德菲尔法筛选出来的且满足可计算机代码化、可量化的指标；
所述每个输出节点与每个一级指标一一对应，所述一级指标包括5个，分别为规则、通话、安全、效率、人机界面；
实验数据获得模块，用于获得管制员在模拟机上的实验数据，并获得实验数据对应的每个二级指标的数量，作为第一神经网络的输入层，利用第一神经网络计算获得5个输出值分别对应5个一级指标的打分；
模糊数学模块，用于利用模糊数学方法，将上述第一神经网络的5个输出值和其对应的第一权重求积获得5个模糊数学系统的输入数据，根据模糊运算规则获得模糊数学系统的输出值，将输出值去模糊化获得评分；
更新输出模块，用于判断是否采纳上述评分，若采纳，则输出评分结果；反之，人工重新对5个一级指标进行打分，并将对应的实验数据与重新打分后的结果作为一组训练数据更新上述第一神经网络。
本发明的另一方面，在于提供一种空中交通管制员培训效果智能评价装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-7任一项所述方法的步骤。
有益效果：
由以上技术方案可知，本发明的技术方案提供一种空中交通管制员培训效果智能评价方法，其具有以下的优点：
本发明所提出的指标体系的筛选及构建方法是国内首次对管制实际工作特点进行的一次全方位的梳理，属于业内首创。本发明中的指标区别于传统指标，均可由计算机代码实现，并且数值化，便于精确考量。
利用本发明的思路，可以将指标体系不断的进行自我完善，从而构建出可以满足不同需求的指标体系。
利用本发明的方法，可以实现整个培训考核过程中，对考核对象的持续监测，向考核人员揭示人工考核无法持续关注的考核指标；
利用本发明方法，可以帮助考核人员对考核对象进行高效客观评价，节约了大量的管制教员的人力资源，从而助力民航安全；
本发明中，将指标体系与管制工作智能评价相结合，有利于指标的获取、修改、反馈、更新，从而应用于涉及航空安全的管制工作中，有利于本发明方法的推广应用。
应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。
结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。
附图说明
附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本发明的各个方面的实施例，其中：
图1为广州进近空域示意图；
图2为神经网络示意图；
图3为loss值变化示意图；
图4为效率项隶属函数图；
图5为通话项隶属函数图；
图6为规则项隶属函数图；
图7为练习得分隶属函数图；
图8为实验结果一示意图；
图9为实验结果二示意图；
图10为实验结果三示意图。
具体实施方式
为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。
在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定意在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。
申请概述
管制员培训传统评分方法存在以下难以攻克的问题，目前已严重影响管制员的培训任务，包括以下几点：
1、培训任务重、而符合条件的教员少；
2、教员参与管制培训，一线工作受影响，仍然是教员数量与培训任务不匹配的问题；
3、评价体系为主观评价，缺乏统一标准，影响培训效果。
针对上述技术问题，本申请提供的技术方案总体思路如下：
一种空中交通管制员培训效果智能评价方法，包括以下内容：
S101、建立第一神经网络，所述第一神经网络的输入层包括N个输入节点和5个输出节点；
所述每个输入节点与每个二级指标一一对应；所述二级指标是指用于评价管制工作操作的指标，管制工作中任一操作与所有二级指标中至少一个二级指标对应；所述二级指标为从多个地区空管局的考核指标中利用德菲尔法筛选出来的且满足可计算机代码化、可量化的指标；
所述每个输出节点与每个一级指标一一对应，所述一级指标包括5个，分别为规则、通话、安全、效率、人机界面；
S102、获得管制员在模拟机上的实验数据，并获得实验数据对应的每个二级指标的数量，作为第一神经网络的输入层，利用第一神经网络计算获得5个输出值分别对应5个一级指标的打分；
S103、利用模糊数学方法，将上述第一神经网络的5个输出值和其对应的第一权重求积获得5个模糊数学系统的输入数据，根据模糊运算规则获得模糊数学系统的输出值，将输出值去模糊化获得评分；
S104、判断是否采纳上述评分，若采纳，则输出评分结果；反之，人工重新对5个一级指标进行打分，并将对应的实验数据与重新打分后的结果作为一组训练数据更新上述第一神经网络。
上述方法中核心是利用神经网络。神经网络在机器学习和认知科学领域，是一种模仿生物神经网络的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。深度学习的神经网络具有以下优点，相比于其它机器学习算法，神经网络对高维特征具有学习优势，实现对大数据量的数据集有效特征的学习，实现指标的非线性评价函数的拟合，有效去除人的主观因素的影响，并且具有自我更新的学习能力。
利用神经网络完成5个一级指标的打分，然后结合一级指标的权重利用模糊数学的方法获得整体评价，上述过程依靠计算机实现，减少对人的依赖性；在整体评价出来后，加入人工评判用于修正评价，更重要的是进一步对神经网络的优化，使得神经网络能够更加智能，随着上述方法的广泛使用，越来越多的实验数据的加入，势必将遍历整个管制培训中遇到的各种情况，能够合理的给出评价结果，大大节省人力，提高管制员培训的效率。
在介绍了本申请基本原理后，下面将结合说明书附图来具体介绍本申请的各种非限制性的实施方式。
具体的，上述方法中，在训练神经网络时，需要用到非常重要的原始数据，本发明中采用德菲尔法和层次分析法的方式获得上述原始数据。
具体方法包括：
首先收集包括华北、东北、华东、中南、西南、西北和新疆七个地区空管局的塔台、进近、区域模拟机的考核指标，结合塔台雷达管制、进近雷达管制、区域雷达管制员一线工作实际情况、传统模拟机考核指标的优点，并克服传统模拟机考核指标的缺点及指标不易被计算机代码化的缺点，汇总、总结、提炼、筛选得到原始的塔台、进近、区域指标集。利用德菲尔法收集专家关于区域雷达管制、进近雷达管制、塔台管制原始指标集的修改意见，得到易于量化、并可以考核管制培训考核中的绝大部分行为的初选指标。
德菲尔法是一种反馈匿名函询法，在对所要预测的问题征得专家的意见之后，进行整理、归纳、统计，再匿名反馈给各专家，再次征求意见，再集中，再反馈，直至得到一致的意见。其三个明显区别于其他专家预测方法的特点，即匿名性、多次反馈、小组的统计回答。
然后利用层次分析法对初选评价指标进行分类，构造一个指标之间相互联结的递阶层次结构。针对塔台管制、进近管制和区域管制中的每一个管制区域，本专利中空中交通管制员培训效果智能评价指标体系均分为5个一级指标和若干个二级指标，5个一级指标包括A规则、B通话、C安全、D效率、E人机界面，每个二级指标均隶属于其中一个一级指标中。
上述层次分析法是由美国匹兹堡大学教授T.L.Saaty在上世纪70年代中期提出的。它是将复杂问题分解为多个组成因素，并将这些因素按支配关系进一步分解，按目标层、准则层、指标层排列起来，形成一个多目标、多层次的模型，形成有序的递阶层次结构。通过两两比较的方式确定层次中诸因素的相对重要性，然后综合评估主体的判断确定诸因素相对重要性的总顺序。层次分析法的基本思想就是将组成复杂问题的多个元素权重的整体判断转变为对这些元素进行“两两比较”，然后再转为对这些元素的整体权重进行排序判断，最后确立各元素的权重。
具体的，在本实施例中，区域管制、进近管制和塔台管制分别负责不同的管制任务：塔台使用非雷达管制，负责航空器的地面活动及起飞、降落，而区域雷达管制及进近雷达管制使用雷达进行航空管制；进近雷达管制与区域雷达管制的不同点在于高度负责的范围不同，以及不同的高度范围中所包含的可用高度层不同，并且位于进近管制下的航空器与区域管制下的航空器速度差异巨大。因此，区域管制、进近管制和塔台管制具有相同的一级指标，但是因为管制任务具体内容不同因此具有不同的二级指标。
关于上述5个一级指标的含义如下：
A规则
民用航空器的交通流是基于规则的运行，与地面交通流的随机状态相比有本质的不同，民用航空器从起飞机场，经历地面滑行、起飞、离场、巡航、进场、进近、着陆、地面滑行至目的地机场停机位，期间将受到不间断的塔台、进近、区域管制单位提供的基于统一国际民航组织(I CAO)和中国民用航空局(CAAC)制定的规则的管制服务。
B通话
民用航空器的飞行高度一般在1000米以上，此时管制员与航空器驾驶员(飞行员)之间的通讯主要依靠以天波进行传输的甚高频(VHF)，由于地形障碍物、无线传输方式、无线电传输距离等物理条件的限制，管制员与飞行员之间的陆空通话，需要以PPT(push-to-ta l k)的方式进行，并且规定通话符合《中华人民共和国民用航空业标准-空中交通无线电通话用语》(MH/T4014-2003)要求。
C安全
国际民航组织对安全的定义：安全是一种状态，即通过持续的危险识别和风险管理过程，将人员伤害或财产损失的风险降低并保持在可接受的水平或其以下。常见民用航空器如空客A320及B738均可乘坐150人次/架，飞行速度可达300kn(600～800km/h)，根据有关民航资源网数据显示，在航班运营所有阶段，1970年1月1日至2013年7月10日之间美国航企航班空难事故中，人员生还率仅为4％。保证航空器的安全运行，是空中交通管制服务的首要目标。
D效率
航空器业提供的主要业务是位移服务，其优势体现在速度快，时间短。故高效的管制技能是考核管制员能力的重要指标之一。
E人机界面
管制员实施管制指挥时，需要使用相关的自动化设备，如何正确规范的与自动化设备进行交互，是考核管制员能力的重要指标之一。
同时，多个一级指标相互组合，可以用于对管制员能力考核的内含与外延作出合理解释，如安全和效率的组合，可以考查管制员在保证航空器安全运行的前得下，使区域内航空器高效运行的能力；或通话和安全的组合，可以考查管制的对当前区域内航空器情景态势所发出的具有提升安全或危害安全的指令，解决了前面提到的指标“分类不明确”的问题。
管制员使用模拟机培训，需要综合使用眼睛去看交通动态，耳朵去听飞行员复诵，并正确操作自动化设备，所以为每一个一级指标设置多个可量化的二级指标，以确保管制使用模拟机培训时的基本操作都有一个二级指标或多个二级指标对应。这些二级指标都是可以用计算机代码进行实现，并设置区间值，供教员在练习时根据练习的目的不同进行调节，从而具有区别于传统教员主观评分的精确性和客观性的优点、和具有持续关注学员练习行为的优点。
进一步的，三种管制情况下的二级指标共计132个，包括进近管制50个，塔台管制35个，区域管制47。
其中，进近管制的二级指标如下：
A101未及时关注到SPI识别、A102错误进行雷达识别、A201过早移交、A202过迟移交、A203未移交标牌、A204未移交频率、A205未按移交高度进行移交、A206标牌移交错误单位、A207频率移交错误单位、A301雷达管制服务结束时未通报、A302盲降时与航向道夹角大于40度、A303航空器穿越五边未进行通报、A304结束雷达引导后未恢复自主领航、A305航空器建立最后进近航迹的高度、航向、速度不符合要求、A401改变未雷达识别航空器的航行诸元、A402未通报进场程序、A501 5min内指令航空器频率交替加速和减速、A502对正在盘旋等待的航空器进行调速、A503指令距离跑道入口8km的航空器调整水平速度、A504同时要求大下降率和减速或大上升率和加速、A601首次指令通过渡高度/过渡高度层，未明确气压面、A602除指令建立盲降高度外，指令航空器到达非标准高度、A701未正确使用标准进场程序代号；
B101一次发话中的指令要素大于4个、B102同一句指令更正次数过多、B103建立盲降的航空器，未发布进近许可、B104未对CA告警的航空器和需要进行冲突连线的航空器进行冲突通报、B105通话省略指令元的前缀或后缀；
C101除五边外，航空器间触发CA告警、C102五边附近，航空器小于尾流间隔，C201航空器突破区域内高度上限、C202航空器低于扇区安全高、C203航空器突破区域内高度下限、C204航空器低于航路、航线安全高度、C205航空器进入禁区、限制区、危险区、C206指令航空器低于最低引导高度、C301对不在管制权限范围内的航空器发布指令；
D101单一航空器航向指令大于10个、D102累积盘旋超过n个架次、D103平均每个航空器航向指令大于8个、D104复飞航空器累计超过1个架次、D105五边间隔大于尾流间隔的n倍、D106五边间隔小于尾流间隔的n倍、D107对于CA告警进行冲突解脱的发话时间大于10秒；
E101未及时接收航空器标牌、E102未及时处理自动化告警、E103未更正错误标牌信息、E104未及时更新指令高度、E105未为未相关航空器制作标牌，E106未进行冲突连线；
塔台管制的二级指标如下：
A101过早移交航空器、A102过迟移交航空器、A103频率移交错误单位、A104未移交标牌、A105未移交频率、A201对航空器发布航向指令、A202错误发布起飞许可、A203错误发布落地许可、A204错误发布进跑道许可、A301指令飞越跑道入口8km后的航空器调整水平速度、A302指令航空器交替加速和减速；
B101放行许可要素不全面、B102起飞许可要素不全面、B103着陆许可要素不全面、B104发布错误跑道号、B105通话省略指令元的前缀或后缀，B106更改滑行路线大于2次；
C101两架落地航空器间插入起飞航空器，不满足间隔、C102起飞航空器不满足间隔，C201指令航空器在错误的滑行道上滑行、C202指令起飞航空器从错误道口进入跑道起飞、C203指令起飞航空器从错误道口进入跑道起飞、C204指令落地航空器使用错误跑道、C205指令航空器占用错误停机位、C206指令未开车航空器滑行、C207指令需要推出但未推出的航空器滑行、C208指令相临机位的航空器同时推出；
D101落地航空器跑道入口20km以前，指令减速最小；
E101进程单位置与飞机状态不匹配、E102未修改航空器跑道号、E103未修改航空器应答机、E104未修改落地航空器停机位；
区域管制的二级指标如下：
A101未及时关注到SPI识别、A102错误进行雷达识别、A201过早移交、A202过迟移交、A203未移交标牌、A204未移交频率、A205未按移交高度进行移交、A206标牌移交错误单位、A207频率移交错误单位、A301结束雷达引导未“恢复自主领航”、A302引导航空器飞出管制区域、A303未指令归航点以结束雷达引导，A401改变未雷达识别航空器的航行诸元、A501未按规定调速单位调速、A502指令航空器交替加速和减速、A503同时要求大下降率和减速或大升率和加速、A504对正在盘旋等待的航空器进行了调速、A505表速与马赫数适用高度范围错误、A506航空器长时间保持最大速度或最小速度、A601指令航空器使用大于3000ft/min的上升率或下降率、A602在移交点前20km未保持移交高度超过3次、A603指令航空器到达非标准高度；
B101一次发话中的指令要素大于3个、B102通话省略指令元的前缀或后缀、B103指令不符合航空器的操作性能；
C101小于安全间隔、C201航空器突破区域内高度上限/下限、C202航空器低于扇区(网格)安全高度、C203航空器进入禁区、限制区、危险区；
D101累计盘旋超过n个架次、D102移交时平飞间隔过小、D103单一航空器航向指令大于5个、D104移交时平飞间隔过大、D105平均每个航空器航向指令大于3个、D106雷达引导超过80km、D107单一航空器盘旋超过2圈、D201航空器高度长时间不符合东单西双、D202无RVSM航空器高度不符合RVSM要求；
E101确认屏幕告警信息超过10秒、E102过早点击指令高度、E103未及时更新指令高度、E104未进行冲突连线、E105未及时接收航空器标牌、E106未更正错误标牌信息、E107未为未相关航空器制作标牌、E108练习过程中频繁调整雷达视频图范围；
其中，上述字母A、B、C、D、E分别指代一级指标中的规则、通话、安全、效率、人机界面。
上述指标经过德菲尔法分类后，能够全面覆盖学员训练时可能出现的情况，是需要有相当多的本行业的知识并基于现有的多种评价方法中形成的经验总结。例如，在一次时长40min的进近雷达管制练习中，进、离场及飞越航空器共计20架，某学员试图通过“过早减速”、“航空器大量盘旋”的方式，来减少自己出错。此时，学员的通话量会明显减少，并且航空器间的安全也得到了保证，但这明显是不符合实际情况，因为航空器的班期飞行将是持续的交通流，并且此种方式带来的效率会十分低下，通过利用上述近进管制中的二级指标中E效率项的指标，对学员的这种错误行为进行监测，避免学员投机取巧。
在构建完指标集后，通过层次分析法获得每种管制下的一级指标和二级指标的权重。定义一级指标的权重为第一权重，二级指标的权重为第二权重。因此，形成一套评价标准，利用该标准可以对任何一个管制培训进行监测并获得5个一级指标的评分结果。
即利用模拟机，设计模拟真实工作环境的训练科目，安排见习管制员、管制员、管制教员进行训练，获取的数据类型分为预设数据及样本数据；预设数据包括航空器的飞行计划、实验环境的航路航线走向、地面滑行路径及跑道参数、本管制区与周边单位移交程序。样本数据为实验中实验人员的操作产生的数据，包括实验人员的通话录音及对自动化系统的操作。对于实验人员的一次计算机操作，利用对应所有二级指标A101～E106共132项，进行二级指标触发次数统计，然后结合二级指标对应的第二权重得到每个一级指标的得分。
通过上述方法获得的指标集和权重是专家经验和科学筛选的综合结果，具有很强的可靠性，利用上述指标和权重标准评判管制员的培训效果从而形成训练数据，以上述训练数据参与构建神经网络，该训练数据的准确性为形成可靠的神经网络的提供保障。
因此，所述第一神经网络按照如下方式建立：
将m组实验数据划分为训练集、开发集和测试集，通常上述比例为4:4:2，利用训练集训练N个不同结构的神经网络，所述每个神经网络的输入层节点数量为上述二级指标中的指标数量即132个，每个神经网络的输出层节点有5个，在输入层与输出层之间设置n个隐藏层，不同的n代表不同的神经网络结构，所述每个隐藏层均设置有5个神经节点；利用测试集在N个神经网络中进行优势筛选，利用开发集评价优势神经网络的预测效果，在准确率符合测试集要求后，神经网络中的参数即能反映三级指标的权重，因此最终确定第一神经网络。
进一步的，所述第一神经网络在训练时，采用的激活函数为ReLU函数，采用的损失函数为均方误差MES，采用的优势筛选方法为包含正则化的梯度下降。在本发明的具体实施例中，优化后获得的所述第一神经网络的隐藏层为2层。
建立好第一神经网络后即可投入使用，使用过程为将管制员的培训数据中的每个二级指标的数量进行输入，通过第一神经网络获得5个一级指标的输出。
然后利用模糊数学方法建立实验模型，包括建立因素论域、隶属函数和模糊规则库，将5个一级指标的输出整合成最终的评分结果。
模糊数学是用精确的数学手段对现实世界中大量存在的模糊概念和模糊现象进行描述。将模糊性对象加以确切化。在管制员培训效果评价中，教员经常会遇到模糊概念，如练习表现差、中、好。随着科学技术的发展，各学科领域对于这些模糊概念有关的实际问题往往都需要给出定量的分析，这就需要利用模糊数学这一工具来解决。
利用模糊数学方法进行管制员培训效果的模糊结果计算方法为：根据层次分析法计算得到5个一级指标的权重W＝[w1,w2,…,w5]T，
模糊数学系统输入值ci为第一神经网络的输出值yi与层次分析法得到的上述一级指标的第一权重wi的乘积
ci＝yi·wi(i＝1,2,…,5)
对于每一个二级指标，人为设定输入值ci的隶属函数，将数值变量模糊化。以三解模糊数为例，设E＝(a,b,c)，其隶属度函数μE(ci)被如下表达：
Figure BDA0002753836020000191
并建立隶属函数语义变量的模糊规则库：在本系统中，初始模糊规则库为243条，按照如下形式建立：
如果“A规则”项为“语义变量a”
且“B通话”项为“语义变量b”
且“C安全”项为“语义变量c”
且“D效率”项为“语义变量d”
且“E人机界面”项为“语义变量e”
则“培训效果”项为“语义变量z”
其中“语义变量(a,b,c,d,e)”可以是低、中、高；“语义变量z”可以是很不好、不好、较差、中等、较好、好、很好。
建立以上模糊系统，根据模糊运算规则，计算输出值，并利用质心法将输出值去模糊化得到输出值，即“培训效果”的最终结果Y.
最后，人工判断结果是否被采纳，若结果被采纳，则成功输出评价结果；若结果未被采纳，将人工对一级指标进行打分，作为一组新的训练数据喂入前述第一神经网络，更新神经网络的参数，使得神经网络更加优化。
下面结合图1至图7说明一更为具体的实施方式。
该培训需要模拟广州进近管制，因此主要使用进近管制相关的指标，包括5个一级指标，A规则、B通话、C安全、D效率、E人机界面，以及A101～E106共132个二级指标。
分析空域环境及扇区特点；如图1所示，广州进近按地域水平划分为五块区域。分另为进近北扇区(AN)、进近西扇区(AW)、进近东扇区(AE)、进场扇区(AA)和离场扇区(AD)。各扇区功能如下：
1)离场扇区：主要负责航班起飞起始上高度到2100米；
2)进场扇区，主要负责进场航班的五边间隔，从2400米到建立盲降；
3)进近北扇区：负责调配从ATAGA、IGONO、GYA进场降落广州航班的次序，分配跑道号和进场程序。还需负责从YIN、P268离场的航班，使其在规定高度移交给区域管制；
4)进近西扇区：负责管制从NOLON、GYA飞起降落在深圳、珠海、澳门的航班，以及从广州起飞往VIBOS、P269的离场航班；
5)进近东东扇区：负责管制从广州起飞出LMN的航班，从深圳、珠海、澳门起飞飞越IDUMA的航班以及从IDUMA、P270的离场航班；
收集实验数据，对实验人员进行十组模拟训练。对每次实验中，实验人员所发的每一句指令、每一次操作自动化系统及航空器数据按照本发明中三级指标各项进行触发计数，发现符合三级指标所述的行为则记录，将参数输入图2所示神经网络。在此之前利用收集到的100组或者更多数据集训练该神经网络，设置超参数学习率α＝0.0075，训练轮为2400轮，训练时的loss值变化如图3。并将实验数据整理如下。
如表1所示的实验六中，共有三架航空器，记录到实验人员ZGGG-01暂停1次练习，按压PPT按键24次，有效通话23段，自动化操作8次，经过神经网络计算出的二级指标扣分结果如表1所示，其中效率项得分6.8，对应隶属函数语义变量值介于“中”和“高”之间，同理通话项得分4.4，规则项得分5.8，安全项得分为满分70，四者的权重均为1。包括Exp01在内所列10项实验数据如表2所示，其中安全项因实验人员未出现不安全操作而满分。
表1
Figure BDA0002753836020000221
表2
Figure BDA0002753836020000231
建立模糊数学模型；首先将根据“效率项”、“规则项”和“通话项”及“练习得分项”对应指标集的项目，设定数值与语义变量的对应函数，即模糊化，如表3所示。然后根据相关专家建议设定模糊集，如图4至图7所示。之后建立模糊规则库，共27条，如表4所示。之后利用MATLAB Fuzzy Logic Toolbox工具箱建立本实施方式中的模糊数学系统。
表3
Figure BDA0002753836020000232
表4
Figure BDA0002753836020000241
输入步骤三中实验数据，利用重心法去模糊化，如图7所示，即可得到表1及图8、图9、图10所示的实验结果。以编号为ZGGG-01人员表1所示的实验六为例，最终练习得分为87.3分。若管制教员否决该分数，则将人工打分结果制作新的数据集，并喂入神经网络进行参数更新。
实施例二、
基于与前述实施例中一种空中交通管制员培训效果智能评价方法同样的发明构思，空中交通管制员培训效果智能评价装置，利用基于python3.6,Tensorflow2.3.0的编程环境，建立的神经网络内容包括：
第一神经网络建立模块，用于建立第一神经网络，所述第一神经网络的输入层包括N个输入节点和5个输出节点；
所述每个输入节点与每个二级指标一一对应；所述二级指标是指用于评价管制工作操作的指标，管制工作中任一操作与所有二级指标中至少一个二级指标对应；所述二级指标为从多个地区空管局的考核指标中利用德菲尔法筛选出来的且满足可计算机代码化、可量化的指标；
所述每个输出节点与每个一级指标一一对应，所述一级指标包括5个，分别为规则、通话、安全、效率、人机界面；
实验数据获得模块，用于获得管制员在模拟机上的实验数据，并获得实验数据对应的每个二级指标的数量，作为第一神经网络的输入层，利用第一神经网络计算获得5个输出值分别对应5个一级指标的打分；
模糊数学模块，用于利用模糊数学方法，将上述第一神经网络的5个输出值和其对应的第一权重求积获得5个模糊数学系统的输入数据，根据模糊运算规则获得模糊数学系统的输出值，将输出值去模糊化获得评分；
更新输出模块，用于判断是否采纳上述评分，若采纳，则输出评分结果；反之，人工重新对5个一级指标进行打分，并将对应的实验数据与重新打分后的结果作为一组训练数据更新上述第一神经网络。
实施例三
基于与前述实施例中一种空中交通管制员培训效果智能评价方法同样的发明构思，本发明还提供一种示例性电子设备，空中交通管制员培训效果智能评价装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现空中交通管制员培训效果智能评价方法的步骤。
本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：解决了教员人手不足、人工实施过程难度大以及人工评判结论随意性大的问题，同时也能解决传统的评判标准不科学的技术问题。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种空中交通管制员培训效果智能评价方法，其特征在于：
建立第一神经网络，所述第一神经网络的输入层包括N个输入节点和5个输出节点；
所述每个输入节点与每个二级指标一一对应；所述二级指标是指用于评价管制工作操作的指标，管制工作中任一操作与所有二级指标中至少一个二级指标对应；所述二级指标为从多个地区空管局的考核指标中利用德菲尔法筛选出来的且满足可计算机代码化、可量化的指标；
所述每个输出节点与每个一级指标一一对应，所述一级指标包括5个，分别为规则、通话、安全、效率、人机界面；
获得管制员在模拟机上的实验数据，并获得实验数据对应的每个二级指标的数量，作为第一神经网络的输入层，利用第一神经网络计算获得5个输出值分别对应5个一级指标的打分；
利用模糊数学方法，将上述第一神经网络的5个输出值和其对应的第一权重求积获得5个模糊数学系统的输入数据，根据模糊运算规则获得模糊数学系统的输出值，将输出值去模糊化获得评分；
判断是否采纳上述评分，若采纳，则输出评分结果；反之，人工重新对5个一级指标进行打分，并将对应的实验数据与重新打分后的结果作为一组训练数据更新上述第一神经网络。
2.根据权利要求1所述的空中交通管制员培训效果智能评价方法，其特征在于：所述第一权重通过层次分析法获得。
3.根据权利要求2所述的空中交通管制员培训效果智能评价方法，其特征在于：所述第一神经网络按照如下方式建立：
获取m组实验数据，每组实验数据为管制员在模拟机上的操作以及评分，所述评分根据操作产生的与上述二级指标中的每个二级指标的数量结合其对应的第二权重获得；所述第二权重通过层次分析法获得；
将m组实验数据划分为训练集、测试集和开发集，利用训练集训练N个不同结构的神经网络，所述每个神经网络的输入层节点数量为上述二级指标的指标数量，每个神经网络的输出层节点有5个，在输入层与输出层之间设置n个隐藏层，所述每个隐藏层均设置有5个神经节点；利用测试集在N个神经网络中进行优势筛选，利用开发集评价优势神经网络的预测效果，最终确定第一神经网络。
4.根据权利要求3所述的空中交通管制员培训效果智能评价方法，其特征在于：所述第一神经网络在训练时，采用的激活函数为ReLU函数，采用的损失函数为均方误差MES，采用的优势筛选方法为包含正则化的梯度下降。
5.根据权利要求1至4中所述的空中交通管制员培训效果智能评价方法，其特征在于：所述第一神经网络的隐藏层为2层。
6.根据权利要求1至5任意一项所述的空中交通管制员培训效果智能评价方法，其特征在于：所述管制员在模拟机上进行如下3种不同区域的管制：
进近管制、塔台管制和区域管制；
每一类均独立利用上述方法进行评价。
7.根据权利要求6所述的空中交通管制员培训效果智能评价方法，其特征在于：进近管制的二级指标如下：
A101未及时关注到SPI识别、A102错误进行雷达识别、A201过早移交、A202过迟移交、A203未移交标牌、A204未移交频率、A205未按移交高度进行移交、A206标牌移交错误单位、A207频率移交错误单位、A301雷达管制服务结束时未通报、A302盲降时与航向道夹角大于40度、A303航空器穿越五边未进行通报、A304结束雷达引导后未恢复自主领航、A305航空器建立最后进近航迹的高度、航向、速度不符合要求、A401改变未雷达识别航空器的航行诸元、A402未通报进场程序、A501 5min内指令航空器频率交替加速和减速、A502对正在盘旋等待的航空器进行调速、A503指令距离跑道入口8km的航空器调整水平速度、A504同时要求大下降率和减速或大上升率和加速、A601首次指令通过渡高度/过渡高度层，未明确气压面、A602除指令建立盲降高度外，指令航空器到达非标准高度、A701未正确使用标准进场程序代号；
B101一次发话中的指令要素大于4个、B102同一句指令更正次数过多、B103建立盲降的航空器，未发布进近许可、B104未对CA告警的航空器和需要进行冲突连线的航空器进行冲突通报、B105通话省略指令元的前缀或后缀；
C101除五边外，航空器间触发CA告警、C102五边附近，航空器小于尾流间隔，C201航空器突破区域内高度上限、C202航空器低于扇区安全高、C203航空器突破区域内高度下限、C204航空器低于航路、航线安全高度、C205航空器进入禁区、限制区、危险区、C206指令航空器低于最低引导高度、C301对不在管制权限范围内的航空器发布指令；
D101单一航空器航向指令大于10个、D102累积盘旋超过n个架次、D103平均每个航空器航向指令大于8个、D104复飞航空器累计超过1个架次、D105五边间隔大于尾流间隔的n倍、D106五边间隔小于尾流间隔的n倍、D107对于CA告警进行冲突解脱的发话时间大于10秒；
E101未及时接收航空器标牌、E102未及时处理自动化告警、E103未更正错误标牌信息、E104未及时更新指令高度、E105未为未相关航空器制作标牌，E106未进行冲突连线；
塔台管制的二级指标如下：
A101过早移交航空器、A102过迟移交航空器、A103频率移交错误单位、A104未移交标牌、A105未移交频率、A201对航空器发布航向指令、A202错误发布起飞许可、A203错误发布落地许可、A204错误发布进跑道许可、A301指令飞越跑道入口8km后的航空器调整水平速度、A302指令航空器交替加速和减速；
B101放行许可要素不全面、B102起飞许可要素不全面、B103着陆许可要素不全面、B104发布错误跑道号、B105通话省略指令元的前缀或后缀，B106更改滑行路线大于2次；
C101两架落地航空器间插入起飞航空器，不满足间隔、C102起飞航空器不满足间隔，C201指令航空器在错误的滑行道上滑行、C202指令起飞航空器从错误道口进入跑道起飞、C203指令起飞航空器从错误道口进入跑道起飞、C204指令落地航空器使用错误跑道、C205指令航空器占用错误停机位、C206指令未开车航空器滑行、C207指令需要推出但未推出的航空器滑行、C208指令相临机位的航空器同时推出；
D101落地航空器跑道入口20km以前，指令减速最小；
E101进程单位置与飞机状态不匹配、E102未修改航空器跑道号、E103未修改航空器应答机、E104未修改落地航空器停机位；
区域管制的二级指标如下：
A101未及时关注到SPI识别、A102错误进行雷达识别、A201过早移交、A202过迟移交、A203未移交标牌、A204未移交频率、A205未按移交高度进行移交、A206标牌移交错误单位、A207频率移交错误单位、A301结束雷达引导未“恢复自主领航”、A302引导航空器飞出管制区域、A303未指令归航点以结束雷达引导，A401改变未雷达识别航空器的航行诸元、A501未按规定调速单位调速、A502指令航空器交替加速和减速、A503同时要求大下降率和减速或大升率和加速、A504对正在盘旋等待的航空器进行了调速、A505表速与马赫数适用高度范围错误、A506航空器长时间保持最大速度或最小速度、A601指令航空器使用大于3000ft/min的上升率或下降率、A602在移交点前20km未保持移交高度超过3次、A603指令航空器到达非标准高度；
B101一次发话中的指令要素大于3个、B102通话省略指令元的前缀或后缀、B103指令不符合航空器的操作性能；
C101小于安全间隔、C201航空器突破区域内高度上限/下限、C202航空器低于扇区(网格)安全高度、C203航空器进入禁区、限制区、危险区；
D101累计盘旋超过n个架次、D102移交时平飞间隔过小、D103单一航空器航向指令大于5个、D104移交时平飞间隔过大、D105平均每个航空器航向指令大于3个、D106雷达引导超过80km、D107单一航空器盘旋超过2圈、D201航空器高度长时间不符合东单西双、D202无RVSM航空器高度不符合RVSM要求；
E101确认屏幕告警信息超过10秒、E102过早点击指令高度、E103未及时更新指令高度、E104未进行冲突连线、E105未及时接收航空器标牌、E106未更正错误标牌信息、E107未为未相关航空器制作标牌、E108练习过程中频繁调整雷达视频图范围；
其中，上述字母A、B、C、D、E分别指代一级指标中的规则、通话、安全、效率、人机界面。
8.空中交通管制员培训效果智能评价装置，其特征在于：包括
第一神经网络建立模块，用于建立第一神经网络，所述第一神经网络的输入层包括N个输入节点和5个输出节点；
所述每个输入节点与每个二级指标一一对应；所述二级指标是指用于评价管制工作操作的指标，管制工作中任一操作与所有二级指标中至少一个二级指标对应；所述二级指标为从多个地区空管局的考核指标中利用德菲尔法筛选出来的且满足可计算机代码化、可量化的指标；
所述每个输出节点与每个一级指标一一对应，所述一级指标包括5个，分别为规则、通话、安全、效率、人机界面；
实验数据获得模块，用于获得管制员在模拟机上的实验数据，并获得实验数据对应的每个二级指标的数量，作为第一神经网络的输入层，利用第一神经网络计算获得5个输出值分别对应5个一级指标的打分；
模糊数学模块，用于利用模糊数学方法，将上述第一神经网络的5个输出值和其对应的第一权重求积获得5个模糊数学系统的输入数据，根据模糊运算规则获得模糊数学系统的输出值，将输出值去模糊化获得评分；
更新输出模块，用于判断是否采纳上述评分，若采纳，则输出评分结果；反之，人工重新对5个一级指标进行打分，并将对应的实验数据与重新打分后的结果作为一组训练数据更新上述第一神经网络。
9.空中交通管制员培训效果智能评价装置，其特征在于：包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-7任一项所述方法的步骤。
CN202011199912.8A 2020-10-30 2020-10-30 一种空中交通管制员培训效果智能评价方法及装置 Pending CN112330133A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011199912.8A CN112330133A (zh) 2020-10-30 2020-10-30 一种空中交通管制员培训效果智能评价方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011199912.8A CN112330133A (zh) 2020-10-30 2020-10-30 一种空中交通管制员培训效果智能评价方法及装置

Publications (1)

Publication Number Publication Date
CN112330133A true CN112330133A (zh) 2021-02-05

Family

ID=74323961

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011199912.8A Pending CN112330133A (zh) 2020-10-30 2020-10-30 一种空中交通管制员培训效果智能评价方法及装置

Country Status (1)

Country Link
CN (1) CN112330133A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113627798A (zh) * 2021-08-12 2021-11-09 中国民航大学 一种用于高空航路飞行的管制效能量化测评方法
CN114815852A (zh) * 2022-06-14 2022-07-29 北京航空航天大学 一种基于空间离散化的cacc车队轨迹规划方法
CN115206135A (zh) * 2022-06-16 2022-10-18 中国电子科技集团公司第二十八研究所 一种不确定爬升率的航空器指令高度规划方法
CN117593924A (zh) * 2024-01-19 2024-02-23 中国民用航空飞行学院 一种基于场景复现的空管员培训方法及系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113627798A (zh) * 2021-08-12 2021-11-09 中国民航大学 一种用于高空航路飞行的管制效能量化测评方法
CN113627798B (zh) * 2021-08-12 2023-07-18 中国民航大学 一种用于高空航路飞行的管制效能量化测评方法
CN114815852A (zh) * 2022-06-14 2022-07-29 北京航空航天大学 一种基于空间离散化的cacc车队轨迹规划方法
CN114815852B (zh) * 2022-06-14 2023-02-03 北京航空航天大学 一种基于空间离散化的cacc车队轨迹规划方法
CN115206135A (zh) * 2022-06-16 2022-10-18 中国电子科技集团公司第二十八研究所 一种不确定爬升率的航空器指令高度规划方法
CN115206135B (zh) * 2022-06-16 2024-02-13 中国电子科技集团公司第二十八研究所 一种不确定爬升率的航空器指令高度规划方法
CN117593924A (zh) * 2024-01-19 2024-02-23 中国民用航空飞行学院 一种基于场景复现的空管员培训方法及系统
CN117593924B (zh) * 2024-01-19 2024-03-26 中国民用航空飞行学院 一种基于场景复现的空管员培训方法及系统

Similar Documents

Publication Publication Date Title
CN112330133A (zh) 一种空中交通管制员培训效果智能评价方法及装置
CN109064019B (zh) 一种用于管制员模拟训练效果自动测评的系统及方法
Sheridan Speculations on future relations between humans and automation
CN110060513A (zh) 基于历史轨迹数据的空中交通管制员工作负荷评估方法
CN109284896B (zh) 人误模式影响分析方法
Kilgore et al. From work domains to worker competencies: a five-phase CWA
Chidester et al. Personality factors in flight operations. Volume 1: Leader characteristics and crew performance in a full-mission air transport simulation
Li et al. A virtual-reality-based training and assessment system for bridge inspectors with an assistant drone
CN114373360A (zh) 飞行模拟器智能训练系统、方法及装置
CN113470439B (zh) 基于人工智能的中小机场管制冲突解决方法及系统
Redding Cognitive task analysis of en route air traffic control: Model extension and validation.
Kharchenko et al. Methodology of research and training in air navigation socio-technical system
CN117035187A (zh) 一种飞行员操作行为预测模型构建方法及系统
Li et al. A systems approach to training aeronautical decision making: from identifying training needs to verifying training solutions
Shmelova et al. Artificial intelligence methods and applications in aviation
Rohacs et al. Less-skilled pilot decision support
Redding Cognitive Task Analysis of Prioritization in Air Traffic Control.
CN113160637A (zh) 模拟飞行员工位系统
Rogošić et al. ATCO radar training assessment and flight efficiency: the correlation between trainees’ scores and fuel consumption in real-time simulations
Wu Application of rule-based expert system in ATC simulator evaluation system
CN117709696B (zh) 基于专家系统的程序管制预案自动生成方法及系统
Findler et al. A general-purpose man-machine environment with special reference to air traffic control
Kasatkin Applied Artificial Intelligence for Air Navigation Sociotechnical System Development
Davison et al. Use of structure as a basis for abstraction in air traffic control
Fahmi et al. Evaluation of Decision-Making Training Based Emergency Landing Method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination