CN112785890A - 一种塔台飞行指挥模拟训练管制员注意力评估系统及其方法 - Google Patents
一种塔台飞行指挥模拟训练管制员注意力评估系统及其方法 Download PDFInfo
- Publication number
- CN112785890A CN112785890A CN202011555170.8A CN202011555170A CN112785890A CN 112785890 A CN112785890 A CN 112785890A CN 202011555170 A CN202011555170 A CN 202011555170A CN 112785890 A CN112785890 A CN 112785890A
- Authority
- CN
- China
- Prior art keywords
- attention
- data
- tower
- controller
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 116
- 238000004088 simulation Methods 0.000 title claims abstract description 92
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000011156 evaluation Methods 0.000 claims abstract description 106
- 230000004424 eye movement Effects 0.000 claims abstract description 48
- 230000008569 process Effects 0.000 claims abstract description 44
- 238000012544 monitoring process Methods 0.000 claims abstract description 12
- 230000003993 interaction Effects 0.000 claims abstract description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 39
- 238000012545 processing Methods 0.000 claims description 34
- 238000004364 calculation method Methods 0.000 claims description 29
- 210000003128 head Anatomy 0.000 claims description 27
- 210000001508 eye Anatomy 0.000 claims description 16
- 230000008859 change Effects 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 14
- 230000033001 locomotion Effects 0.000 claims description 14
- 210000001747 pupil Anatomy 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000013500 data storage Methods 0.000 claims description 11
- 210000005252 bulbus oculi Anatomy 0.000 claims description 10
- 230000004886 head movement Effects 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 10
- 238000013519 translation Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 9
- 238000007726 management method Methods 0.000 claims description 9
- 230000003068 static effect Effects 0.000 claims description 9
- 230000009471 action Effects 0.000 claims description 7
- 238000004806 packaging method and process Methods 0.000 claims description 7
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 claims description 6
- 238000007689 inspection Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 5
- 238000010924 continuous production Methods 0.000 claims description 4
- 238000007667 floating Methods 0.000 claims description 4
- 230000001276 controlling effect Effects 0.000 claims description 3
- 230000001105 regulatory effect Effects 0.000 claims description 3
- 238000011161 development Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 14
- 230000009466 transformation Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 239000013598 vector Substances 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- KKIMDKMETPPURN-UHFFFAOYSA-N 1-(3-(trifluoromethyl)phenyl)piperazine Chemical compound FC(F)(F)C1=CC=CC(N2CCNCC2)=C1 KKIMDKMETPPURN-UHFFFAOYSA-N 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000011835 investigation Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000007493 shaping process Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- -1 SNMP Chemical compound 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000036528 appetite Effects 0.000 description 1
- 235000019789 appetite Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种塔台飞行指挥模拟训练管制员注意力评估系统及其方法，包括注意力采集子系统、塔台指挥模拟训练子系统、后台评价子系统、系统管理模块和显示窗口，各子系统、模块和窗口显示之间通过信息交互模块连接；通过将眼动技术应用在本系统中，辅助管制员在培训过程中熟悉与规范管制指挥流程，养成良好的管制习惯，合理分配管制精力，提高管制的效率与飞行实施过程的安全性，排除管制过程中存在的安全隐患；同时本系统作为通过生理指标对管制员培训过程进行辅助与监控的案例，具有广阔的发展空间。
Description
技术领域
本发明涉及空中交通管制技术领域，具体涉及一种塔台飞行指挥模拟训练管制员注意力评估系统及其方法。
背景技术
随着我国航空事业的发展，尤其在民用航空领域，空中流量相较以往得到了极大的提升，航路航线的拓展加大了对空中交通体系管理的难度，机场范围内飞行器起降频繁，给管制指挥人员增加了不小的工作负担，同时也带来了极大的安全隐患；在空中交通管制学员培训的过程中，管制模拟训练是必不可少的重要一环，逼真的模拟环境能够提高管制员对管制环境的熟悉程度，提升管制员业务熟练水平，因此，在模拟训练阶段必须按照实际管制席位的要求对管制员进行训练，使其正确、标准、规范地养成管制习；
注意力分配是管制员执行管制任务过程中的一个重要的管制习惯，科学合理的注意力分配习惯能够使管制员保持对管制区域的态势感知能力，降低其疲劳累积，提高管制安全系数；
而现行的对管制员培训的系统软件尚不具备对管制员注意力行为进行采集与评定的功能，因此不能很好的去对塔台飞行指挥管制员进行很好的训练，从而不能很好的提高管制员的职业水平。
发明内容
针对上述存在的问题，本发明旨在提供一种塔台飞行指挥模拟训练管制员注意力评估系统及其方法，通过本系统，辅助管制员在培训过程中熟悉与规范管制指挥流程，养成良好的管制习惯，合理分配管制精力，提高管制的效率与飞行实施过程的安全性，排除管制过程中存在的安全隐患。
为了实现上述目的，本发明所采用的技术方案如下：
一种塔台飞行指挥模拟训练管制员注意力评估系统，包括注意力采集子系统、塔台指挥模拟训练子系统、后台评价子系统、系统管理模块和显示窗口，各子系统、模块和窗口显示之间通过信息交互模块连接；
注意力采集子系统受塔台指挥模拟训练子系统控制，用于实时采集管制员的眼球位置信息和视线变化信息，并将采集到的信息发送给后台评价子系统；
塔台指挥模拟训练子系统根据训练科目生成训练科目标准数据，并将标准数据发送给后台评价子系统，后台评价子系统进行注意力采集识别前的数据校正，校正完毕后控制注意力采集子系统采集信息，并将信息发送给后台评价子系统，科目训练正式开始后，塔台指挥模拟训练子系统向评价系统更新发送飞行器的坐标、速度等动态信息和时间戳；
后台评价子系统在接收到塔台指挥模拟训练子系统的数据信息后，将两部分的数据进行融合，并通过时间戳进行匹配，结合建立好的规则数据库对各个阶段的指挥进行评分；
系统管理模块用于设定普通用户与管理员角色，并通过设置加密算法对管制员注意力评估系统进行管理；
显示窗口用于实时将注意力分布位置显示在训练屏幕上。
优选的，所述的注意力采集子系统包括硬件模块和软件模块，硬件模块包括头戴式陀螺仪和红外瞳孔采集摄像头，分别用于采集测试人员的头部朝向信息和眼球位置信息，软件模块包括头部及眼部的动作捕捉、图像与信号处理算法。
优选的，所述的塔台指挥模拟训练子系统包括塔台指挥模拟系统终端、情景判断模块、实时塔台数据包装模块、桌面模拟塔台模块和通话语义设定模块；
塔台指挥模拟系统终端用于输入不同训练科目，同时控制注意力采集子系统的开合；
情景判断模块用于根据塔台指挥模拟系统终端输入的不同训练科目，判断机场环境三维坐标、空域、航线参数等静态信息数据的阈值，并通过UDP单播协议将阈值发送到后台评价子系统中；同时情景判断模块用于监督模拟机场内的管制情况；
实时塔台数据包装模块以目标对象为单位逐一包装，将飞行器的坐标、速度、动作动态信息以及时间戳实时发送给后台评价子系统；
桌面模拟塔台模块包括由3个显示器构成的半圆形视场，并利用本视场对飞行器的飞行状态进行监督；
通话语义设定模块用于设定不同代码代表飞行器的不同飞行状态，便于塔台管制员的交流。
优选的，所述的后台评价子系统包括数据收发模块、数据存储模块、计算模块和评分模块；
数据收发模块用于接收注意力采集子系统发送来的管制员的眼球位置信息、视线变化信息和塔台指挥模拟训练子系统发送来的机场环境三维坐标、空域、航线参数等静态信息数据，并将经计算比较模块修正后的机场环境三维坐标、空域、航线参数等静态信息数据发送给塔台模拟训练子系统的显示屏幕；
数据存储模块内置存储有不同科目飞行时各个阶段的标准值和管制员注意力评估规则数据，同时还内置有录制单元对飞行器飞行过程进行录制并储存；
计算模块内置各种算法，可以接收飞行器的坐标、速度等动态信息以及时间戳等信息进行计算；
评分模块用于调用计算比较模块的计算结果和数据存储模块内存储的标准值，并将二者进行比较，同时给出单轮此训练总得分。
一种塔台飞行指挥模拟训练管制员注意力评估系统的评估方法，所述方法包括：
S1.搭建注意力采集子系统：将头戴式陀螺仪和红外瞳孔采集摄像头与头部及眼部的动作捕捉、图像与信号处理算法相结合，搭建得到注意力采集子系统；
S2.搭建塔台指挥模拟训练子系统，利用桌面模拟塔台模块对管制员眼动数据进行采集：
S3.根据采集到的数据，将飞行员的眼动数据和头动数据进行融合，建立模拟训练二维视线映射模型，搭建后台评价子系统，设定管制员注意力评估规则，对管制员的注意力进行评价；
S4.搭建系统管理模块：设定普通用户与管理员角色，并设计加密算法对用户数据进行管理。
优选的，步骤S1所述的头部和眼部动作捕捉、图像与信号处理算法的具体计算过程包括：
S101.利用红外瞳孔采集摄像头进行RGB通道的图像捕捉眼部图像数据，进行图像与信号处理；
S102.利用头戴式陀螺仪捕捉头部动作数据，进行图像与信号处理；
S103.综合处理后的眼动数据和头动数据，将数据经S3所述二维视线模型的视线转换显示在训练屏幕上。
优选的，步骤S2所述的利用桌面模拟塔台模块的半圆形视场对管制员眼动数据进行采集的过程包括：
分别从三台眼动仪接受格式相同的眼动数据，同时通过来源表示码将其区分，最终将来源偏置与收到的相对眼动视点坐标相加即得确定唯一的管制员眼动数据；
通讯编码使用字符串形式，其具体结构如下：
A，X.XXXXXX，Y.YYYYYY，YYYYMMDDHH：MM：SS
其中：在上式中，A为显示器标志码，取0-2，别代表三个显示器信号来源；紧随其后的由带6位小数的两个浮点数表示当前管制员眼动位置在对应显示器中的偏置值，一般为小数，取1即表示显示器的最底部或最右侧；为保证眼动数据的时效性，消息最附上当前数据对应的时间点，精确到秒，YYYY为年、MM为月、DD为日、HH:MM:SS则对应时：分：秒。
优选的，步骤S3所述的模拟训练二维视线映射模型的建立过程包括：
S301.讨论训练过程与视线模型的联系；
S302.建立二维视线模型：
(1)建立一个球坐标系，这个球坐标系的位置以r,
θ三个字母表示；
(2)此时，设飞机的坐标为
r是飞机关于坐标系原点的距离，
是指点投影于xOy面，与原点的连线关于x轴的夹角，θ是指点与原点的连线关于z轴的夹角；
其中：0≤r＜∞，
0≤θ≤π；
S303.利用两种数据进行坐标系的转换，包括：
S3031.把原球坐标系变换成一个空间直角坐标系；
S3032.根据平移以及坐标轴的旋转，将直角坐标系平移到另一个坐标轴的原点位置；
S3033.把平移后的空间直角坐标系变换成球坐标系，得到模拟训练二维视线映射模型。
优选的，步骤S3所述的管制员注意力评估规则包括遍历式评价任务和追踪式评价任务；
(1)遍历式评价任务主要用于环境扫视、关键点检查型任务建模，当遍历式评价任务结算时，将根据管制员对于任务点组的关注情况进行打分，分值计算准则为：
管制任务得分＝已完成关注点数量/总关注点数量
(2)追踪式评价任务主要用于评判管制员对场内执行任务飞机目标的关注程度与注意力分配水平，在使用时，首先计算当前场内需要管制员关注的任务总优先级：
总优先级＝∑追踪式任务优先级
然后通过定义等效关注时长来定义管制员对于某一个目标的关注效率：
等效关注时长＝总优先级/关注目标任务优先级
其中：等效关注时长的具体含义为：设目前场内同时存在两个追踪式管制任务A与B，其优先级分别为1和4(越高表示其越重要)，根据上式可计算得当前管制员注视两者的等效关注时长分别为5与5/4，则在5单位时间内，管制员的最佳注意力分配方式为，关注A目标1单位时间，关注B目标4单位时间，最终形成的效果等效于管制员在5单位时间内对管制任务A与B进行了充分有效地关注；
(3)当追踪式评价任务结算时，将统计目标追踪式评价任务持续过程中的所有等效关注时长，若计算的等效关注时长大于设定的阈值，则判定该任务为满分，否则按照比例计算分数，其具体算式如下：
追踪式任务得分＝∑全周期等效关注时长/总持续时间
若：追踪式评价任务得分>100，则追踪式评价任务得分取100；
(4)得到：
优选的，步骤S4所述的加密算法为MD5消息摘要算法，MD5消息摘要算法的算法步骤为：
S401.附加填充位：首先对输入的报文进行填位补充,使填充后的数据长度模512后余448，如果数据长度正好模512余448,则需增加512个填充位,也就是说填充的个数为1～512位；填充位第一个位为1，其余全部为0；
S402.补足长度：将数据长度表示为二进制,如果长度超过64位，则截取其低64位；如果长度不足64位，则在其高位补0.将这个64位的报文长度补在经过填充的报文后面，使得最后的数据为512位的整数倍；
S403.初始化MD缓存器：MD5运算要用到一个128位的MD5缓存器,用来保存中间变量和最终结果.该缓存器又可看成是4个32位的寄存器A、B、C、D,初始化为:A：01234567，B：89ab cd ef，C：fe dc ba 98、D：76543210；
S404.处理数据段：首先定义4个非线性函数F、G、H、I,对输入的报文运算以512位数据段为单位进行处理；对每个数据段都要进行4轮的逻辑处理，在4轮中分别使用4个不同的函数F、G、H、I；每一轮以ABCD和当前的512位的块为输入，处理后送入ABCD(128位)。
本发明的有益效果是：本发明公开了一种塔台飞行指挥模拟训练管制员注意力评估系统及其方法，与现有技术相比，本发明的改进之处在于：
本发明通过设计了一种塔台飞行指挥模拟训练管制员注意力评估系统及其方法，通过将眼动技术应用在本系统中，辅助管制员在培训过程中熟悉与规范管制指挥流程，养成良好的管制习惯，合理分配管制精力，提高管制的效率与飞行实施过程的安全性，排除管制过程中存在的安全隐患；同时本系统作为通过生理指标对管制员培训过程进行辅助与监控的案例，具有广阔的发展空间。
附图说明
图1为本发明塔台飞行指挥模拟训练管制员注意力评估系统工作流程图。
图2为本发明塔台飞行指挥模拟训练管制员注意力评估系统的框架图。
图3为本发明注意力采集子系统的框架图。
图4为本发明塔台指挥模拟训练子系统的框架图。
图5为本发明图形采集与处理直至定位眼部虹膜位置的流程图。
图6为本发明后台评价子系统的框架图。
图7为本发明数据储存模块存储的数据结构图。
图8为本发明后台评价子系统的算法框架图。
图9为本发明MD5消息摘要算法的框架图。
图10为本发明TCP/IP协议的结构图。
图11为本发明陀螺仪传感器的原理图。
图12为本发明陀螺仪传感器的原理图。
图13为本发明头部运动指示图。
图14为本发明训练席位视线示意图。
图15为本发明球坐标系图。
图16为本发明笛卡尔坐标系图。
图17为本发明原点转换的坐标系图。
图18为本发明直角坐标轴偏转图。
图19为本发明笛卡尔坐标系偏角。
具体实施方式
为了使本领域的普通技术人员能更好的理解本发明的技术方案，下面结合附图和实施例对本发明的技术方案做进一步的描述。
参照附图1-19所示的一种塔台飞行指挥模拟训练管制员注意力评估系统及其方法，所述塔台飞行指挥模拟训练管制员注意力评估系统包括：注意力采集子系统、塔台指挥模拟训练子系统、后台评价子系统、系统管理模块和显示窗口，各子系统、模块和窗口显示之间通过信息交互模块连接；
注意力采集子系统受塔台指挥模拟训练子系统控制，用于实时采集管制员的眼球位置信息和视线变化信息，并将采集到的信息发送给后台评价子系统；
塔台指挥模拟训练子系统可以根据不同科目，生成训练科目标准数据，即该科目的标准数据，并将该科目所涉及到的机场环境三维坐标、空域、航线参数等静态信息数据发送到后台评价子系统，后台评价子系统接收到数据后，接管塔台模拟训练子系统的显示屏幕做注意力采集识别前的数据校正，并将校正后的数据显示在塔台模拟训练子系统的显示屏幕上，校正完毕后控制注意力采集子系统开始采集管制员的注意力信息，并通过以太网将注意力的坐标信息以及时间戳发送给后台评价子系统，等科目训练正式开始后，塔台指挥模拟训练子系统开始向评价系统更新发送飞行器的坐标、速度等动态信息以及时间戳；
后台评价子系统在接收到塔台指挥模拟训练子系统的数据信息后，将两部分的数据(注意力的坐标信息以及时间戳信息、飞行器的坐标及速度等动态信息和时间戳)进行融合，建立模拟训练二维视线映射模型，并通过时间戳进行匹配，结合建立好的规则数据库对各个阶段的指挥进行评分，并将全过程进行视频录制，根据需要提供回放；
系统管理模块用于设定普通用户与管理员角色，并通过设置加密算法对管制员注意力评估系统进行管理；
显示窗口用于实时将注意力分布位置可视化显示在训练屏幕上(塔台模拟训练子系统的显示屏幕上)。
优选的，所述的注意力采集子系统包括硬件模块和软件模块，硬件模块包括头戴式陀螺仪和红外瞳孔采集摄像头，分别用于采集测试人员的头部朝向信息和眼球位置信息，软件模块包括头部及眼部的动作捕捉、图像与信号处理算法。
其中：所述的头戴式陀螺仪包括九轴加速度计陀螺仪MPU6050、电子陀螺仪MPU6050传感器模块和微处理器，九轴加速度计陀螺仪MPU6050用于捕捉头部偏向动作；电子陀螺仪MPU6050传感器模块能够通过RS232串口输出传感器角度偏向，角速度与加速度；微处理器用于按照传感器数据组帧格式提取出需要的角度偏向建立头部动作三维模型，并分析处此时管制员的面部朝向；所述红外瞳孔采集摄像头用于采集眼球图像，并利用虹膜及瞳孔反射提取眼部动作数据，提取时，利用英伟达Jetson TX系列GPU处理器进行提取。
优选的，所述的塔台指挥模拟训练子系统包括塔台指挥模拟系统终端、情景判断模块、实时塔台数据包装模块、桌面模拟塔台模块和通话语义设定模块；
塔台指挥模拟系统终端用于输入不同训练科目，同时控制注意力采集子系统的开合；
情景判断模块用于根据塔台指挥模拟系统终端输入的不同训练科目，判断机场环境三维坐标、空域、航线参数等静态信息数据的阈值，并通过UDP单播协议将阈值发送给后台评价子系统中；同时情景判断模块用于监督模拟机场内的管制情况，具体地，管制情景判断需依据以下准则：(1)关注任何正在呼叫塔台的场内目标；(2)对任何场内目标发布管制指令前，必须提前对目标行动区域进行充分观察；(3)密切注视场内任何正在进行移动的目标，并根据目标任务重要性合理分配关注每一个任务目标的时间；(4)定时对全场进行扫视，谨防异常状态出现；(5)闲时不可长时间发呆，应保持注意力集中；
实时塔台数据包装模块以目标对象为单位逐一包装，包装结果类型如表1所示，将飞行器的坐标、速度、动作动态信息以及时间戳实时发送给后台评价子系统；
表1：每一个目标对象对应的数据包表
表1中经本软件解码并使用的变量使用‘**’标记；
与塔台目标定位、状态同时接受的还有时钟信号、训练开始、训练终止、训练暂停、训练开始等；所有数据包的第一个无标志字节数字为上述数据包的标志号，其具体赋值如表2所示：
表2：数据包标志号的赋值表
桌面模拟塔台模块包括由3个显示器构成的半圆形视场，并利用本视场对飞行器的飞行状态进行监督；
通话语义设定模块用于设定不同代码代表飞行器的不同飞行状态，便于塔台管制员的交流，所述通话内涵的部分具体代码如表3所示；
表3：通话内涵的部分具体代码表
| 代码 | 含义 |
| RQ_Start_Up | 请求开车 |
| RQ_descent | 请求下降 |
| RQ_Taxi | 请求滑出 |
| RQ_Line_Up | 请求进跑道 |
| Ready_for_take_off | 请求起飞 |
| Go-around | 复飞 |
| RQ_Down | 请求下降 |
| UndercarriageOK | 起落架放好 |
| Landed | 落地 |
| Done | 明白 |
优选的，所述的后台评价子系统包括数据收发模块、数据存储模块、计算模块和评分模块；
数据收发模块用于接收注意力采集子系统发送来的管制员的眼球位置信息、视线变化信息和塔台指挥模拟训练子系统发送来的机场环境三维坐标、空域、航线参数等静态信息数据，并将经计算比较模块修正后的机场环境三维坐标、空域、航线参数等静态信息数据发送给塔台模拟训练子系统的显示屏幕；
数据存储模块内置存储有不同科目飞行时各个阶段的标准值和管制员注意力评估规则数据，同时还内置有录制单元对飞行器飞行过程进行录制并储存，所述数据存储形式如图7所示；
计算模块内置各种算法，可以接收飞行器的坐标、速度等动态信息以及时间戳等信息进行计算；
评分模块用于调用计算比较模块的计算结果和数据存储模块内存储的标准值，并将二者进行比较，同时给出单轮此训练总得分。
优选的，所述的管制员注意力评估规则的总体结构为：软件在管制员注意力评估过程中以管制任务为评估打分的基本单位，所有管制任务均包含开始节点、结算节点与中间过程；管制员应在中间过程中尽可能充分地完成管制任务，以在管制任务结算节点到来时获得更高得分；具体地，管制任务分为遍历式评价任务与追踪式评价任务两类，其任务要求与触发、结算标志均不尽相同；实现上，程序首先定义了针对塔台管制人员模拟训练注意力分配评估的管制任务数据库，其中又分为进行中任务与已结算任务。两者中的任务单元均以管制任务为单位存储，其中已结算任务主要记录任务名(体现任务对象与任务摘要)及其对应评分，进行中任务记录当前任务要求与执行进度情况，包括通话监听与触发、遍历式评价任务和追踪式评价任务；
(1)通话监听与触发：可实时监听管制员与飞行员之间交流细节，软件为监听其交流内容中与管制员注意力评估紧密相关的任务触发消息，建立了一个独立线程不断对其进行监听与筛选，其基本规则如下：
飞行员向管制员请求滑出、进跑道、起飞、进出空域、降落时，触发管制员对对应的滑行道、跑道、五边等关键部位的扫视任务，要求管制员对这些部位进行仔细检查；管制员向飞行员下达运动指令并受到飞行员回复“明白”时，触发管制员对目标飞机的追踪注视任务，管制员此时需根据当前追踪任务池中的任务优先级合理分配注意力；特殊阶段(起飞与降落阶段)，管制员接收到飞行员给出的“降落/起飞完成”信号时，则可触发对应追踪式管制任务的结算程序；上述监听与任务触发基本规则为基础，软件形成了一套管制员注意力评估规则体系；
(2)遍历式评价任务：遍历式评价任务是管制员注意力分配评估的两大类管制任务单元之一，主要用于环境扫视、关键点检查型任务建模。其核心为带标记的考察点组(考察点坐标与遍历标记一一对应)；训练进行中，程序线程将不断逐个检查当前管制员注意力视点与考察点组内坐标的对应关系，并将管制员已经完成检查的考察点组标记为正值；
考察点组的具体坐标是遍历式管制任务单元建立初始化时需要给定的函数参数，针对不同的遍历任务其点组坐标不同，这意味着在不同的管制情境下，管制员注意力需要关注到的区域也不同；
当遍历式评价任务结算时，将根据管制员对于任务点组的关注情况进行打分，分值计算准则为：
管制任务得分＝已完成关注点数量/总关注点数量；
(3)追踪式评价任务：追踪式评价任务是另一大类管制员注意力分配评估任务单元，主要用于评判管制员对场内执行任务飞机目标的关注程度与注意力分配水平。其核心为目标对象与优先级，与遍历式评价任务不同，追踪式评价任务在同一时刻的管制任务与场内其他同时存在的同类任务紧密关联，因此不能独立考核其完成水平；
因此，软件在此使用任务池概念，首先计算当前场内需要管制员关注的任务总优先级：
总优先级＝∑追踪式任务优先级
则通过定义等效关注时长来定义管制员对于某一个目标的关注效率：
等效关注时长＝总优先级/关注目标任务优先级
其中：等效关注时长的具体含义为：设目前场内同时存在两个追踪式管制任务A与B，其优先级分别为1和4(越高表示其越重要)，根据上式可计算得当前管制员注视两者的等效关注时长分别为5与5/4，则在5单位时间内，管制员的最佳注意力分配方式为，关注A目标1单位时间，关注B目标4单位时间，最终形成的效果等效于管制员在5单位时间内对管制任务A与B进行了充分有效地关注；
(4)当追踪式评价任务结算时，将统计目标追踪式评价任务持续过程中的所有等效关注时长，若计算的等效关注时长大于设定的阈值，则判定该任务为满分，否则按照比例计算分数，其具体算式如下：
追踪式任务得分＝∑全周期等效关注时长/总持续时间
若：追踪式评价任务得分>100，则追踪式评价任务得分取100。
在上述体系结构下，管制任务的具体设计如下：(1)请求滑出至发布滑出命令之间需扫视滑行道；(2)滑行过程中执行滑行追踪任务；(3)请求进入跑道至发布进跑道命令之间需扫视跑道与两侧五边；(4)进跑道过程中执行进跑道追踪任务；(5)请求起飞至发布起飞命令之间需扫视跑道与两侧五边；(6)起飞过程中执行起飞追踪任务；(7)离地20m以上时起飞追踪任务切换为爬升追踪任务；(8)降落前三转-五边过程中执行追踪任务；(9)请求降落前需扫视跑道；(10)降落过程中执行降落追踪任务；(11)每间隔一段时间生成一全场扫视任务；(12)持续考察管制员注意力区间，若视线长时间在一定范围内未移动，则对其进行扣分；
以上所有任务赋分权重、追踪式评价任务优先度、各类注意力判定范围等参数均可通过软件特定界面进行修改；在上述基础上，本塔台管制人员模拟训练注意力分配评估软件对于受训人员在一个训练流程中的表现综合评分规则如下：
一种塔台飞行指挥模拟训练管制员注意力评估系统的评估方法，所述方法包括：
S1.搭建注意力采集子系统：将头戴式陀螺仪和红外瞳孔采集摄像头与头部及眼部的动作捕捉、图像与信号处理算法相结合，搭建得到注意力采集子系统；
S2.搭建塔台指挥模拟训练子系统，利用桌面模拟塔台模块对管制员眼动数据进行采集：
S3.根据采集到的数据，将飞行员的眼动数据和头动数据进行融合，建立模拟训练二维视线映射模型，搭建后台评价子系统，设定管制员注意力评估规则，对管制员的注意力进行评价；
S4.搭建系统管理模块：设定普通用户与管理员角色，并设计加密算法对用户数据进行管理。
优选的，步骤S1所述的头部和眼部动作捕捉、图像与信号处理算法的具体计算过程包括：
S101.利用红外瞳孔采集摄像头进行RGB通道的图像捕捉眼部图像数据，进行图像与信号处理：
(1)采集图像数据：调用处理器的红外瞳孔采集摄像头进行RGB通道的图像捕捉；
(2)转换图像通道：将采集到的RGB图像转换为HSV图像数据，随后通过特定颜色的亮度和色系信息将目标图像分离；
(3)图像转灰度：对分离出的特定强度和色系图像进行单通道灰度转换，以进一步处理图像，提取图像信息；并对提取的图像进行高斯滤波除去图像中的高斯噪声；
(4)图像二值化：将已经完成灰度转换的图像通过设定特定阈值进行图像二值化转换，同时，为消除背景环境影响，使用大津算法进行图像处理，最终实现复杂环境中的目标特征分离；
(5)图像腐蚀膨胀：对图像先后采取腐蚀与膨胀处理，最终突出图像白色部分的成像效果，以除去图像中依然存在的随机噪声；
(6)图像整形：使用可见光反射提取虹膜位置特征时，虹膜提取将严重受上眼睑影响导致模型拟合误差，最终使动作补充误差巨大，此时采取有效图像个性化整形措施提升拟合质量；
(7)轮廓提取及边缘检测：通过以图像求导为基础的收敛算法确定图像像素点中像素强度值变化率大的点集，以此确定图像中的轮廓与边缘，其具体过程包括：(1)应用高斯滤波来平滑图像，目的是去除噪声；(2)找寻图像的强度梯度(intensity gradients)；(3)应用非最大抑制(non-maximum suppression)技术来消除边误检(本来不是但检测出来是)；(4)应用双阈值的方法来决定可能的(潜在的)边界；(5)利用滞后技术来跟踪边界；
(8)图像拟合：提取得到图像的边缘和轮廓后，运用霍夫曼圆检测或圆拟合算法对提取轮廓进行最小外接圆的拟合，同时二维处理时采取轮廓的最小外接椭圆拟合；
其中，所述霍夫圆检测算法在本专利中的具体过程包括：(1)对输入图像进行边缘检测，获取边界点，即前景点；(2)假如图像中存在圆形，那么其轮廓必定属于前景点；(3)将圆形的一般性方程换一种方式表示，进行坐标变换，由x-y坐标系转换到a-b坐标系，写成如下形式(a-x)2+(b-y)2＝r2，那么x-y坐标系中圆形边界上的一点对应到a-b坐标系中即为一个圆；(4)那x-y坐标系中一个圆形边界上有很多个点，对应到a-b坐标系中就会有很多个圆，由于原图像中这些点都在同一个圆形上，那么转换后a,b必定也满足a-b坐标系下的所有圆形的方程式，直观表现为这许多点对应的圆都会相交于一个点，那么这个交点就可能是圆心(a,b)；(5)统计局部交点处圆的个数，取每一个局部最大值，就可以获得原图像中对应的圆形的圆心坐标(a,b)，一旦在某一个r下面检测到圆，那么r的值也就随之确定；
(9)定位虹膜位置：通过拟合圆返同的圆心坐标值确定虹膜以及瞳孔的位置以此来捕捉测试人员的眼部虹膜位置。
S102.利用头戴式陀螺仪捕捉头部动作数据，进行图像与信号处理：
头部数据采集利用了陀螺仪进行，陀螺仪的原理就是：一个旋转物体的旋转轴所指的方向在不受外力影响时，是不会改变的；人们根据这个道理，用它来保持方向，所以将陀螺仪分为了三个方向的坐标轴，将佩戴在头顶的陀螺仪位置作为坐标中心点，只要头部有所运动，就能产生坐标轴的偏移，此时就能得到关于头部运动的数据信息；在使用时，将其固定在训练者的头顶，是利用的惯性力的方向性，当实验者在进行模拟训练的过程中，头部运动是分配注意力的间接体现，注意力的分配在搜索空情信息，二次雷达屏幕的信息确认，跑道的扫视，特定空情的关注等，即步骤S1所述的头部动作捕捉、图像与信号处理算法的具体计算过程包括：
(1)头部数据的建模：首先上文所说，建立一个坐标轴，这个坐标轴里面涵盖了所要运动的三个方向轴，如图12所示；其中在图12中：
Rxz为惯性力的矢量R在XZ平面的投影；Ryz为惯性力的矢量R在YZ平面的投影；Rxy为惯性力的矢量R在XY平面的投影；
因为投影是直角三角形，已知直角三角形两边求解第三边，用来证明该三角形内两边垂直，利用勾股定理求线段长度这是勾股定理的最基本运用，可知道Rxz与Rx组成的直角三角形里面，此时列出勾股定理的公式：
Rxz2＝Rx2+Rz2
而此时对于其他两个角也是一样的
Ryz2＝Ry2+Rz2
Rxy2＝Rx2+Ry2
根据定理还可以得到：
R2＝Rxz2+Ry2
R2＝Ryz2+Rx2
R2＝Rxy2+Rz2
首先分析一个角，由X轴和Rxz，Rxy,向量之间所构成的夹角，他们分别是∠Rxy-X，∠Rxz-X两个角，因为本质上惯性力就是对角度的变化率进行测量，其实就是当我们头部在运动时，可以得到一个输出值，这个输出值代表的是上面这些角度变化率线性相关的；
此时我们假设，已经绕着Z轴旋转了，旋转的角度(也就是∠Rxy-X在变化)此时定为∠Rxy-X0，经过一段t1时间后，再测量角度就变化为了∠Rxy-X1，利用一个简单的公式就能知道变化率的求解：
RateRxy-X＝(Rxy-X1-(Rxy-X0)/(t1-t0)
得到陀螺仪最终检测的东西；
最终得到的头部运动数据可以对应出头部的偏转情况，在单独使用陀螺仪时，类似眼动一样，当我们偏转时，会有指示图框显示在屏幕上；
S103.综合处理后的眼动数据和头动数据，将数据经S3所述的二维视线模型的视线转换显示在训练屏幕上：
经过显示过后的头部信息，也能单独反映注意力分配的情况，但是太过粗糙，也容易出错，只有结合眼动分析才能精确地显示出视线的位置，眼动与头部信息还需要经过视线的转换才能得以最终显示在训练屏幕(曲面屏)上，如图13所示。
优选的，步骤S2所述的利用桌面模拟塔台模块的半圆形视场对管制员眼动数据进行采集的过程包括：
分别从三台眼动仪接受格式相同的眼动数据，同时通过来源表示码将其区分，最终将来源偏置与收到的相对眼动视点坐标相加即得确定唯一的管制员眼动数据；
通讯编码使用字符串形式，其具体结构如下：
A，X.XXXXXX，Y.YYYYYY，YYYYMMDDHH：MM：SS
其中：在上式中，A为显示器标志码，取0-2，别代表三个显示器信号来源；紧随其后的由带6位小数的两个浮点数表示当前管制员眼动位置在对应显示器中的偏置值，一般为小数，取1即表示显示器的最底部或最右侧；为保证眼动数据的时效性，消息最附上当前数据对应的时间点，精确到秒，YYYY为年、MM为月、DD为日、HH:MM:SS则对应时：分：秒。
优选的，步骤S3所述的模拟训练二维视线映射模型的建立过程包括：
S301.讨论训练过程与视线模型的联系
在实际训练过程中,我们面对的是三块曲面屏，这三块屏幕显示内容囊括了我们在训练中将要面对的机场跑道、滑行道、机场附近的天空，这是跟现实中的塔台面对情况相同的模拟内容，而我们处在的是塔台内，所以我们的视野范围是以塔台作为起始点的，然后整个模拟训练系统是以跑道的中点作为坐标系的圆心，所以我们在训练过程中，实际上进行了视线坐标系的交换，才能得到飞机关于塔台的直观数据信息。我们的眼动仪和陀螺仪都集成在一套固定装置上面，所以此时整套眼动分析设备也是以塔台作为我们视线坐标系的原点，要想得到实际训练中飞机的位置信息，进行注意力集中与否的对比，就要转换视线的坐标系才能做出下一步的数据判断以及图像显示；所以这里的两个视线坐标系构成了视线模型，以期对训练出现的坐标进行整体化的规范以及坐标表示，得到如图14所示的视线关系；
S302.建立二维视线模型
由于在模拟训练系统中，是以跑道中心点为原点建立了一个球坐标系，飞机的位置信息就是关于跑道中心点球坐标系的信息，是一个三维的位置信息，我们要的是一个飞机关于塔台的位置信息，而我们塔台的位置信息也是一个球坐标系，依据上面的思路我们首先建立一个球坐标系，这个球坐标系的位置是以r,
θ三个字母表示，得到如图15所示的球坐标系；
此时，我们设定飞机的坐标为
r是飞机关于坐标系原点的距离，
是指点投影于xOy面，与原点的连线关于x轴的夹角，θ是指点与原点的连线关于z轴的夹角；(0≤r＜∞，
0≤θ≤π)而关于我们塔台的视线坐标则是一个直角坐标系，直角坐标系也是一个三坐标轴方向的坐标系，如图16所示的笛卡尔坐标系；
用(x,y,z)表示其坐标轴，是一个关于常规三维空间的坐标轴表述方式，通过这两个坐标系我们建立了视线的模型，为下一步的转换提供了基础；
S303.利用两种数据进行坐标系的转换
通过视线模型我们知道要变换坐标系，这就牵涉到两个球坐标系的相对位置关系，也就是一个球坐标系里的坐标变换到另一个球坐标系里去，现行球坐标系的平移变换分为了三步：1.把原球坐标系变换成一个空间直角坐标系；2.根据平移以及坐标轴的旋转，平移到另一个坐标轴的原点位置；3.把平移后的空间直角坐标系变换成球坐标系；
为了将两个球坐标系进行转换，首先转换跑道中心那个球坐标系：
S3031.把原球坐标系变换成一个空间直角坐标系：
设此时的飞机坐标为
将此时的球坐标系转换为空间直角坐标系，空间直角坐标系表示如图，将
转换为(x,y,z)，根据球坐标系和空间直角坐标系的转换公式可以得到以下式子：
z＝r0 cosθ0
S3032.根据平移以及坐标轴的旋转，将直角坐标系平移到另一个坐标轴的原点位置：
上述式子表示了飞机在以跑道中心点为原点的空间直角坐标系中的位表示以跑道中心为原点的球坐标系它的原点按照球坐标系表示为(0,0,0)，当它转换成空间直角坐标系过后，原点的坐标表示为(0,0,0)，可以看出这两者的表示是一样的；
(1)因此可以得出在变换中原点的坐标是不会变化的，永远是(0,0,0,)的形式出现；以塔台为原点的坐标系无论是球坐标系或者是空间直角坐标系,它的原点表示都是(0,0,0)，所以可以得出结论，此时平移可以按照空间直角坐标系的平移方法进行，按照比例推断，得到平移的坐标是(i,j,k)，如图17所示；
(2)按照空间直角坐标系的平移规则，可以得到把跑道中心空间直角坐标系平移到塔台中心空间直角坐标系的表示：
z1＝r0 cosθ0-k
(3)这只是平移后的坐标轴，没有考虑坐标轴的偏转，当要考虑坐标轴的偏转时，要加方向余弦，偏转形式如图18所示：
方向余弦是直线的方向角的余弦，一条直线关于一个坐标系的三个轴都有方向余弦，每个坐标轴的旋转关于原坐标系的偏转都有三个方向余弦，如图19所示，(其中α,β,γ为夹角，每个坐标轴都与原坐标轴有三个夹角)；
设x轴的夹角为(α1,β1,γ1)，y轴的夹角为(α2,β2,γ2)；Z轴的夹角为(α3,β3,γ3)，因为有方向余弦公式：
l＝cosα
m＝cosβ
n＝cosγ
而包含方向余弦的旋转公式为：
x＝l1x1+l2y1+l3z1
y＝m1x1+m2y1+m3z1
z＝n1x1+n2y1+n3z1
方向余弦逆变换公式为：
x1＝x cosα1+y cosβ1+z cosγ1
y1＝x cosα2+y cosβ2+z cosγ2
z1＝x cosα3+y cosβ3+z cosγ3
所以得到旋转后的空间直角坐标系为：
(4)由此得到旋转和平移后的空间直角坐标系坐标表示为：
S3033.把平移后的空间直角坐标系变换成球坐标系，得到模拟训练二维视线映射模型：将空间直角坐标系恢复到球坐标系分为了两种情况：
(1)第一种情况：只有平移没有旋转：
根据空间直角坐标系的逆变换公式：
可以得到的是跑道中心球坐标系平移到塔台球坐标系的表示，根据这个可以得到飞机在跑道球坐标系的位置信息在塔台的球坐标系里的表示：
再全部代入x1,y1,z1可得：
则
点的位置表示变为了
(2)第二种情况：平移和旋转都有的情况：
根据空间直角坐标系的逆变换：
而代入此时的x1,y1,z1可得(包括了方向余弦在内)：
此时
点的位置表示变为了
上述就是坐标系转换的全过程，涉及了两次不同的坐标系的变换，以及空间中的方向余弦得加入，使得坐标系经过变换后能直接使用，对应上眼动仪和陀螺仪的位置信息，然后加以数据处理在屏幕上的显示，就可以得到训练者关于自身视线的显示，也就是注意力的分配，直观的显示出训练者的注意力是否在各个时间节点处于正确的位置，进而达到辅助训练的目的。
优选的，步骤S3所述的管制员注意力评估规则包括遍历式评价任务和追踪式评价任务；
(1)遍历式评价任务主要用于环境扫视、关键点检查型任务建模，当遍历式评价任务结算时，将根据管制员对于任务点组的关注情况进行打分，分值计算准则为：
管制任务得分＝已完成关注点数量/总关注点数量
(2)追踪式评价任务主要用于评判管制员对场内执行任务飞机目标的关注程度与注意力分配水平，在使用时，首先计算当前场内需要管制员关注的任务总优先级：
总优先级＝∑追踪式任务优先级
则通过定义等效关注时长来定义管制员对于某一个目标的关注效率：
等效关注时长＝总优先级/关注目标任务优先级
其中：等效关注时长的具体含义为：设目前场内同时存在两个追踪式管制任务A与B，其优先级分别为1和4(越高表示其越重要)，根据上式可计算得当前管制员注视两者的等效关注时长分别为5与5/4，则在5单位时间内，管制员的最佳注意力分配方式为，关注A目标1单位时间，关注B目标4单位时间，最终形成的效果等效于管制员在5单位时间内对管制任务A与B进行了充分有效地关注；
(3)当追踪式评价任务结算时，将统计目标追踪式评价任务持续过程中的所有等效关注时长，若计算的等效关注时长大于设定的阈值，则判定该任务为满分，否则按照比例计算分数，其具体算式如下：
追踪式任务得分＝∑全周期等效关注时长/总持续时间
若：追踪式评价任务得分>100
则追踪式评价任务得分取100。
优选的，基于所述的桌面模拟塔台模块的半圆形视场构成形式，在进行管制员眼动数据的采集时：
分别从三台眼动仪接受格式相同的眼动数据，同时通过来源表示码将其区分，最终将来源偏置与收到的相对眼动视点坐标相加即得确定唯一的管制员眼动数据；
通讯编码使用字符串形式，其具体结构如下：
A，X.XXXXXX，Y.YYYYYY，YYYYMMDDHH：MM：SS
其中：在上式中，A为显示器标志码，取0-2，别代表三个显示器信号来源；紧随其后的由带6位小数的两个浮点数表示当前管制员眼动位置在对应显示器中的偏置值，一般为小数，取1即表示显示器的最底部或最右侧；为保证眼动数据的时效性，消息最附上当前数据对应的时间点，精确到秒，YYYY为年、MM为月、DD为日、HH:MM:SS则对应时：分：秒。
优选的，本软件有普通用户与管理员两种角色，用户与管理员的信息保存在一个用户文件中，在这个用户文件中，保存了用户名、经过MD5算法加密之后的密码和用户的类型；由于采用了MD5加密算法，因此保障了账户信息的安全；用户进入登录界面之后，输入用户名和密码，点击登录之后，程序会读取保存的用户信息，并根据用户名找到对应的用户，将密码加密后与保存的密码相比较，若匹配，则登录成功；若不匹配，则登录失败；在登录的过程中，会根据用户信息判断用户角色，并根据用户角色决定不同的操作界面。普通用户只能更改自己的密码；用户点击修改密码，会要求输入原密码、新密码和重复一遍密码，提交之后，首先会根据用户名找到对应的信息，并对比密码，对比成功则将原密码加密后存储进用户信息文件；对比失败或者两遍密码不一样则提示错误；管理员用户可以更改密码，并且可以添加普通用户和管理员。更改密码的原理与普通用户更改密码一致；管理员点击增加用户，在增加用户的界面中输入用户名、密码和类型，提交之后程序会将密码加密后保存到用户信息文件中；
MD5消息摘要算法(MD5Message-Digest Algorithm)，是一种被广泛使用的密码散列函数，可以产生出一个128位(16字节)的散列值(hash value)，用于确保信息传输完整一致；MD5的特性：1.不可逆，没有系统有办法知道md5原来的文字是什么；2.具有高度的离散性，MD5码具有高度的散列性，没有规律可循，哪怕原信息只有一点点的变化，比如多个空格，那么就会导致md5发生巨大变化，也可以说产生的MD5码是不可预测的；3.压缩性，任意长度的数据，算出的md5值得长度都是固定的；4.弱碰撞性，已知原数据和其MD5的值，想找到一个具有相同md5值得数据(即伪造数据)是非常困难的，其结构如图9所示；
MD5消息摘要算法的算法步骤为：
S1.附加填充位：首先对输入的报文进行填位补充,使填充后的数据长度模512后余448，如果数据长度正好模512余448,则需增加512个填充位,也就是说填充的个数为1～512位；填充位第一个位为1，其余全部为0；
S2.补足长度：将数据长度表示为二进制,如果长度超过64位，则截取其低64位；如果长度不足64位，则在其高位补0.将这个64位的报文长度补在经过填充的报文后面，使得最后的数据为512位的整数倍；
S3.初始化MD缓存器：MD5运算要用到一个128位的MD5缓存器,用来保存中间变量和最终结果.该缓存器又可看成是4个32位的寄存器A、B、C、D,初始化为:A：01234567，B：89ab cd ef，C：fe dc ba 98、D：76543210；
S4.处理数据段：首先定义4个非线性函数F、G、H、I,对输入的报文运算以512位数据段为单位进行处理；对每个数据段都要进行4轮的逻辑处理，在4轮中分别使用4个不同的函数F、G、H、I；每一轮以ABCD和当前的512位的块为输入，处理后送入ABCD(128位)。
优选的，所述的信息交互模块为UDP协议，UDP是User Datagram Protocol的简称，中文名是用户数据报协议，是OSI参考模型中的传输层协议，它是一种无连接的传输层协议，提供面向事务的简单不可靠信息传送服务；作为OSI参考模型中一种无连接的传输层协议，它主要用于不要求分组顺序到达的传输中，分组传输顺序的检查与排序由应用层完成，提供面向事务的简单不可靠信息传送服务；UDP协议基本上是IP协议与上层协议的接口；UDP协议适用端口分别运行在同一台设备上的多个应用程序；UDP提供了无连接通信，且不对传送数据包进行可靠性保证，适合于一次传输少量数据，UDP传输的可靠性由应用层负责。常用的UDP端口号有：53(DNS)、69(TFTP)、161(SNMP)，使用UDP协议包括：TFTP、SNMP、NFS、DNS、BOOTP；UDP报文没有可靠性保证、顺序保证和流量控制字段等，可靠性较差；但是正因为UDP协议的控制选项较少，在数据传输过程中延迟小、数据传输效率高，适合对可靠性要求不高的应用程序，或者可以保障可靠性的应用程序，如DNS、TFTP、SNMP等；在TCP/IP协议层次模型中，UDP位于IP层之上；应用程序访问UDP层然后使用IP层传送数据报；IP数据报的数据部分即为UDP数据报。IP层的报头指明了源主机和目的主机地址，而UDP层的报头指明了主机上的源端口和目的端口；UDP传输的段(segment)有8个字节的报头和有效载荷字段构成；UDP报头由4个域组成，其中每个域各占用2个字节，具体包括源端口号、目标端口号、数据报长度、校验值，其具体结构如图10所示。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (10)
1.一种塔台飞行指挥模拟训练管制员注意力评估系统，其特征在于：包括注意力采集子系统、塔台指挥模拟训练子系统、后台评价子系统、系统管理模块和显示窗口，各子系统、模块和窗口显示之间通过信息交互模块连接；
注意力采集子系统受塔台指挥模拟训练子系统控制，用于实时采集管制员的眼球位置信息和视线变化信息，并将采集到的信息发送给后台评价子系统；
塔台指挥模拟训练子系统根据训练科目生成训练科目标准数据，并将标准数据发送给后台评价子系统，科目训练正式开始后，塔台指挥模拟训练子系统向评价系统更新发送飞行器的坐标、速度等动态信息和时间戳；
后台评价子系统在接收到塔台指挥模拟训练子系统的数据信息后，将两部分的数据进行融合，并通过时间戳进行匹配，结合建立好的规则数据库对各个阶段的指挥进行评分；
系统管理模块用于设定普通用户与管理员角色，并通过设置加密算法对管制员注意力评估系统进行管理；
显示窗口用于实时将注意力分布位置显示在训练屏幕上。
2.根据权利要求1所述的一种塔台飞行指挥模拟训练管制员注意力评估系统，其特征在于：所述的注意力采集子系统包括硬件模块和软件模块，硬件模块包括头戴式陀螺仪和红外瞳孔采集摄像头，分别用于采集测试人员的头部朝向信息和眼球位置信息，软件模块包括头部及眼部的动作捕捉、图像与信号处理算法。
3.根据权利要求1所述的一种塔台飞行指挥模拟训练管制员注意力评估系统，其特征在于：所述的塔台指挥模拟训练子系统包括塔台指挥模拟系统终端、情景判断模块、实时塔台数据包装模块、桌面模拟塔台模块和通话语义设定模块；
塔台指挥模拟系统终端用于输入不同训练科目，同时控制注意力采集子系统的开合；
情景判断模块用于根据塔台指挥模拟系统终端输入的不同训练科目，判断机场环境三维坐标、空域、航线参数等静态信息数据的阈值，并通过UDP单播协议将阈值发送到后台评价子系统中；同时情景判断模块用于监督模拟机场内的管制情况；
实时塔台数据包装模块以目标对象为单位逐一包装，将飞行器的坐标、速度、动作动态信息以及时间戳实时发送给后台评价子系统；
桌面模拟塔台模块包括由3个显示器构成的半圆形视场，并利用本视场对飞行器的飞行状态进行监督；
通话语义设定模块用于设定不同代码代表飞行器的不同飞行状态，便于塔台管制员的交流。
4.根据权利要求1所述的一种塔台飞行指挥模拟训练管制员注意力评估系统，其特征在于：所述的后台评价子系统包括数据收发模块、数据存储模块、计算模块和评分模块；
数据收发模块用于接收注意力采集子系统发送来的管制员的眼球位置信息、视线变化信息和塔台指挥模拟训练子系统发送来的机场环境三维坐标、空域、航线参数等静态信息数据，并将经计算比较模块修正后的机场环境三维坐标、空域、航线参数等静态信息数据发送给塔台模拟训练子系统的显示屏幕；
数据存储模块内置存储有不同科目飞行时各个阶段的标准值和管制员注意力评估规则数据，同时还内置有录制单元对飞行器飞行过程进行录制并储存；
计算模块内置各种算法，可以接收飞行器的坐标、速度等动态信息以及时间戳等信息进行计算；
评分模块用于调用计算比较模块的计算结果和数据存储模块内存储的标准值，并将二者进行比较，同时给出单轮此训练总得分。
5.根据权利要求1所述的一种塔台飞行指挥模拟训练管制员注意力评估系统的评估方法，其特征在于：所述方法包括：
S1.搭建注意力采集子系统：将头戴式陀螺仪和红外瞳孔采集摄像头与头部及眼部的动作捕捉、图像与信号处理算法相结合，搭建得到注意力采集子系统；
S2.搭建塔台指挥模拟训练子系统，利用桌面模拟塔台模块对管制员眼动数据进行采集：
S3.根据采集到的数据，将飞行员的眼动数据和头动数据进行融合，建立模拟训练二维视线映射模型，搭建后台评价子系统，设定管制员注意力评估规则，对管制员的注意力进行评价；
S4.搭建系统管理模块：设定普通用户与管理员角色，并设计加密算法对用户数据进行管理。
6.根据权利要求5所述的一种塔台飞行指挥模拟训练管制员注意力评估系统的评估方法，其特征在于：步骤S1所述的头部和眼部动作捕捉、图像与信号处理算法的具体计算过程包括：
S101.利用红外瞳孔采集摄像头进行RGB通道的图像捕捉眼部图像数据，进行图像与信号处理；
S102.利用头戴式陀螺仪捕捉头部动作数据，进行图像与信号处理；
S103.综合处理后的眼动数据和头动数据，将数据经S3所述二维视线模型的视线转换显示在训练屏幕上。
7.根据权利要求5所述的一种塔台飞行指挥模拟训练管制员注意力评估系统的评估方法，其特征在于：步骤S2所述的利用桌面模拟塔台模块的半圆形视场对管制员眼动数据进行采集的过程包括：
分别从三台眼动仪接受格式相同的眼动数据，同时通过来源表示码将其区分，最终将来源偏置与收到的相对眼动视点坐标相加即得确定唯一的管制员眼动数据；
通讯编码使用字符串形式，其具体结构如下：
A，X.XXXXXX，Y.YYYYYY，YYYYMMDDHH：MM：SS
其中：在上式中，A为显示器标志码，取0-2，别代表三个显示器信号来源；紧随其后的由带6位小数的两个浮点数表示当前管制员眼动位置在对应显示器中的偏置值，一般为小数，取1即表示显示器的最底部或最右侧；为保证眼动数据的时效性，消息最附上当前数据对应的时间点，精确到秒，YYYY为年、MM为月、DD为日、HH:MM:SS则对应时：分：秒。
8.根据权利要求5所述的一种塔台飞行指挥模拟训练管制员注意力评估系统的评估方法，其特征在于：步骤S3所述的模拟训练二维视线映射模型的建立过程包括：
S301.讨论训练过程与视线模型的联系；
S302.建立二维视线模型：
(1)建立一个球坐标系，这个球坐标系的位置以r,
θ三个字母表示；
(2)此时，设飞机的坐标为
r是飞机关于坐标系原点的距离，
是指点投影于xOy面，与原点的连线关于x轴的夹角，θ是指点与原点的连线关于z轴的夹角；
其中：0≤r＜∞，
0≤θ≤π；
S303.利用两种数据进行坐标系的转换，包括：
S3031.把原球坐标系变换成一个空间直角坐标系；
S3032.根据平移以及坐标轴的旋转，将直角坐标系平移到另一个坐标轴的原点位置；
S3033.把平移后的空间直角坐标系变换成球坐标系，得到模拟训练二维视线映射模型。
9.根据权利要求5所述的一种塔台飞行指挥模拟训练管制员注意力评估系统的评估方法，其特征在于：步骤S3所述的管制员注意力评估规则包括遍历式评价任务和追踪式评价任务；
(1)遍历式评价任务主要用于环境扫视、关键点检查型任务建模，当遍历式评价任务结算时，将根据管制员对于任务点组的关注情况进行打分，分值计算准则为：
管制任务得分＝已完成关注点数量/总关注点数量
(2)追踪式评价任务主要用于评判管制员对场内执行任务飞机目标的关注程度与注意力分配水平，在使用时，首先计算当前场内需要管制员关注的任务总优先级：
总优先级＝∑追踪式任务优先级
然后通过定义等效关注时长来定义管制员对于某一个目标的关注效率：
等效关注时长＝总优先级/关注目标任务优先级
其中：等效关注时长的具体含义为：设目前场内同时存在两个追踪式管制任务A与B，其优先级分别为1和4(越高表示其越重要)，根据上式可计算得当前管制员注视两者的等效关注时长分别为5与5/4，则在5单位时间内，管制员的最佳注意力分配方式为，关注A目标1单位时间，关注B目标4单位时间，最终形成的效果等效于管制员在5单位时间内对管制任务A与B进行了充分有效地关注；
(3)当追踪式评价任务结算时，将统计目标追踪式评价任务持续过程中的所有等效关注时长，若计算的等效关注时长大于设定的阈值，则判定该任务为满分，否则按照比例计算分数，其具体算式如下：
追踪式任务得分＝∑全周期等效关注时长/总持续时间
若：追踪式评价任务得分＞100，则追踪式评价任务得分取100；
(4)得到：
10.根据权利要求5所述的一种塔台飞行指挥模拟训练管制员注意力评估系统的评估方法，其特征在于：步骤S4所述的加密算法为消息摘要算法，消息摘要算法的算法步骤为：
S401.附加填充位：首先对输入的报文进行填位补充，使填充后的数据长度模512后余448，如果数据长度正好模512余448，则需增加512个填充位，也就是说填充的个数为1～512位；填充位第一个位为1，其余全部为0；
S402.补足长度：将数据长度表示为二进制，如果长度超过64位，则截取其低64位；如果长度不足64位，则在其高位补0.将这个64位的报文长度补在经过填充的报文后面，使得最后的数据为512位的整数倍；
S403.初始化MD缓存器：MD5运算要用到一个128位的MD5缓存器，用来保存中间变量和最终结果.该缓存器又可看成是4个32位的寄存器A、B、C、D，初始化为：A：01 23 45 67，B：89ab cd ef，C：fe dc ba 98、D：76 54 32 10；
S404.处理数据段：首先定义4个非线性函数F、G、H、I,对输入的报文运算以512位数据段为单位进行处理；对每个数据段都要进行4轮的逻辑处理，在4轮中分别使用4个不同的函数F、G、H、I；每一轮以ABCD和当前的512位的块为输入，处理后送入ABCD。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011555170.8A CN112785890B (zh) | 2020-12-24 | 2020-12-24 | 一种塔台飞行指挥模拟训练管制员注意力评估系统及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011555170.8A CN112785890B (zh) | 2020-12-24 | 2020-12-24 | 一种塔台飞行指挥模拟训练管制员注意力评估系统及其方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112785890A true CN112785890A (zh) | 2021-05-11 |
| CN112785890B CN112785890B (zh) | 2022-08-09 |
Family
ID=75752254
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011555170.8A Expired - Fee Related CN112785890B (zh) | 2020-12-24 | 2020-12-24 | 一种塔台飞行指挥模拟训练管制员注意力评估系统及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112785890B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113256126A (zh) * | 2021-05-31 | 2021-08-13 | 樊天放 | 一种基于目光焦点位置检测训练效果的系统及方法 |
| CN114333485A (zh) * | 2021-09-18 | 2022-04-12 | 能科科技股份有限公司 | 一种基于物联网的设备在线模拟调试系统 |
| CN114399752A (zh) * | 2022-02-19 | 2022-04-26 | 桂林电子科技大学 | 一种基于微眼跳特性的眼动多特征融合疲劳检测系统及检测方法 |
| CN115273600A (zh) * | 2022-07-27 | 2022-11-01 | 山东心法科技有限公司 | 一种飞行员驾驶技能智能辅助训练方法及系统 |
| CN116824954A (zh) * | 2023-07-03 | 2023-09-29 | 中国民用航空飞行学院 | 眼动+飞行数据的模拟机飞行训练讲评系统及方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2333746A1 (en) * | 2009-12-04 | 2011-06-15 | D.R.E.A.M. Italia S.c.a.f. | System and process for evaluating, updating and certifying students' learning |
| EA201001151A1 (ru) * | 2010-06-16 | 2011-12-30 | Фгу "2 Цнии Минобороны России" | Способ обучения вниманию |
| CN102831548A (zh) * | 2012-08-13 | 2012-12-19 | 中国民航大学 | 塔台管制员技能自动评价系统 |
| CN107239895A (zh) * | 2017-05-27 | 2017-10-10 | 西南交通大学 | 用于持续性注意力考核的方法及系统 |
| CN110210695A (zh) * | 2019-04-16 | 2019-09-06 | 中国电子科技集团公司第十五研究所 | 一种基于支持向量机的塔台管制模拟训练评估方法 |
| CN111178706A (zh) * | 2019-12-18 | 2020-05-19 | 南京航空航天大学 | 一种基于眼动数据的管制员注意力分配评估方法 |
| CN111292850A (zh) * | 2020-01-22 | 2020-06-16 | 福建中医药大学 | 一种adhd儿童注意力智能康复系统 |
| CN111739376A (zh) * | 2020-07-14 | 2020-10-02 | 璞洛泰珂(上海)智能科技有限公司 | 一种机场管制员模拟训练系统 |
-
2020
- 2020-12-24 CN CN202011555170.8A patent/CN112785890B/zh not_active Expired - Fee Related
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2333746A1 (en) * | 2009-12-04 | 2011-06-15 | D.R.E.A.M. Italia S.c.a.f. | System and process for evaluating, updating and certifying students' learning |
| EA201001151A1 (ru) * | 2010-06-16 | 2011-12-30 | Фгу "2 Цнии Минобороны России" | Способ обучения вниманию |
| CN102831548A (zh) * | 2012-08-13 | 2012-12-19 | 中国民航大学 | 塔台管制员技能自动评价系统 |
| CN107239895A (zh) * | 2017-05-27 | 2017-10-10 | 西南交通大学 | 用于持续性注意力考核的方法及系统 |
| CN110210695A (zh) * | 2019-04-16 | 2019-09-06 | 中国电子科技集团公司第十五研究所 | 一种基于支持向量机的塔台管制模拟训练评估方法 |
| CN111178706A (zh) * | 2019-12-18 | 2020-05-19 | 南京航空航天大学 | 一种基于眼动数据的管制员注意力分配评估方法 |
| CN111292850A (zh) * | 2020-01-22 | 2020-06-16 | 福建中医药大学 | 一种adhd儿童注意力智能康复系统 |
| CN111739376A (zh) * | 2020-07-14 | 2020-10-02 | 璞洛泰珂(上海)智能科技有限公司 | 一种机场管制员模拟训练系统 |
Non-Patent Citations (1)
| Title |
|---|
| 张美玉: "基于管制员眼动行为的注意力分配研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113256126A (zh) * | 2021-05-31 | 2021-08-13 | 樊天放 | 一种基于目光焦点位置检测训练效果的系统及方法 |
| CN114333485A (zh) * | 2021-09-18 | 2022-04-12 | 能科科技股份有限公司 | 一种基于物联网的设备在线模拟调试系统 |
| CN114399752A (zh) * | 2022-02-19 | 2022-04-26 | 桂林电子科技大学 | 一种基于微眼跳特性的眼动多特征融合疲劳检测系统及检测方法 |
| CN115273600A (zh) * | 2022-07-27 | 2022-11-01 | 山东心法科技有限公司 | 一种飞行员驾驶技能智能辅助训练方法及系统 |
| CN115273600B (zh) * | 2022-07-27 | 2024-08-27 | 山东心法科技有限公司 | 一种飞行员驾驶技能智能辅助训练方法及系统 |
| CN116824954A (zh) * | 2023-07-03 | 2023-09-29 | 中国民用航空飞行学院 | 眼动+飞行数据的模拟机飞行训练讲评系统及方法 |
| CN116824954B (zh) * | 2023-07-03 | 2024-03-01 | 中国民用航空飞行学院 | 眼动+飞行数据的模拟机飞行训练讲评系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112785890B (zh) | 2022-08-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112785890B (zh) | 一种塔台飞行指挥模拟训练管制员注意力评估系统及其方法 | |
| CN106530894B (zh) | 一种飞行训练器虚拟平显方法及系统 | |
| TWI351676B (en) | Display generation system | |
| CN113485392A (zh) | 基于数字孪生的虚拟现实交互方法 | |
| CN111239790A (zh) | 一种基于5g网络机器视觉的车辆导航系统 | |
| US20240038086A1 (en) | Three-dimensional (3d) integrated teaching field system based on flipped platform and method for operating same | |
| CN110765620A (zh) | 飞行器视景仿真方法、系统、服务器及存储介质 | |
| CN113286081B (zh) | 机场全景视频的目标识别方法、装置、设备及介质 | |
| CN107256082B (zh) | 一种基于网络一体化和双目视觉技术的投掷物弹道轨迹测算系统 | |
| CN112947526B (zh) | 一种无人机自主降落方法和系统 | |
| WO2023083256A1 (zh) | 位姿显示方法、装置及系统、服务器以及存储介质 | |
| Murthy et al. | Evaluating accuracy of eye gaze controlled interface in military aviation environment | |
| WO2024213029A1 (zh) | 放样方法、装置、设备及存储介质 | |
| TWI745153B (zh) | 超寬頻定位方法、裝置及系統 | |
| CN107490866B (zh) | 一种飞行员可穿戴显示系统及其定位头部姿态的方法 | |
| CN111026139B (zh) | 一种基于飞行轨迹的三维模型姿态调整控制方法 | |
| CN115541187A (zh) | 一种高动态条件下的机载光电系统测试方法 | |
| Ross et al. | Vision-based target geolocation and optimal surveillance on an unmanned aerial vehicle | |
| CN115273559A (zh) | 一种对飞机座舱平显进行虚拟仿真的方法 | |
| CN108109171A (zh) | 无人机航片旋偏角的检测方法、装置、设备和存储介质 | |
| CN109215109A (zh) | 一种基于深度摄像模组的三维重建方法及装置 | |
| TWI710787B (zh) | 應用飛行載具之空氣品質數據映射系統及其方法 | |
| AbdElHamid et al. | A novel software simulator model based on active hybrid architecture | |
| Bownes | Using motion capture and augmented reality to test aar with boom occlusion | |
| WO2021016867A1 (zh) | 终端设备及其数据处理方法、无人机及其控制方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220809 |