CN106126786A - 座舱显示器人机界面设计人机工效定量评估方法 - Google Patents
座舱显示器人机界面设计人机工效定量评估方法 Download PDFInfo
- Publication number
- CN106126786A CN106126786A CN201610435818.5A CN201610435818A CN106126786A CN 106126786 A CN106126786 A CN 106126786A CN 201610435818 A CN201610435818 A CN 201610435818A CN 106126786 A CN106126786 A CN 106126786A
- Authority
- CN
- China
- Prior art keywords
- icon
- time
- human eye
- seen
- human
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/15—Vehicle, aircraft or watercraft design
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Geometry (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明提供了一种座舱显示器人机界面设计人机工效定量评估方法,首先根据眼动仪的跟踪处理时间,拟合得到不同空间频率的图符所需消耗的大脑识别时间t1,当待观察图符偏离人眼当前视场范围中心时,计算人眼需要转动视线角的时间t2,待观察图符超出当前位置人眼的转动视界范围后,计算人员通过转动头部把视界中心偏移至待观察图符位置所需的时间t3;进而得到每单帧捕获画面的时间代价ΔTij=t1+t2+t3;最终基于任务执行过程信息频次n和查看信息跳转顺序统计,计算待评估人机设计界面进行整个任务过程中为消息捕获而消耗的总时间本发明能客观反映座舱显示界面效率,并进行基于人眼视觉特性的界面人机工效定量评估。
Description
技术领域
本发明涉及一种曲面显示系统的人机界面工效评估方法,应用于航空电子系统。
背景技术
飞机座舱显示器界面是座舱人机系统的重要组成部分,是飞行员获取所需信息的主要人机接口。随着载机系统的复杂化和多样化,缺乏有效合理的人机设计,导致显示信息过多、混乱,飞行员的信息捕获负荷问题日益突显,延长了认知和判断的时间。因此,显示界面的设计应符合人眼的视觉特性。
随着曲面显示技术、立体三维显示技术、虚拟现实等新型显示技术的成熟,开发下一代基于曲面大屏幕的座舱显示系统可有效改善这类矛盾。
目前平面显示系统的人机工效评估方法以及经过多年研究,已经有多种评估评价方法。显示界面人机工效是一个多方面因素的影响结果,包括心理学、人眼光学、人体工程学因素。由于人机工效效果影响因素多,而且跟每个人的心理因素有关,主流评估主要通过基于专家经验打分或者模糊评估的方法,倾向于主观性和定性考核,如专家系统评估法,没有完善的综合指标体系和评价标准,缺乏足够的理论支撑和细致的定量描述。
发明内容
为了克服现有技术的不足,本发明提供一种座舱显示器人机界面设计人机工效定量评估方法,结合下一代三维显示的特点,能客观反映座舱显示界面效率,并进行基于人眼视觉特性的界面人机工效定量评估,可为下一代虚拟显示座舱显示界面的工效学设计和评价提供重要参考。
本发明解决其技术问题所采用的技术方案包括以下步骤:
步骤1,根据眼动仪的跟踪处理时间,拟合得到不同空间频率的图符所需消耗的大脑识别时间t1,t1=w′1(Δf)2+w′2Δf+w′3(r2)2+w′4r2,其中Δf为人眼从当前分辨率为r1的图符聚焦到分辨率为r2的图符上时的焦距调节行程,w′1、w′2为拟合系数,该系数可通过常规拟合方法处理获得;
步骤2,当待观察图符偏离人眼当前视场范围中心时,计算人眼需要转动视线角的时间t2,其中,θ1为人眼视线偏转角,η(r)为与待观察图符分辨率有关的修正系数,取值范围在0.5到1.5之间;具体评估时各图符观察顺序依据任务过程统计信息进行;
步骤3,待观察图符超出当前位置人眼的转动视界范围后,人员通过转动头部把视界中心偏移至待观察图符位置所需的转动角θ2,所需消耗的时间ω为头部转动平均速度;具体评估式θ2确定同θ1;
步骤4,计算每单帧捕获画面的时间代价ΔTij=t1+t2+t3;
步骤5,基于任务执行过程信息频次n和查看信息跳转顺序统计,利用步骤1至步骤3的公式计算在待评估人机界面中每次观察图符对象转移时的耗时ΔTij,进而计算待评估人机设计界面进行整个任务过程中为消息捕获而消耗的总时间
本发明的有益效果是:采用本发明的方法对进近着陆过程中的人机界面布局(如图1所示)进行了人机工效指标分析,得到的二维平面和假设立体三维显示指标评估如表1所示。表中“消息捕获序列1-9行”表示信息捕获的先后顺序,“二维ΔTij”列表示对应“消息捕获序列”在图1所示二维人机界面上进行信息图符切换捕获时计算得到各项所需耗时,三维ΔT′ij为在图1所示三维人机界面上所得计算得到各项耗时。“总时间代价Tcost”表示了相关人机界面上完成整个消息序列观察时的总时间代价。从表中可以看出三维人机界面总耗时为2.363秒,二维人机界面总耗时为3.526秒,给出的定量指标符合三维人机界面相对二维人机界面所需的耗时评估。
表1针对图1典型PDF单帧画面的定量分析
附图说明
图1是典型PDF画面三维视图;
图2是清晰视场角与焦距关系示意图;
图3是方法流程图。
具体实施方式
下面结合附图和实施例对本发明进一步说明,本发明包括但不仅限于下述实施例。
本发明针对曲面显示系统的特点,根据任务过程信息捕获需求和特点,分析飞行员对载机飞行信息、环境信息、目标信息等信息的主要关注序列,以之作为人机界面布局设计的定量评估分析方法,得到的人机界面的任务效能具有一定的客观描述性。
本发明对可量化描述的人眼光学和人体工程学因素展开研究。得出实现图符空间频率的优化分配,即人机界面图符的尺寸、空间布局分配,是整个人机显示界面优化设计的关键。
本文针对下一代座舱三维显示系统特性及人机界面的定量评估展开了研究。根据人眼感光生理特点和立体三维显示原理,分析得出立体三维显示基于当前的二维图符显示增加视差得到深度信息,但人眼聚焦状态与二维图符一致,因而其设计原则基本同二维图符。基于人眼捕获信息过程,本发明提出了一套基于焦距调节代价、眼球转动代价、肢体转动代价的任务过程消息捕获总时间为指标的评估模型,其主要内容在于如下方法的三个步骤:
步骤一,影响飞行员视觉捕获因素的代价量化
针对人眼视觉系统特性,本发明提出了影响飞行员视觉捕获因素的量化公式,由t1t2t3表示。
1.基于人眼光学系统特性的t1t2调节代价
对于不同的空间分辨率的图符,需要通过人眼进行焦距调节,实现对焦后得到可识别的图符信息。
不失一般性,近似人眼为相机成像模型,其物像关系有:
当人眼焦距变长时,像距v基本不变,主要靠物距u进行调节,从而体现了人眼对不同远近物体的聚焦。焦距f增大时,由于u的变化幅度大于v的幅度,下式的成像放大倍率k还是增加的。
k=u/v
由于人眼系统光阑孔径(瞳孔)φ限制,对人眼系统的视场角产生了影响。作为近似的相机成像系统,视场角有如下的关系:
由上式可知,f增大时,成像放大倍率k也随之增加,视场角变小的。这符合人眼的视觉特性,当人眼观察一个远处物体细节时,其有效清晰视场范围是变小的。
1)对于某一物距上物体,由于视网膜上中心凹的成像面大小固定,当观察物体的视场范围增加时(即人眼在散焦模糊状态下可以获得的几何分辨率),其分辨率势必降低。设座舱安装空间距视点距离为d,屏幕尺寸为S,视网膜上中心凹尺寸I,因而可得人眼视场对它全屏覆盖时最低空间分辨率rmin为:
其中ξ为修正系数。
2)另一方面科尔特曼(coltman)公式描述了亮度、对比度和视角三者的关系,实验证明,在目标亮度L、对比度c和视角α三者间存在下述关系:
Lα2c2=k(const)
其中LT目标亮度,Lb背景亮度,H为目标轮廓,可以得到一定环境中人眼最大空间分辨率rmax:
在座舱环境中显示器的亮度和对比度是自适应或是可由人员进行手动调整的。在L、C合适的座舱环境中,人眼的极限视线角α在1”~1.5”之间,它在视网膜上的大小相当于5~6um基本上和锥状细胞直径4.5um相当。
因此,设计图符尺寸时,其空间分辨率必须大于rmax,根据上述推导可以获得不同图符空间分辨率下,人眼睫状肌进行焦距调节的变化行程:
其中r1、r2为前后两个图符变量的空间分辨率。
受人脑认识影响,低空间频率的图符需要消耗过多认识处理时间(需要焦距调节时间和搜索时间)。对于极限空间分辨率,因为当人眼睫状肌调节紧绷使得人眼晶状体实现严格的焦点聚焦,以期获得最大的焦距/放大率,此时对人眼的视觉疲劳带来严重影响、对人员信息获取带来较多的负担。不同的空间频率所需消耗识别时间t1不是线性,可通过眼动仪的跟踪处理时间测试得到拟合,如下所示:
t1=w1(Δf)2+w2Δf+w3(r2)2+w4r2
对于立体三维显示而言,由于加入了深度信息,相同空间分辨率的物体,人眼认识代价会更低,可以拟合得到另一代价:
t1=w′1(Δf)2+w′2Δf+w′3(r2)2+w′4r2
3)当物体对象不在人眼的视场范围中心时,人眼需要转动视线角。
根据实验,人眼转动效率受睫状肌的松弛状态牵连,在不同的睫状肌紧绷程度下,其转动速率不同。在紧绷状态下,人眼转动速度缓慢,对于相同的视线偏差角,在大视场角自然松弛下人眼可以较快速捕获目标对象。因而本发明提出了如下的转动时间t2估计公式:
其中θ1为眼球视线偏转角,η(r)为与待观察图符分辨率有关的修正系数,取值范围在0.5到1.5之间。
对于不同分辨率对象(不同焦距)视线偏置时,其视线转动计算,首先完成人眼的焦距调节t1,最后统一到同一分辨率下的视线偏置,用上式进行人眼转动视线t2计算。
2.基于人体工程学特性的t3头部转动代价
人眼自然视界分布区域如下:
水平方向,10°是最佳视区,最清晰;20°是瞬息区,短时间内可分清;30°是有效区,只要注意,就可以分清;120°是最大视区,模糊不清;
垂直方向,-20°~0°为最好;-30°~10°为良;-70°~60°为最大视区。
当待观察图符范围超出当前眼球位置的转动视界范围后,人员直接通过头部转动直接把视界中心偏移至待观察图符位置,实现视界中心对图符的高清成像。因而图符位置偏移角度即为人脑所需转动角度θ2。根据人眼视界分布,选取θ2<20°为人眼活动视界,实际偏离角度θ2如下计算:
其中,(x0、y0、z0)和(x1、y1、z1)分别为人眼活动前后的视界中心位置坐标。
记人脑身体转动平均速度为ω,对于图符布局所需的头部转动行程消耗时间代价
步骤二,界面布局评价指标设计
根据以上分析,可以得到三维人机界面设计的一般准则:
1)图符的空间分辨率由图符尺寸和间距系数来共同决定,它是人眼认识速度的主要决定因素;
2)在屏幕面积允许的情况下,尽量采用大尺寸图符;
3)为了提高空间分辨率,在小尺寸图符时,避免采用均匀的疏密,可通过尺寸间错布局来提高空间分辨率;
4)立体三维显示相对二维线性透视显示,多了物体深度信息,可有效提高图符间距,增大图符的空间分辨率;
5)高频率获取信息要置于视界中间位置,可以提高人体转动带来的工程消耗。
针对以上优化原则评估,本发明提出了界面设计的量化评估指标:在任务执行过程中,根据各阶段的任务需求,飞行员更新捕获所需信息。根据图符在显示器中空间布局设计、空间尺寸设计,飞行员在捕获各种信息的过程中消耗不同的时间资源。通过统计整个任务过程中为消息捕获而消耗的总时间Tcost,可作显示界面人机工效的量化评价指标。
1)对于一个确定的显示器布局方案,对于某类载机飞行任务,飞行员在整个任务包线中,所做的信息捕获顺序和次数分布,进行统计学统计。
2)信息交替捕获过程中,针对每个信息图符的分布和尺寸,计算出其时间代价消耗值,包括焦距调节t1、人眼视线转动调节t2、肢体转动调节t3。每一步代价ΔTij的计算逻辑如下:
首先判断新图符位置是否超出原有视线中心位置,当超出时需要进行转身,偏移视线中心;
根据图符空间频率变化,计算焦距调节代价;
根据图符布局偏移位置,计算眼球视线偏转调节代价ΔTij=t1+t2+t3。
最后,基于任务过程消息捕获需求,本发明提出了基于任务过程负担的界面设计的量化评估指标,根据上述任务统计分析得到的消息序列,整个任务过程中为消息捕获而消耗的总时间
通过眼动仪记录一次典型任务执行过程中飞行员对各阶段所需信息和频次的统计,一般包括注视视角、总注视次数、注视持续时间。
步骤三,基于眼动仪的任务信息统计方法
眼动仪可以用于任务执行过程中飞行员人眼活动情况记录。眼动仪可以获得的视线跟踪主要参数有:
1)注视视角,注视点在兴趣区之间的转换,能够度量用户界面布局的合理性。
2)第一次到达目标兴趣区的时间,在显示区域搜索特定的目标时,第一次到达目标区域的时间。也是用户界面布局合理性度量的一个重要指标。
3)总注视次数,是衡量搜索效率的一个指标,注视次数越多,可能意味着显示区域的布局越不合理。但也应该考虑注视次数和任务时间的关系(例如:任务时间越长需要的注视次数也越多)。
4)注视持续时间,反映的是提取信息的难易程度。持续时间越长往往意味着被测试人员从显示区域获取信息越困难。
5)注视次数,区域重要程度的一个标志。显示区域越重要,被注视的次数越多。
Claims (1)
1.一种座舱显示器人机界面设计人机工效定量评估方法,其特征在于包括下述步骤:
步骤1,根据眼动仪的跟踪处理时间,拟合得到不同空间频率的图符所需消耗的大脑识别时间t1,t1=w′1(Δf)2+w′2Δf+w′3(r2)2+w′4r2,其中Δf为人眼从当前分辨率为r1的图符聚焦到分辨率为r2的图符上时的焦距调节行程,w′1、w′2为拟合系数;
步骤2,当待观察图符偏离人眼当前视场范围中心时,计算人眼需要转动视线角的时间t2,其中,θ1为人眼视线偏转角,η(r)为与待观察图符分辨率有关的修正系数,取值范围在0.5到1.5之间;
步骤3,待观察图符超出当前位置人眼的转动视界范围后,人员通过转动头部把视界中心偏移至待观察图符位置所需的转动角θ2,所需消耗的时间ω为头部转动平均速度;
步骤4,计算每单帧捕获画面的时间代价ΔTij=t1+t2+t3;
步骤5,基于任务执行过程信息频次n和查看信息跳转顺序统计,利用步骤1至步骤3的公式计算在待评估人机界面中每次观察图符对象转移时的耗时ΔTij,进而计算待评估人机设计界面进行整个任务过程中为消息捕获而消耗的总时间
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610435818.5A CN106126786B (zh) | 2016-06-17 | 2016-06-17 | 座舱显示器人机界面设计人机工效定量评估方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610435818.5A CN106126786B (zh) | 2016-06-17 | 2016-06-17 | 座舱显示器人机界面设计人机工效定量评估方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106126786A true CN106126786A (zh) | 2016-11-16 |
CN106126786B CN106126786B (zh) | 2019-12-27 |
Family
ID=57471011
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610435818.5A Active CN106126786B (zh) | 2016-06-17 | 2016-06-17 | 座舱显示器人机界面设计人机工效定量评估方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106126786B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109254382A (zh) * | 2018-10-12 | 2019-01-22 | 南通大学 | 基于机器视觉的螺纹检测自动对焦方法 |
CN109533388A (zh) * | 2018-11-15 | 2019-03-29 | 中国直升机设计研究所 | 一种直升机驾驶舱人机工效通用评估平台 |
CN109917914A (zh) * | 2019-03-05 | 2019-06-21 | 河海大学常州校区 | 基于视野位置的交互界面分析与优化方法 |
CN110704292A (zh) * | 2019-10-15 | 2020-01-17 | 中国人民解放军海军大连舰艇学院 | 一种显控界面设计的评价方法 |
CN111124124A (zh) * | 2019-12-25 | 2020-05-08 | 中国航空工业集团公司沈阳飞机设计研究所 | 一种基于眼动追踪技术的人机功效评估方法 |
CN111209841A (zh) * | 2019-12-31 | 2020-05-29 | 中国银行股份有限公司 | 一种界面质量的评估方法、装置及自助柜台 |
CN112732378A (zh) * | 2020-12-29 | 2021-04-30 | 江苏徐工工程机械研究院有限公司 | 一种工程机械产品显示装置的人机界面设计方法 |
CN114343640A (zh) * | 2022-01-07 | 2022-04-15 | 北京师范大学 | 注意力评估方法及电子设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102087675A (zh) * | 2010-06-29 | 2011-06-08 | 北京航空航天大学 | 具有信息显示界面设计测试功能的飞行模拟系统 |
CN102693349A (zh) * | 2011-03-25 | 2012-09-26 | 北京航空航天大学 | 基于飞机驾驶舱显示界面的飞行员注意力分配工效测评系统和方法 |
CN103713728A (zh) * | 2014-01-14 | 2014-04-09 | 东南大学 | 一种复杂系统人机界面可用性的检测方法 |
-
2016
- 2016-06-17 CN CN201610435818.5A patent/CN106126786B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102087675A (zh) * | 2010-06-29 | 2011-06-08 | 北京航空航天大学 | 具有信息显示界面设计测试功能的飞行模拟系统 |
CN102693349A (zh) * | 2011-03-25 | 2012-09-26 | 北京航空航天大学 | 基于飞机驾驶舱显示界面的飞行员注意力分配工效测评系统和方法 |
CN103713728A (zh) * | 2014-01-14 | 2014-04-09 | 东南大学 | 一种复杂系统人机界面可用性的检测方法 |
Non-Patent Citations (1)
Title |
---|
李余峰等: "基于人机工程学的电子设备人机界面设计", 《包装工程》 * |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109254382A (zh) * | 2018-10-12 | 2019-01-22 | 南通大学 | 基于机器视觉的螺纹检测自动对焦方法 |
CN109254382B (zh) * | 2018-10-12 | 2021-11-26 | 南通大学 | 基于机器视觉的螺纹检测自动对焦方法 |
CN109533388A (zh) * | 2018-11-15 | 2019-03-29 | 中国直升机设计研究所 | 一种直升机驾驶舱人机工效通用评估平台 |
CN109917914A (zh) * | 2019-03-05 | 2019-06-21 | 河海大学常州校区 | 基于视野位置的交互界面分析与优化方法 |
CN110704292B (zh) * | 2019-10-15 | 2020-11-03 | 中国人民解放军海军大连舰艇学院 | 一种显控界面设计的评价方法 |
CN110704292A (zh) * | 2019-10-15 | 2020-01-17 | 中国人民解放军海军大连舰艇学院 | 一种显控界面设计的评价方法 |
CN111124124A (zh) * | 2019-12-25 | 2020-05-08 | 中国航空工业集团公司沈阳飞机设计研究所 | 一种基于眼动追踪技术的人机功效评估方法 |
CN111209841A (zh) * | 2019-12-31 | 2020-05-29 | 中国银行股份有限公司 | 一种界面质量的评估方法、装置及自助柜台 |
CN111209841B (zh) * | 2019-12-31 | 2023-11-24 | 中国银行股份有限公司 | 一种界面质量的评估方法、装置及自助柜台 |
CN112732378A (zh) * | 2020-12-29 | 2021-04-30 | 江苏徐工工程机械研究院有限公司 | 一种工程机械产品显示装置的人机界面设计方法 |
CN112732378B (zh) * | 2020-12-29 | 2024-02-02 | 江苏徐工工程机械研究院有限公司 | 一种工程机械产品显示装置的人机界面设计方法 |
CN114343640A (zh) * | 2022-01-07 | 2022-04-15 | 北京师范大学 | 注意力评估方法及电子设备 |
CN114343640B (zh) * | 2022-01-07 | 2023-10-13 | 北京师范大学 | 注意力评估方法及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN106126786B (zh) | 2019-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106126786A (zh) | 座舱显示器人机界面设计人机工效定量评估方法 | |
US9779502B1 (en) | Systems, devices, and methods for tracking moving targets | |
CN100440246C (zh) | 一种人脸特征点定位方法 | |
US20170293354A1 (en) | Calculation method of line-of-sight direction based on analysis and match of iris contour in human eye image | |
CN107128492B (zh) | 一种基于人头检测的无人机跟踪方法、装置及无人机 | |
CN109690553A (zh) | 执行眼睛注视跟踪的系统和方法 | |
CN108985172A (zh) | 一种基于结构光的视线追踪方法、装置、设备及存储介质 | |
WO2017012321A1 (zh) | 显示状态的调节方法、显示状态调节装置及显示装置 | |
Perfect et al. | A rating scale for the subjective assessment of simulation fidelity | |
CN106909220A (zh) | 一种适用于触控的视线交互方法 | |
CN106778867A (zh) | 目标检测方法和装置、神经网络训练方法和装置 | |
CN102830793A (zh) | 视线跟踪方法和设备 | |
CN109446880A (zh) | 智能用户参与度评价方法、装置、智能升降桌及存储介质 | |
CN110163567A (zh) | 基于多任务级联卷积神经网络的课堂点名系统 | |
KR101900200B1 (ko) | 딥러닝 기반 결핵 검사 방법 | |
Griffith et al. | Assessment of shift-invariant CNN gaze mappings for PS-OG eye movement sensors | |
Duraisamy et al. | Classroom engagement evaluation using computer vision techniques | |
CN106204564A (zh) | 一种激光光心提取方法 | |
CN109833025A (zh) | 一种视网膜的异常检测方法、装置、设备和存储介质 | |
CN113780234A (zh) | 一种边缘指导的人眼图像解析方法 | |
Wilson et al. | Automatic gaze classification for aviators: Using multi-task convolutional networks as a proxy for flight instructor observation | |
Qiu et al. | The image stitching algorithm based on aggregated star groups | |
WO2022141895A1 (zh) | 一种表情数据库的实时训练方法以及表情数据库的反馈机制 | |
Janzen | Extended intelligence and mediated reality veillametrics in the space, time, frequency, and amplitude domains | |
Liu et al. | Gaze tracking technology for flight simulator |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |