CN113465653A - 一种基于阻力伞特征识别的开伞状态监测方法及系统 - Google Patents

一种基于阻力伞特征识别的开伞状态监测方法及系统 Download PDF

Info

Publication number
CN113465653A
CN113465653A CN202110713194.XA CN202110713194A CN113465653A CN 113465653 A CN113465653 A CN 113465653A CN 202110713194 A CN202110713194 A CN 202110713194A CN 113465653 A CN113465653 A CN 113465653A
Authority
CN
China
Prior art keywords
parachute
umbrella
drag
opening
opening state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110713194.XA
Other languages
English (en)
Other versions
CN113465653B (zh
Inventor
杨地
陈海燕
覃建兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Aircraft Industrial Group Co Ltd
Original Assignee
Chengdu Aircraft Industrial Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Aircraft Industrial Group Co Ltd filed Critical Chengdu Aircraft Industrial Group Co Ltd
Priority to CN202110713194.XA priority Critical patent/CN113465653B/zh
Publication of CN113465653A publication Critical patent/CN113465653A/zh
Application granted granted Critical
Publication of CN113465653B publication Critical patent/CN113465653B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01DMEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00Measuring or testing not otherwise provided for
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Selective Calling Equipment (AREA)

Abstract

本发明公开了一种基于阻力伞特征识别的开伞状态监测方法及系统,先判断引导伞是否发出,若引导伞已经正常发出,则判断阻力伞是否开伞成功,以阻力伞加强带的交叉点作为特征点,且以特征点的总个数变化梯度作为判断阻力伞是否开伞成功的阈值。本发明通过测量阻力伞上的特征点总个数变化梯度情况来判断阻力伞的开伞情况,并设定相应阈值,当特征点总个数变化梯度低于一定阈值时,则自动触发语音电台进行语音提示,实现飞行员对飞机开伞状态的快速判断和应急处理。本发明基于对飞机开伞特征点拾取,对开伞是否成功可以进行快速判读,缩短了告警时间,提升了飞行员反应时间和试飞安全裕度,具有较好的实用性。

Description

一种基于阻力伞特征识别的开伞状态监测方法及系统
技术领域
本发明属于阻力伞开伞监测的技术领域,具体涉及一种基于阻力伞特征识别的开伞状态监测方法及系统。
背景技术
在跑道长度有限时,飞机着陆后为有效降低速度,部分采用阻力伞形式来增加阻力,减少滑行距离。一个典型放伞流程如下:当飞机着陆滑行一定距离后,飞行员发出控制指令后,飞机抛伞机构首先抛出引导伞,引导伞完全打开后因风阻产生足够的拉力将主伞拉出,主伞在阻力作用下扩至最大,最终产生足够阻力使飞机速度在规定时间内降至阈值以下。阻力伞对飞行员进行降速操作至关重要,当飞机抛伞失败时,飞行员越早获得告警信息,便能更及时地作出应急反应,降低飞机冲出跑道的风险。
现有抛伞解决方案主要包括飞行员自行监控和指挥员辅助监控两种方法。飞行员自行监控方法:当飞机放伞机构正常工作后,会反馈给飞参系统“开伞成功”的电信号,飞行员可在座舱显示系统中确认飞机放伞机构是否成功执行放伞命令,视情进行下一步操作。指挥员辅助监控方法:基于塔台指挥员的对开伞情况的直接观测。当塔台指挥员发现放伞失败后通过语音电台告知飞行员,由飞行员视情操作。
然而,在飞行员自行监控方法中,飞行员仅能获知飞机放伞机构工作是否正常。当发生飞机放伞机构正确将伞放出后,产生“兜挂”、“缠结”等问题导致伞无法正确打开的情况时,飞机机载系统无法信息反馈回飞行员,飞行员不能通过机载系统反馈得到放伞失败的信息。在指挥员辅助监控方法中,指挥员观察判断放伞失败需要一段时间,且通过语音呼叫又会带来延时,稍有不慎便会延误飞行员处理时间,造成飞机冲出跑道的事故。因此,亟需一种基于阻力伞特征识别的开伞状态监测方法及系统来解决上述问题。
发明内容
本发明的目的在于提供一种基于阻力伞特征识别的开伞状态监测方法及系统,旨在解决上述问题。本发明通过测量阻力伞上的特征点总个数变化梯度情况来判断阻力伞的开伞情况,并设定相应阈值,当特征点总个数变化梯度低于一定阈值时,则自动触发语音电台进行语音提示,实现飞行员对飞机开伞状态的快速判断和应急处理。
本发明主要通过以下技术方案实现:
一种基于阻力伞特征识别的开伞状态监测方法,包括以下步骤:
步骤S100:对飞机放伞机构区域进行图像自动识别与跟踪;
步骤S200:将步骤S100采集的三维图像信息转换进本地二维坐标,实现对图像要素的几何测量;
步骤S300:首先判断引导伞是否发出,若引导伞已经正常发出,则判断阻力伞是否开伞成功,以阻力伞加强带的交叉点作为特征点,且以特征点的总个数变化梯度作为判断阻力伞是否开伞成功的阈值。
为了更好地实现本发明,进一步地,所述步骤S100中采用高动态视觉跟踪技术实现对飞机放伞机构区域进行图像自动识别与跟踪。
为了更好地实现本发明,进一步地,所述步骤S100中在飞机放伞机构区域配备采样速率可控的高速摄像机。
为了更好地实现本发明,进一步地,所述步骤S300中判断阻力伞是否开伞成功的方法如下:
假设步骤S100中的高速摄像机每秒拍摄N张照片,在开始t0时刻拍摄的照片中特征点计数个数为Mt0,t1时刻拍摄的照片中特征点计数个数为Mt1,直到拍摄结束,因此会得到时刻矩阵T,与特征点计数个数矩阵M:
T=[t0,t1,t2,....,tN-1,tN]
M=[Mt0,Mt1,Mt2,....,MtN-1,MtN]
M矩阵元素Mtk-Mtk-1,可得改良矩阵L:
L=[Lt1,Lt2,....,LtN-2,LtN-1,LtN]
建立L矩阵序列滑窗,滑窗覆盖个数为m,判别滑窗为:
Ltk,Ltk+1,...,Ltk+m-1
Figure BDA0003133767730000021
都小于阈值j,则判断开伞失败。
本发明主要通过以下技术方案实现:
一种基于阻力伞特征识别的开伞状态监测系统,基于上述的监测方法进行,包括光学探测模块、阻力伞放伞检测模块、语音提示模块,通过光学探测模块采集飞机放伞机构区域的图像,并输入到阻力伞放伞检测模块;所述阻力伞放伞检测模块将三维图像信息转换进本地二维坐标,并对放伞图像进行识别、分析,阻力伞放伞检测模块输出阻力伞开伞状态信号给语音提示模块,通过语音提示模块对飞行员播报提示。
为了更好地实现本发明,进一步地,所述语音提示模块内部预先录制有开伞失败、开伞成功的提示音。
为了更好地实现本发明,进一步地,所述语音提示模块包括相互连接的语音电台和机载电台,所述阻力伞放伞检测模块与语音电台连接。
本发明的有益效果:
(1)本发明通过测量阻力伞上的特征点总个数变化梯度情况来判断阻力伞的开伞情况,并设定相应阈值,当特征点总个数变化梯度低于一定阈值时,则自动触发语音电台进行语音提示,实现飞行员对飞机开伞状态的快速判断和应急处理,本发明基于光学测量加强带交叉点增量计数实现开伞情况的判别,可靠性高;
(2)本发明基于对飞机开伞特征点拾取,对开伞是否成功可以进行快速判读,缩短了告警时间,提升了飞行员反应时间和试飞安全裕度,具有较好的实用性;
(3)本发明基于光学测量结果与语音电台联动,实现了快速精确预警,具有较好的实用性。
附图说明
图1为本发明的原理框图;
图2为阻力伞完全撑开时的结构示意图。
其中:1-加强带、2-伞衣面、3-特征点。
具体实施方式
实施例1:
一种基于阻力伞特征识别的开伞状态监测方法,包括以下步骤:
步骤S100:对飞机放伞机构区域进行图像自动识别与跟踪;
步骤S200:将步骤S100采集的三维图像信息转换进本地二维坐标,实现对图像要素的几何测量;
步骤S300:首先判断引导伞是否发出,若引导伞已经正常发出,则判断阻力伞是否开伞成功,如图2所示,撑开的阻力伞包括加强带1和伞衣面2,以阻力伞加强带1的交叉点作为特征点3,且以特征点3的总个数变化梯度作为判断阻力伞是否开伞成功的阈值。
实施例2:
本实施例是在实施例1的基础上进行优化,所述步骤S100中采用高动态视觉跟踪技术实现对飞机放伞机构区域进行图像自动识别与跟踪。
进一步地,所述步骤S100中在飞机放伞机构区域配备采样速率可控的高速摄像机。
进一步地,所述步骤S300中判断阻力伞是否开伞成功的方法如下:
假设步骤S100中的高速摄像机每秒拍摄N张照片,在开始t0时刻拍摄的照片中特征点3计数个数为Mt0,t1时刻拍摄的照片中特征点3计数个数为Mt1,直到拍摄结束,因此会得到时刻矩阵T,与特征点3计数个数矩阵M:
T=[t0,t1,t2,....,tN-1,tN]
M=[Mt0,Mt1,Mt2,....,MtN-1,MtN]
M矩阵元素Mtk-Mtk-1,可得改良矩阵L:
L=[Lt1,Lt2,....,LtN-2,LtN-1,LtN]
建立L矩阵序列滑窗,滑窗覆盖个数为m,判别滑窗为:
Ltk,Ltk+1,...,Ltk+m-1
Figure BDA0003133767730000041
都小于阈值j,则判断开伞失败。
本实施例的其他部分与实施例1相同,故不再赘述。
实施例3:
一种基于阻力伞特征识别的开伞状态监测系统,基于上述的监测方法进行,如图1所示,包括光学探测模块、阻力伞放伞检测模块、语音提示模块,通过光学探测模块采集飞机放伞机构区域的图像,并输入到阻力伞放伞检测模块;所述阻力伞放伞检测模块将三维图像信息转换进本地二维坐标,并对放伞图像进行识别、分析,阻力伞放伞检测模块输出阻力伞开伞状态信号给语音提示模块,通过语音提示模块对飞行员播报提示。
进一步地,所述语音提示模块包括相互连接的语音电台和机载电台,所述阻力伞放伞检测模块与语音电台连接。
实施例4:
一种基于阻力伞特征识别的开伞状态监测方法,如图1所示,采用监测系统进行,所述监测系统包括光学探测模块、阻力伞放伞检测模块、语音提示模块,包括以下步骤:
(1)光学探测模块
使用高动态视觉跟踪技术,实现对高度运动提全自动图像的自动识别与跟踪,可以稳定跟踪和高清显示飞机放伞机构区域。同时配备可控制采样速率的高速摄像机,主摄像头进行定位跟踪时,高速摄像头配置于同一旋转云台之上,保持对放伞区域的关注。图像跟踪技术与可控采样速率高速摄像技术属于公知技术,在此不再赘述。
光学采集的图像结果将作为阻力伞放伞检测模块的输入。
(2)阻力伞放伞检测模块
阻力伞检测模块利用三维物作弊与图像二位像坐标透视投影变换,将三维图像信息转换进本地二维坐标,实现对图像要素的几何测量。
同时采用样本特征训练模块对放伞图像进行识别,利用历史数据提取加强带1特征点3和特征参数,作为下一步开伞判断的阈值,阈值判读方法为本发明的核心。
该阈值分为两步:
1)引导伞是否放出阈值判别
引导伞为阻力伞主伞开启的先决条件,部分情况下会出现抛伞机构工作完成引导伞未发出的情况。
2)主力伞开伞成功与否判别
以阻力伞加强带1交叉点总个数变化梯度作为阈值为例进行检测模式说明,如图2所示,加强带1为伞面交错分布的缝纫带,起到加强伞面强度的作用。
该判别方法核心在于计算特征点3个数每秒变化个数,架设是正常抛放的伞其特征点3个数呈固定规律上升。设高速摄像机每秒拍摄N张照片,在开始t0时刻拍摄的照片中特征点3计数个数为Mt0,t1时刻拍摄的照片中特征点3计数个数为Mt1,直到拍摄结束,因此会得到时刻矩阵T,与特征点3计数个数矩阵M:
T=[t0,t1,t2,....,tN-1,tN]
M=[Mt0,Mt1,Mt2,....,MtN-1,MtN]
M矩阵元素Mtk-Mtk-1,可得改良矩阵L:
L=[Lt1,Lt2,....,LtN-2,LtN-1,LtN]
建立L矩阵序列滑窗,滑窗覆盖个数为m:
Figure BDA0003133767730000051
Figure BDA0003133767730000052
都小于阈值j,即判断开伞失败,同时发出电信号给语音告警模块。
(3)语音提示模块
该语音告提示块为语音电台改造而成,语音电台内部预先录制“开伞失败”、“开伞成功”提示音,重复三次,存于语音电台,当接收到阻力伞放伞检测模块发出的电信号后即电台即按照设定频率进行广播,对飞行员进行提醒。
本发明基于对飞机开伞特征点3拾取,对开伞是否成功可以进行快速判读,缩短了告警时间,提升了飞行员反应时间和试飞安全裕度,具有较好的实用性。
以上所述,仅是本发明的较佳实施例,并非对本发明做任何形式上的限制,凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化,均落入本发明的保护范围之内。

Claims (6)

1.一种基于阻力伞特征识别的开伞状态监测方法,其特征在于,包括以下步骤:
步骤S100:对飞机放伞机构区域进行图像自动识别与跟踪;
步骤S200:将步骤S100采集的三维图像信息转换进本地二维坐标,实现对图像要素的几何测量;
步骤S300:首先判断引导伞是否发出,若引导伞已经正常发出,则判断阻力伞是否开伞成功,以阻力伞加强带(1)的交叉点作为特征点(3),且以特征点(3)的总个数变化梯度作为判断阻力伞是否开伞成功的阈值。
2.根据权利要求1所述的一种基于阻力伞特征识别的开伞状态监测方法,其特征在于,所述步骤S100中采用高动态视觉跟踪技术实现对飞机放伞机构区域进行图像自动识别与跟踪。
3.根据权利要求2所述的一种基于阻力伞特征识别的开伞状态监测方法,其特征在于,所述步骤S100中在飞机放伞机构区域配备采样速率可控的高速摄像机。
4.根据权利要求3所述的一种基于阻力伞特征识别的开伞状态监测方法,其特征在于,所述步骤S300中判断阻力伞是否开伞成功的方法如下:
假设步骤S100中的高速摄像机每秒拍摄N张照片,在开始t0时刻拍摄的照片中特征点(3)计数个数为Mt0,t1时刻拍摄的照片中特征点(3)计数个数为Mt1,直到拍摄结束,因此会得到时刻矩阵T,与特征点(3)计数个数矩阵M:
T=[t0,t1,t2,....,tN-1,tN]
M=[Mt0,Mt1,Mt2,....,MtN-1,MtN]
M矩阵元素Mtk-Mtk-1,可得改良矩阵L:
L=[Lt1,Lt2,....,LtN-2,LtN-1,LtN]
建立L矩阵序列滑窗,滑窗覆盖个数为m,判别滑窗为:
Ltk,Ltk+1,...,Ltk+m-1
Figure FDA0003133767720000011
都小于阈值j,则判断开伞失败。
5.一种基于阻力伞特征识别的开伞状态监测系统,基于权利要求1-4任一项所述的监测方法进行,其特征在于,包括光学探测模块、阻力伞放伞检测模块、语音提示模块,通过光学探测模块采集飞机放伞机构区域的图像,并输入到阻力伞放伞检测模块;所述阻力伞放伞检测模块将三维图像信息转换进本地二维坐标,并对放伞图像进行识别、分析,阻力伞放伞检测模块输出阻力伞开伞状态信号给语音提示模块,通过语音提示模块对飞行员播报提示。
6.根据权利要求5所述的一种基于阻力伞特征识别的开伞状态监测系统,其特征在于,所述语音提示模块包括相互连接的语音电台和机载电台,所述阻力伞放伞检测模块与语音电台连接。
CN202110713194.XA 2021-06-25 2021-06-25 一种基于阻力伞特征识别的开伞状态监测方法及系统 Active CN113465653B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110713194.XA CN113465653B (zh) 2021-06-25 2021-06-25 一种基于阻力伞特征识别的开伞状态监测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110713194.XA CN113465653B (zh) 2021-06-25 2021-06-25 一种基于阻力伞特征识别的开伞状态监测方法及系统

Publications (2)

Publication Number Publication Date
CN113465653A true CN113465653A (zh) 2021-10-01
CN113465653B CN113465653B (zh) 2022-05-10

Family

ID=77873120

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110713194.XA Active CN113465653B (zh) 2021-06-25 2021-06-25 一种基于阻力伞特征识别的开伞状态监测方法及系统

Country Status (1)

Country Link
CN (1) CN113465653B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103935521A (zh) * 2013-08-23 2014-07-23 中国航空工业集团公司西安飞机设计研究所 一种阻力伞放伞方法
CN104590566A (zh) * 2015-01-27 2015-05-06 北京空间机电研究所 一种降落伞工作情况自动检测系统及其检测方法
WO2015199567A1 (en) * 2014-06-27 2015-12-30 Rînea Tiberiu Emil Ilie Method and apparatus for deploying a parachute from falling helicopters, aircraft and land vehicles and for aerial braking
CN110979695A (zh) * 2019-12-06 2020-04-10 江西洪都航空工业集团有限责任公司 一种伞降回收无人机自动抛伞条件判读方法
CN210466094U (zh) * 2019-10-30 2020-05-05 航宇救生装备有限公司 控制救生伞可靠开伞及在线检测的小型化电路
CN211711092U (zh) * 2020-01-03 2020-10-20 深圳市杰鑫龙科技有限公司 一种备份伞自动激活装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103935521A (zh) * 2013-08-23 2014-07-23 中国航空工业集团公司西安飞机设计研究所 一种阻力伞放伞方法
WO2015199567A1 (en) * 2014-06-27 2015-12-30 Rînea Tiberiu Emil Ilie Method and apparatus for deploying a parachute from falling helicopters, aircraft and land vehicles and for aerial braking
CN104590566A (zh) * 2015-01-27 2015-05-06 北京空间机电研究所 一种降落伞工作情况自动检测系统及其检测方法
CN210466094U (zh) * 2019-10-30 2020-05-05 航宇救生装备有限公司 控制救生伞可靠开伞及在线检测的小型化电路
CN110979695A (zh) * 2019-12-06 2020-04-10 江西洪都航空工业集团有限责任公司 一种伞降回收无人机自动抛伞条件判读方法
CN211711092U (zh) * 2020-01-03 2020-10-20 深圳市杰鑫龙科技有限公司 一种备份伞自动激活装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
郑平泰等: "基于Vega 的降落伞工作过程仿真可视化方法研究", 《系统仿真学报》 *
郭鹏: "大型降落伞开伞过程研究", 《中国博士学位论文全文数据库(电子期刊)工程科技II辑》 *

Also Published As

Publication number Publication date
CN113465653B (zh) 2022-05-10

Similar Documents

Publication Publication Date Title
CN108037770B (zh) 基于人工智能的无人机输电线路巡检系统和方法
KR100985195B1 (ko) 영상기반 자동 이착륙 시스템
CN107416629B (zh) 电梯安全运行的控制方法和系统
KR100842101B1 (ko) 영상정보를 이용한 무인항공기 자동회수 방법
CN108280435A (zh) 一种基于人体姿态估计的旅客异常行为识别方法
CN112462791A (zh) 一种车载无人机机场全自动高精度飞行着陆系统及方法
CN110490043A (zh) 一种基于区域划分和特征提取的森林烟火检测方法
CN108280952A (zh) 一种基于前景目标分割的旅客尾随监测方法
CN109353907A (zh) 电梯运行的安全提示方法和系统
CN105955099A (zh) 无人驾驶车辆的驾驶模式切换方法和装置
KR102135753B1 (ko) 드론 조종 시험 평가 시스템
CN113465653B (zh) 一种基于阻力伞特征识别的开伞状态监测方法及系统
CN107798688A (zh) 运动目标识别方法、预警方法以及汽车防追尾预警装置
CN111898444A (zh) 一种基于图像识别的飞机起落架状态判定方法
CN115793682A (zh) 一种基于无人机的桥梁智能巡检方法及巡检系统
WO2022247597A1 (zh) 一种基于无人机的papi飞行校验方法和系统
CN106372566A (zh) 一种基于数字标牌紧急疏散系统及方法
CN110211159A (zh) 一种基于图像视频处理技术的飞机位置检测系统及方法
CN114037895A (zh) 一种无人机杆塔巡检图像识别方法
CN106327921B (zh) 基于飞机航线和可视化数据融合的起落架安全监控方法
CN109708659A (zh) 一种分布式智能光电低空防护系统
CN109302580A (zh) 一种基于视频监控的飞机进出泊位自动检测方法
CN108960320A (zh) 列车折角塞门故障图像实时检测方法
CN114092522B (zh) 一种机场飞机起降智能捕获跟踪方法
CN112486210A (zh) 一种无人机移动机场飞行着陆补偿终端制导系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant