CN109492671A - 一种基于lstm的多极化高分辨距离像目标识别方法 - Google Patents
一种基于lstm的多极化高分辨距离像目标识别方法 Download PDFInfo
- Publication number
- CN109492671A CN109492671A CN201811202213.7A CN201811202213A CN109492671A CN 109492671 A CN109492671 A CN 109492671A CN 201811202213 A CN201811202213 A CN 201811202213A CN 109492671 A CN109492671 A CN 109492671A
- Authority
- CN
- China
- Prior art keywords
- lstm
- high range
- range resolution
- channel
- multipolarization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明公开了一种基于LSTM的多极化雷达高分辨距离像目标识别方法。使用本发明能够融合不同极化通道的HRRP,提取不同通道的关联性特征,充分挖掘目标的极化特征,同时实现自动提取特征,避免手动提取特征,提升目标识别性能。本发明利用多极化雷达所有通道都是同一个目标的回波的特性,将不同的通道当成是序列,从而将LSTM应用于多极化HRRP目标识别中,利用LSTM自动融合不同极化通道的HRRP信息,充分挖掘目标的极化特征,可以自动地提取目标的深度和关联性特征,避免了手动提取特征的局限性。
Description
技术领域
本发明涉及雷达目标识别技术领域,具体涉及一种基于LSTM的多极化雷达高分辨距离像(HighResolutionRangeProfile)目标识别方法。
背景技术
雷达自动目标识别是实现雷达系统智能化、信息化的重要技术支撑手段。HRRP表征了目标散射中心沿雷达视线方向的分布情况,包含了目标的几何结构特征,而且相比于其他识别手段易于获取和处理,因此基于HRRP的雷达目标识别具有重要的应用价值。
极化是电磁波的一种本质属性,它和幅度、相位一起反应了目标的散射特性,利用极化信息能够提升目标识别的性能。传统利用极化信息的方法是手动提取目标的极化特征,例如极化散射熵,极化散射角等。手动提取特征依赖于长期的实践经验,不易形成一般化的解决方案,而且特征分析与筛选的工作量巨大。同时手动提取特征无法融合不同极化通道HRRP的幅度和相位信息,识别性能不佳,因此研究能够自动提取极化信息并能自动融合不同通道的信息的方法很有必要。
发明内容
有鉴于此,本发明提供了一种基于LSTM的多极化雷达高分辨距离像目标识别方法,能够融合不同极化通道的HRRP,提取不同通道的关联性特征,充分挖掘目标的极化特征,同时实现自动提取特征,避免手动提取特征,提升目标识别性能。
本发明的基于LSTM的多极化雷达高分辨距离像目标识别方法,包括如下步骤:
步骤1,获取Q类目标在不同场景不同姿态下的多极化雷达高分辨距离像,并进行预处理:对所有高分辨距离像进行数据对齐处理后,对各高分辨距离像进行幅度最大值归一化处理,然后截取长度N的高分辨距离像作为LSTM网络的输入;
步骤2,构建LSTM网络;所述LSTM网络包括输入层、隐含层和softmax层;其中,输入层包括T个通道,每个通道有N个神经元;隐含层的最后一层包括T个通道,每个通道有Q个神经元;softmax层包括Q个神经元;其中,T为多极化雷达的极化通道个数,N为步骤1的截取长度,Q为目标类别数;
步骤3,将步骤1预处理后的高分辨距离像数据作为LSTM网络的输入,对构建的LSTM网络进行训练;其中,LSTM网络的输入层的T个通道分别对应高分辨距离像的T个极化通道;
步骤4,将待识别的多极化雷达高分辨距离像按照步骤1的方式进行预处理,然后输入步骤3训练好的LSTM网络中,softmax层输出的最大值对应的类别即为目标类别。
进一步的,将隐含层最后一层的各通道输出进行平均后,作为softmax层的输入。
进一步的,所述隐含层为全连接层。
进一步的,所述步骤3中,采用反向传播算法更新权值,对构建的LSTM网络进行训练。
进一步的,所述步骤3训练过程中,向损失函数下降的方向更新权值,其中,下降方法采用随机梯度下降算法,损失函数采用交叉熵损失函数。
有益效果:
本发明方法,对比已有技术,该方法具有如下优点:
1)本发明利用多极化雷达所有通道都是同一个目标的回波的特性,将不同的通道当成是序列,从而将LSTM应用于多极化HRRP目标识别中,利用LSTM自动融合不同极化通道的HRRP信息,充分挖掘目标的极化特征,可以自动地提取目标的深度和关联性特征,避免了手动提取特征的局限性。
2)LSTM网络基于不同极化通道HRRP提取的特征更有区分,它能够利用不同通道HRRP的信息,识别性能比传统手动提取特征的方法要好。
附图说明
图1为本发明的基于LSTM结构的多极化通道信息融合提取框图。
图2为LSTM的cell结构
图3为不同方法提取的特征对比分析。
具体实施方式
下面结合附图并举实施例,对本发明进行详细描述。
本发明提供了一种基于LSTM的多极化雷达高分辨距离像目标识别方法。LSTM(Long Short-Term Memory)是循环神经网络(Recurrent neural Network,RNN)的一种变形,它通过一系列门解决了RNN长时依赖问题。LSTM被设计于处理序列输入的问题,能够将序列融合到一起产生最终结果,它具有端对端的学习能力,可以直接输出结果,并且能够提取序列内部的抽象特征和关联性特征。
对于雷达多极化HRRP来说,所有通道都是同一个目标的回波,各个通道之间表示了同一个目标的不同信息,因此,本发明将不同的通道当成是序列,一个通道对应一个序列,再结合LSTM的时序功能实现多通道信息融合再进行分类识别。本发明将LSTM应用到多极化雷达HRRP目标识别中,可以有效融合不同极化通道信息,实现对不同极化通道HRRP的融合并提取深度和关联性特征,充分挖掘目标的极化特征,从而达到更佳的识别性能。
实现本发明的技术思路是:首先获取不同极化通道的HRRP数据,对其进行对齐、幅度归一化等预处理操作。在训练阶段将不同通道的HRRP作为序列输入到构建好的LSTM网络中,融合不同极化通道的信息,并提取特征。测试阶段,将待测试样本的不同通道的HRRP按顺序输入到LSTM中,从而实现分类识别。
具体包括如下步骤:
步骤一:获取高分辨距离像,进行预处理,并且划分训练样本和测试样本。
101、从多次外场实验采集的雷达数据,得到Q类目标在不同场景不同姿态下的多极化通道的高分辨距离像。
102、对所有高分辨距离像数据进行对齐,利用每帧距离像最大值位置置于同一个位置,对该距离像进行对齐。
对各帧高分辨距离像的原始数据进行幅度最大值归一化处理,同时为了保证神经网络的输入有相同的长度,截取一定长度N的HRRP作为输入,这里取N=100点。
幅度归一化是不同通道各自归一化,利用每帧距离像的最大值对该距离像进行归一化。设x(n)为原始距离像,则其幅度归一化表示为
103、划分训练集和测试集,将跟踪阶段获取的样本作为训练样本,扫描阶段获取的样本作为测试样本。
步骤二、根据目标距离像的数据长度N和极化通道数T,需要划分的Q类,构建LSTM网络,该网络结构由一层输入层(其输入为T个通道,每个通道有N个神经元),H层隐含层(最后一层隐含层输出为T个通道,每个通道Q个神经元)、一层softmax层构成(输出为一个通道Q个神经元),这里H=1,按输入通道数扩展为T时刻的序列网络如图1所示,其中隐含层为全连接层,并使用训练数据进行训练网络。
步骤201、根据数据长度构建输入层,输入神经元为N个,T个时刻通道。
步骤202、构建第二层隐含层即全连接层,该层具有神经元个数为Q个,T个时刻通道。同时将其输出反馈到下一时刻作为循环,通过一些忘记门、输入门和输出门构成一个LSTM的cell,其结构如图2所示。对于输入Xt前一时刻到下一时刻的更新公式为
ft=δ(Whfht-1+WxfXt+bf)
it=δ(Whiht-1+WxiXt+bi)
dt=tanh(Whdht-1+WxdXt+bd)
ot=δ(Whoht-1+WxoXt+bo)
其中 表示点乘操作,ft,it和ot分别是忘记门、输入门和输出门的输出,同时全连接层利用非线性变换得到Q个输出。
非线性变换采用以下公式:
式中表示第2层的第j个神经元,表示第1层第c个神经元与第2层的第j个神经元相连接的权值,表示第2层的第j个神经元的偏置,“*”表示卷积操作,f()表示激活函数。
步骤203、将隐含层最后一层的T个通道的输出中任意取一路当做是提取的深度特征,作为softmax层的输入。较佳的,可以将隐含层最后一层的T个通道的输出进行平均,将平均结果当做是提取的深度特征,作为softmax层的输入,这样可以融合各通道的结果,识别效果更好。
softmax层将输入的深度特征进行归一化,输出Q维向量,分别对应训练目标属于Q类中每一类的概率,取概率最大的类型作为目标的识别结果。将x分类为类别j的概率为:
输出Q维向量,分别对应训练目标属于Q类中每一类的概率,取概率最大的类型作为目标的识别结果。
步骤204、根据极化通道数T,构建T时刻的序列网络,同时输入训练数据,对构建的LSTM网络进行训练。其中,较佳的,采用反向传播算法更新权值,对构建的LSTM网络进行训练,计算速度快,可以较快的达到最优;训练时,可以采用向损失函数下降的方向更新权值,较佳的,下降方法采用随机梯度下降算法,损失函数采用交叉熵损失函数:
其中y为期望的输出,a为softmax层实际输出,n为输入x的个数。
通过反向传播算法将输出层的误差灵敏度向前传播,更新每一层的权值。通过反复迭代使代价函数收敛,最后网络训练完毕,得到训练好的网络模型。
步骤三、将测试样本中,不同极化通道的数据按序列输入LSTM网络中进行分类测试。
步骤301、将测试样本中的极化通道数据按照训练阶段对应的通道输入。
步骤302、将隐含层最后一层(本实施例中即为全连接层)的输出作为深度特征,输入到softmax层实现分类,softmax层输出的最大值对应的类别即为目标类别。
下面结合雷达外场实验获得的HRRP实例,对本发明作进一步详细描述。
本实例采用4类典型目标在不同场景不同侧向下的雷达HRRP,带宽为1.2GHz,同时训练数据采用的是跟踪阶段获取的双极化通道的HRRP,测试数据采用的是扫描阶段获取的双极化通道的HRRP。本例的框图如图1所示,将不同极化通道的HRRP作为序列输入到LSTM中,利用LSTM对序列数据的进行融合,深入挖掘目标的信息,实现目标特征的提取,进而实现对目标的分类识别。
步骤一:对获取的不同通道的HRRP做预处理工作,并且将跟踪阶段的HRRP作为训练样本集,扫描阶段的HRRP作为测试样本集。
步骤二:构建T时刻的LSTM网络,并使用训练数据对神经网络进行训练,这里T=2。
步骤三:将测试样本中不同通道的HRRP按顺序输入到LSTM,实现对目标的分类识别。
自此,便完成了基于LSTM的极化雷达高分辨距离像目标识别方法。
本发明提出了一种基于LSTM的极化雷达高分辨距离像目标识别方法,将不同极化通道的HRRP作为序列输入到LSTM,实现端对端操作,直接利用不同极化通道的信息提取深度特征,避免了手动提取特征不能结合不同通道的幅度和相位信息的情况,图3为手动提取特征和LSTM提取特征的对比,相同类别越聚集,不同类别越分散,说明提取的特征越具有可分性。该方法利用不同极化通道之间的关联性,充分的挖掘了目标信息,并提取了深度和关联性特征,从而提高分辨距离像目标识别性能。LSTM提取特征的识别性能和传统手动提取特征的识别性能如表1所示。
表1不同方法的识别性能对比
正确识别率 | |
手动提取的36维特征 | 86.68% |
LSTM提取的深度特征 | 91.42% |
从表1可以看出LSTM自动提取的目标特征比手动提取的特征更有可分性,识别性能更好,而且LSTM提取特征维度比自动提取特征维数要少。
综上所述,以上仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (5)
1.一种基于LSTM的多极化雷达高分辨距离像目标识别方法,其特征在于,包括如下步骤:
步骤1,获取Q类目标在不同场景不同姿态下的多极化雷达高分辨距离像,并进行预处理:对所有高分辨距离像进行数据对齐处理后,对各高分辨距离像进行幅度最大值归一化处理,然后截取长度N的高分辨距离像作为LSTM网络的输入;
步骤2,构建LSTM网络;所述LSTM网络包括输入层、隐含层和softmax层;其中,输入层包括T个通道,每个通道有N个神经元;隐含层的最后一层包括T个通道,每个通道有Q个神经元;softmax层包括Q个神经元;其中,T为多极化雷达的极化通道个数,N为步骤1的截取长度,Q为目标类别数;
步骤3,将步骤1预处理后的高分辨距离像数据作为LSTM网络的输入,对构建的LSTM网络进行训练;其中,LSTM网络的输入层的T个通道分别对应高分辨距离像的T个极化通道;
步骤4,将待识别的多极化雷达高分辨距离像按照步骤1的方式进行预处理,然后输入步骤3训练好的LSTM网络中,softmax层输出的最大值对应的类别即为目标类别。
2.如权利要求1所述的基于LSTM的多极化雷达高分辨距离像目标识别方法,其特征在于,将隐含层最后一层的各通道输出进行平均后,作为softmax层的输入。
3.如权利要求1或2所述的基于LSTM的多极化雷达高分辨距离像目标识别方法,其特征在于,所述隐含层为全连接层。
4.如权利要求1所述的基于LSTM的多极化雷达高分辨距离像目标识别方法,其特征在于,所述步骤3中,采用反向传播算法更新权值,对构建的LSTM网络进行训练。
5.如权利要求1或4所述的基于LSTM的多极化雷达高分辨距离像目标识别方法,其特征在于,所述步骤3训练过程中,向损失函数下降的方向更新权值,其中,下降方法采用随机梯度下降算法,损失函数采用交叉熵损失函数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811202213.7A CN109492671B (zh) | 2018-10-16 | 2018-10-16 | 一种基于lstm的多极化高分辨距离像目标识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811202213.7A CN109492671B (zh) | 2018-10-16 | 2018-10-16 | 一种基于lstm的多极化高分辨距离像目标识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109492671A true CN109492671A (zh) | 2019-03-19 |
CN109492671B CN109492671B (zh) | 2020-08-11 |
Family
ID=65690594
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811202213.7A Active CN109492671B (zh) | 2018-10-16 | 2018-10-16 | 一种基于lstm的多极化高分辨距离像目标识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109492671B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109948722A (zh) * | 2019-03-27 | 2019-06-28 | 中国人民解放军战略支援部队航天工程大学 | 一种识别空间目标的方法 |
CN109977871A (zh) * | 2019-03-27 | 2019-07-05 | 中国人民解放军战略支援部队航天工程大学 | 一种基于宽带雷达数据和gru神经网络的卫星目标识别方法 |
CN110865340A (zh) * | 2019-12-04 | 2020-03-06 | 上海无线电设备研究所 | 一种基于极化特性辅助的海面角反射器干扰对抗方法 |
CN111429481A (zh) * | 2020-03-18 | 2020-07-17 | 重庆邮电大学 | 一种基于自适应表达的目标追踪方法、装置及终端 |
CN113281776A (zh) * | 2021-01-08 | 2021-08-20 | 浙江大学 | 针对复杂水下动态目标的激光雷达目标智能检测仪 |
CN114611569A (zh) * | 2022-01-19 | 2022-06-10 | 北京理工大学 | 一种基于知识辅助的雷达目标深度学习分类方法、系统 |
CN116720122A (zh) * | 2023-08-10 | 2023-09-08 | 清华大学 | 基于多站频率捷变雷达的气动目标分类方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030002731A1 (en) * | 2001-05-28 | 2003-01-02 | Heiko Wersing | Pattern recognition with hierarchical networks |
CN106845371A (zh) * | 2016-12-31 | 2017-06-13 | 中国科学技术大学 | 一种城市路网机动车尾气排放遥感监控系统 |
-
2018
- 2018-10-16 CN CN201811202213.7A patent/CN109492671B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030002731A1 (en) * | 2001-05-28 | 2003-01-02 | Heiko Wersing | Pattern recognition with hierarchical networks |
CN106845371A (zh) * | 2016-12-31 | 2017-06-13 | 中国科学技术大学 | 一种城市路网机动车尾气排放遥感监控系统 |
Non-Patent Citations (3)
Title |
---|
V JITHESH等: "LSTM Recurrent Neural Networks for High Resolution Range Profile Based Radar Target Classification", 《3RD IEEE INTERNATIONAL CONFERENCE ON CICT》 * |
杨虎等: "基于神经网络方法的极化雷达地表参数反演", 《遥感学报》 * |
赵天杰等: "双频多极化SAR数据与多光谱数据融合的作物识别", 《地球信息科学学报》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109948722A (zh) * | 2019-03-27 | 2019-06-28 | 中国人民解放军战略支援部队航天工程大学 | 一种识别空间目标的方法 |
CN109977871A (zh) * | 2019-03-27 | 2019-07-05 | 中国人民解放军战略支援部队航天工程大学 | 一种基于宽带雷达数据和gru神经网络的卫星目标识别方法 |
CN110865340A (zh) * | 2019-12-04 | 2020-03-06 | 上海无线电设备研究所 | 一种基于极化特性辅助的海面角反射器干扰对抗方法 |
CN110865340B (zh) * | 2019-12-04 | 2022-03-29 | 上海无线电设备研究所 | 一种基于极化特性辅助的海面角反射器干扰对抗方法 |
CN111429481A (zh) * | 2020-03-18 | 2020-07-17 | 重庆邮电大学 | 一种基于自适应表达的目标追踪方法、装置及终端 |
CN111429481B (zh) * | 2020-03-18 | 2022-08-05 | 重庆邮电大学 | 一种基于自适应表达的目标追踪方法、装置及终端 |
CN113281776A (zh) * | 2021-01-08 | 2021-08-20 | 浙江大学 | 针对复杂水下动态目标的激光雷达目标智能检测仪 |
CN114611569A (zh) * | 2022-01-19 | 2022-06-10 | 北京理工大学 | 一种基于知识辅助的雷达目标深度学习分类方法、系统 |
CN114611569B (zh) * | 2022-01-19 | 2022-11-29 | 北京理工大学 | 一种基于知识辅助的雷达目标深度学习分类方法、系统 |
CN116720122A (zh) * | 2023-08-10 | 2023-09-08 | 清华大学 | 基于多站频率捷变雷达的气动目标分类方法及装置 |
CN116720122B (zh) * | 2023-08-10 | 2023-10-31 | 清华大学 | 基于多站频率捷变雷达的气动目标分类方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN109492671B (zh) | 2020-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109492671A (zh) | 一种基于lstm的多极化高分辨距离像目标识别方法 | |
CN110363151A (zh) | 基于双通道卷积神经网络虚警可控的雷达目标检测方法 | |
CN110020682B (zh) | 一种基于小样本学习的注意力机制关系对比网络模型方法 | |
CN105975931B (zh) | 一种基于多尺度池化的卷积神经网络人脸识别方法 | |
Frigui et al. | Detection and discrimination of land mines in ground-penetrating radar based on edge histogram descriptors and a possibilistic $ k $-nearest neighbor classifier | |
CN104217214B (zh) | 基于可配置卷积神经网络的rgb‑d人物行为识别方法 | |
CN107886123B (zh) | 一种基于辅助判决更新学习的合成孔径雷达目标识别方法 | |
CN109934166A (zh) | 基于语义分割和孪生神经网络的无人机图像变化检测方法 | |
Frigui et al. | Context-dependent multisensor fusion and its application to land mine detection | |
CN110245581B (zh) | 一种基于深度学习和距离-多普勒序列的人体行为识别方法 | |
CN112116563A (zh) | 一种基于谱维与空间协作邻域注意力的高光谱图像目标检测方法与系统 | |
CN110781830A (zh) | 基于空-时联合卷积的sar序列图像分类方法 | |
CN104899549A (zh) | 基于距离像时频图鉴别字典学习的sar目标识别方法 | |
CN103714326B (zh) | 一种单样本人脸识别方法 | |
CN109934158A (zh) | 基于局部强化运动历史图和递归卷积神经网络的视频情感识别方法 | |
CN109165672A (zh) | 一种基于渐进式学习的集成分类方法 | |
CN111476261A (zh) | 一种社区增强的图卷积神经网络方法 | |
CN111273288B (zh) | 一种基于长短期记忆网络的雷达未知目标识别方法 | |
CN110210330A (zh) | 基于内隐知识构建图卷积网络的电磁信号识别方法及装置 | |
CN113625227A (zh) | 基于注意力变换网络的雷达高分辨距离像目标识别方法 | |
CN107423705A (zh) | 基于多层概率统计模型的sar图像目标识别方法 | |
CN107833239A (zh) | 一种基于加权模型约束的寻优匹配目标跟踪方法 | |
CN107301382A (zh) | 基于时间依赖约束下深度非负矩阵分解的行为识别方法 | |
Li et al. | Research on reservoir lithology prediction method based on convolutional recurrent neural network | |
CN104598925A (zh) | 一种基于ELM的多类Adaboost集成学习方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |