CN117214857A - 一种三维场景下高斯多假设多扩展目标的跟踪方法 - Google Patents
一种三维场景下高斯多假设多扩展目标的跟踪方法 Download PDFInfo
- Publication number
- CN117214857A CN117214857A CN202311481799.6A CN202311481799A CN117214857A CN 117214857 A CN117214857 A CN 117214857A CN 202311481799 A CN202311481799 A CN 202311481799A CN 117214857 A CN117214857 A CN 117214857A
- Authority
- CN
- China
- Prior art keywords
- target
- hypothesis
- equation
- measurement
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000005259 measurement Methods 0.000 claims abstract description 47
- 238000004364 calculation method Methods 0.000 claims abstract description 10
- 238000013138 pruning Methods 0.000 claims abstract description 7
- 238000012423 maintenance Methods 0.000 claims abstract description 5
- 238000012545 processing Methods 0.000 claims abstract description 5
- 238000010200 validation analysis Methods 0.000 claims abstract description 5
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 4
- 238000011284 combination treatment Methods 0.000 claims abstract description 4
- 238000012217 deletion Methods 0.000 claims abstract description 4
- 230000037430 deletion Effects 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000006073 displacement reaction Methods 0.000 claims description 4
- 230000001133 acceleration Effects 0.000 claims description 2
- 230000007704 transition Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
Landscapes
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明提供了一种三维场景下高斯多假设多扩展目标的跟踪方法。所述方法包括以下步骤:S1:量测聚类:利用基于密度的算法对量测进行聚类,形成量测簇;S2:假设形成与维持:对每个簇中已相关的各量测进行处理生成新的假设,同时修改簇中每个假设的概率和目标的状态;S3:假设得分计算,确认与删除:利用假设概率计算公式计算假设的得分,同时删除低于阈值的假设;S4:假设约简与假设剪枝:消除不可行假设,同时对估计值相近的假设进行合并处理;S5:形状估计:利用高斯过程回归和径向函数估计扩展目标的形状。本发明解决了现有方法中对三维场景下多扩展目标形状估计的问题,大大提高了形状估计的准确度。
Description
技术领域
本申请涉及雷达多扩展目标跟踪领域,具体涉及一种三维场景下高斯多假设多扩展目标的跟踪方法。
背景技术
在传统的目标跟踪应用,例如空中监视,每个目标最多只能产生单个量测。然而,在许多最近的应用,如自动驾驶中,情况并非如此,因为传感器的分辨率足够高,被探测的目标可能占据多个分辨单元从而产生多个量测,此类场景被定义为扩展目标跟踪。在这种情况下,目标的空间形状是不可忽视的,需要跟踪算法来确定目标形状及其轨迹。此外,在扩展目标跟踪场景下,数据关联和轨迹管理比点目标要复杂得多。随着现代传感器分辨率的不断提高,扩展目标跟踪已成为自主系统环境感知的关键问题。
扩展目标跟踪问题可以分为扩展目标量测建模和多目标跟踪两部分。常用的扩展目标量测建模方法有随机矩阵(Random Matrix, RM)方法和随机超曲面(Random HyperSurface, RHS)法。RM方法假设扩展目标量测分布在以扩展目标中心为原点的椭圆范围内,采用一个半正定 (Semi Positive Definite, SPD) 矩阵来表示椭圆轮廓,同时将扩展状态作为附加的目标状态变量进行估计。RHS方法隐式地表达目标量测模型,再结合非线性估计方法对扩展目标进行跟踪。本申请则提出利用高斯过程回归来估计径向函数,该方法可以表示多种形状的扩展目标,同时对目标轮廓和量测的估计要优于采用椭圆近似的方法。为了解决状态估计问题,本申请提出了一种递归高斯过程回归的求解方法。
在多目标跟踪算法中,数据关联一直是其中的核心和难点。从最近邻域法(Nearest Neighbor, NN)到联合数据关联法(Joint Probabilistic Data Association,JPDA)都缺乏统一的理论解决多目标跟踪问题。本申请采用的多假设跟踪(MultipleHypothesis Tracking,MHT)技术将航迹起始和航迹维持统一在一个框架上处理,它是一种基于多个扫描周期量测进行数据互联的技术,理论上是解决关联的最优方法,NN和JPDA方法都可以看作是该方法的子集。
发明内容
本申请提供了一种三维场景下高斯多假设多扩展目标的跟踪方法;可以解决现有技术中对三维场景下多扩展目标形状估计的问题。
为了解决上述技术问题,本申请实施例提供了如下的技术方案:
本申请提供了一种三维场景下高斯多假设多扩展目标的跟踪方法,包括:
步骤S1:量测聚类:利用基于密度的聚类算法(Density-Based SpatialClustering of Applications with Noise, DBSCAN)对量测进行聚类,形成量测簇;
步骤S2:假设形成与维持:对每个簇中已相关的各量测进行处理生成新的假设,同时修改簇中每个假设的概率和目标的状态;
步骤S3:假设得分计算,确认与删除:利用假设概率计算公式计算假设的得分,同时删除低于阈值的假设;
步骤S4:假设约简与假设剪枝:消除不可行假设,同时对估计值相近的假设进行合并处理;
步骤S5:形状估计:利用高斯过程回归和径向函数估计扩展目标的形状。
基于上述实施例的公开可以获知,本申请实施例具备如下的有益效果:
本申请采用高斯过程回归和径向函数结合估计扩展目标形状,通过引入状态空间模型,将递归高斯过程转化为状态估计问题,使得状态估计可以与形状估计相结合,实现了三维目标形状的估计。通过径向函数可以精细地刻画目标外形,从而提高了形状估计的准确度。
附图说明
图1为本申请实施例提供的假设形成示意图;
图2为本申请实施例提供的扩展目标形状估计结果图;
图3为本申请实施例提供的流程图。
具体实施方式
下面,结合附图对本申请的具体实施例进行详细的描述,但不作为本申请的限定。
本实施例提供了一种三维场景下高斯多假设多扩展目标的跟踪方法。在下面的实施例中逐一进行详细说明。
步骤S1:量测聚类:利用DBSCAN算法对量测进行聚类,形成量测簇;
假设时刻的量测集合为/>,DBSCAN算法的邻域距离阈值为/>,半径为/>的邻域内数据点个数最少为/>。首先初始化核心对象集/>和类别/>,遍历/>中的元素,如果/>的邻域内含有大于/>个对象,那么将该/>加入到新对象集中。然后访问所有核心对象集中的元素,对于任意一个核心对象集中未访问的元素/>,先将/>标记为已访问并标记类别,最后将/>的邻域中那个未访问的元素存到种子集合/>中。如果种子集合/>为空集,那么当前的聚类簇生成完毕,否则将其标记为已访问并加入到类别/>中。记经过聚类后的量测簇为/>
步骤S2:假设形成与维持:对每个簇中已相关的各量测进行处理生成新的假设,同时修改簇中每个假设的概率和目标的状态;
假设是聚簇内一组目标和量测的分配互联关系,一个聚簇可以包含若干个假设,每个假设又可以包含若干相干相容的航迹。对于时刻的聚簇/>,与之相关的互联有三种可能:它是已存在目标确认航迹的继续;它是新目标的量测,起始一条新航迹;它源于虚警。伴随目标航迹数和量测数以及扫描周期数的增加,聚簇中的假设数量会呈指数级数增加,大大地增加算法计算量,影响了算法实用性,所以有必要对假设进行约简和裁剪以控制假设数量的急剧增加。
S3:假设得分计算,确认与删除:利用假设概率计算公式计算假设的得分,同时删除低于阈值的假设;
假设时刻存在/>条航迹假设/>,根据/>时刻传感器接收到的量测簇/>及/>时刻航迹假设/>可以计算出航迹假设/>的条件概率/>,其中/>表示从初始时刻到/>时刻的所有量测。定义/>为量测/>是否关联到已存在航迹的指示变量,/>表示量测/>关联到某个已存在的航迹,/>表示量测/>由虚警或新生目标产生。定义/>为航迹假设/>是否在/>时刻关联到量测的指示变量。/>表示/>时刻存在量测与航迹假设/>相关联,/>表示/>时刻航迹假设/>不与任何量测相关联。
采用贝叶斯准则可以得到时刻航迹假设/>的条件概率,
(1)
其中,为/>时刻航迹假设/>的条件概率,/>是与航迹无关的常数。由此可以得到航迹假设条件概率的递归表达式,
(2)
其中,条件因子为。假设/>时刻传感器的量测数据中存在/>个源于新生目标的量测数,/>个由杂波产生的虚假量测数。且在观测空间中,虚假量测数与新生目标数服从泊松分布,用古典概率模型可以得到条件因子/>为
(3)
如果量测关联到假设航迹/>,则/>时刻量测/>的条件概率分布可写为
(4)
假设由杂波引起的虚警量测和新生目标量测在量测空间中均匀分布,且量测空间体积为,则存在
(5)
式中,又可写为/>,表示在假设航迹/>下,量测关联到假设航迹/>的概率密度函数。对假设航迹/>在/>时刻的位置进行预测,可以得到航迹/>的预测位置/>,量测/>的新息/>以及新息协方差矩阵。由于量测新息可以看作是均值为/>,方差为/>的高斯分布,即
(6)
条件因子可写为
(7)
对航迹假设条件概率的表达式两边取对数,可以得到航迹得分的递归计算式
(8)
式中表示/>时刻的航迹得分。航迹得分增量为/>,其中/>表示数据的运动信息,/>表示数据的相关信号信息。
步骤S4:假设约简与假设剪枝:消除不可行假设,同时对估计值相近的假设进行合并处理;
本申请采用N-Scan剪枝方法,如附图1所示,是一种通过限制轨迹树深度来控制假设数量的方法。N-scan剪枝方法强制在时刻产生的不确定性在/>时刻延迟解决。当轨迹树的深度大于/>时,N-scan剪枝法将搜索轨迹树中当前置信度最高的叶子节点,然后将置信度最高的叶子节点所在的根节点分枝保留,删除其余分枝。
步骤S5:形状估计:利用高斯过程回归和径向函数估计扩展目标的形状。
假设扩展目标的量测均来自于三维物体表面,采用径向函数来描述扩展目标形状,其中输入/>分别为方位角和俯仰角,记为/>,输出/>为距中心点的距离。假设径向函数服从高斯过程
(9)
高斯过程回归的协方差函数为
(10)
其中为先验方差,/>为长度系数,/>计算两个输入间的相对距离
(11)
结合径向函数的递归回归可以推导三维扩展目标的状态方程及量测方程。假设扩展目标状态向量定义为。/>为扩展目标运动状态部分,包含位移向量/>和姿态向量/>,即/>,/>为基本点的径向函数值。扩展目标的运动方程为
(12)
(13)
(14)
对于位移向量部分采用匀速运动模型
(15)
(16)
(17)
本申请提出了一种利用四元数估计目标姿态的方法,该方法可以递归地估计目标姿态并与目标运动状态估计相结合。在时刻,目标的姿态可以表示为
(18)
其中为参考姿态,即目标姿态上一时刻的估计值,/>为相对于参考姿态的偏移量,/>为角度偏移量,根据罗德里格斯参数化可知
(19)
因此只需要递归地估计角度偏移量,再结合参考姿态就可以估计目标任意时刻的姿态。本申请采用匀速模型来推导/>的状态方程,角度偏移量的连续运动方程
(20)
定义,根据(20)式可以推导出姿态偏移量的状态转移方程
(21)
其中为旋转加速度向量,在本文中假设为高斯白噪声。式(21)为非线性系统,需要通过一阶泰勒展开得到近似的线性模型。/>在/> 时刻姿态偏移估计值/> 的一阶泰勒展开为
(22)
其中
(23)
将式(23)离散化可以得到的状态方
(24)
其中
(25)
(26)
假设过程噪声为
(27)
其中
(28)
(29)
(30)
(31)
扩展目标扩展形态的状态方程为
(32)
(33)
即,其中/>为协方差矩阵。本申请采用的方法对目标形状估计的结果如图2所示,可以发现采用高斯过程回归方法的估计准确性要好于采用RM方法。
Claims (2)
1.一种三维场景下高斯多假设多扩展目标的跟踪方法,包括如下步骤:
S1:量测聚类:利用基于密度的聚类算法对量测进行聚类,形成量测簇;
S2:假设形成与维持:对每个簇中已相关的各量测进行处理生成新的假设,同时修改簇中每个假设的概率和目标的状态;
S3:假设得分计算,确认与删除:利用假设概率计算公式计算假设的得分,同时删除低于阈值的假设;
S4:假设约简与假设剪枝:消除不可行假设,同时对估计值相近的假设进行合并处理;
S5:形状估计:利用高斯过程回归和径向函数估计扩展目标的形状。
2.根据权利要求1所述的一种三维场景下高斯多假设多扩展目标的跟踪方法,其特征在于,步骤S5中的高斯过程形状估计方法如下:
第一步,利用高斯过程回归描述扩展目标的形状,假设扩展目标的量测均来自于三维物体表面,采用径向函数来描述扩展目标形状,其中输入/>分别为方位角和俯仰角,记为/>,输出/>为距中心点的距离,假设径向函数/>服从高斯过程
(9);
高斯过程回归的协方差函数为
(10);
其中为先验方差,/>为长度系数,/>计算两个输入间的相
(11);
第二步,结合径向函数的递归回归可以推导三维扩展目标的状态方程及量测方程,假设扩展目标状态向量定义为,/>为扩展目标运动状态部分,包含位移向量/>和姿态向量/>,即/>,/>为基本点的径向函数值,扩展目标的运动方程为
(12);
(13);
(14);
对于位移向量部分采用匀速运动模型
(15);
(16);
(17);
第三步,利用四元数估计目标姿态,该方法可以递归地估计目标姿态并与目标运动状态估计相结合,在时刻,目标的姿态可以表示为/> (18);
其中为参考姿态,即目标姿态上一时刻的估计值,/>为相对于参考姿态的偏移量,/>为角度偏移量,根据罗德里格斯参数化可知
(19);
因此只需要递归地估计角度偏移量,再结合参考姿态就可以估计目标任意时刻的姿态,本申请采用匀速模型来推导/>的状态方程,角度偏移量的连续运动方程为(20);
定义,根据式(20)可以推导出姿态偏移量的状态转移方程
(21);
其中为旋转加速度向量,在本文中假设为高斯白噪声,式(21)为非线性系统,需要通过一阶泰勒展开得到近似的线性模型,/>在/>时刻姿态偏移估计值/>的一阶泰勒展开为/>(22);
其中
(23);
将其离散化可以得到的状态方程为
(24);
其中
(25);
(26);
假设过程噪声为
(27);
其中
(28);
其中
(29);
(30);
(31);
扩展目标扩展形态的状态方程为
(32);
(33);
即,其中/>为协方差矩阵。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311481799.6A CN117214857B (zh) | 2023-11-09 | 2023-11-09 | 一种三维场景下高斯多假设多扩展目标的跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311481799.6A CN117214857B (zh) | 2023-11-09 | 2023-11-09 | 一种三维场景下高斯多假设多扩展目标的跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117214857A true CN117214857A (zh) | 2023-12-12 |
CN117214857B CN117214857B (zh) | 2024-02-02 |
Family
ID=89048499
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311481799.6A Active CN117214857B (zh) | 2023-11-09 | 2023-11-09 | 一种三维场景下高斯多假设多扩展目标的跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117214857B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117784115A (zh) * | 2023-12-26 | 2024-03-29 | 兰州理工大学 | 高斯过程回归模型多扩展目标pmbm跟踪方法 |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000206236A (ja) * | 1999-01-08 | 2000-07-28 | Mitsubishi Electric Corp | 目標追尾装置とその目標追尾処理方法 |
US6243037B1 (en) * | 1995-12-19 | 2001-06-05 | The Commonwealth Of Australia | Tracking method for a radar system |
JP2003130948A (ja) * | 2001-10-25 | 2003-05-08 | Mitsubishi Electric Corp | 目標追尾装置 |
CN104730511A (zh) * | 2015-04-10 | 2015-06-24 | 西安电子科技大学 | 星凸模型下的势概率假设密度多扩展目标跟踪方法 |
CN107677997A (zh) * | 2017-09-28 | 2018-02-09 | 杭州电子科技大学 | 基于GLMB滤波和Gibbs采样的扩展目标跟踪方法 |
CN107831490A (zh) * | 2017-12-01 | 2018-03-23 | 南京理工大学 | 一种改进的多扩展目标跟踪方法 |
CN108427112A (zh) * | 2018-01-22 | 2018-08-21 | 南京理工大学 | 一种改进的多扩展目标跟踪方法 |
CN109000638A (zh) * | 2018-05-28 | 2018-12-14 | 哈尔滨工程大学 | 一种小视场星敏感器量测延时滤波方法 |
CN110992396A (zh) * | 2019-10-18 | 2020-04-10 | 河南科技大学 | 一种基于K-means++聚类算法的多扩展目标跟踪方法 |
WO2020087846A1 (zh) * | 2018-10-31 | 2020-05-07 | 东南大学 | 基于迭代扩展卡尔曼滤波融合惯性与单目视觉的导航方法 |
CN111539510A (zh) * | 2020-04-16 | 2020-08-14 | 中国人民解放军海军航空大学 | 一种基于平行分割粒子滤波的mimo雷达目标跟踪方法 |
CN113344039A (zh) * | 2021-05-19 | 2021-09-03 | 电子科技大学 | 一种基于时空关联的多扩展目标跟踪方法 |
CN114002667A (zh) * | 2021-10-29 | 2022-02-01 | 西安交通大学 | 一种基于随机矩阵法的多近邻扩展目标跟踪算法 |
US20220114363A1 (en) * | 2020-10-08 | 2022-04-14 | Imec Vzw | Method and System for Indoor Multipath Ghosts Recognition |
WO2022116375A1 (zh) * | 2020-12-01 | 2022-06-09 | 中国人民解放军海军航空大学 | 高分辨传感器弱小多目标检测前跟踪方法 |
-
2023
- 2023-11-09 CN CN202311481799.6A patent/CN117214857B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6243037B1 (en) * | 1995-12-19 | 2001-06-05 | The Commonwealth Of Australia | Tracking method for a radar system |
JP2000206236A (ja) * | 1999-01-08 | 2000-07-28 | Mitsubishi Electric Corp | 目標追尾装置とその目標追尾処理方法 |
JP2003130948A (ja) * | 2001-10-25 | 2003-05-08 | Mitsubishi Electric Corp | 目標追尾装置 |
CN104730511A (zh) * | 2015-04-10 | 2015-06-24 | 西安电子科技大学 | 星凸模型下的势概率假设密度多扩展目标跟踪方法 |
CN107677997A (zh) * | 2017-09-28 | 2018-02-09 | 杭州电子科技大学 | 基于GLMB滤波和Gibbs采样的扩展目标跟踪方法 |
CN107831490A (zh) * | 2017-12-01 | 2018-03-23 | 南京理工大学 | 一种改进的多扩展目标跟踪方法 |
CN108427112A (zh) * | 2018-01-22 | 2018-08-21 | 南京理工大学 | 一种改进的多扩展目标跟踪方法 |
CN109000638A (zh) * | 2018-05-28 | 2018-12-14 | 哈尔滨工程大学 | 一种小视场星敏感器量测延时滤波方法 |
WO2020087846A1 (zh) * | 2018-10-31 | 2020-05-07 | 东南大学 | 基于迭代扩展卡尔曼滤波融合惯性与单目视觉的导航方法 |
CN110992396A (zh) * | 2019-10-18 | 2020-04-10 | 河南科技大学 | 一种基于K-means++聚类算法的多扩展目标跟踪方法 |
CN111539510A (zh) * | 2020-04-16 | 2020-08-14 | 中国人民解放军海军航空大学 | 一种基于平行分割粒子滤波的mimo雷达目标跟踪方法 |
US20220114363A1 (en) * | 2020-10-08 | 2022-04-14 | Imec Vzw | Method and System for Indoor Multipath Ghosts Recognition |
WO2022116375A1 (zh) * | 2020-12-01 | 2022-06-09 | 中国人民解放军海军航空大学 | 高分辨传感器弱小多目标检测前跟踪方法 |
CN113344039A (zh) * | 2021-05-19 | 2021-09-03 | 电子科技大学 | 一种基于时空关联的多扩展目标跟踪方法 |
CN114002667A (zh) * | 2021-10-29 | 2022-02-01 | 西安交通大学 | 一种基于随机矩阵法的多近邻扩展目标跟踪算法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117784115A (zh) * | 2023-12-26 | 2024-03-29 | 兰州理工大学 | 高斯过程回归模型多扩展目标pmbm跟踪方法 |
Also Published As
Publication number | Publication date |
---|---|
CN117214857B (zh) | 2024-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109188423B (zh) | 一种基于多源聚类的分布式多目标跟踪方法 | |
Clark et al. | Multi-target state estimation and track continuity for the particle PHD filter | |
Kreucher et al. | Sensor management using an active sensing approach | |
CN114002667B (zh) | 一种基于随机矩阵法的多近邻扩展目标跟踪算法 | |
CN117214857B (zh) | 一种三维场景下高斯多假设多扩展目标的跟踪方法 | |
CN112991391A (zh) | 一种基于雷达信号和视觉融合的车辆检测与跟踪方法 | |
CN110542885A (zh) | 一种复杂交通环境下的毫米波雷达目标跟踪方法 | |
CN111929653B (zh) | 一种基于无人船航海雷达的目标检测、跟踪方法及系统 | |
KR100601946B1 (ko) | 로봇의 전역 위치 추정 방법 | |
CN115494450B (zh) | 一种高精度的超宽带室内定位跟踪与控制方法及装置 | |
CN109214432B (zh) | 一种多传感器多目标联合检测、跟踪与分类方法 | |
CN110244294A (zh) | 一种多传感器的量测数据的关联方法 | |
US10254394B2 (en) | Method for managing crossovers in the tracking of mobile objects, and associated device | |
Li et al. | From target tracking to targeting track: A data-driven yet analytical approach to joint target detection and tracking | |
US12111386B2 (en) | Methods and systems for predicting a trajectory of an object | |
CN108519595A (zh) | 联合多传感器配准与多目标跟踪方法 | |
Ren et al. | Improved shape-based distance method for correlation analysis of multi-radar data fusion in self-driving vehicle | |
Nazari et al. | Real-time adaptive fuzzy density clustering for multi-target data association | |
Cen | Target location detection of mobile robots based on R-FCN deep convolutional neural network | |
Pulkkinen et al. | Time budget management in multifunction radars using reinforcement learning | |
CN115220002B (zh) | 一种固定单站的多目标数据关联跟踪方法和相关装置 | |
JP3208634B2 (ja) | 同一目標判定装置及び同一目標判定方法 | |
Zhang et al. | Seamless tracking of group targets and ungrouped targets using belief propagation | |
Juric-Kavelj et al. | People Tracking with Heterogeneous Sensors using JPDAF with Entropy Based Track Management. | |
Tarkanyi et al. | Roadside sensor optimization in infrastructure-based teleoperation of vehicles |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |