CN110674755B - 一种基于最适宜步态流型空间的步态识别方法 - Google Patents
一种基于最适宜步态流型空间的步态识别方法 Download PDFInfo
- Publication number
- CN110674755B CN110674755B CN201910911138.XA CN201910911138A CN110674755B CN 110674755 B CN110674755 B CN 110674755B CN 201910911138 A CN201910911138 A CN 201910911138A CN 110674755 B CN110674755 B CN 110674755B
- Authority
- CN
- China
- Prior art keywords
- gait
- increment
- sample
- flow pattern
- pattern space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
- G06V40/25—Recognition of walking or running movements, e.g. gait recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于最适宜步态流型空间的步态识别方法,采用多因子距离度量策略,计算各已知个体的最适宜步态流型空间,并选择相应的基步态样本集。然后将待识别的步态样本转换到各已知个体的最适宜步态流型空间,并计算未知步态到每个基步态样本的距离。最后经过统计分析,将待识别步态判定为具有较小差异的占多数的基步态样本所属的个体。该方法通过多因子距离度量来确定各已知个体的最适宜步态流型空间,并选择相应的基步态样本构造参考集,能够在采集视角变化和存在其它干扰因素的情况下取得较好的步态识别效果。
Description
技术领域
本发明涉及生物特征识别领域,尤其涉及基于最适宜步态流型空间的步态识别方法。
背景技术
在主流的安防监控系统中,通过摄像头远距离对行人进行身份鉴定是一个具有广阔前景的发展方向。虽然当前很多公共场所,比如学校、机场、商城、银行、车站等,已经安装了大量的视频采集设备,但大多还只限于循环录像,无法实现实时预警。技术方面的原因主要在于远距离识别时,很多现有的生物特征识别技术难以发挥作用。
目前,能够用于身份识别的生物特征识别技术主要包括人脸、指纹、虹膜和步态,其中人脸和指纹已经得到广泛的应用。然而,在远距离条件下,人脸和指纹信息通常无法精确采集,因此其应用受到很大的限制。而步态识别可以通过分析人走路的动态特征进行身份鉴别,对分辨率要求相对较低,尤其适用于远距离监控环境。此外,基于步态的身份识别,无需被识别人的刻意配合,具有非侵犯性和难于隐藏性等极大优势。另一方面,随着视频采集设备的更新换代,当前主流的摄像设备已经能够采集高清晰度的行人视频。但是现有的步态识别算法在处理高清晰步态视频时,有的是对视频进行强制下采样,造成了一部分步态特征信息的丢失,从而影响了正确识别率;有的是直接处理高分辨率的数据,因为计算量过大,难以做到实时的身份识别。两种情况下都无法有效地利用现有的高清步态视频数据,这极大限制了步态识别技术的实用性。
发明内容
本发明的目的在于针对现有技术的不足,结合步态信息的特殊性和现有步态采集设备的分辨率较高的情况,提供一种基于最适宜步态流型空间的步态识别方法。
本发明的目的是通过以下技术方案来实现的:
一种基于最适宜步态流型空间的步态识别方法,包括以下步骤:
S1:分别提取训练用步态视频和待识别步态视频的步态轮廓图并合成步态增量图;
S1.1:分别采集正常步态情况下以及包含干扰信息情况下的行人步态视频;
S1.2:对所述的步态视频进行解码,并对得到的连续图像进行运动目标检测、前景分割和二值化处理,从而生成只包含目标个体的二值图像,即得到步态轮廓图;
S1.3:将所述的步态轮廓图按周期取平均增量得到初级步态特征,从而得到步态增量图;
S2:将S1.3得到的训练用步态的步态增量图进行重组,构造正常步态增量图集G0和包括各种影响因素的N个异常步态增量图集G1,G2,…,GN;
S3:通过多因子距离度量来确定每个已知个体的最适宜步态流型空间和相应的基步态样本集;
S3.1:针对每个已知个体,分别对其正常步态增量图集G0内的元素进行有放回的随机采样得到M个等容量的数据子集G01,G02,…,G0M,并以此为基础构造对应于正常步态增量图集G0的M个局部线性子空间S1,S2,…,SM;
S3.2:针对每个已知个体,分别计算其每个异常步态增量图集G1,G2,…,GN到正常步态增量图G0的M个数据子集G01,G02,…,G0M的平均距离;
S3.3:将上一步得到的平均距离从小到大排序,取最小的平均距离对应的局部线性子空间为该已知个体的最适宜步态流型空间SO;同时,取构造SO的正常步态增量图集为相应的的基步态样本集;
S4:距离度量与统计:将S1得到的待识别步态的步态增量图转换到各已知个体的最适宜步态流型空间,并计算待识别步态样本到每个基步态样本的距离;在此基础上,采用K近邻的方法统计所得距离,并将待识别步态判定为占多数的基步态样本所属的个体。
进一步地,所述S1.3中的步态增量图G的构造方法如下:
其中,I为一个周期内的步态图像帧数,(u,v)为坐标,Bi和Bi-1分别表示第i帧和第i-1帧的二值化步态轮廓图。
进一步地,所述的S3.2中每个异常步态增量图集到正常步态增量图G0的M个数据子集的平均距离的计算方法为:将该异常步态增量图集中所有样本映射到正常步态增量图G0的M个局部线性子空间,并在该空间内计算每个异常样本到正常样本的平均距离。
进一步地,所述S4中计算待识别步态样本到每个基步态样本的距离时,针对每个已知个体,先将未知步态和该个体的基步态样本都映射到对应的最适宜步态流型空间,然后再计算对应的距离。
本发明的有益效果是:
本发明根据人类步态的特殊性和步态样本采集条件的多样性,设计了一种基于流型学习理论的步态特征提取及其识别方法,来挖掘能反映不同人行走过程中的本质状态差异的低维特征信息用于后续的步态识别过程。该方法采用多因子策略确定最适宜的步态流型空间,并在此空间内进行步态样本之间的距离度量,增强了对采集视角变化和其它干扰因素的鲁棒性,可在大多数实际应用场景中取得较好的效果。
附图说明
图1是本发明的基于最适宜步态流型空间的步态识别方法的流程图;
图2为分别采用本发明的方法与四种现有技术中的步态识别方法得到的累积匹配曲线图。
具体实施方式
下面根据附图和优选实施例详细描述本发明,本发明的目的和效果将变得更加明白,应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,本发明的基于最适宜步态流型空间的步态识别方法分为最适宜步态流型空间确定和步态识别实施两个阶段。
1.最适宜步态流型空间确定阶段,基于训练步态数据确定最适宜的步态流型空间及其对应的基步态样本集,包括以下子步骤:
1.1训练数据采集:使用摄像机分别采集正常步态情况下,以及包含背包和穿大衣等干扰因素情况下的行人步态,建立已知个体的步态视频数据库。在具体实施过程中,包含的干扰因素类型越多,最终系统的适应能力越强。可能的干扰因素除了背包和穿大衣之外,还可能包括摄像机镜头畸变、采集现场光线显著变化、穿不同类型的鞋子,以及表面类型不同的地面等。
1.2提取步态轮廓图并合成步态增量图:针对步态视频数据库中的每个已知个体,提取连续的步态轮廓图,并合成步态增量图:其中步态轮廓图提取是指的对步态视频进行解码,并进一步对得到的连续图像进行运动目标检测、前景分割和二值化处理,从而生成只包含目标个体的二值图像的过程。步态增量图合成是指的将步态轮廓图按周期取平均得到初级步态特征图的过程。本发明中步态增量图G的构造方法为:
其中,I为一个周期内容的步态图像帧数,(u,v)为坐标,Bi和Bi-1分别表示第i帧和第i-1帧的二值化步态轮廓图。
1.3构造正常步态增量图集和多个异常步态增量图集:针对每个已知个体的步态增量图,采用有放回的随机抽取方法,构造正常步态增量图集和多个异常步态增量图集;具体地,根据训练步态视频的采集条件,将上一步生成的步态增量图进行重组,构造正常步态增量图集G0和包括各种影响因素(如背包、穿大衣、和光照剧烈变化等)的N个异常步态增量图集G1,G2,…,GN(通常情况下N=2,即只考虑穿不同类型的衣服和背负不同类型的包裹);
1.4多因子距离度量:通过多因子距离度量来确定每个已知个体的最适宜步态流型空间和相应的基步态样本集,具体包括以下子步骤:
(1.4.1)针对每个已知个体,分别对其正常步态增量图集G0内的元素进行有放回的随机采样得到M个等容量的数据子集G01,G02,…,G0M,并以此为基础构造对应于正常步态增量图G0的M个局部线性子空间,记作:S1,S2,…,SM;
(1.4.2)针对每个已知个体,分别计算其每个异常步态增量图集G1,G2,…,GN到正常步态增量图G0的M个数据子集G01,G02,…,G0M的平均距离;
(1.4.3)将上一步得到的平均距离从小到大排序,取最小的平均距离对应的局部线性子空间为该已知个体的最适宜步态流型空间SO;同时,取构造SO的正常步态增量图集为相应的的基步态样本集。
2.在步态识别实施阶段,对待识别步态进行预处理,并在最适宜步态流型空间内与基步态样本进行距离度量与统计来判定该步态归属于哪个已知个体。分别将待识别步态转换到各已知个体的最适宜步态流型空间,并计算未知步态样本到每个基步态样本的距离。在此基础上,采用K近邻的方法统计所得距离,并将未知步态判定为占多数的基步态样本所属的个体。
下面基于中国科学院自动化研究所的CASIA Dataset B步态数据集,分别采用本发明的步态识别方法与如下四种现有技术中的方法进行步态识别:
(1)VTM方法(D.Muramatsu,Y.Makihara,Y.Yagi,“View Transformation ModelIncorporating Quality Measures for Cross-View Gait Recognition,”IEEETransactions on Cybernetics,2016);
(2)CDHMM方法(王修晖,严珂,“基于连续密度隐马尔可夫模型的人体步态识别”,模式识别与人工智能,2016);
(3)(2D)2PCA方法(XiuHui Wang,Jun Wang,Ke Yan,“Gait recognition basedon Gabor wavelets and(2D)2PCA”,Multimedia Tools and Applications,2018);
(4)集成学习方法(Xiuhui Wang,Wei Qi Yan,“Cross-View Gait RecognitionThrough Ensemble Learning”,Neural Computing and Applications,2019,doi:10.1007/s00521-019-04256-z)。
绘制上述五种方法得到的累积匹配曲线图(Cumulative Match Characteristic,CMC),如图1所示,且五种方法的第一次匹配指标Rank 1如表1所示。从中可以看出,本发明方法具有更高的识别率。
表1本发明方法与四种现有方法的Rank1实验结果比较
VTM方法 | CDHMM方法 | (2D)<sup>2</sup>PCA方法 | 集成学习方法 | 本发明方法 | |
Rank 1 | 39.62 | 29.31 | 37.17 | 60.97 | 61.29 |
Claims (4)
1.一种基于最适宜步态流型空间的步态识别方法,其特征在于,包括以下步骤:
S1:分别提取训练用步态视频和待识别步态视频的步态轮廓图并合成步态增量图;
S1.1:分别采集正常步态情况下以及包含干扰信息情况下的行人步态视频;
S1.2:对所述的步态视频进行解码,并对得到的连续图像进行运动目标检测、前景分割和二值化处理,从而生成只包含目标个体的二值图像,即得到步态轮廓图;
S1.3:将所述的步态轮廓图按周期取平均增量得到初级步态特征,从而得到步态增量图;
S2:将S1.3得到的训练用步态的步态增量图进行重组,构造正常步态增量图集G0和包括各种影响因素的N个异常步态增量图集G1,G2,…,GN;
S3:通过多因子距离度量来确定每个已知个体的最适宜步态流型空间和相应的基步态样本集;
S3.1:针对每个已知个体,分别对其正常步态增量图集G0内的元素进行有放回的随机采样得到M个等容量的数据子集G01,G02,…,G0M,并以此为基础构造对应于正常步态增量图集G0的M个局部线性子空间S1,S2,…,SM;
S3.2:针对每个已知个体,分别计算其每个异常步态增量图集G1,G2,…,GN到正常步态增量图G0的M个数据子集G01,G02,…,G0M的平均距离;
S3.3:将上一步得到的平均距离从小到大排序,取最小的平均距离对应的局部线性子空间为该已知个体的最适宜步态流型空间SO;同时,取构造SO的正常步态增量图集为相应的的基步态样本集;
S4:距离度量与统计:将S1得到的待识别步态的步态增量图转换到各已知个体的最适宜步态流型空间,并计算待识别步态样本到每个基步态样本的距离;在此基础上,采用K近邻的方法统计所得距离,并将待识别步态判定为K个近邻样本中大多数样本所属的个体。
3.根据权利要求1所述的基于最适宜步态流型空间的步态识别方法,其特征在于,所述的S3.2中每个异常步态增量图集到正常步态增量图G0的M个数据子集的平均距离的计算方法为:将该异常步态增量图集中所有样本映射到正常步态增量图G0的M个局部线性子空间,并在该空间内计算每个异常样本到正常样本的平均距离。
4.根据权利要求1所述的基于最适宜步态流型空间的步态识别方法,其特征在于,所述S4中计算待识别步态样本到每个基步态样本的距离时,针对每个已知个体,先将未知步态和该个体的基步态样本都映射到对应的最适宜步态流型空间,然后再计算对应的距离。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910911138.XA CN110674755B (zh) | 2019-09-25 | 2019-09-25 | 一种基于最适宜步态流型空间的步态识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910911138.XA CN110674755B (zh) | 2019-09-25 | 2019-09-25 | 一种基于最适宜步态流型空间的步态识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110674755A CN110674755A (zh) | 2020-01-10 |
CN110674755B true CN110674755B (zh) | 2022-02-11 |
Family
ID=69079447
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910911138.XA Active CN110674755B (zh) | 2019-09-25 | 2019-09-25 | 一种基于最适宜步态流型空间的步态识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110674755B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111444851A (zh) * | 2020-03-27 | 2020-07-24 | 哈尔滨理工大学 | 一种基于超像素的电容层析成像流型识别方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101488185A (zh) * | 2009-01-16 | 2009-07-22 | 哈尔滨工程大学 | 基于分块矩阵的步态识别方法 |
CN101853239A (zh) * | 2010-05-06 | 2010-10-06 | 复旦大学 | 一种用于聚类的基于非负矩阵分解的降维方法 |
CN103745205A (zh) * | 2014-01-22 | 2014-04-23 | 山东大学 | 一种基于多线性均值成分分析的步态识别方法 |
CN104155653A (zh) * | 2014-08-18 | 2014-11-19 | 电子科技大学 | 一种基于特征距离子空间的sar后向投影成像方法 |
CN106203339A (zh) * | 2016-07-11 | 2016-12-07 | 山东大学 | 一种基于多耦合判别局部块对齐的跨角度步态识别方法 |
CN106934359A (zh) * | 2017-03-06 | 2017-07-07 | 重庆邮电大学 | 基于高阶张量子空间学习的多视角步态识别方法及系统 |
CN108537181A (zh) * | 2018-04-13 | 2018-09-14 | 盐城师范学院 | 一种基于大间距深度度量学习的步态识别方法 |
CN109446991A (zh) * | 2018-10-30 | 2019-03-08 | 北京交通大学 | 基于全局和局部特征融合的步态识别方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB201113143D0 (en) * | 2011-07-29 | 2011-09-14 | Univ Ulster | Gait recognition methods and systems |
-
2019
- 2019-09-25 CN CN201910911138.XA patent/CN110674755B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101488185A (zh) * | 2009-01-16 | 2009-07-22 | 哈尔滨工程大学 | 基于分块矩阵的步态识别方法 |
CN101853239A (zh) * | 2010-05-06 | 2010-10-06 | 复旦大学 | 一种用于聚类的基于非负矩阵分解的降维方法 |
CN103745205A (zh) * | 2014-01-22 | 2014-04-23 | 山东大学 | 一种基于多线性均值成分分析的步态识别方法 |
CN104155653A (zh) * | 2014-08-18 | 2014-11-19 | 电子科技大学 | 一种基于特征距离子空间的sar后向投影成像方法 |
CN106203339A (zh) * | 2016-07-11 | 2016-12-07 | 山东大学 | 一种基于多耦合判别局部块对齐的跨角度步态识别方法 |
CN106934359A (zh) * | 2017-03-06 | 2017-07-07 | 重庆邮电大学 | 基于高阶张量子空间学习的多视角步态识别方法及系统 |
CN108537181A (zh) * | 2018-04-13 | 2018-09-14 | 盐城师范学院 | 一种基于大间距深度度量学习的步态识别方法 |
CN109446991A (zh) * | 2018-10-30 | 2019-03-08 | 北京交通大学 | 基于全局和局部特征融合的步态识别方法 |
Non-Patent Citations (5)
Title |
---|
Low-Resolution Gait Recognition;Junping Zhang et al.;《EEE TRANSACTIONS ON SYSTEMS,MAN, AND CYBERNETICS—PART B: CYBERNETICS》;20100831;第40卷(第4期);第986-996页 * |
Multi-perspective gait recognition based on classifier fusion;Xiuhui Wang, Shiling Feng;《IET Image Processing》;20190731;第1885-1891页 * |
基于Gabor 相位谱和流型学习的步态识别方法;杨晓超 等;《电子学报》;20090430;第37卷(第4期);第753-757页 * |
基于子空间学习算法的单模态生物特征识别系统;刘欢喜 等;《上海交通大学学报》;20110731;第45卷(第7期);第970-974页 * |
步态能量图和KFDA的步态识别研究;王竣,王修晖;《中国计量学院学报》;20160630;第27卷(第2期);第216-222页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110674755A (zh) | 2020-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110084156B (zh) | 一种步态特征提取方法及基于步态特征的行人身份识别方法 | |
Kusakunniran et al. | Recognizing gaits across views through correlated motion co-clustering | |
CN102236901B (zh) | 基于图论聚类和色彩不变空间的目标跟踪方法 | |
CN106373146B (zh) | 一种基于模糊学习的目标跟踪方法 | |
CN102663411B (zh) | 一种目标人体识别方法 | |
CN105528794A (zh) | 基于混合高斯模型与超像素分割的运动目标检测方法 | |
CN104200495A (zh) | 一种视频监控中的多目标跟踪方法 | |
KR101433472B1 (ko) | 상황 인식 기반의 객체 검출, 인식 및 추적 장치, 방법 및 컴퓨터 판독 가능한 기록 매체 | |
CN109190544B (zh) | 一种基于序列深度图像的人体身份识别方法 | |
Liu et al. | Automatic gait recognition from a distance | |
CN109241870B (zh) | 基于步态识别的煤矿井下人员身份识别方法 | |
CN110991398A (zh) | 一种基于改进步态能量图的步态识别方法及系统 | |
Tian et al. | Human Detection using HOG Features of Head and Shoulder Based on Depth Map. | |
CN110555386A (zh) | 一种基于动态贝叶斯的人脸识别身份认证方法 | |
Lin et al. | Moving object detection through image bit-planes representation without thresholding | |
Jia et al. | View-invariant gait authentication based on silhouette contours analysis and view estimation | |
CN110674755B (zh) | 一种基于最适宜步态流型空间的步态识别方法 | |
Kroneman et al. | Accurate pedestrian localization in overhead depth images via Height-Augmented HOG | |
Mogan et al. | Gait recognition using temporal gradient patterns | |
CN113591607B (zh) | 一种车站智能疫情防控系统及方法 | |
Zhou et al. | Research on moving object detection and matching technology in multi-angle monitoring video | |
CN111310587B (zh) | 一种基于渐弱运动轨迹图的步态特征表示和特征提取方法 | |
CN110222599B (zh) | 一种基于高斯映射的步态识别方法 | |
CN115203663A (zh) | 小视角远距离视频步态精准识别身份认证系统 | |
Khodadoust et al. | A novel indexing algorithm for latent palmprints leveraging minutiae and orientation field |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |