CN112633058A - 基于特征融合的正面步态识别方法 - Google Patents

基于特征融合的正面步态识别方法 Download PDF

Info

Publication number
CN112633058A
CN112633058A CN202011226134.7A CN202011226134A CN112633058A CN 112633058 A CN112633058 A CN 112633058A CN 202011226134 A CN202011226134 A CN 202011226134A CN 112633058 A CN112633058 A CN 112633058A
Authority
CN
China
Prior art keywords
gait
image
characteristic
gabor
cycle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011226134.7A
Other languages
English (en)
Inventor
王丹
潘一凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202011226134.7A priority Critical patent/CN112633058A/zh
Publication of CN112633058A publication Critical patent/CN112633058A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • G06V40/25Recognition of walking or running movements, e.g. gait recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/285Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing

Abstract

基于特征融合的正面步态识别方法,属于模式识别技术领域。该方法主要针对解决单一特征步态识别率低的问题,首先提取步态能量图中的动态区域并利用Gabor小波变换提取特征,由于提取后的特征维度较高,需进行降维处理,针对传统PCA降维分类性较差的缺点,本发明将降维后的数据作为静态特征。根据人体下四分之一区域左右两侧像素点数比值的变化获取步态周期并将其用于描述步态序列的动态特征,基于特征融合的思想,本发明首次将利用PCA与LDA降维后的静态数据特征与描述步态序列的动态特征相融合,最后将融合的特征向量输入到基于多分类的支持向量机中,完成步态的分类和识别。相比较单一特征的步态识别方法,本发明提出的融合算法表现出更好的识别性能。

Description

基于特征融合的正面步态识别方法
技术领域:
本发明属于模式识别领域,涉及的是一种基于特征融合的正面步态识别的新方法,是一种利用计算机技术、图像处理、模式识别的实现人体正面步态自动分析与判别的方法,是生物识别领域中关于步态特征提取与识别的算法
背景技术:
随着现代计算机和网络技术的发展,信息安全的重要性日益凸显。传统的身份证,密码等身份识别方式已经远不能满足要求。生物特征识别技术作为一种身份识别手段以其固有的优势,越来越来受到人的关注。
生物特征被认为是几乎不可能进行伪造的,而步态识别作为生物特征识别的一个代表,
步态可在被观察者没有觉察的情况下从任意角度进行非接触性的感知和度量,且其具有远距离性、隐蔽性和非侵扰性等优点,因此从视觉监控的观点来看,步态是远距离情况下最有潜力的生物特征,其研究价值巨大。
步态识别大致分为三个步骤:图像预处理、特征提取、分类识别。其中特征提取是较为关键的步骤,步态特征提取按照方式的不同分为以下两类:1) 根据步态图中各类身体参数提取静态特征;2)在步态序列中提取动态特征信息。Gabor小波是哺乳动物视觉皮层简单细胞感受野模型的良好近似,它能捕捉空间位置、方向和空间频率选择性,可以将原始图像的方向与尺度特征很好的表示出来。目前已有人利用Gabor小波变换提取步态能量图中的特征,并利用PAC进行数据降维处理。
本发明针对传统PCA降维分类性较差以及单一特征步态识别率低的问题的缺点,提出一种基于特征融合的正面步态识别新方法。
发明内容:
本发明的内容是提出一种基于特征融合的正面步态识别新方法。首次将利用PCA与LDA降维后的静态数据特征与描述步态序列的动态特征相融合,最后将融合的特征向量输入到基于多分类的支持向量机中,完成步态的分类和识别。我们在中科院自动化所提供的CASIA B步态数据库上对该方法进行了评测,结果表明,与采用单一特征以及利用单纯利用PCA进行的降维的方法相比,本方法具有更高的识别率。
本发明的技术内容如下:
首先进行运动目标提取,然后利用提出的基于人体下四分之一区域左右两侧像素点数比值的变化进行步态周期检测,将步态周期图像的最后一个周期的波峰波谷作为步态动态特征。根据一个周期内的图像生成步态能量图,提取步态能量图中的Gabor小波特征向量,并利用PCA+LDA的方法进行降维处理,将其作为静态特征。将上述两种方法得到的特征进行融合,利用SVM 分类器对步态特征进行分类,具体步骤如下:
步骤一:预处理
(1)形态学处理
对已经人体运动目标图像进行形态学处理,一去除二值化图像存在的空洞,获得更优的分割效果;
(2)目标提取
利用8连通分量分析的方法来提取一个单连通的运动目标,即去除残余噪声,从而获得更优的二值轮廓图;
(3)冗余帧去除
冗余帧是指含有不完整人体目标的二值化图像,需将此类型的帧去除,达到缩短周期检测时间、降低周期检测误差的目的
(4)归一化处理
根据人体轮廓坐标裁剪出标准的步态图像,得到尺寸归一化图像。
步骤二:特征提取与降维
(1)步态周期检测
根据人体下四分之一区域左右两侧像素点数比值的变化获取步态周期
(2)生成步态能量图(GEI)
利用加权平均将一个步态周期的图像合成一张图像,定义为如下式:
Figure RE-GDA0002949559730000031
式中T代表步态周期帧数,Bt(x,y)代表第t帧图像在点(x,y)的像素值。
(3)基于Gabor小波变化的特征提取
将步态能量图与Gabor小波核卷积,卷积定义如下:
Ou,v(x,y)=G(x,y)*ψu,v(x,y)
其中ψu,v(x,y)代表二维Gabor小波核,u代表Gabor核的方向,v代表Gabor 核的尺度。
(4)特征提取与降维
对每幅图的Gabor特征进行下采样,令采样因子ρ=4,这样可将特征维数降低为原来的四分之一,再利用PCA与LDA的降维方法,将Gabor小波特征映射到十维以内的低维度空间;。
步骤三:特征融合
将经过平滑处理的步态周期图像的最后一个周期的波峰波谷作为步态动态特征,再将其与步态周期和降维后的Gabor小波特征融合。
步骤四:分类识别
使用SVM分类器进行步态的训练和识别,采用”一对一”法构建分类器。一对一法是在每个类别之间都构造分类器,对于k类样本问题共需构造 k(k-1)/2个分类器,组合这些两类分类器并使用投票法,票数最多的类为样本所属类,SVM核函数选取径向基函数(RadioBasis Function,RBF):
Figure RE-GDA0002949559730000032
其中σ是用来控制函数径向作用范围的参数,径向基函数对于非线性可分情况也能进行有效处理。
本发明的有益效果在于:1.通过对检测出的步态周期计算步态能量图,其包含了步态周期中的步态的轮廓、相位、频率等步态信息,可在不减少步态特征的同时减少待处理的步态图像数据量,以降低计算消耗。2.利用PCA 与LDA的降维方法,将Gabor小波特征映射到一个低维空间,能够在较好表征原始数据的同时兼顾较好的分类性。3.将利用PCA与LDA降维后的静态数据特征与描述步态序列的动态特征相融合,弥补了单一特征导致的步态识别率较低问题。
附图说明
图1是本发明算法的流程图
图2是本发明算法中生成的步态能量图
图3是本发明算法中人体步态Gabor幅值响应图
图4是本发明算法中结合PCA+LDA数据降维的流程图
图5是本发明算法的步态识别率变化曲线图
具体实施方式:
下面详细给出该发明技术方案中所涉及的各个细节问题的说明:
步骤一:预处理过程如下:
本发明算法采用的数据库是中科院自动化所提供的CASIA B步态数据库,本发明要做的工作是对帧图像进行预处理,以便后续进行步态周期检测以及特征提取等操作。
(1)形态学处理
由于天气、光照、影子等其他外界因素的影响,带有人像的帧与背景帧做差分得到前景图像会存在噪声,因此还需要对图像做进一步处理,以获取最佳的分割效果。本发明使用形态学滤波来消除噪声并填补运动目标的缺失。形态学用于图像滤波的最基本运算是膨胀和腐蚀,以及派生出的开运算和闭运算。开运算可平滑对象的凸轮廓,断开狭窄的连接,去除细小的突起部分;闭运算可平滑对象的凹轮廓,将狭长的缺口连接成细小的弯口。
(2)目标提取
经过形态学处理后,仍可能存在部分噪声形成的大小不一的块,而真正的运动目标往往是这些块中最大的。因此对图像进一步进行连通域分析,即利用8连通分量分析的方法来提取一个单连通的运动目标,即去除残余噪声,从而获得更优的二值轮廓图;
(3)冗余帧去除
冗余帧是指含有不完整人体目标的二值化图像,需将此类型的帧去除,达到缩短周期检测时间、降低周期检测误差的目的
(4)归一化处理
根据人体轮廓坐标裁剪出标准的步态图像,得到尺寸归一化图像以消除图像大小对识别的影响。
步骤二:特征提取与降维过程如下
(1)步态周期检测
通过研究观察发现,当人体处于正面视角行走时,运动目标下四分之一区域左右两侧像素点数的比值会呈周期性变化,所以本发明提出按如下方法计算步态周期:首先从左至右扫描人体下四分之一区域中间一行像素点,得到目标运动轮廓在此区域的最左边为1的像素点和最右边为1的像素点的横坐标分别记为XL和XR,即可求出中心点横坐标:
X=XL+(XL+XR)/2
并以此来划分下四分之一运动轮廓的左右区域。扫描分割完后左侧目标区域L1的像素点数为NL,右侧目标区域L2像素点数为NR,如图1所示,然后求出二者的比值:
R=NL/NR
最后利用比值的变化来计算周期。
(2)生成步态能量图(GEI)
在进行步态周期检测之后,直接采用步态周期进行步态识别会由于数据量、计算量巨大而会加剧特征提取的难度与计算消耗,为保证不抛弃步态特征同时减少待处理的步态图像数据量,本发明才用了步态能量图的方法,即利用加权平均将一个步态周期的图像合成一张图像,定义为如下式:
Figure RE-GDA0002949559730000061
式中T代表步态周期帧数,Bt(x,y)代表第t帧图像在点(x,y)的像素值。
(3)基于Gabor小波变化的特征提取
Gabor小波是哺乳动物视觉皮层简单细胞感受野模型的良好近似,它能捕捉空间位置、方向和空间频率选择性,可以将原始图像的方向与尺度特征很好的表示出来。将步态能量图与Gabor小波核卷积,卷积定义如下:
Ou,v(x,y)=G(x,y)*ψu,v(x,y)
其中ψu,v(x,y)代表二维Gabor小波核,u代表Gabor核的方向,v代表Gabor 核的尺度,由于幅值谱的变化相对稳定且平滑,因此本文选用Gabor响应的幅值作为特征信息。
(4)特征提取与降维
对每幅图的Gabor特征进行下采样,令采样因子ρ=4,这样可将特征维数降低为原来的四分之一,再利用PCA与LDA的降维方法,将Gabor小波特征映射到一个十维以内的低维度空间;空间,具体过程如下:
将N个(共C类)步态能量图通过Gabor小波变换并进行下采样后,组成训练样本集{x1,x2,…,xN},所有图像的均值为
Figure RE-GDA0002949559730000062
对每个训练样本求其中心化后的图像x′i=xi-μ,i=1,2,…N,令A={x′1,x′2,…,x′N},求协方差矩阵S=AAT的特征值与特征向量。进而求得变换矩阵 Wpca=(v′1,v′2,…,v′m),其中v′i,i=1,2,…m是与前m个最大的特征值对应的特征向量。为了保证后面的LDA中的类内散布矩阵品是可逆的,选择 m<N-C。将训练样本集{x1,x2,…,xn}全部投影到m维子空间,即:
Figure RE-GDA0002949559730000063
这样就得到了经过PCA降维的特征向量 {y1,y2,…,yN}。
当图像被映射到所维特征空间后,在该空间内表情图像样本的类内离散度矩阵可以保证是非奇异的。这样,就可以在该特征子空间中进行线性判别分析(LDA)了。实现过程如下:在m维特征空间中,xij表示第i类中的第j个步态样本,Ni为第i类中包含的图像数,i=1,2,…C,且
Figure RE-GDA0002949559730000071
计算每一类步态图像的类内均值
Figure RE-GDA0002949559730000072
总体图像均值为
Figure RE-GDA0002949559730000073
最后利用Lagrange乘子法求得使线性判别分析函数取得极大值时的W,即求得从PCA特征空间到LDA特征空间的变换矩阵 Wlda=[w1,w2,…,wk],其中wi,i=1,2,…,k是与前k个最大的本征值对应的特征向量,选择k≤C-1。将m维特征空间中的特征向量{y1,y2,…,yN}投影到k维空间中:
Figure RE-GDA0002949559730000074
在该空间中,样本的类间离散度与类内的离散度的比值最大,因而更有利于分类。
用PCA+LDA方法对Gabor特征进行降维的方法可描述为:首先用PCA 方法将Gabor特征映射到十维以内的低维度空间;空间中,然后在该空间中应用LDA方法对特征进一步降维,并得到更具判别力的特征向量。可以看出,总的变换矩阵为:Wopt=WpcaWlda
步骤三:特征融合
将经过降维处理后的Gabor小波特征按列展开为一维向量,将其作为实验的静态特征,对于正面视角下的步态,人由远及近走向摄像机的过程中,步态序列的运动目标区域是由小到大变化的,通过观察发现,同一个测试者的最后一个周期的波峰、波谷值是几乎不变的,也即最后一个周期中人体下四分之一区域左右两侧像素点数比值的最大值与最小值几乎是不变的。而不同人的最后一个周期中的人体下四分之一区域左右两侧像素点数比值的最大值与最小值却相差较多,因此本发明将经过平滑处理的步态周期图像的最后一个周期的波峰波谷作为步态动态特征,再将其与步态周期和降维后的Gabor 小波特征融合。
步骤四:分类识别
使用SVM分类器进行步态的训练和识别,采用”一对一”法构建分类器。一对一法是在每个类别之间都构造分类器,对于k类样本问题共需构造 k(k-1)/2个分类器,组合这些两类分类器并使用投票法,票数最多的类为样本所属类,SVM核函数选取径向基函数(RadioBasis Function,RBF):
Figure RE-GDA0002949559730000081
其中σ是用来控制函数径向作用范围的参数,径向基函数对于非线性可分情况也能进行有效处理。
下面详述说明本发明的实验结果:
本发明所使用的实验工具为MATLAB R2018b,测试数据库为中科院自动化所提供的CASIA B步态数据库。
为了验证本发明的算法,选取数据库中60个人普通条件、正面视角下的步态序列进行本发明的训练和测试,每个人普通条件、正面视角下有6组图像序列,对于60个人的步态,每次从6组图像序列中随机选取3个作为训练集,余下的作为测试集。本发明选用中国台湾省林智仁教授开发的LibSVM 工具箱,LibSVM是一款易于使用和快速有效的SVM模式识别与回归的软件包,设置libsvm中svm为C_SVC,核函数选用径向基函数,并利用交叉验证法评估本发明算法的识别率。
共设立四组实验,分别为将降维后的Gabor特征、降维后的Gabor特征+ 步态周期(T)、降维后的Gabor特征+像素比值特征、降维后的Gabor特征+步态周期(T)+像素比值特征,将这四组实验分别进行10次仿真,识别率变化曲线如图5所示:
由图5可以看出:本发明提出将降维后的Gabor小波特征与步态周期作为静态特征并和人体下四分之一区域左右两侧像素点数比值的动态特征进行特征融合的步态识别算法具有较高的识别正确率。

Claims (2)

1.一种基于特征融合的正面步态识别方法,其特征在于,步骤如下:
步骤一:预处理
对正面步态的每一帧图像依次进行运动目标提取、形态学处理、冗余帧去除、归一化处理;
步骤二:特征提取与降维
首先进行步态周期检测,将步态周期图像的最后一个周期的波峰波谷作为步态动态特征,并根据周期图像合成步态能量图,在步态能量图中提取Gabor小波特征,利用PCA+LDA的方法进行特征数据降维得到静态特征,;
步骤三:特征融合
将步骤二中的动态特征与静态特征进行特征融合
步骤四:分类识别
使用SVM分类器进行步态的训练和识别,采用一对一法构建分类器;一对一法是在每个类别之间都构造分类器,对于k类样本问题共需构造k(k-1)/2个分类器,组合这些两类分类器并使用投票法,票数最多的类为样本所属类,SVM核函数选取径向基函数。
2.根据权利要求1所述的基于特征融合的正面步态识别方法,其特征是:
(1)形态学处理
对已经人体运动目标图像进行形态学处理,去除二值化图像存在的空洞;
(2)目标提取
利用8连通分量分析的方法来提取一个单连通的运动目标,即去除残余噪声;
(3)冗余帧去除
冗余帧是指含有不完整人体目标的二值化图像,需将此类型的帧去除;
(4)归一化处理
根据人体轮廓坐标裁剪出标准的步态图像,得到尺寸归一化图像;
步骤二:特征提取与降维
1)步态周期检测
根据人体下四分之一区域左右两侧像素点数比值的变化获取步态周期
2)生成步态能量图
利用加权平均将一个步态周期的图像合成一张图像,定义为如下式:
Figure FDA0002763717790000021
式中T代表步态周期帧数,Bt(x,y)代表第t帧图像在点(x,y)的像素值;
(3)基于Gabor小波变化的特征提取
将步态能量图与Gabor小波核卷积,卷积定义如下:
Ou,v(x,y)=G(x,y)*ψu,v(x,y)
其中ψu,v(x,y)代表二维Gabor小波核,u代表Gabor核的方向,v代表Gabor核的尺度;
(4)特征提取与降维
对每幅图的Gabor特征进行下采样,令采样因子ρ=4,将特征维数降低为原来的四分之一,再利用PCA与LDA的降维方法,将Gabor小波特征映射到十维以内的低维度空间;
步骤三:特征融合
将经过平滑处理的步态周期图像的最后一个周期的波峰波谷作为步态动态特征,再将其与步态周期和降维后的Gabor小波特征融合;
步骤四:分类识别。
CN202011226134.7A 2020-11-05 2020-11-05 基于特征融合的正面步态识别方法 Pending CN112633058A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011226134.7A CN112633058A (zh) 2020-11-05 2020-11-05 基于特征融合的正面步态识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011226134.7A CN112633058A (zh) 2020-11-05 2020-11-05 基于特征融合的正面步态识别方法

Publications (1)

Publication Number Publication Date
CN112633058A true CN112633058A (zh) 2021-04-09

Family

ID=75302943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011226134.7A Pending CN112633058A (zh) 2020-11-05 2020-11-05 基于特征融合的正面步态识别方法

Country Status (1)

Country Link
CN (1) CN112633058A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255630A (zh) * 2021-07-15 2021-08-13 浙江大华技术股份有限公司 一种运动目标识别训练方法、运动目标识别方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100084066A (ko) * 2009-01-15 2010-07-23 충북대학교 산학협력단 컨투어렛 변환과 퍼지 선형판별분석기법을 이용한 걸음걸이인식 방법
CN102222215A (zh) * 2011-05-24 2011-10-19 北京工业大学 基于二级小波包分解和完全主成分分析的步态识别方法
CN102663374A (zh) * 2012-04-28 2012-09-12 北京工业大学 基于多特征属性的多类别Bagging步态识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100084066A (ko) * 2009-01-15 2010-07-23 충북대학교 산학협력단 컨투어렛 변환과 퍼지 선형판별분석기법을 이용한 걸음걸이인식 방법
CN102222215A (zh) * 2011-05-24 2011-10-19 北京工业大学 基于二级小波包分解和完全主成分分析的步态识别方法
CN102663374A (zh) * 2012-04-28 2012-09-12 北京工业大学 基于多特征属性的多类别Bagging步态识别方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255630A (zh) * 2021-07-15 2021-08-13 浙江大华技术股份有限公司 一种运动目标识别训练方法、运动目标识别方法及装置
CN113255630B (zh) * 2021-07-15 2021-10-15 浙江大华技术股份有限公司 一种运动目标识别训练方法、运动目标识别方法及装置

Similar Documents

Publication Publication Date Title
CN108182397B (zh) 一种多姿态多尺度的人脸验证方法
Teja et al. Face recognition using subspaces techniques
Jiang Feature extraction for image recognition and computer vision
Lu et al. Wavelet based independent component analysis for palmprint identification
CN111325275B (zh) 基于低秩二维局部鉴别图嵌入的鲁棒图像分类方法及装置
Kaur et al. Comparative study of facial expression recognition techniques
Mali et al. Indian sign language recognition using SVM classifier
Rajakumar et al. 7th century ancient tamil Character recognition from Temple wall inscriptions
CN112633058A (zh) 基于特征融合的正面步态识别方法
Ullah et al. Gender recognition from face images with dyadic wavelet transform and local binary pattern
Alsubari et al. Facial expression recognition using wavelet transform and local binary pattern
Elsayed et al. Hand gesture recognition based on dimensionality reduction of histogram of oriented gradients
Patel et al. Robust face detection using fusion of haar and daubechies orthogonal wavelet template
Thanh Do et al. Facial feature extraction using geometric feature and independent component analysis
Xu et al. Facial analysis with a Lie group kernel
Soni et al. A Review of Recent Advances Methodologies for Face Detection
Elsayed et al. Hybrid method based on multi-feature descriptor for static sign language recognition
Kautkar et al. Face recognition based on ridgelet transforms
Ambika et al. The eye says it all: Periocular region methodologies
Tandon et al. An efficient age-invariant face recognition
Kang et al. Scale invariant texture analysis using multi-scale local autocorrelation features
Adepoju et al. Gender classification based on local binary pattern and K-nearest neighbour
Arianpour et al. Locally nonlinear regression based on kernel for pose-invariant face recognition
Mittal et al. Offline Signature verification: A Systematic Review
Zhang Realization of face image recognition system based on histogram

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination