CN113903004A - 基于中层卷积神经网络多维度特征的场景识别方法 - Google Patents
基于中层卷积神经网络多维度特征的场景识别方法 Download PDFInfo
- Publication number
- CN113903004A CN113903004A CN202111260039.3A CN202111260039A CN113903004A CN 113903004 A CN113903004 A CN 113903004A CN 202111260039 A CN202111260039 A CN 202111260039A CN 113903004 A CN113903004 A CN 113903004A
- Authority
- CN
- China
- Prior art keywords
- image
- gradient
- layer
- neural network
- image blocks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于中层卷积神经网络多维度特征的场景识别方法,属于人工智能领域。本发明利用滑动窗口策略提取图像块;提取图像块HOG特征,对图像块聚类,并训练SVM分类器;利用分类器在训练集中检测与聚类中图像块相似的图像块,并将图像块作为候选的具有区分度的中层图像块;提取中层图像块CNN全连接层特征和整幅图像的CNN全连接层特征,对两种特征进行叠加;利用SVM分类器对特征进行分类。本专利融合中层语义部件信息与全局CNN特征,对图像有更加全面的特征表达,提高场景识别准确率。
Description
技术领域
本发明属于人工智能领域,具体涉及一种基于中层卷积神经网络多维度特征的场景识别方法。
背景技术
场景识别是计算机视觉领域的一个热门研究问题,是指利用计算机对场景图像进行分析处理,以识别各种不同的场景属性。场景识别被广泛应用到了多个领域,包括机器人定位、导航,地图构建等。大多数的场景识别的方法基于局部特征的出现,如尺度不变特征转换(Scale Invariant Feature Transform,SIFT)、梯度方向直方图(Histogram ofOriented Gridients,HOG)特征,以及它们的聚合表达,如特征包等。然而,SIFT等底层特征建立在数据统计基础上,能够直接从图像中获取不需要外部知识。并且SIFT、HOG等特征都是图像局部特征且为人工设计的特征,忽视了图像中的隐含信息。因此,能够从训练数据中自动学习特征的深度卷积神经网络(Convolutional Neural Networks,CNN)获得了大量关注。深度卷积神经网络提取的特征模拟人类视觉系统,是从简单的边缘信息提取到复杂的高层语义信息提取的过程,如下图所示。卷积神经网络提取的特征,由第一层的边缘信息到第五层对应类别的响应,是一个逐层抽象的过程。然而,大多数的卷积神经网络模型缺乏中层语义部件信息,降低了识别和检测的准确率。
卷积神经网络提取的特征在大多数计算机视觉任务中被作为图像的通用表达,在机器学习领域中取得了十分显著的成果。但是由于卷积神经网络提取的特征缺乏中层语义部件信息,而大多数的场景图像都是由不同语义实体(如物体等)组合而成,且空间布局多变,如图2所示。对于包含多个物体的场景图像而言,物体与场景密切相关,如图3为餐厅一类场景,抓住餐厅中主要物体餐桌,即可准确地识别出该类场景。因此,对图像中物体信息的获取有利于场景识别。本专利融合中层语义部件信息与全局CNN特征,对图像有更加全面的特征表达,提高场景识别准确率。
发明内容
(一)要解决的技术问题
本发明要解决的技术问题是如何提供一种基于中层卷积神经网络多维度特征的场景识别方法,以解决卷积神经网络模型缺乏中层语义部件信息,降低了识别和检测的准确率的问题。
(二)技术方案
为了解决上述技术问题,本发明提出一种基于中层卷积神经网络多维度特征的场景识别方法,该方法包括如下步骤:
S1.利用滑动窗口策略提取图像块;
S2.提取图像块HOG特征,对图像块聚类,并训练SVM分类器;
S3.利用分类器在训练集中检测与聚类中图像块相似的图像块,并将图像块作为候选的具有区分度的中层图像块;
S4.提取中层图像块CNN全连接层特征和整幅图像的CNN全连接层特征,对两种特征进行叠加;
S5.利用SVM分类器对特征进行分类。
进一步地,所述步骤S1之前还包括:假设数据集中包含了多类场景,将每一类场景的训练集分为两部分,D1和D2。
进一步地,所述步骤S2中提取图像块HOG特征具体包括:利用滑动窗口对某一类场景的D1随机采样得到图像块,对图像块提取梯度直方图特征。
进一步地,所述步骤S2中对图像块聚类具体包括:利用K-means对图像块进行聚类。
进一步地,所述对图像块提取梯度直方图特征具体包括如下步骤:首先,灰度化图像;然后分割图像,划分成若干个均匀的元胞cell,计算每一个元胞中各个像素的梯度,统计元胞内所有像素的梯度方向直方图;把元胞cell组合成一个块(block),统计该块中的所有直方图,得到该块的特征描述子;最后把图像中所有块的描述子联合,获取整幅图像的HOG特征描述子。
进一步地,所述灰度化图像具体包括:对于彩色RGB图像,首先将其转化为灰度图像:Gray=0.3×R+0.59×G+0.11×B。
进一步地,所述计算每一个元胞中各个像素的梯度具体包括:像素点(x,y)的梯度大小和方向的计算为:
其中,
GX(x,y)=H(x+1,y)-H(x-1,y)
Gy(x,y)=H(x,y+1)-H(x,y-1)
其中,H(x,y)为步骤(1)中得到的该像素的灰度值;利用图像与梯度算子[-1,0,1]进行卷积,得到该像素点在(x,y)处的水平方向梯度Gx(x,y);利用图像与梯度算子[-1,0,1]进行卷积,得到该像素点在(x,y)处的垂直方向梯度Gy(x,y)。
进一步地,所述统计元胞内所有像素的梯度方向直方图具体包括:用直方图来统计每一个元胞的梯度信息,假设采用9个区间直方图统计这8×8像素元胞的梯度信息。将元胞cell的梯度方向360度分成9个方向块,若该9个区间是无符号方向角度,则我们需要将[0,360]平均划分为18个空间;对cell内每个像素用梯度方向在直方图中进行加权投影,梯度大小就是作为投影的权值,得到这个cell的梯度方向直方图,即为该cell对应的9维特征向量。
进一步地,所述步骤S3具体包括:利用训练好的SVM分类器检测该类场景中D2中的图像块,找到相似度高的图像块,将相似度高的图像块也合并进去,得到新的聚类,即为每一类场景的中层图像块。
进一步地,所述步骤S4具体包括:利用训练好的CNN模型提取中层图像块和原图像的的全连接层特征,叠加获得每一类图像的图像特征,得到图像更全面的特征表达。
(三)有益效果
本发明提出一种基于中层卷积神经网络多维度特征的场景识别方法,本发明首先,学习中层局部语义部件,得到具有代表该类场景的中层图像特征表达;然后,将中层特征表达与多层卷积神经网络特征融合;最后,利用SVM分类器进行分类。本发明融合中层语义部件与全局CNN模型进行场景识别,增强了图像特征表达能力,提高了场景识别的准确率。
附图说明
图1为CNN网络特征可视化示意图;
图2为复杂场景示意图;
图3为餐厅场景图;
图4为直方图统计示意图;
图5为卷积神经网络结构示意图。
具体实施方式
为使本发明的目的、内容和优点更加清楚,下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。
我们提出了融合中层语义部件与全局CNN模型进行场景识别,增强了图像特征表达能力,提高了场景识别的准确率。首先,学习中层局部语义部件,得到具有代表该类场景的中层图像特征表达;然后,将中层特征表达与多层卷积神经网络特征融合;最后,利用SVM分类器进行分类。
本专利融合中层语义部件信息与全局CNN特征,对图像有更加全面的特征表达,提高场景识别准确率。
步骤一中层语义部件提取
学习中层语义部件的整个过程,可以分为两部分。首先选择范例模板集;其次利用得到的范例模板集通过循环的方式修正图像中感兴趣区域。给定一组图像,我们利用滑动窗口策略对图像进行扫描,提取图像块。因此,对于一张图像来说,会有很多的图像块,我们对这些图像块提取HOG特征,然后通过聚类的方式,使得图像块之间能够彼此进行区分。传统的聚类方法,如K均值算法(K-Means),使用底层测度(如欧拉距离、L1、互相关)。这种方法在学习中层图像块时,会将视觉上看起来并不相似的图像块聚类到一起。因此,我们采用了利用循环迭代的检测方法来解决上述问题。对于视觉上相似的图像块,我们采用线性SVM作为分类器,生成相似矩阵,得到更多的图像块聚类。好的聚类能够产生更好的相似度,而好的相似度能够产生更好的聚类。为了满足整个视觉世界需要的很多聚类群,我们将有鉴别性聚类过程转换成一个检测步骤,将每一个聚类群作为一个检测器,训练找到更多的具有相似特征的图像块。接下来我们首先简单介绍学习中层语义部件时采用的梯度方向直方图特征,接着介绍我们学习中层语义部件方法。
(1)梯度方向直方图特征
HOG特征用于表征图像局部梯度方向和强度分布特性的描述符。HOG主要思想是:
在不知道边缘具体位置分布的情况下,图像中梯度或边缘方向密度的分布也可以很好的表示目标的外形轮廓,HOG方法的本质是统计图像中梯度信息。
梯度方向直方图的计算过程大致如下:首先,灰度化图像;然后分割图像,划分成若干个均匀的元胞cell,计算每一个元胞的梯度,统计元胞内所有像素的梯度方向直方图;把元胞cell组合成一个块(block),统计该块中的所有直方图,得到该块的特征描述子;最后把图像中所有块的描述子联合,获取整幅图像的HOG特征描述子。其具体步骤如下:
1)灰度化图像;
对于彩色RGB图像,首先将其转化为灰度图像:
Gray=0.3×R+0.59×G+0.11×B
2)分割图像,将其划分为若干个元胞(cell),并计算每一个元胞中各个像素的梯度大小和方向;
将图像分割为若干个元胞,例如,每个元胞大小为8×8像素,像素点(x,y)的梯度大小和方向的计算为:
其中,
GX(x,y)=H(x+1,y)-H(x-1,y)
Gy(x,y)=H(x,y+1)-H(x,y-1)
其中,H(x,y)为步骤(1)中得到的该像素的灰度值。利用图像与梯度算子[-1,0,1]进行卷积,得到该像素点在(x,y)处的水平方向梯度Gx(x,y);利用图像与梯度算子[-1,0,1]进行卷积,得到该像素点在(x,y)处的垂直方向梯度Gy(x,y)。
3)统计每个元胞的梯度直方图;
用直方图来统计每一个元胞的梯度信息(不同梯度的个数),假设采用9个区间直方图统计这8×8像素元胞的梯度信息。将元胞cell的梯度方向360度分成9个方向块,若该9个区间是无符号方向角度,则我们需要将[0,360]平均划分为18个空间,如图4所示。
将图中列出的对角区间[20,40]和[200,220]为同一个区间,统计该区间的梯度信息。如果这个像素的梯度方向是20-40度,直方图第2个bin的计数就加一,这样,对cell内每个像素用梯度方向在直方图中进行加权投影(映射到固定的角度范围),就可以得到这个cell的梯度方向直方图了,就是该cell对应的9维特征向量(因为有9个bin)。
梯度大小就是作为投影的权值的。例如这个像素的梯度方向是20-40度,然后它的梯度大小是2,那么直方图第2个bin的计数就不是加一了,而是加二。
由此,即可得到该元胞的特征描述子。
4)组合若干个元胞,得到包含多个元胞的块,串联该块中所有的元胞的特征,最终得到该块的特征表达;
5)串联图像中所有块里的特征,得到最终的图像特征表达。
梯度直方图特征充分利用了图像的梯度信息,能够提取同一类场景中相似的的具有代表性的图像块的特征,有利于我们对中层语义部件的学习。
(2)学习中层语义部件
对中层语义部件学习的具体过程如下:
1)假设数据集中包含了多类场景(如公园、教室、广场、操场、电影院),将每一类场景的训练集分为两部分,D1和D2;
2)利用滑动窗口对某一类场景的D1随机采样得到图像块,对图像块提取梯度直方图特征,利用K-means进行聚类;
3)利用步骤2)聚类得到的若干个图像块,训练SVM分类器;
4)利用步骤3)训练好的SVM分类器检测该类场景中D2中的图像块,找到相似度高的图像块,将相似度高的图像块也合并进去,得到新的聚类;
5)调用另外一类场景的训练集,执行步骤2)-4);一直到每一类场景的图像块都通过上述方法用SVM分类器进行检测得到新的聚类后,则停止该过程,得到了每一类场景的中层图像块。
步骤二 卷积神经网络特征提取
卷积神经网络是一种特殊设计的多层感知器,它的灵感来自于对猫的视觉皮层细胞的研究。实验研究表明,猫的视觉皮层细胞受到其视觉皮层中局部感受野的刺激,这些局部感受野充满在整个视觉皮层中。通过对猫的视觉系统的研究,科研人员基于感受野的概念提出了第一个真正意义上的神经网络-神经认知机,而卷积神经网络则是神经认知机的推广形式。CNN网络结构与生物神经网络类似,其节点之间的权值共享使得网络模型的复杂度大大降低,被广泛地应用到了图像和语音识别中。其结构如图5所示,是由卷积层、下采样层、全连接层和高斯连接层组合而成。
当图像输入到CNN网络中时,首先经过第一层卷积层,如图中所示的卷积层1,与神经网络中自学习得到的卷积核进行卷积运算。然后将得到的结果利用激活函数得到激活值,经过卷积运算后得到的值接下来经过下采样层,其中下采样层运算采用的是池化运算。经过下采样层1后,继续通过卷积层2和池化层2,进行卷积、池化运算。当通过下采样层2后,得到的特征图将要通过全连接层,其过程是将特征图线性组合代入激发函数,得到一个最终的一维向量,即全局CNN特征,然后对特征进行分类。
本专利利用训练好的CNN模型提取中层图像块和原图像的的全连接层特征,叠加获得每一类图像的图像特征,得到图像更全面的特征表达,提升场景识别的准确率。
步骤三融合中层语义部件与CNN的场景识别
为了弥补深度卷积神经网络提取的特征缺乏中层语义部件信息,我们融合中层语义部件与CNN多层特征,得到更加全面的图像特征表达,然后利用SVM分类器进行分类。
具体算法步骤如下:
S1.利用滑动窗口策略提取图像块;
S2.提取图像块HOG特征,对图像块聚类,并训练SVM分类器;
S3.利用分类器在训练集中检测与聚类中图像块相似的图像块,并将图像块作为候选的具有区分度的中层图像块;
S4.提取中层图像块CNN全连接层特征和整幅图像的CNN全连接层等多维度特征,对两种特征进行叠加;
S5.利用SVM分类器对特征进行分类。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。
Claims (10)
1.一种基于中层卷积神经网络多维度特征的场景识别方法,其特征在于,该方法包括如下步骤:
S1.利用滑动窗口策略提取图像块;
S2.提取图像块HOG特征,对图像块聚类,并训练SVM分类器;
S3.利用分类器在训练集中检测与聚类中图像块相似的图像块,并将图像块作为候选的具有区分度的中层图像块;
S4.提取中层图像块CNN全连接层特征和整幅图像的CNN全连接层特征,对两种特征进行叠加;
S5.利用SVM分类器对特征进行分类。
2.如权利要求1所述的基于中层卷积神经网络多维度特征的场景识别方法,其特征在于,所述步骤S1之前还包括:假设数据集中包含了多类场景,将每一类场景的训练集分为两部分,D1和D2。
3.如权利要求2所述的基于中层卷积神经网络多维度特征的场景识别方法,其特征在于,所述步骤S2中提取图像块HOG特征具体包括:利用滑动窗口对某一类场景的D1随机采样得到图像块,对图像块提取梯度直方图特征。
4.如权利要求3所述的基于中层卷积神经网络多维度特征的场景识别方法,其特征在于,所述步骤S2中对图像块聚类具体包括:利用K-means对图像块进行聚类。
5.如权利要求3所述的基于中层卷积神经网络多维度特征的场景识别方法,其特征在于,所述对图像块提取梯度直方图特征具体包括如下步骤:首先,灰度化图像;然后分割图像,划分成若干个均匀的元胞cell,计算每一个元胞中各个像素的梯度,统计元胞内所有像素的梯度方向直方图;把元胞cell组合成一个块(block),统计该块中的所有直方图,得到该块的特征描述子;最后把图像中所有块的描述子联合,获取整幅图像的HOG特征描述子。
6.如权利要求5所述的基于中层卷积神经网络多维度特征的场景识别方法,其特征在于,所述灰度化图像具体包括:对于彩色RGB图像,首先将其转化为灰度图像:Gray=0.3×R+0.59×G+0.11×B。
8.如权利要求7所述的基于中层卷积神经网络多维度特征的场景识别方法,其特征在于,所述统计元胞内所有像素的梯度方向直方图具体包括:用直方图来统计每一个元胞的梯度信息,假设采用9个区间直方图统计这8×8像素元胞的梯度信息。将元胞cell的梯度方向360度分成9个方向块,若该9个区间是无符号方向角度,则我们需要将[0,360]平均划分为18个空间;对cell内每个像素用梯度方向在直方图中进行加权投影,梯度大小就是作为投影的权值,得到这个cell的梯度方向直方图,即为该cell对应的9维特征向量。
9.如权利要求3-7任一项所述的基于中层卷积神经网络多维度特征的场景识别方法,其特征在于,所述步骤S3具体包括:利用训练好的SVM分类器检测该类场景中D2中的图像块,找到相似度高的图像块,将相似度高的图像块也合并进去,得到新的聚类,即为每一类场景的中层图像块。
10.如权利要求9所述的基于中层卷积神经网络多维度特征的场景识别方法,其特征在于,所述步骤S4具体包括:利用训练好的CNN模型提取中层图像块和原图像的的全连接层特征,叠加获得每一类图像的图像特征,得到图像更全面的特征表达。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111260039.3A CN113903004A (zh) | 2021-10-28 | 2021-10-28 | 基于中层卷积神经网络多维度特征的场景识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111260039.3A CN113903004A (zh) | 2021-10-28 | 2021-10-28 | 基于中层卷积神经网络多维度特征的场景识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113903004A true CN113903004A (zh) | 2022-01-07 |
Family
ID=79027227
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111260039.3A Pending CN113903004A (zh) | 2021-10-28 | 2021-10-28 | 基于中层卷积神经网络多维度特征的场景识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113903004A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116109638A (zh) * | 2023-04-13 | 2023-05-12 | 中铁四局集团有限公司 | 一种钢轨折断检测方法及系统 |
-
2021
- 2021-10-28 CN CN202111260039.3A patent/CN113903004A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116109638A (zh) * | 2023-04-13 | 2023-05-12 | 中铁四局集团有限公司 | 一种钢轨折断检测方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106650806B (zh) | 一种用于行人检测的协同式深度网络模型方法 | |
Luo et al. | Traffic sign recognition using a multi-task convolutional neural network | |
CN106446930B (zh) | 基于深层卷积神经网络的机器人工作场景识别方法 | |
Wang et al. | Autonomous garbage detection for intelligent urban management | |
CN108846446B (zh) | 基于多路径密集特征融合全卷积网络的目标检测方法 | |
CN103514456B (zh) | 基于压缩感知多核学习的图像分类方法及其装置 | |
CN104778476B (zh) | 一种图像分类方法 | |
CN110633708A (zh) | 一种基于全局模型和局部优化的深度网络显著性检测方法 | |
CN104504395A (zh) | 基于神经网络实现人车分类的方法和系统 | |
CN101667245A (zh) | 基于支持向量新颖检测分类器级联的人脸检测方法 | |
CN106056159A (zh) | 基于Fisher Vector的图像精细分类方法 | |
CN106960176A (zh) | 一种基于超限学习机和颜色特征融合的行人性别识别方法 | |
CN113761259A (zh) | 一种图像处理方法、装置以及计算机设备 | |
CN107767416A (zh) | 一种低分辨率图像中行人朝向的识别方法 | |
Chen et al. | Agricultural remote sensing image cultivated land extraction technology based on deep learning | |
Baojun et al. | Multi-scale object detection by top-down and bottom-up feature pyramid network | |
Zheng et al. | Feature enhancement for multi-scale object detection | |
CN113657414B (zh) | 一种物体识别方法 | |
Li et al. | Fast recognition of pig faces based on improved Yolov3 | |
Wang et al. | Pig face recognition model based on a cascaded network | |
Kabir et al. | An evolution of CNN object classifiers on low-resolution images | |
Akanksha et al. | A Feature Extraction Approach for Multi-Object Detection Using HoG and LTP. | |
Lidasan et al. | Mushroom recognition using neural network | |
CN113903004A (zh) | 基于中层卷积神经网络多维度特征的场景识别方法 | |
CN105975921B (zh) | 基于局部特征共生性和偏最小二乘法的行人检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |