CN115512202A - 基于度量学习的小样本目标检测方法、系统和存储介质 - Google Patents
基于度量学习的小样本目标检测方法、系统和存储介质 Download PDFInfo
- Publication number
- CN115512202A CN115512202A CN202211181943.XA CN202211181943A CN115512202A CN 115512202 A CN115512202 A CN 115512202A CN 202211181943 A CN202211181943 A CN 202211181943A CN 115512202 A CN115512202 A CN 115512202A
- Authority
- CN
- China
- Prior art keywords
- metric
- feature
- target image
- sample
- classifier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种基于度量学习的小样本目标检测方法、系统和存储介质,包括:获取目标图像;根据所述目标图像和训练好的分类器中得到目标图像在度量空间中的表示;根据目标图像在度量空间中的表示来对目标图像中的目标对象进行分类;其中,所述分类器通过以下方式获得:获取支持集和询问集;提取所述支持集中第一样本的第一特征和所述询问集中第二样本的第二特征;将所述第一特征和第二特征映射到度量空间之中,并根据度量函数确定第一特征和第二特征在度量空间之间的距离,根据所述距离以及支持集和询问集的标定信息对所述分类器进行训练。本申请可以在小样本的场景下完成模型训练同时提升模型的泛化能力。
Description
技术领域
本申请涉及机器学习技术,特别是一种基于度量学习的小样本目标检测方法、系统和存储介质。
背景技术
神经网络模型通常需要使用足够的训练样本进行模型训练才能达到较好的训练效果。但是在部分场景中,能够获取的样本比较少,以往的分类函数往往不能使得模型快速学习到检测目标的类别。因此,有人发明了度量学习的方法,通过设置一个度量函数来评价样本之间的相似性,从而区分样本。但是这一方式,其完全依赖于度量函数的设置,如果度量函数设置得不合适,就会导致整个度量学习的效果不佳,模型泛化能力不足。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此,本发明提出一种基于度量学习的小样本目标检测方法、系统和存储介质,通过神经网络来替代度量函数,以避免度量函数设置不当造成整个模型泛化能力差。
本申请实施例提供了一种基于度量学习的小样本目标检测方法,包括:
获取目标图像;
根据所述目标图像和训练好的分类器中得到目标图像在度量空间中的表示;
根据目标图像在度量空间中的表示来对目标图像中的目标对象进行分类;
其中,所述分类器通过以下方式获得:
获取支持集和询问集;
提取所述支持集中第一样本的第一特征和所述询问集中第二样本的第二特征;
将所述第一特征和第二特征映射到度量空间之中,并根据度量函数确定第一特征和第二特征在度量空间之间的距离,根据所述距离以及支持集和询问集的标定信息对所述分类器进行训练。
在一些实施例中,提取所述支持集中第一样本的第一特征和所述询问集中第二样本的第二特征包括:
通过提取网络提取支持集中第一样本的网络特征,然后对所述网络特征进行卷积,得到所述第一特征;
通过提取网络提取询问集中第二样本的网络特征,然后通过RPN 网络提取目标区域,得到第二特征。
在一些实施例中,所述提取网络采用Resnet50主干网络。
在一些实施例中,根据所述距离以及支持集和询问集的标定信息对所述分类器进行训练,包括:
通过度量函数计算的距离确定分类损失值,使用均方误差来计算目标的位置之间的损失值作为回归损失值,将分类损失值和回归损失值相加得到总损失值,根据所述总损失值对分类器进行参数更新。
在一些实施例中,参数更新时采用BP网络进行梯度下降优化。
在一些实施例中,在所述分类器中,所述第一特征和第二特征经过若干次卷积后通过激活函数激活。
在一些实施例中,所述激活函数依次包括rule激活函数和 sigmoid激活函数。
另一方面,本申请实施例提供了一种基于度量学习的小样本目标检测系统,包括:
预测单元,用于获取目标图像;根据所述目标图像和训练好的分类器中得到目标图像在度量空间中的表示;根据目标图像在度量空间中的表示来对目标图像中的目标对象进行分类;
训练单元,用于通过以下方式训练分类器:获取支持集和询问集;提取所述支持集中第一样本的第一特征和所述询问集中第二样本的第二特征;将所述第一特征和第二特征映射到度量空间之中,并根据度量函数确定第一特征和第二特征在度量空间之间的距离,根据所述距离以及支持集和询问集的标定信息对所述分类器进行训练。
另一方面,本申请实施例提供了一种基于度量学习的小样本目标检测系统,其特征在于,包括:
存储器,用于存储程序;
处理器,用于加载所述程序以执行所述的基于度量学习的小样本目标检测方法。
另一方面,本申请实施例提供了一种计算机可读存储介质,其存储有程序,所述程序被处理器执行时实现所述的基于度量学习的小样本目标检测方法。
本申请实施例本方案通过度量学习的方式来对模型分类器进行训练,利用度量学习在样本较少的情况下优化分类效果,可以降低训练样本的获取成本,同时,本方案通过神经网络的方式让分类器学习度量空间的映射过程,相对于传统度量学习仅通过度量函数来完成映射的方式,具有更强的泛化性,使得模型可以适应更多的检测目标。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图做一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种基于度量学习的小样本目标检测方法的流程图;
图2是本申请实施例提供的一种基于度量学习的小样本目标检测方法的分类器训练流程图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,以下将参照本申请实施例中的附图,通过实施方式清楚、完整地描述本申请的技术方案,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本发明的描述中,若干的含义是一个以上,多个的含义是两个以上,大于、小于、超过等理解为不包括本数,以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中,除非另有明确的限定,设置等词语应做广义理解,所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
本发明的描述中,参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
参照图1、图2,本实施例公开了一种基于度量学习的小样本目标检测方法,包括:
S1、获取目标图像。所述目标图像是当前需要分类的图像。在本实施例中,可以选择对车辆的图片进行分类,也可以选择对动物的图片进行分类。如获取动物图像作为目标图像。这些图像可以是通过实时拍摄的方式得到的,也可以通过存储器读取得到的。
S2、根据所述目标图像和训练好的分类器中得到目标图像在度量空间中的表示。可以将目标图像的特征进行提取,然后通过分类器进行度量空间的映射,从而得到目标图像在度量空间中的表示(如向量、矩阵、张量等)。
S3、根据目标图像在度量空间中的表示来对目标图像中的目标对象进行分类。然后进一步根据度量空间中的表示,到最终的输出网络得到分类结果。
其中,所述分类器通过以下方式获得:
S4、获取支持集和询问集。其中,支持集和训练集是在样本收集过程中形成的训练集合。这些集合已经被标定,例如标定图中目标是是否相同的物品等。支持集和查询集的具体数据不交叉,但是类别相同。
S5、提取所述支持集中第一样本的第一特征和所述询问集中第二样本的第二特征。
具体地,可以通过Resnet50主干网络作为提取网络提取支持集中第一样本的网络特征,然后对所述网络特征进行卷积,得到所述第一特征。
通过Resnet50主干网络作为提取网络提取询问集中第二样本的网络特征,然后通过RPN网络提取目标区域,得到第二特征。可以理解的是,上述特征均可以采用诸如向量、矩阵、张量等形式表示。而本方案之所以对第一样本的网络特征进行卷积,是为了匹配询问集中的目标区域的大小,使得两个图像最终输出到分类器的特征尺寸相同。
S6、将所述第一特征和第二特征映射到度量空间之中,并根据度量函数确定第一特征和第二特征在度量空间之间的距离,根据所述距离以及支持集和询问集的标定信息对所述分类器进行训练。
具体地,包括:
通过度量函数计算的距离确定分类损失值,使用均方误差来计算目标的位置之间的损失值作为回归损失值,将分类损失值和回归损失值相加得到总损失值,根据所述总损失值对分类器进行参数更新。参数更新时采用BP网络进行梯度下降优化。
可以理解的是,通过度量函数计算距离,并根据标定的信息可以计算出分类损失值,这一过程与其他模型训练中将预测值和标定值之间的差距作为损失值是一样的。而在本实施例中,通过计算分类损失和回归损失作为总的损失,随后采用BP网络进行参数优化,可以使得分类器学习到度量空间的映射。
其中,分类器中可以使用皮尔逊度量损失函数,也可以采用余弦相似性度量函数。采用皮尔逊度量损失函数时,对于输入图片的第i 个目标,其与每个类别的权重之间的相关性可以通过如下相关系数来表示。
其中ρi,j是输入x的第i个目标和类别j的权重向量距离,F(x) 是输入特征图。是实例目标特征图的平均值。每个边框类别的 c的权重矩阵W∈Rd×c可以写出[w1,w2,…,wc],其中wc∈Rd是每个类别权重向量。其中α是一个比例因子。
在所述分类器中,所述第一特征和第二特征经过若干次卷积后通过激活函数激活。其中,包括两个卷积单元和两个激活函数。所述激活函数依次包括rule激活函数和sigmoid激活函数。分类的输出层的激活函数常选择sigmoid函数;对于隐藏层的激活函数通常会选择使用ReLU函数,保证学习效率。
综上所述,因为在小样本目标检测中,由于样本数据较少,以往的分类损失函数往往不能使得模型快速学习到检测目标的类别。在而度量学习的增加类间之间的距离,减少类内之间的距离。度量学习通常是将样本投影到一个嵌入空间中,在这个空间中人为设计一个距离度量函数,来进行类别之间度量,来觉得样本是否相似。度量函数是一种用来度量类别之间距离的函数,根据度量结果来决定目标所属的类别,越小则说明越像哪个类别。度量函数的选择很大程度上觉得了结果的好坏。在本方法中,选择不要设定度量方法,而是让神经网络学习怎么度量两个样本之间的相似性。将样本投影到一个嵌入空间中,使得相似样本间的距离较近,模型学习的是如何投影这个过程。
在这个方法中,使用两阶段目标检测faster RCNN作为网络原型。 Resnet50是主干网络,用来提取网络特征,RPN是区域候选框,用来生成那些区域有目标,分类器用于将样本投影到一个嵌入空间中,再在后面用度量函数来衡量之间距离。本实施例虽然用了度量函数,但是在神经网络学习度量空间时,采用度量函数来评价学习的状态,在实际预测时不涉及度量函数,在这个网络中通过神经网络学习一个度量空间,在这个度量空间中计算样本类别之间距离,能够有效的利用神经网络学习的能力,而不是以前的完全认为设计的度量空间来计算度量距离。这样做的效果可以有效的提升网络的泛化能力。
本申请实施例提供了一种基于度量学习的小样本目标检测系统,包括:
预测单元,用于获取目标图像;根据所述目标图像和训练好的分类器中得到目标图像在度量空间中的表示;根据目标图像在度量空间中的表示来对目标图像中的目标对象进行分类;
训练单元,用于通过以下方式训练分类器:获取支持集和询问集;提取所述支持集中第一样本的第一特征和所述询问集中第二样本的第二特征;将所述第一特征和第二特征映射到度量空间之中,并根据度量函数确定第一特征和第二特征在度量空间之间的距离,根据所述距离以及支持集和询问集的标定信息对所述分类器进行训练。
本申请实施例提供了一种基于度量学习的小样本目标检测系统,其特征在于,包括:
存储器,用于存储程序;
处理器,用于加载所述程序以执行所述的基于度量学习的小样本目标检测方法。
本申请实施例提供了一种计算机可读存储介质,其存储有程序,所述程序被处理器执行时实现所述的基于度量学习的小样本目标检测方法。
在本申请中所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机装置(可以是个人计算机,服务器,或者网络装置等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
注意,上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解,本申请不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此,虽然通过以上实施例对本申请进行了较为详细的说明,但是本申请不仅仅限于以上实施例,在不脱离本申请构思的情况下,还可以包括更多其他等效实施例,而本申请的范围由所附的权利要求范围决定。
Claims (10)
1.一种基于度量学习的小样本目标检测方法,其特征在于,包括:
获取目标图像;
根据所述目标图像和训练好的分类器中得到目标图像在度量空间中的表示;
根据目标图像在度量空间中的表示来对目标图像中的目标对象进行分类;
其中,所述分类器通过以下方式获得:
获取支持集和询问集;
提取所述支持集中第一样本的第一特征和所述询问集中第二样本的第二特征;
将所述第一特征和第二特征映射到度量空间之中,并根据度量函数确定第一特征和第二特征在度量空间之间的距离,根据所述距离以及支持集和询问集的标定信息对所述分类器进行训练。
2.根据权利要求1所述的一种基于度量学习的小样本目标检测方法,其特征在于,提取所述支持集中第一样本的第一特征和所述询问集中第二样本的第二特征包括:
通过提取网络提取支持集中第一样本的网络特征,然后对所述网络特征进行卷积,得到所述第一特征;
通过提取网络提取询问集中第二样本的网络特征,然后通过RPN网络提取目标区域,得到第二特征。
3.根据权利要求2所述的一种基于度量学习的小样本目标检测方法,其特征在于,所述提取网络采用Resnet50主干网络。
4.根据权利要求1所述的一种基于度量学习的小样本目标检测方法,其特征在于,根据所述距离以及支持集和询问集的标定信息对所述分类器进行训练,包括:
通过度量函数计算的距离确定分类损失值,使用均方误差来计算目标的位置之间的损失值作为回归损失值,将分类损失值和回归损失值相加得到总损失值,根据所述总损失值对分类器进行参数更新。
5.根据权利要求1所述的一种基于度量学习的小样本目标检测方法,其特征在于,参数更新时采用BP网络进行梯度下降优化。
6.根据权利要求1所述的一种基于度量学习的小样本目标检测方法,其特征在于,在所述分类器中,所述第一特征和第二特征经过若干次卷积后通过激活函数激活。
7.根据权利要求6所述的一种基于度量学习的小样本目标检测方法,其特征在于,所述激活函数依次包括rule激活函数和sigmoid激活函数。
8.一种基于度量学习的小样本目标检测系统,其特征在于,包括:
预测单元,用于获取目标图像;根据所述目标图像和训练好的分类器中得到目标图像在度量空间中的表示;根据目标图像在度量空间中的表示来对目标图像中的目标对象进行分类;
训练单元,用于通过以下方式训练分类器:获取支持集和询问集;提取所述支持集中第一样本的第一特征和所述询问集中第二样本的第二特征;将所述第一特征和第二特征映射到度量空间之中,并根据度量函数确定第一特征和第二特征在度量空间之间的距离,根据所述距离以及支持集和询问集的标定信息对所述分类器进行训练。
9.一种基于度量学习的小样本目标检测系统,其特征在于,包括:
存储器,用于存储程序;
处理器,用于加载所述程序以执行如权利要求1-7任一项所述的基于度量学习的小样本目标检测方法。
10.一种计算机可读存储介质,其特征在于,其存储有程序,所述程序被处理器执行时实现如权利要求1-7任一项所述的基于度量学习的小样本目标检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211181943.XA CN115512202A (zh) | 2022-09-27 | 2022-09-27 | 基于度量学习的小样本目标检测方法、系统和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211181943.XA CN115512202A (zh) | 2022-09-27 | 2022-09-27 | 基于度量学习的小样本目标检测方法、系统和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115512202A true CN115512202A (zh) | 2022-12-23 |
Family
ID=84506092
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211181943.XA Pending CN115512202A (zh) | 2022-09-27 | 2022-09-27 | 基于度量学习的小样本目标检测方法、系统和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115512202A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116935160A (zh) * | 2023-07-19 | 2023-10-24 | 上海交通大学 | 一种训练方法、样本分类方法、电子设备及介质 |
-
2022
- 2022-09-27 CN CN202211181943.XA patent/CN115512202A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116935160A (zh) * | 2023-07-19 | 2023-10-24 | 上海交通大学 | 一种训练方法、样本分类方法、电子设备及介质 |
CN116935160B (zh) * | 2023-07-19 | 2024-05-10 | 上海交通大学 | 一种训练方法、样本分类方法、电子设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112990432B (zh) | 目标识别模型训练方法、装置及电子设备 | |
CN107066559B (zh) | 一种基于深度学习的三维模型检索方法 | |
CN109117879B (zh) | 图像分类方法、装置及系统 | |
CN109684922B (zh) | 一种基于卷积神经网络的多模型对成品菜的识别方法 | |
CN111680698A (zh) | 图像识别方法、装置及图像识别模型的训练方法、装置 | |
AU2017209231A1 (en) | Method, system, device and readable storage medium for realizing insurance claim fraud prevention based on consistency between multiple images | |
JP5214716B2 (ja) | 識別装置 | |
CN115953665B (zh) | 一种目标检测方法、装置、设备及存储介质 | |
CN112257808B (zh) | 用于零样本分类的集成协同训练方法、装置及终端设备 | |
CN113837257B (zh) | 一种目标检测方法及装置 | |
CN111932544A (zh) | 篡改图像检测方法、装置及计算机可读存储介质 | |
CN107066980B (zh) | 一种图像变形检测方法及装置 | |
CN111814846B (zh) | 属性识别模型的训练方法、识别方法及相关设备 | |
CN111144425B (zh) | 检测拍屏图片的方法、装置、电子设备及存储介质 | |
CN112115806A (zh) | 基于Dual-ResNet小样本学习的遥感影像场景精确分类方法 | |
CN115512202A (zh) | 基于度量学习的小样本目标检测方法、系统和存储介质 | |
CN109741380B (zh) | 纺织品图片快速匹配方法和装置 | |
Sun et al. | Perceptual multi-channel visual feature fusion for scene categorization | |
CN111414930B (zh) | 深度学习模型训练方法及装置、电子设备及存储介质 | |
CN114724258A (zh) | 活体检测方法、装置、存储介质及计算机设备 | |
CN113902041A (zh) | 目标检测模型的训练及身份验证方法和装置 | |
CN112329810B (zh) | 一种基于显著性检测的图像识别模型训练方法及装置 | |
CN117746018A (zh) | 面向平面扫描图像的用户定制化意图理解方法及系统 | |
CN114677578B (zh) | 确定训练样本数据的方法和装置 | |
CN113780335B (zh) | 一种小样本商品图像分类方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |