CN115797694A - 基于多尺度孪生神经网络的显示面板微缺陷分类方法 - Google Patents
基于多尺度孪生神经网络的显示面板微缺陷分类方法 Download PDFInfo
- Publication number
- CN115797694A CN115797694A CN202211553726.9A CN202211553726A CN115797694A CN 115797694 A CN115797694 A CN 115797694A CN 202211553726 A CN202211553726 A CN 202211553726A CN 115797694 A CN115797694 A CN 115797694A
- Authority
- CN
- China
- Prior art keywords
- neural network
- feature
- twin neural
- scale twin
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及显示面板缺陷检测技术领域,其公开了一种基于多尺度孪生神经网络的显示面板微缺陷分类方法,所述分类方法包括以下步骤:(1)获取数据集;(2)构建直接分类模型;(3)在大样本数据集上训练直接分类模型;(4)优化模型结构直至经可视化卷积特征方法判断其学习到各类别的正确特征;(5)以直接分类模型的特征提取网络作为分支搭建多尺度孪生神经网络;(6)将面板缺陷数据集划分为训练集和测试集;(7)训练多尺度孪生神经网络;(8)比较待测样本经特征提取网络得到的特征向量与各类别样本均值向量的相似程度,相似程度最高的类别即为待测样本的类别。本发明提出的少样本分类方法,具有较好的泛化性能和分类正确率。
Description
技术领域
本发明涉及显示面板缺陷检测技术领域,具体而言,涉及一种基于多尺度孪生神经网络的显示面板微缺陷分类方法。
背景技术
有机发光半导体(Organic Electro luminescence Display,OLED)显示技术凭借其主动发光特性、柔性化、低功耗等优势逐步取代薄膜晶体管液晶显示器(Thin FilmTransistor-Liquid Crystal Display,TFT-LCD)成为终端小屏消费电子的主流显示技术。随着国内OLED产能的迅速增长,高良率对于企业控制成本、提升市场占有率具有重要意义。缺陷检测技术是控制产品良率的唯一手段,因此,开发非接触、在线、智能化缺陷分类方法至关重要。
显示面板生产过程中,不同类别的缺陷产生的机理不一导致缺陷样本分布不均衡,易产生部分缺陷类别样本量较大,而多数缺陷类别样本量较小的情况,且受实际工业缺陷样本难采集,标注信息难获取的限制,往往需要在少样本的情况下实现较高的分类正确率。
现有缺陷分类方法包括基于手工特征的传统分类方法和基于深度学习的分类模型,随着深度卷积技术的逐步发展,基于深度学习的模型逐步成为图像分类任务的主流,在公开的大样本数据集上,其分类正确率远高于传统分类方法。然而,深度学习方法的数据驱动特性使得模型的性能与原始数据的样本量和标注精度有紧密关联。当面对少样本、不均衡数据集时,往往会出现过拟合导致实际性能下降。因此,开发少样本、样本分布不均衡情况下的高分类正确率的模型对于实际的工业检测尤为重要。
发明内容
针对现有技术的不足,本发明提供了一种基于多尺度孪生神经网络的显示面板微缺陷分类方法,所述检测方法可以实现少样本、不均衡样本情况下对微缺陷的准确分类。
为实现以上目的,本发明通过以下技术方案予以实现:一种基于多尺度孪生神经网络的显示面板微缺陷分类方法,所述检测方法主要包括以下步骤:
S1:获取面板缺陷区域数据集和相似任务的大样本数据集。
S2:构建基于卷积神经网络的直接分类模型。
S3:在大样本数据集上训练所述直接分类模型。
S4:通过可视化卷积特征方法判断所述直接分类模型的特征提取网络是否学习到每个类别的正确特征,不断调整训练策略,直至特征提取网络对每个类别都学习到正确特征,保存特征提取网络的模型参数。
S5:以S4中所述特征提取网络为分支搭建多尺度孪生神经网络。
S6:将面板缺陷区域数据集划分为训练集和测试集。
S7:使用面板缺陷区域数据集中的训练集训练多尺度孪生神经网络。
S8:将待测样本输入至多尺度孪生神经网络,比较所述待测样本的特征向量与各类别样本均值向量的相似程度,相似程度最高的类别即为所述待测样本的类别。
进一步地,步骤S1中,所述面板缺陷区域数据集中应包含各类别缺陷,每张缺陷图像都有其对应的类别标签。所述大样本数据集应与面板缺陷区域数据集相似,如PCB缺陷数据集、晶圆缺陷数据集等。
进一步地,步骤S2中,所述直接分类模型可参考现有卷积神经网络模型自行构建。
进一步地,步骤S3中,所述大样本数据集用于训练直接分类模型,优选地,步骤S2中,所述直接分类模型可由Inception模块和堆叠的卷积层构成。
进一步地,步骤S4中,所述可视化卷积特征方法为Grad-CAM深层网络可视化方法,所述Grad-CAM深层网络可视化方法以热力图的形式解释所述直接分类模型的分类依据,根据分类依据的正确与否及分类正确率判断所述直接分类模型是否学习到正确的类别特征。所述直接分类模型可根据热力图的结果进行迭代和优化,直至所述直接分类模型学习到正确的分类依据且分类正确率满足需求。保存所述直接分类模型的权重参数作为所述多尺度孪生神经网络的预训练参数。
进一步地,步骤S5中,以所述直接分类模型的特征提取网络作为多尺度孪生神经网络的分支。所述多尺度孪生神经网络由两个完全相同的分支组成,所述分支为所述直接分类模型的特征提取网络,所述多尺度孪生神经网络的输入为图像对,输出为输入图像对在特征上的相似程度,所述多尺度孪生神经网络的损失函数由三个特征层上的相似度计算构成。所述相似度评价的定义为:L=α|h1(x1)-h1(x2)|+β|h2(x1)-h2(x2)|+γ|h3(x1)-h3(x2)|。所述α、β、γ表示不同深度特征层的差异对总特征差异的贡献程度,取值原则为:浅层特征贡献度小,深层特征贡献度大,所述α+β+γ=1。
进一步地,步骤S6中,将面板缺陷区域数据集按照特定比例划分为训练集和测试集。
进一步地,步骤S7中,所述训练集用于训练孪生神经网络,所述训练集在训练时将被采样为图像对,图像对取自相同类别,其数据标签将为“1”。图像对取自不同类别,其数据标签将为“0”。所述多尺度孪生神经的特征提取网络对于输入的图像对是权值共享的,所述多尺度孪生神经网络的输出在[0,1]区间内,表示输入图像对之间的相似程度,训练完成的多尺度孪生神经网络模型将用于缺陷的分类。
进一步地,步骤S8中,将从测试集中采样得到的待测样本输入至训练完成的多尺度孪生神经网络,所述待测样本经特征提取网络得到特征向量,计算与各类别样本的均值特征向量的相似度,所述相似度的计算方法为特征向量间的差值绝对值。
与现有技术相比,本发明的有益效果是:
1)本发明提供一种基于多尺度孪生神经网络的少样本显示面板微缺陷分类方法,能够在少样本条件下实现对各类别缺陷的准确分类,有能力应对实际工业检测中的分类问题,为面板微缺陷自动化分类提供了思路和方法。
2)本发明提出的多尺度孪生神经网络解决了直接分类模型在少样本条件下出现的过拟合的问题,在少样本条件下的分类正确率高于现有常规分类模型。
3)本发明提出的使用Grad-CAM深层网络可视化方法辅助特征提取网络学习和优化的方法,保证了特征提取网络的有效性,使得模型决策过程可解释,提升了深度学习模型决策的合理性和透明度,有助于模型性能的快速提升和优化。
4)本发明提出的多尺度孪生神经网络在相同特征提取网络条件下,相比于直接分类模型参数量更少,更适用于少样本数据集。
5)本发明提出的将待测样本的特征向量与其余类别样本均值向量比较,进而判定类别的方法,能够降低因样本获取偏差导致的错分概率,使模型的鲁棒性相比于直接分类模型更高。
附图说明
图1为本发明的实施例中基于多尺度孪生神经网络的显示面板微缺陷分类方法流程示意图;
图2为本发明的实施例中的直接分类模型结构图;
图3为本发明的实施例中特征提取网络基于Grad-CAM的热力图可视化结果;
图4为本发明的实施例中多尺度孪生神经网络结构图;
图5为本发明的实施例中多尺度孪生神经网络测试流程;
图6为本发明的实施例中多尺度孪生神经网络在测试样本上的混淆矩阵。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。显然,所描述的实施例是本发明的一部分实施例,而不是全部实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都应属于本发明保护的范围。
实施例
如图1所示,本发明公开了基于多尺度孪生神经网络的显示面板微缺陷分类方法,包括以下步骤:
S11:获取面板缺陷数据集。本实施例针对面板缺陷检测流程中的复检阶段,采集Array制程中三种工艺下的11类缺陷样本,共308张,样本呈长尾分布。对各类别的数据等比例增广后共705张。
S12:获取相似任务的大样本数据集。本实施例与PCB板缺陷检测任务相似,都有结构化的纹理背景和相近的缺陷种类,本实施例中采用开源PCB数据集作为相似任务的大样本数据集,共有6类缺陷,每类缺陷200张图像。
S2:构建直接分类模型。本实施例设计的直接分类模型如图2所示。该模型共有19个卷积层,3×3卷积层用于提取特征,1×1卷积层负责改变通道数,全连接层作为分类器,每个卷积层之后的激活函数为GELU函数。除全连接层外,其余部分为特征提取网络。
S3:训练直接分类模型。所述直接分类模型以交叉熵损失作为损失函数,采用Adam算法进行优化。
S41:取已知类别的图像输入训练完成的直接分类模型。所述已知类别的图像为测试集的图像,计算直接分类模型的分类正确率。
S42:使用特征可视化方法获取直接分类模型对特定类别响应的热力图。本实施例中使用Grad-CAM可视化方法,该方法在给定类别的前提下,使用最后一层卷积的梯度信息理解各神经元对该类别的特征响应,得到各特征层的响应热力图,所述热力图可表示出神经网络在判定类别时所依据的原始图像区域。
S43:将S42中的响应区域与人工分类的依据相对比,可判定所述直接分类模型是否学习到有效特征。图3为直接分类模型基于Grad-CAM方法的热力图可视化结果,共有4张异物缺陷图,矩形框中为原始缺陷区域,其右侧为可视化结果,本实施例中的直接分类模型在能够正确分类的前提下,实现了对图像中缺陷区域的准确判定,表明该分类模型学习到了异物缺陷类别的关键特征。
S44:保存直接分类模型的权重参数。若判定直接分类模型决策时依据的区域与人工判定依据相似,则保存该模型的权重参数,将其作为多尺度孪生神经网络中特征提取网络的预训练参数,以提升多尺度孪生神经网络的收敛速度和性能。
S45:更新模型结构,优化训练策略。若已判定直接分类模型未学习到有效特征,则需修改模型结构,或采取更合理的优化策略再次训练,直至直接分类模型学习到有效特征为止。
S5:以直接分类模型的特征提取网络结构作为分支构建多尺度孪生神经网络。本实施例中构建的多尺度孪生神经网络如图4所示,两个分支是完全相同的,权值参数共享,输入图像首先经过3×3卷积和池化层的组合实现特征提取,两次最大池化操作后,特征层的尺寸变为原始图像的1/4,通道数升至128。经256个3×3卷积后,采用Inception结构使用不同尺度和通道数的卷积核实现多尺度特征提取,1×1卷积用于特征降维,Inception结构的输出在通道上拼接后经256个3×3卷积和最大池化操作得到输出特征,计算两个分支上该特征的差值绝对值,经两阶段的卷积池化操作(6次卷积和2次池化)后组成最终相似度评价的第一项。Inception结构输出的特征经3次3×3卷积和池化后得到通道数为512的特征层,计算两个分支上该特征的差值绝对值,经3次卷积和1次池化后组成最终相似度评价的第二项。输入图像对的最后一层输出特征间的差值绝对值作为相似度评价的第三项。α,β,γ表示各项对相似度评价的贡献值,α+β+γ=1。此时,相似度评价为高维特征向量,经三个全连接层后和Sigmoid函数后得到输入图像对间的相似度,相似度的取值在[0,1]之间,相似度大于设定的阈值,即可判定输入图像对是相同类别。
S6:将面板缺陷数据集划分为训练集和测试集,用于训练多尺度孪生神经网络。
S7:使用面板缺陷数据集中的训练集训练多尺度孪生神经网络。由于多尺度孪生神经网络的输出结果为同类或不同类别,可等效为二分类网络,因此,本实施例中的损失函数为二分类交叉熵损失:
其中,N为样本数量,yi为样本i的标签,本实施例中,类别相同时标签为1,不同时为0,pi为样本i预测为正类的概率。使用Adam算法作为模型优化策略,多尺度孪生神经网络共训练100个轮次,前50次和后50次的初始学习率分别为1×10-4和1×10-5,学习率每隔一次训练更新一次。训练时,使用直接分类模型的特征提取网络部分的权重参数初始化各分支。
S81:分别输入各类别的样本至训练完成的孪生神经网络,得到各类别样本的特征向量并取均值,记为各类别的均值特征向量。
S82:将待测样本输入至多尺度孪生神经网络,比较所述待测样本的特征向量与各类别样本均值向量的相似程度,相似程度最高的类别即为所述待测样本的类别。在测试过程中,取待测样本和各类别样本最后一层卷积的输出作为特征向量。如图5所示,f为特征提取网络,将待测样本的特征向量与其余类别的均值向量做比较,经全连接层和Sigmoid函数将相似程度转换到[0,1]之间,按照相似度排序,相似度最高的即为待测样本的类别。本实施例中的11类测试样本共70张,逐一判断每个样本的特征向量与其余类别的均值向量之间的相似程度,70张样本中仅有一张样本分类错误,分类正确率为98.6%,分类结果的混淆矩阵如图6所示。
将本实施例中的多尺度孪生神经网络与其余分类模型做对比,对比结果如表1所示,Val Accuracy和Test accuracy分别表示训练过程中在验证集上的分类正确率和测试过程中在测试集上的分类正确率,其差值表示模型的泛化能力,即模型对未知样本的分类能力,差值越小,泛化能力越强;参数量表示模型结构的复杂度。由表1可知,直接分类模型(从AlexNet到EfficientNet-b0)均出现了不同程度的过拟合现象,泛化性能最好的是GoogLeNet,且其参数量也较小。然而,基于该网络构建的Siamese-GoogLeNet表现不佳。Swin Transformer和ConvNeXt-tiny采用更先进的模型结构,在训练集上的损失接近0,且分类正确率为100%,但均表现出较差的泛化性能,因此,在少样本条件下实现对样本的正确分类对于当前分类模型仍然存在挑战。本实施例中的多尺度孪生神经网络在训练损失、验证集正确率和测试集正确率等指标上的表现均较好,泛化性能最佳,图6的混淆矩阵也表明了本实施例中的多尺度孪生神经网络的有效性。
表1多尺度孪生神经网络与其余分类模型的对比
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的工作人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于多尺度孪生神经网络的显示面板微缺陷分类方法,其特征在于,包括以下步骤:
S1:获取面板缺陷区域数据集和相似任务的大样本数据集;
S2:构建基于卷积神经网络的直接分类模型;
S3:在大样本数据集上训练所述直接分类模型;
S4:通过可视化卷积特征方法判断所述直接分类模型的特征提取网络是否学习到每个类别的正确特征,不断调整训练策略,直至特征提取网络对每个类别都学习到正确特征,保存特征提取网络的模型参数;
S5:以S4中所述特征提取网络为分支搭建多尺度孪生神经网络;
S6:将面板缺陷区域数据集划分为训练集和测试集;
S7:使用面板缺陷区域数据集中的训练集训练多尺度孪生神经网络;
S8:将待测样本输入至多尺度孪生神经网络,比较所述待测样本的特征向量与各类别样本均值向量的相似程度,相似程度最高的类别即为所述待测样本的类别。
2.如权利要求1所述的基于多尺度孪生神经网络的显示面板微缺陷分类方法,其特征在于,以训练完成后的直接分类模型的特征提取网络作为构建多尺度孪生神经网络的分支。
3.如权利要求1所述的基于多尺度孪生神经网络的显示面板微缺陷分类方法,其特征在于,多尺度孪生神经网络中的激活函数为GELU激活函数。
4.如权利要求1所述的基于多尺度孪生神经网络的显示面板微缺陷分类方法,其特征在于,多尺度孪生神经网络通过多个特征层间差异的加权和判定特征尺度上的相似性。
5.如权利要求1所述的基于多尺度孪生神经网络的显示面板微缺陷分类方法,其特征在于,多尺度孪生神经网络仅计算三个特征尺度的差值绝对值。
6.如权利要求1所述的基于多尺度孪生神经网络的显示面板微缺陷分类方法,其特征在于,通过比较待测样本的特征向量与各类别样本均值向量的相似程度,判断待测样本的类别。
7.如权利要求2所述的基于多尺度孪生神经网络的显示面板微缺陷分类方法,其特征在于,通过神经网络特征可视化方法(如Grad-CAM)判定特征提取网络是否学习到正确特征,即是否训练完成。
8.如权利要求4所述的基于多尺度孪生神经网络的显示面板微缺陷分类方法,其特征在于,浅层特征层间的差值绝对值为高维向量,经卷积池化等操作后与最后一层特征层间的差值绝对值加权相加。
9.如权利要求6所述的基于多尺度孪生神经网络的显示面板微缺陷分类方法,其特征在于,取最后一个卷积层输出的特征作为待测样本的特征向量与各类别样本的向量。
10.如权利要求8所述的基于多尺度孪生神经网络的显示面板微缺陷分类方法,其特征在于,对浅层特征差值绝对值向量的后续操作与该层特征层在孪生神经网络中的后续操作相同。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211553726.9A CN115797694A (zh) | 2022-12-06 | 2022-12-06 | 基于多尺度孪生神经网络的显示面板微缺陷分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211553726.9A CN115797694A (zh) | 2022-12-06 | 2022-12-06 | 基于多尺度孪生神经网络的显示面板微缺陷分类方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115797694A true CN115797694A (zh) | 2023-03-14 |
Family
ID=85445911
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211553726.9A Pending CN115797694A (zh) | 2022-12-06 | 2022-12-06 | 基于多尺度孪生神经网络的显示面板微缺陷分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115797694A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116385838A (zh) * | 2023-06-02 | 2023-07-04 | 成都数之联科技股份有限公司 | 模型训练及缺陷检测方法、装置、介质、设备及程序产品 |
CN116612076A (zh) * | 2023-04-28 | 2023-08-18 | 成都瑞贝英特信息技术有限公司 | 基于联合孪生神经网络的机舱微小划痕检测方法 |
CN117030724A (zh) * | 2023-10-09 | 2023-11-10 | 诺比侃人工智能科技(成都)股份有限公司 | 一种基于深度学习的多模态工业缺陷分析方法及系统 |
-
2022
- 2022-12-06 CN CN202211553726.9A patent/CN115797694A/zh active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116612076A (zh) * | 2023-04-28 | 2023-08-18 | 成都瑞贝英特信息技术有限公司 | 基于联合孪生神经网络的机舱微小划痕检测方法 |
CN116612076B (zh) * | 2023-04-28 | 2024-01-30 | 成都瑞贝英特信息技术有限公司 | 基于联合孪生神经网络的机舱微小划痕检测方法 |
CN116385838A (zh) * | 2023-06-02 | 2023-07-04 | 成都数之联科技股份有限公司 | 模型训练及缺陷检测方法、装置、介质、设备及程序产品 |
CN117030724A (zh) * | 2023-10-09 | 2023-11-10 | 诺比侃人工智能科技(成都)股份有限公司 | 一种基于深度学习的多模态工业缺陷分析方法及系统 |
CN117030724B (zh) * | 2023-10-09 | 2023-12-08 | 诺比侃人工智能科技(成都)股份有限公司 | 一种基于深度学习的多模态工业缺陷分析方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108334936B (zh) | 基于迁移卷积神经网络的故障预测方法 | |
CN115797694A (zh) | 基于多尺度孪生神经网络的显示面板微缺陷分类方法 | |
CN105447473B (zh) | 一种基于PCANet-CNN的任意姿态人脸表情识别方法 | |
CN108171209B (zh) | 一种基于卷积神经网络进行度量学习的人脸年龄估计方法 | |
CN110717481B (zh) | 一种利用级联卷积神经网络实现人脸检测的方法 | |
CN108256482B (zh) | 一种基于卷积神经网络进行分布学习的人脸年龄估计方法 | |
CN109101938B (zh) | 一种基于卷积神经网络的多标签年龄估计方法 | |
CN109064459A (zh) | 一种基于深度学习的布匹瑕疵检测方法 | |
CN107730059A (zh) | 基于机器学习的变电站电量趋势预测分析的方法 | |
CN111612051A (zh) | 一种基于图卷积神经网络的弱监督目标检测方法 | |
CN110084812A (zh) | 一种太赫兹图像缺陷检测方法、装置、系统及存储介质 | |
CN117152503A (zh) | 一种基于伪标签不确定性感知的遥感图像跨域小样本分类方法 | |
CN111239137B (zh) | 基于迁移学习与自适应深度卷积神经网络的谷物质量检测方法 | |
CN116051479A (zh) | 融合跨域迁移和异常检测的纺织品缺陷识别方法 | |
CN114119966A (zh) | 基于多视角学习与元学习的小样本目标检测方法 | |
CN116258990A (zh) | 一种基于跨模态亲和力的小样本参考视频目标分割方法 | |
CN115410059A (zh) | 基于对比损失的遥感图像部分监督变化检测方法及设备 | |
CN115331284A (zh) | 一种基于自愈机制的真实场景下的人脸表情识别方法及系统 | |
CN114511759A (zh) | 一种皮肤状态图像的类别识别和特征确定方法及系统 | |
CN114818579A (zh) | 基于一维卷积长短期记忆网络的模拟电路故障诊断方法 | |
Chang et al. | A Novel Multicategory Defect Detection Method Based on the Convolutional Neural Network Method for TFT-LCD Panels. | |
CN111582057B (zh) | 一种基于局部感受野的人脸验证方法 | |
CN111275025A (zh) | 一种基于深度学习的车位检测方法 | |
CN106951888B (zh) | 人脸特征点的相对坐标约束方法以及定位方法 | |
CN116304941A (zh) | 一种基于多模型组合的海洋数据质量控制方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |