CN114972282A - 基于图像语义信息的增量学习无参考图像质量评价方法 - Google Patents
基于图像语义信息的增量学习无参考图像质量评价方法 Download PDFInfo
- Publication number
- CN114972282A CN114972282A CN202210640590.9A CN202210640590A CN114972282A CN 114972282 A CN114972282 A CN 114972282A CN 202210640590 A CN202210640590 A CN 202210640590A CN 114972282 A CN114972282 A CN 114972282A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- features
- semantic
- incremental
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像处理技术领域,具体是基于图像语义信息的增量学习无参考图像质量评价方法,其特征在于,包括以下步骤:划分增量任务集;将划分的增量任务集输入到特征提取网络中;将提取到的全局语义特征输入到混合注意力模块中;将获取到的带有空间信息的显著语义特征与多尺度失真特征使用早融合的方式融合;将得到深度融合特征输入到回归网络中;使用知识蒸馏的方式将回归网络学习到的知识迁移到学生网络;使用学生网络对下一次增量任务的部分图像数据做出质量分数预测,本发明基于图像语义信息的增量学习无参考图像质量评价方法,增强了模型对不同场景失真图像的鲁棒性,提高了模型对不同场景失真图像质量的表达能力。
Description
技术领域
本发明涉及图像处理技术领域,具体是基于图像语义信息的增量学习无参考图像质量评价方法。
背景技术
图像质量评价的方法主要有主观质量评价和客观质量评价。主观质量评价是指根据人类主观意志判别图像视觉质量,客观质量评价是指通过客观算法自动计算图像的视觉质量。根据计算图像视觉质量时是否需要参考图像的信息,客观质量评价可分成三类:全参考质量评价(FR-IQA)、半参考质量评价(RR-IQA)和无参考质量评价(NR-IQA)。FR-IQA算法和RR-IQA算法主要通过对图像的视觉特征进行分析,量化参考图像和失真图像之间的差异,计算失真图像的视觉质量。相对于FR-IQA算法和RR-IQA算法,NR-IQA算法在计算失真图像的视觉质量时不需要任何参考图像的信息,在实际应用系统中具有更广泛的应用前景。
为了满足实际应用,NR-IQA算法已经从单一场景或者特定失真逐渐向通用型发展。在整个NR-IQA算法发展的过程中,因为不同场景的图像失真类型的复杂性和失真图像内容的多样性,势必会产生跨场景失真现象。跨场景失真现象主要表现为NR-IQA模型在不同的失真场景中表现出泛化能力的下降。文章“MetaIQA:Deep Meta-learning for No-Reference Image Quality Assessment”中提出学习不同失真图像中共享先验知识,再由未知失真类型的图像微调模型。此方法是一个通用型图像质量评价方法,由于真实失真场景的图像失真类型的复杂性和图像内容的多样性,未知失真图像会对共享的先验知识产生负优化,以致模型的性能大幅降低,引发灾难性遗忘的问题;在人类视觉系统自顶向下的模型中,人类在进行图像任务之前会尝试理解图像。而此模型共享的元知识是图像的失真类型的特征与图像质量的内在关系,缺少图像深层语义特征对图像质量的表达。因此在进行质量评价时,图像的深层语义信息也应该考虑。文章“Uncertainty-Aware Blind ImageQuality Assessment in the Laboratory and Wild”中提出了一种联合学习的方法,在六大图像质量评价数据集的组合上训练同一个模型,以人类主观意见模仿人类进行图像质量过程中的不确定性,更加符合人类视觉感知。但是这类算法仍然存在以下弊端: 1)数据集组合训练同一个模型,所需计算资源以及存储空间巨大,在实际应用中模型难以部署;2)在数据集缺失或是增添,需要耗费时间重新训练模型;这些不足会影响图像质量评价的速度,限制了实际应用。
目前,现有的软硬件的条件限制使得图像在收集、传输以及储存的过程中引入噪声,造成图像质量的退化,无法获取完整的信息,因此,针对以上现状,迫切需要开发基于图像语义信息的增量学习无参考图像质量评价方法,以克服当前实际应用中的不足。
发明内容
本发明的目的在于提供基于图像语义信息的增量学习无参考图像质量评价方法,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:
基于图像语义信息的增量学习无参考图像质量评价方法,包括以下步骤:
步骤1,划分增量任务集,将训练集随机选取部分图像作为一次增量学习数据,构建增量学习数据集;
步骤2,将步骤1划分的增量任务集输入到特征提取网络中,提取失真图像的多尺度失真特征和全局语义特征;
步骤3,将步骤2中提取到的全局语义特征输入到混合注意力模块中,输出为带有空间信息的显著语义特征;
步骤4,将步骤3中获取到的带有空间信息的显著语义特征与多尺度失真特征使用早融合的方式融合,得到带有显著性语义的融合特征;
步骤5,将步骤4中得到深度融合特征输入到回归网络中,得到本次增量学习图像的预测得分;
步骤6,使用知识蒸馏的方式将步骤5中回归网络学习到的知识迁移到学生网络;
步骤7,使用学生网络对下一次增量任务的部分图像数据做出质量分数预测,再将这部分数据与剩余的图像共同送入特征提取网络中进行增量训练。
与现有技术相比,本发明的有益效果是:
该方法遵循人类视觉系统中自上而下感知模型,将图像深层的显著性语义特征和多尺度失真特征相结合,以增量学习的方式训练模型,增强了模型对不同场景失真图像的鲁棒性;该方法选取模型不同感受野提取的特征,同时兼顾到图像复杂的失真类型;因此在跨场景失真图像质量评价的过程中,取得了与人眼感知一致的效果;与此同时,使用知识蒸馏保存着旧场景的先验知识,有效的克制了增量训练过程中遇到的灾难性遗忘问题,提高了模型对不同场景失真图像质量的表达能力。
附图说明
图1为本发明实施例中基于图像语义信息的增量学习无参考图像质量评价方法的流程图。
图2为本发明实施例中基于图像语义信息的增量学习无参考图像质量评价方法的增量训练流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
以下结合具体实施例对本发明的具体实现进行详细描述。
本申请提出基于图像语义信息的增量学习无参考图像质量评价方法具体流程,如图1 和图2所示,具体操作步骤如下:
步骤1:数据集的划分,随机选取数据集80%的数据作为训练集,余下20%的数据为验证集。将训练集按照失真类型划分不同的增量训练任务。每次进行增量训练时选取一个增量任务作为模型的输入。
步骤2:把输入的失真图像进行数据增强(包括并不止随机水平翻转、随机裁剪、归一化等),将预处理后的失真图像输入特征提取网络中,提取失真图像的多尺度特征;通常多尺度特征分为低维特征和高维特征,低维特征的感受野小,其表达的是图像结构、纹理等空间信息,高维特征感受野大,其代表的是图像的语义信息,因此选取图像的多尺度特征与更贴近人类视觉感知。其中多尺度失真特征为:
式中:Vi代表不同尺度的失真特征,其中i∈[1,4];
步骤3:将步骤2中提取到的高维语义特征输入到混合注意力模块中,高维语义特征先经过通道注意力模块,提取到显著语义特征,在经过空间注意力模块获取显著语义特征的空间信息。经过混合注意力模块处理后的特征,筛选出与图像质量评价任务弱相关的失真特征,有效的减小特征尺度。其中显著性语义特征为:
Vs=H(Vf,θ)
式中:Vs代表语义显著特征,H()表示混合注意力模块,Vf是全局语义特征,θ表示混合注意力模块在提取显著性语义特征时的权重参数。
步骤4:将步骤2中提取到的多尺度失真特征和步骤3的显著性语义特征经过卷积核为1 的卷积层进行特征对齐,再将对齐后的特征进行拼接,得到深度融合特征:
V=concat(Vi,Vs)
式中:Vi代表特征提取网络提取到的不同层次的失真特征,Vs表示显著性语义特征, concat()是特征拼接运算。
步骤5:将步骤4中融合后的特征输入知识蒸馏网络,其中知识蒸馏网络可以分为教师网络和学生网络;教师网络主要用来学习新知识,并对图像质量进行评价,其由四层全连接层组成,由L1损失函数进行约束;学生网络同样由四层全连接层组成,主要用来保存旧得先验知识,由蒸馏损失约束模型的训练。其中学生网络是通过对部分新增量数据打上为标签的方式,参与到教师网络的训练过程中的。
步骤5中损失函数具体公式分别为:
L1损失函数具体公式为:
其中V(xi)是图像的不同尺度的失真特征,S(xi)代表图像的深层语义特征,N为图像分块数,xi、qi分别为第i次训练图像块和图像的MOS值。
蒸馏损失函数Ld具体公式为:
其中,yi ’表示旧增量任务模型的输出,yi表示新增量任务模型的输出。
在本申请中,总的损失函数Loss具体公式:
Loss=L1+λLd
其中,L1为L1损失函数,Ld为蒸馏损失,λ为控制可塑性和稳定性之间的权衡。可塑性代表增量学习模型对新知识的学习能力,稳定性代表增量学习模型对旧知识的保持能力。
步骤6:使用步骤5中训练的学生网络为部分新增量任务数据打上伪标签,然后将带有伪标签的新增量任务数据和余下的新增量任务数据一同输入到模型中,由教师网络学习其特征与图像质量之间的映射关系,并为失真图像质量做出评价,最后重复增量训练任务。
本申请是基于图像语义信息的增量学习无参考图像质量评价方法研究,主要是为了应对图像跨场景失真的挑战,构建一个具有强鲁棒性、高准确度的且与人类感知相符的图像质量评价模型。现如今,无参考图像质量评价多集中对图像复杂失真类型的研究,缺乏对人类视觉感知的考虑;本申请提出了一种基于图像语义信息的增量学习无参考图像质量评价方法,从人类视觉感知相关的图像语义方面入手,结合图像多尺度失真特征共同作为图像质量的描述符,对失真图像质量做出预测,不仅可以应对图像复杂的失真类型而且适应复杂多变的应用场景。
需要说明的是,在本发明中,应当理解,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为清楚起见,本领域技术人员应当将说明书作为一个整体,各实施例中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。
Claims (9)
1.基于图像语义信息的增量学习无参考图像质量评价方法,其特征在于,包括以下步骤:
步骤1,划分增量任务集,将训练集随机选取部分图像作为一次增量学习数据,构建增量学习数据集;
步骤2,将步骤1划分的增量任务集输入到特征提取网络中,提取失真图像的多尺度失真特征和全局语义特征;
步骤3,将步骤2中提取到的全局语义特征输入到混合注意力模块中,输出为带有空间信息的显著语义特征;
步骤4,将步骤3中获取到的带有空间信息的显著语义特征与多尺度失真特征使用早融合的方式融合,得到带有显著性语义的融合特征;
步骤5,将步骤4中得到深度融合特征输入到回归网络中,得到本次增量学习图像的预测得分;
步骤6,使用知识蒸馏的方式将步骤5中回归网络学习到的知识迁移到学生网络;
步骤7,使用学生网络对下一次增量任务的部分图像数据做出质量分数预测,再将这部分数据与剩余的图像共同送入特征提取网络中进行增量训练。
3.根据权利要求1所述的基于图像语义信息的增量学习无参考图像质量评价方法,其特征在于,在步骤3中,首先,把全局语义特征输入通道注意力模块,筛选特征图中具有重要意义的特征,即著语义特征,然后,将显著语义特征输入到空间注意力模块中,定位显著语义特征的空间信息。
4.根据权利要求3所述的基于图像语义信息的增量学习无参考图像质量评价方法,其特征在于,在步骤3中,采用混合注意力模块,筛选出图像中显著性语义信息,减少图像质量回归网络的规模,其中语义显著特征矩阵:
Vs=H(Vf,θ)
式中:Vs代表语义显著特征;
H()表示混合注意力模块,Vf是全局语义特征,θ表示混合注意力模块在提取显著性语义特征时的权重参数。
5.根据权利要求1所述的基于图像语义信息的增量学习无参考图像质量评价方法,其特征在于,在步骤4中,将步骤2得到的失真图像的多尺度特征和步骤3得到显著性语义特征进行拼接,得到多尺度语义显著融合特征V:
V=concat(Vi,Vs)
式中:Vi代表特征提取网络提取到的不同层次的失真特征,Vs表示显著性语义特征,concat()是特征拼接运算。
6.根据权利要求1所述的基于图像语义信息的增量学习无参考图像质量评价方法,其特征在于,在步骤6中,采用知识蒸馏的方式保存旧的图像先验知识用于维持模型的稳定性。
7.根据权利要求6所述的基于图像语义信息的增量学习无参考图像质量评价方法,其特征在于,采用知识蒸馏方式的具体过程如下:
将回归网络分为教师网络和学生网络,教师网络存储的先验知识丰富,性能强大,学生网络存储的先验知识匮乏;
在给定的输入下通过最小化两个分布的交叉熵,使得学生网络的输出分布与教师网络的输出分布相近,交叉熵公式:
Lc=-pTlogq
式中:p代表教师网络的输出分布,q是学生网络的输出分布,T表示温度;
其中,输出分布q的公式为:
式中:对于每条数据学生网络产生的logits为Zi,对logits进行Softmax操作便可得到qi;
在训练阶段,先把温度参数T调大,此时输出分布变得平滑;测试阶段再把温度参数T调低,继而把原有的知识提取出来。
8.根据权利要求7所述的基于图像语义信息的增量学习无参考图像质量评价方法,其特征在于,教师网络用来学习新知识,并对图像质量进行评价,其由四层全连接层组成,由L1损失函数进行约束;
学生网络同样由四层全连接层组成,用来保存旧得先验知识,由蒸馏损失约束模型的训练;其中学生网络是通过对部分新增量数据打上为标签的方式,参与到教师网络的训练过程中的。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210640590.9A CN114972282A (zh) | 2022-06-08 | 2022-06-08 | 基于图像语义信息的增量学习无参考图像质量评价方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210640590.9A CN114972282A (zh) | 2022-06-08 | 2022-06-08 | 基于图像语义信息的增量学习无参考图像质量评价方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114972282A true CN114972282A (zh) | 2022-08-30 |
Family
ID=82959793
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210640590.9A Pending CN114972282A (zh) | 2022-06-08 | 2022-06-08 | 基于图像语义信息的增量学习无参考图像质量评价方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114972282A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117710370A (zh) * | 2024-02-05 | 2024-03-15 | 江西财经大学 | 多任务驱动的真实失真全景图像盲质量评价方法与系统 |
-
2022
- 2022-06-08 CN CN202210640590.9A patent/CN114972282A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117710370A (zh) * | 2024-02-05 | 2024-03-15 | 江西财经大学 | 多任务驱动的真实失真全景图像盲质量评价方法与系统 |
CN117710370B (zh) * | 2024-02-05 | 2024-05-10 | 江西财经大学 | 多任务驱动的真实失真全景图像盲质量评价方法与系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107945204B (zh) | 一种基于生成对抗网络的像素级人像抠图方法 | |
CN109816032B (zh) | 基于生成式对抗网络的无偏映射零样本分类方法和装置 | |
CN104866578B (zh) | 一种不完整物联网数据混合填充方法 | |
CN110880019B (zh) | 通过无监督域适应训练目标域分类模型的方法 | |
CN110728656A (zh) | 基于元学习的无参考图像质量数据处理方法、智能终端 | |
CN110889450B (zh) | 超参数调优、模型构建方法和装置 | |
CN112115967B (zh) | 一种基于数据保护的图像增量学习方法 | |
CN111753101A (zh) | 一种融合实体描述及类型的知识图谱表示学习方法 | |
CN114332578A (zh) | 图像异常检测模型训练方法、图像异常检测方法和装置 | |
CN112967088A (zh) | 基于知识蒸馏的营销活动预测模型结构和预测方法 | |
CN113177559B (zh) | 结合广度和密集卷积神经网络的图像识别方法、系统、设备及介质 | |
CN114330499A (zh) | 分类模型的训练方法、装置、设备、存储介质及程序产品 | |
CN112528058A (zh) | 基于图像属性主动学习的细粒度图像分类方法 | |
CN115240259A (zh) | 一种基于yolo深度网络的课堂环境下人脸检测方法及其检测系统 | |
CN116227624A (zh) | 面向异构模型的联邦知识蒸馏方法和系统 | |
CN115249313A (zh) | 一种基于元模块融合增量学习的图像分类方法 | |
CN114972282A (zh) | 基于图像语义信息的增量学习无参考图像质量评价方法 | |
CN116701706B (zh) | 一种基于人工智能的数据处理方法、装置、设备及介质 | |
CN117391497A (zh) | 一种新闻稿件质量主客观评分一致性评价方法及系统 | |
CN116306969A (zh) | 基于自监督学习的联邦学习方法和系统 | |
CN115577793A (zh) | 一种面向网络结构的映射式蒸馏方法及其训练方法 | |
CN114936890A (zh) | 一种基于逆倾向加权方法的反事实公平的推荐方法 | |
KR102340387B1 (ko) | 뇌 연결성 학습 방법 및 이를 위한 시스템 | |
CN114332491A (zh) | 一种基于特征重构的显著性目标检测算法 | |
CN113449631A (zh) | 图像分类方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |