CN114758230A - 基于注意力机制的地下目标体分类识别方法 - Google Patents

基于注意力机制的地下目标体分类识别方法 Download PDF

Info

Publication number
CN114758230A
CN114758230A CN202210355701.1A CN202210355701A CN114758230A CN 114758230 A CN114758230 A CN 114758230A CN 202210355701 A CN202210355701 A CN 202210355701A CN 114758230 A CN114758230 A CN 114758230A
Authority
CN
China
Prior art keywords
data set
neural network
convolutional neural
attention mechanism
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210355701.1A
Other languages
English (en)
Inventor
刘庆华
李世行
廖可非
谢宁波
王海涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Electronic Technology
Original Assignee
Guilin University of Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Electronic Technology filed Critical Guilin University of Electronic Technology
Priority to CN202210355701.1A priority Critical patent/CN114758230A/zh
Publication of CN114758230A publication Critical patent/CN114758230A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及人工智能技术领域，尤其涉及一种基于注意力机制的地下目标体分类识别方法，首先采集探地雷达B‑scan图像数据，预处理后获得探地雷达B‑scan图像数据集，再搭建基于CBAM注意力机制和残差结构的卷积神经网络模型，使用探地雷达B‑scan图像数据集对卷积神经网络模型进行迭代训练，训练好的卷积神经网络模型更关注目标体重要的特征而抑制不重要的特征，有效提高模型对目标体的识别精度，使用训练后的卷积神经网络模型进行图像分类识别避免了传统机器学习方法中人工设计特征的步骤，同时增强了深度学习方法中卷积神经网络的特征提取能力。

Description

基于注意力机制的地下目标体分类识别方法
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于注意力机制的地下目标体分类识别方法。
背景技术
探地雷达(Ground penetrating radar，GPR)作为一种重要的无损探测设备，凭借其精准度、灵活性以及操作简单等特点，已经被广泛应用于各个工程领域。使用探地雷达对地下目标体进行探测，可以得到包含目标体特征的B-scan图像。处理地下目标体的分类识别问题，主要是依靠对B-scan数据中的目标体进行特征提取。传统方法从B-scan图像中评估地下目标体的类别信息需要凭借资深专家的丰富经验，既费时又费力。
发明内容
本发明的目的在于提供一种基于注意力机制的地下目标体分类识别方法，避免了传统机器学习中人工设计特征的步骤，同时增强了深度学习方法中卷积神经网络的特征提取能力。
为实现上述目的，本发明提供了一种基于注意力机制的地下目标体分类识别方法，包括下列步骤：
采集探地雷达B-scan图像数据；
进行数据预处理和类别标注，获得探地雷达B-scan图像数据集；
搭建基于CBAM注意力机制和残差结构的卷积神经网络模型；
对所述卷积神经网络模型进行训练并验证；
使用训练后的卷积神经网络模型进行图像分类识别。
其中，所述探地雷达B-scan图像数据是实测得到的探地雷达B-scan图像数据或采用电磁仿真软件GprMax进行正演模拟获得的仿真数据。
其中，数据预处理的方式包括对数据文件使用减均值法将逐行数据减去本行均值去除直达波，以及统一图像尺寸和数据增强。
其中，类别标注的过程具体为按照地下目标体的类别对图像数据进行分类以及打上标签，并且把标签保存在json文件中。
其中，所述探地雷达B-scan图像数据集包括训练数据集和测试数据集，所述训练数据集占比80％，所述测试数据集占比20％。
其中，在搭建基于CBAM注意力机制和残差结构的卷积神经网络模型的过程中，搭建卷积神经网络的基本单元为两种类型的引入CBAM注意力机制的残差卷积块，其中CBAM包括通道注意力模块和空间注意力模块。
其中，在对所述卷积神经网络模型进行训练并验证的过程中，使用训练数据集对基于注意力机制的卷积神经网络模型进行训练，视数据集的规模选择是否进行数据增强，同时使用测试数据集在模型训练过程中对模型进行验证，经过多次迭代训练后得到最优模型。
本发明提供了一种基于注意力机制的地下目标体分类识别方法，首先采集探地雷达B-scan图像数据，预处理后获得探地雷达B-scan图像数据集，再搭建基于CBAM注意力机制和残差结构的卷积神经网络模型，使用探地雷达B-scan图像数据集对卷积神经网络模型进行迭代训练，训练好的卷积神经网络模型更关注目标体重要的特征而抑制不重要的特征，有效提高模型对目标体的识别精度，使用训练后的卷积神经网络模型进行图像分类识别避免了传统机器学习方法中人工设计特征的步骤，同时增强了深度学习方法中卷积神经网络的特征提取能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的一种基于注意力机制的地下目标体分类识别方法的流程示意图。
图2是本发明的卷积神经网络模型的通道注意力模块结构图。
图3是本发明的卷积神经网络模型的空间注意力模块结构图。
图4是本发明的带有注意力模块的残差卷积块的结构图。
图5是本发明将基于CBAM注意力机制的卷积神经网络模型提取到的特征可视化结果。
图6是本发明将无CBAM注意力机制的卷积神经网络模型提取到的特征可视化结果。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
请参阅图1，本发明提出了一种基于注意力机制的地下目标体分类识别方法，包括下列步骤：
S1：采集探地雷达B-scan图像数据；
S2：进行数据预处理和类别标注，获得探地雷达B-scan图像数据集；
S3：搭建基于CBAM注意力机制和残差结构的卷积神经网络模型；
S4：对所述卷积神经网络模型进行训练并验证；
S5：使用训练后的卷积神经网络模型进行图像分类识别。
所述探地雷达B-scan图像数据是实测得到的探地雷达B-scan图像数据或采用电磁仿真软件GprMax进行正演模拟获得的仿真数据。
数据预处理的方式包括对数据文件使用减均值法将逐行数据减去本行均值去除直达波，以及统一图像尺寸和数据增强。
类别标注的过程具体为按照地下目标体的类别对图像数据进行分类以及打上标签，并且把标签保存在json文件中。
所述探地雷达B-scan图像数据集包括训练数据集和测试数据集，所述训练数据集占比80％，所述测试数据集占比20％。
在搭建基于CBAM注意力机制和残差结构的卷积神经网络模型的过程中，搭建卷积神经网络的基本单元为两种类型的引入CBAM注意力机制的残差卷积块，其中CBAM包括通道注意力模块和空间注意力模块。
在对所述卷积神经网络模型进行训练并验证的过程中，使用训练数据集对基于注意力机制的卷积神经网络模型进行训练，视数据集的规模选择是否进行数据增强，同时使用测试数据集在模型训练过程中对模型进行验证，经过多次迭代训练后得到最优模型。
以下结合具体实施步骤进行详细说明：
S1：采集探地雷达B-scan图像数据；
具体为仿真得到探地雷达B-scan图像数据，方法为：使用电磁仿真软件GprMax正演模拟仿真生成数据，需要编写K个.in文件作为正演模拟模型的输入文件，其中包括探地雷达、环境以及目标的模型参数，然后仿真后得到.out数据文件。
S2：进行数据预处理和类别标注，获得探地雷达B-scan图像数据集；
使用MATLAB读取数据文件，用减均值的方法去除回波数据中的直达波，转换为灰度数据图像。
(2.1)MATLAB读取到的数据是二维数据，每一列为探地雷达在特定测量点的A-scan图。由于直达波具有振幅较大，能量较高，波形稳定等特点，使用减均值法将逐行数据减去本行均值能够很大程度上去除直达波。
(2.2)将使用减均值法处理后的数据文件转换为B-scan图像，并且统一B-scan图像的大小。
(2.3)将预处理好的图像数据按照地下目标体的类别进行分类，并为每个类别按照枚举法做数字标签，将数字标签与类别一一对应，保存在json文件中。
S3：搭建基于CBAM注意力机制和残差结构的卷积神经网络模型；
模型包括特征提取以及目标分类识别两个部分。
(3.1)首先搭建特征提取网络中的CBAM注意力机制。CBAM注意力机制聚合了通道注意力模块和空间注意力模块，是通道注意力模块和空间注意力模块的串接。通道注意力模块主要关注哪些通道对网络的最后输出结果起到作用。如图2，通道注意力模块会分别对通道数为channel的输入特征图F进行最大池化得Fmax，进行均值池化得Favg，再将Fmax和Favg分别输入同一个多层神经网络(MLP)中得到同样通道数为channel的输出，将两个输出进行相加后经由sigmoid激活函数输出。该输出作为权重与输入特征图F对应相乘，进行通道注意力加权。得到通道注意力权重Mc(F)的计算过程可以表示为：
Mc(F)＝σ(MLP(MaxPooling(F))+MLP(AvgPooling(F)))
＝σ(W1(W0(Fmax))+W1(W0(Favg)))
其中,σ为sigmoid函数；W0，W1均为MLP的权重参数，其中W0使用ReLu激活函数。
空间注意力模块主要关注网络中哪些位置对网络的最后输出结果起到作用。如图3，空间注意力模块分别对输入特征图F进行最大池化得Fmax，进行均值池化得Favg。然后对Fmax和Favg进行串接的结果进行二维卷积，最终通过sigmoid激活函数输出。输出结果为空间注意力权重，与输入特征图F对应相乘，进行空间注意力加权。得到空间注意力权重Ms(F)的计算过程可以表示为：
Ms(F)＝σ(f([AvgPooling(F)；MaxPooling(F)]))
＝σ(f([Favg；Fmax]))
其中,σ为sigmoid函数；f为二维卷积操作。
(3.2)构建卷积神经网络的特征提取网络。搭建残差结构的卷积神经网络最基本的单元就是两种类型的残差卷积块，如图4。在本实施例中设定每三个残差卷积块的卷积核数目相同，下三个残差卷积块卷积核数目是上三个的两倍，初始前三个残差卷积块的卷积核数目为16。第一种残差卷积块中卷积核的尺寸为3×3，步长为1，激活函数为ReLu。输入特征图X与卷积操作提取到的特征F1(X)大小相同，可以直接将X与F1(X)相加，得到输出F(X)；第二种残差卷积块中卷积核的尺寸为3×3，步长为2，激活函数为ReLu。输入特征图X与卷积操作提取到的特征F1(X)大小不同，要将输入特征图X进行卷积核大小为1×1且步长为2的卷积操作后得到与F1(X)相同大小的F2(X)进行相加，得到输出F(X)。
(3.3)特征提取网络由引入注意力机制的卷积块堆叠构建。在本实施例中，特征提取网络是由一个卷积层、三个第一种残差卷积块、一个第二种残差卷积块、两个第一种残差卷积块、一个第二种残差卷积块以及两个第一种残差卷积块依次堆叠搭建而成。
(3.4)目标分类识别部分主要是将提取到的特征图输入全局平均池化层以及全连接网络之后，经由softmax输出分类识别概率。
S4：对所述卷积神经网络模型进行训练并验证；
使用训练集训练基于CBAM注意力机制和残差结构的卷积神经网络。在训练开始时对网络中的权重进行初始化。训练过程使用交叉熵损失函数，Adam优化器，学习率为1e-3。根据数据集的规模以及服务器硬件条件选择epoch和batch size数值。
S5：使用训练后的卷积神经网络模型进行图像分类识别。
具体步骤为：首先将待分类的B-scan图像进行与数据集相同的预处理。然后根据json标签文件的索引，由图像经过卷积神经网络后输出的数值得到网络预测的结果。
进一步的，本发明提供了一种具体实施例进行仿真实验说明：
采用电磁仿真软件GprMax探地雷达正演模拟仿真生成数据，数据集的生成主要需要以下步骤：首先批量编写2000个.in文件作为正演模拟模型的输入文件程序，其中设置1000个方形地下目标体，1000个球形地下目标体；然后通过仿真计算后得到数据文件；最后使用MATLAB读取文件数据，用减均值的方法去除回波数据中的直达波，转换为灰度数据图像，调整图像尺寸为180×240。由此构成了由2000张B-scan组成的数据集。
本实验搭建基于CBAM注意力机制和残差结构的卷积神经网络模型。特征提取网络是由一个卷积层、三个第一种残差卷积块、一个第二种残差卷积块、两个第一种残差卷积块、一个第二种残差卷积块以及两个第一种残差卷积块依次堆叠搭建而成。分类识别部分是由全局平均池化层以及全连接层组成。
将探地雷达B-scan图像数据集的80％作为训练集，20％作为验证集。模型训练迭代次数epoch为100，batch size为16，初始学习率设置为1e-3，采用Adam优化器和交叉熵损失函数。
结果表明，使用基于注意力机制的卷积神经网络模型在提高模型识别准确率的同时还能够使模型更加关注目标体重要的特征。将基于CBAM注意力机制的卷积神经网络模型和无CBAM注意力机制的卷积神经网络模型提取到的特征进行可视化如图5和图6，在相同的训练条件下，基于注意力机制的卷积神经网络模型提取到的探地雷达B-scan图像的特征更为清晰具体。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (7)

1.一种基于注意力机制的地下目标体分类识别方法，其特征在于，包括下列步骤：
采集探地雷达B-scan图像数据；
进行数据预处理和类别标注，获得探地雷达B-scan图像数据集；
搭建基于CBAM注意力机制和残差结构的卷积神经网络模型；
对所述卷积神经网络模型进行训练并验证；
使用训练后的卷积神经网络模型进行图像分类识别。
2.如权利要求1所述的基于注意力机制的地下目标体分类识别方法，其特征在于，
所述探地雷达B-scan图像数据是实测得到的探地雷达B-scan图像数据或采用电磁仿真软件GprMax进行正演模拟获得的仿真数据。
3.如权利要求1所述的基于注意力机制的地下目标体分类识别方法，其特征在于，
数据预处理的方式包括对数据文件使用减均值法将逐行数据减去本行均值去除直达波，以及统一图像尺寸和数据增强。
4.如权利要求1所述的基于注意力机制的地下目标体分类识别方法，其特征在于，
类别标注的过程具体为按照地下目标体的类别对图像数据进行分类以及打上标签，并且把标签保存在json文件中。
5.如权利要求1所述的基于注意力机制的地下目标体分类识别方法，其特征在于，
所述探地雷达B-scan图像数据集包括训练数据集和测试数据集，所述训练数据集占比80％，所述测试数据集占比20％。
6.如权利要求1所述的基于注意力机制的地下目标体分类识别方法，其特征在于，
在搭建基于CBAM注意力机制和残差结构的卷积神经网络模型的过程中，搭建卷积神经网络的基本单元为两种类型的引入CBAM注意力机制的残差卷积块，其中CBAM包括通道注意力模块和空间注意力模块。
7.如权利要求1所述的基于注意力机制的地下目标体分类识别方法，其特征在于，
在对所述卷积神经网络模型进行训练并验证的过程中，使用训练数据集对基于注意力机制的卷积神经网络模型进行训练，视数据集的规模选择是否进行数据增强，同时使用测试数据集在模型训练过程中对模型进行验证，经过多次迭代训练后得到最优模型。
CN202210355701.1A 2022-04-06 2022-04-06 基于注意力机制的地下目标体分类识别方法 Pending CN114758230A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210355701.1A CN114758230A (zh) 2022-04-06 2022-04-06 基于注意力机制的地下目标体分类识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210355701.1A CN114758230A (zh) 2022-04-06 2022-04-06 基于注意力机制的地下目标体分类识别方法

Publications (1)

Publication Number Publication Date
CN114758230A true CN114758230A (zh) 2022-07-15

Family

ID=82329889

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210355701.1A Pending CN114758230A (zh) 2022-04-06 2022-04-06 基于注意力机制的地下目标体分类识别方法

Country Status (1)

Country Link
CN (1) CN114758230A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114966560A (zh) * 2022-07-29 2022-08-30 中南大学 一种探地雷达后向投影成像方法及系统
CN115937792A (zh) * 2023-01-10 2023-04-07 浙江非线数联科技股份有限公司 基于区块链的智慧社区运营管理系统
CN116106856A (zh) * 2023-04-13 2023-05-12 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 雷暴大风的识别模型建立方法、识别方法及计算设备
CN116168275A (zh) * 2023-04-20 2023-05-26 新立讯科技股份有限公司 基于特征分组和通道置换的轻量型双注意力机制识别方法
CN116256701A (zh) * 2023-05-16 2023-06-13 中南大学 一种基于深度学习的探地雷达互扰波抑制方法及系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114966560A (zh) * 2022-07-29 2022-08-30 中南大学 一种探地雷达后向投影成像方法及系统
CN114966560B (zh) * 2022-07-29 2022-10-28 中南大学 一种探地雷达后向投影成像方法及系统
CN115937792A (zh) * 2023-01-10 2023-04-07 浙江非线数联科技股份有限公司 基于区块链的智慧社区运营管理系统
CN115937792B (zh) * 2023-01-10 2023-09-12 浙江非线数联科技股份有限公司 基于区块链的智慧社区运营管理系统
CN116106856A (zh) * 2023-04-13 2023-05-12 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 雷暴大风的识别模型建立方法、识别方法及计算设备
CN116106856B (zh) * 2023-04-13 2023-08-18 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 雷暴大风的识别模型建立方法、识别方法及计算设备
CN116168275A (zh) * 2023-04-20 2023-05-26 新立讯科技股份有限公司 基于特征分组和通道置换的轻量型双注意力机制识别方法
CN116168275B (zh) * 2023-04-20 2023-07-14 新立讯科技股份有限公司 基于特征分组和通道置换的轻量型双注意力机制识别方法
CN116256701A (zh) * 2023-05-16 2023-06-13 中南大学 一种基于深度学习的探地雷达互扰波抑制方法及系统

Similar Documents

Publication Publication Date Title
CN114758230A (zh) 基于注意力机制的地下目标体分类识别方法
CN109086700B (zh) 基于深度卷积神经网络的雷达一维距离像目标识别方法
CN107220606B (zh) 基于一维卷积神经网络的雷达辐射源信号的识别方法
CN109086824B (zh) 一种基于卷积神经网络的海底底质声呐图像分类方法
CN109597043B (zh) 基于量子粒子群卷积神经网络的雷达信号识别方法
CN110074813B (zh) 一种超声图像重建方法及系统
CN108959794B (zh) 一种基于深度学习的结构频响动力学模型修正方法
CN111126134B (zh) 基于非指纹信号消除器的雷达辐射源深度学习识别方法
CN109932708A (zh) 一种基于干涉条纹和深度学习的水面水下分类目标的方法
CN112862774B (zh) 一种遥感影像建筑物精确分割方法
CN111639746A (zh) 一种基于cnn神经网络的gnss-r海面风速反演方法及系统
CN111983619B (zh) 一种基于迁移学习的水声目标前向散射声扰动定位方法
CN113361367B (zh) 基于深度学习的地下目标电磁反演方法及系统
CN112684427A (zh) 基于串行二次强化训练的雷达目标识别方法
CN113378988A (zh) 基于粒子群算法的深度学习系统鲁棒性增强方法及装置
CN114595732A (zh) 基于深度聚类的雷达辐射源分选方法
CN114662414A (zh) 一种基于图小波神经网络模型的油藏生产预测方法
CN112766381B (zh) 有限样本下属性引导的sar图像生成方法
Moon et al. Impact parameter prediction of a simulated metallic loose part using convolutional neural network
CN112183260A (zh) 一种基于总变差降噪与rqa的单向阀故障诊断方法
CN116087880A (zh) 一种基于深度学习的雷达辐射源信号分选系统
CN115329821A (zh) 一种基于配对编码网络和对比学习的舰船噪声识别方法
CN114841892A (zh) 一种基于全连接网络的稀疏导波数据恢复方法
CN111931412A (zh) 一种基于生成式对抗网络的水中目标噪声lofar谱图仿真方法
CN112926619B (zh) 一种高精度水下激光目标识别系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination