CN114596477A - 基于领域自适应和注意力机制的雾天火车故障检测方法 - Google Patents

基于领域自适应和注意力机制的雾天火车故障检测方法 Download PDF

Info

Publication number
CN114596477A
CN114596477A CN202210258835.1A CN202210258835A CN114596477A CN 114596477 A CN114596477 A CN 114596477A CN 202210258835 A CN202210258835 A CN 202210258835A CN 114596477 A CN114596477 A CN 114596477A
Authority
CN
China
Prior art keywords
domain
self
layer
train fault
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210258835.1A
Other languages
English (en)
Inventor
俞菲
俞科栋
王潇祎
谢国烜
许诺
杨绿溪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202210258835.1A priority Critical patent/CN114596477A/zh
Publication of CN114596477A publication Critical patent/CN114596477A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于领域自适应和注意力机制的雾天火车故障检测方法,包括如下步骤:准备正常场景下的火车故障数据集作为源域数据集和雾天场景下的火车故障数据集作为目标域数据集;对目标检测模型中的特征提取网络,加入通道注意力模块;在特征提取网络后加入图像级域自适应模块和实例级域自适应模块来实现源域和目标域的特征对齐;最后输入带标签的源域数据集和不带标签的目标域数据集完成域自适应的火车故障检测。该基于领域自适应和注意力机制的雾天火车故障检测方法是解决目标检测模型在有雾天气下对火车故障检测结果较差的问题。

Description

基于领域自适应和注意力机制的雾天火车故障检测方法
技术领域
本发明涉及计算机视觉技术领域,具体涉及一种基于领域自适应和注意力机制的雾天火车故障检测方法。
背景技术
目标检测是计算机视觉最具挑战性的任务之一。目标检测任务包含两个子任务,一是在图像或者视频中定位到目标物体的位置,二是将目标物体进行识别和标记。进入深度学习时代以来,基于CNN的深度网络模型依靠其强大的特征提取能力和泛化能力,让目标检测算法的效果相比原先的传统方法获得极大提升。
目前主流的目标检测模型,如Faster-RCNN和YOLO模型都是有监督学习模型,依赖大量有便签样本。然而在实际的火车故障图片检测过程中,由于相机拍摄、天气等原因,导致火车故障图片出现模糊、过于暗黑的情况,也会存在图片中含有雾气、冰雪等现象。这些客观原因会导致出现训练集和测试集之间出现域偏移问题,使得原有的目标检测模型无法有效识别出测试集这些图片中的故障。解决此类问题最直接的方法就是重新对测试集中出现域偏移的图片进行收集和标注。然而目前图片标注的方式仍然以人工标注为主,且收集和标注图片过程耗时费力。针对数据集重复标注耗费成本巨大的问题,可以使用迁移学习中的领域自适应方法来减少模型性能的下降。
目前领域自适应方法在目标检测领域的应用主要分为三类:基于对抗的领域自适应目标检测算法、基于重构的领域自适应目标检测算法和基于混合的领域自适应算法。基于对抗的领域自适应目标检测是在网络中加入领域判别器,通过让领域判别器混淆源域和目标域的域不变特征。达到减少域偏移的目的;基于重建的领域自适应目标检测是通过重建源域或者目标域数据,利用例如CycleGAN生成数据,可以获得中间域数据,利用这些中间域数据进行训练能够提升训练结果;基于混合的方法则采用了上述两种方法的结合。而计算机视觉中的注意力机制的基本思想就是使模型可以忽略无关信息而关注重点信息。
发明内容
为解决雾天场景下火车故障检测准确率低的问题,本发明提供一种基于领域自适应和注意力机制的雾天火车故障检测方法。该方法针对火车故障训练集和测试集数据分布不同的问题,利用领域自适应的方法的来改善原有目标检测模型的跨域鲁棒性,并利用通道自注意力机制,帮助特征提取网络,提取到更有用的特征信息。
本发明提供一种基于领域自适应和注意力机制的雾天火车故障检测方法。具体步骤如下:
准备正常场景下的火车故障数据集作为源域数据集和雾天场景下的火车故障数据集作为目标域数据集;
对目标检测模型中的特征提取网络,加入通道注意力模块。
使用源域数据集预训练目标检测模型。
在特征提取网络后加入图像级域自适应模块和实例级域自适应模块来实现源域和目标域的特征对齐。
输入带标签的源域数据集和不带标签的目标域数据集完成域自适应的火车故障检测。
目标检测模型的特征提取网络中添加通道注意力机制,包括以下步骤:
使用特征提取网络ResNet50的前四个layer。前三个layer每个layer后添加通道注意力模块。
每个注意力模块由一个平均池化层、一维卷积层、和一个Sigmoid激活函数层组成。
ResNet-50共有五个layer,不使用第五个layer。前三个layer中,每个layer后添加通道注意力模块。每个注意力模块由一个平均池化层、一个最大池化层、两个全连接层、两个激活函数层组成。从layer输出的特征图为H×W×C,在通道注意力模块中,特征图被全局平均池化层压缩为一个1×1×C的向量;将该向量作维度压缩和调换,转化为维度为C×1的二维向量;将该二维向量进行一维卷积,输入输出通道数均为1,卷积核的大小由下列公式计算得到:
Figure BDA0003549450090000021
得到向量维度仍为C×1;经过Sigmoid激活函数层后还原为1×1×C向量输出,与原来的H×W×C特征图相乘,得到通道注意力加强后的特征图,维度仍为H×W×C。
目标检测模型中添加图像级、实例级域自适应模块来实现正常场景和雾天场景下火车故障图片的特征对齐。并加入一致性正则项,有助于学习边界框预测器在不同域上的鲁棒性。包括一下步骤:构建基于通道自注意力的Faster-RCNN模型,该模型是一个双阶段目标检测模型,由三部分组成:结合通道注意力机制的特征提取网络ResNet50,区域建议网络RPN和ROIPooling层。
将图像输入ResNet50网络提取特征,得到feature map。
RPN利用得到的feature map生成300个建议窗口。把建议窗口映射到CNN的最后一层卷积feature map上。
通过RoI pooling层使每个建议窗口生成固定尺寸7×7大小的feature map,通过全连接层后再进行边界框回归和分类。模型的损失函数包括RPN的边界框回归损失和ROI的分类损失。边界框回归损失使用smoothL1损失,分类损失则采用分类的交叉熵损失:
Ldet=Lrpn+Lroi
在基于通道自注意力的Faster-RCNN模型的特征提取网络后加入图像级域自适应模块来消除图像级别的域分布不匹配。采用二分类域分类器负责预测该图像来自于源域还是目标域。在每次特征映射后将feature map传入该域自适应模块中,经过GRL梯度反转层和卷积层后输入到域分类器中。域分类器损失使用交叉熵损失函数,图像级自适应损失函数可以写成如下形式:
Figure BDA0003549450090000031
其中Di=0表示源域,Di=1表示目标域;pi表述分类器的输出
在基于通道自注意力的Faster-RCNN模型的最终分类器之前,通过全连接层后的特征向量后加入实例级别域自适应模块来消除实例级别的域分布不匹配。采用二分类域分类器负责预测该实例来自于源域还是目标域。将输入最终分类器前的特征向量输入实例级别域自适应模块,在该模块中,先后经过GRL梯度反转层和全连接层后输入到域分类器,域分类器损失使用交叉熵损失函数,实例级自适应损失函数可以写成如下形式:
Figure BDA0003549450090000032
一致性有助于学习鲁棒的跨域边界框预测器,因此加入一致性正则化。由于图片域分类器是对特征值进行分类,取图像中所有激活的平均值作为图像级概率,一致性正则化的损失函数可以写为:
Figure BDA0003549450090000041
其中|I|为特征图的点数,||.||为l2距离。
在网络训练阶段,GRL梯度反转层在网络正向传播过程中传递的是正值,而在反向传播过程中,传播的是负值。该层的作用是将域自适应模块的损失最大化。整个模型的损失函数可以写为:
L=Ldet+λ(Limg+Lins+Lcst)
本发明提出的一种基于领域自适应和注意力机制的雾天火车故障检测方法。通过在特征提取网络加入通道自注意力,在目标检测模型中加入图像级、实例级域自适应模块以及一致性正则化,加强跨域检测的鲁棒性,提高了雾天场景下火车故障识别率和准确率。
附图说明
图1为本发明提出的一种基于领域自适应和注意力机制的雾天火车故障检测方法流程图。
图2为基于领域自适应和注意力机制的网络模型图。
图3为加入ECA Attention后的ResNet-50特征提取网络。
图4为使用Faster-RCNN的检测结果图。
图5为使用添加域自适应模块和注意力机制的模型检测结果图。
注:pull_rod_out表示上拉杆窜出,发生故障;pull_rod_normal表示上拉杆未窜出,未发生故障。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述:
本发明提供一种基于领域自适应和注意力机制的雾天火车故障检测方法,利用领域自适应技术来解决目标检测中训练集和测试数据分布不相同的问题,利用通道注意力机制来提高对有用特征的关注度。
图1为本发明提出的一种基于领域自适应和注意力机制的雾天火车故障检测方法流程图。如图1所示,该方法包括:
S1,准备正常场景下的火车故障数据集作为源域数据集和雾天场景下的火车故障数据集作为目标域数据集;
S2,对目标检测模型中的特征提取网络,加入通道注意力模块。
S3,使用源域数据集预训练目标检测模型。
S4,在特征提取网络后加入图像级域自适应模块和实例级域自适应模块来实现源域和目标域的特征对齐。
S5,输入带标签的源域数据集和不带标签的目标域数据集完成域自适应的火车故障检测。
步骤S1,具体如下:
准备正常场景下的火车故障数据和正常数据,这些数据包含良好环境下的图像数据及其对应的标签。即在图像上,每一个需检测部位都有对应的标签和边界框。
准备雾天条件下的火车故障数据和正常数据。这类数据只包含图像数据,不需要加入目标信息相关的标注。
步骤S2,具体如下:
使用Pytorch框架构建Faster-RCNN模型,该模型是一个双阶段目标检测模型,由三部分组成:结合通道注意力机制的特征提取网络ResNet-50,区域建议网络RPN和ROIPooling层。特征提取网络使用ResNet-50,舍去ResNet-50中最后一个layer,保留前四个。将图像输入ResNet-50网络提取特征,得到feature map。RPN利用得到的feature map生成300个建议窗口。把建议窗口映射到CNN的最后一层卷积feature map上。通过RoIpooling层使每个建议窗口生成固定尺寸7×7大小的feature map,通过全连接层后再进行边界框回归和分类。模型的损失函数包括RPN的边界框回归损失和ROI的分类损失。边界框回归损失使用smoothL1损失,分类损失则采用分类的交叉熵损失。
ResNet-50共有五个layer,不使用第五个layer。前三个layer中,每个layer后添加通道注意力模块。每个注意力模块由一个平均池化层、一维卷积层、和一个Sigmoid激活函数层组成。从layer输出的特征图为H×W×C。在通道注意力模块中,特征图被全局平均池化层压缩为一个1×1×C的向量;将该向量做维度压缩和调换,转化为维度为C×1的二维向量;将该二维向量进行一维卷积,输入输出通道数均为1,卷积核的大小公式计算得到,得到向量维度仍为C×1;经过Sigmoid激活函数层后还原为1×1×C向量输出,与原来的H×W×C特征图相乘,得到通道注意力加强后的特征图,维度仍为H×W×C。
经过特征提取网络之后,特征图维度为H×W×1024。
步骤S3,具体如下:
使用源域数据预训练目标检测模型,将训练好后的模型冻结特征提取网络的前三个layer,不冻结最后一个layer以及之后的网络结构。
步骤S4,具体如下:
在基于通道自注意力的Faster-RCNN模型的特征提取网络后加入图像级域自适应模块来消除图像级别的域分布不匹配。采用二分类域分类器负责预测该图像来自于源域还是目标域。在每次特征映射后将feature map传入该域自适应模块中,经过GRL梯度反转层和卷积层后输入到域分类器中。域分类器损失使用交叉熵损失函数。
在基于通道自注意力的Faster-RCNN模型的最终分类器之前,通过全连接层后的特征向量后加入实例级别域自适应模块来消除实例级别的域分布不匹配。采用二分类域分类器负责预测该实例来自于源域还是目标域。将输入最终分类器前的特征向量输入实例级别域自适应模块,在该模块中,先后经过GRL梯度反转层和全连接层后输入到域分类器,域分类器损失使用交叉熵损失函数.
一致性有助于学习鲁棒的跨域边界框预测器,因此加入一致性正则化。由于图片域分类器是对特征值进行分类,取图像中所有激活的平均值作为图像级概率。
在网络训练阶段,GRL梯度反转层在网络正向传播过程中传递的是正值,而在反向传播过程中,传播的是负值。该层的作用是将域自适应模块的损失最大化。
步骤S5,具体如下:
训练模型已搭建完毕,利用服务器中的NVIDIA V100显卡对源域的1884张图片和目标域1884张图片进行70000次迭代训练。检测是去除域适应模块进行检测。

Claims (8)

1.一种基于领域自适应和注意力机制的雾天火车故障检测方法,其特征在于,所述方法包括如下步骤:
步骤1:准备正常场景下的火车故障数据集作为源域数据集和雾天场景下的火车故障数据集作为目标域数据集;
步骤2:构建基于通道自注意力的目标检测模型,所述目标检测模型包括结合通道注意力机制的特征提取网络,区域建议网络RPN和ROI pooling层;对所述特征提取网络,加入通道注意力模块;
步骤3:使用源域数据集预训练目标检测模型;
步骤4:在目标检测模型中加入图像级域自适应模块和实例级域自适应模块来实现源域和目标域的特征对齐;
步骤5:最后输入带标签的源域数据集和不带标签的目标域数据集完成域自适应的火车故障检测。
2.根据权利要求1所述的一种基于领域自适应和注意力机制的雾天火车故障检测方法,其特征在于,所述目标检测模型为Faster-RCNN,特征提取网络为ResNet-50,通道自注意力模块采用ECA-NET。
3.根据权利要求2所述的一种基于领域自适应和注意力机制的雾天火车故障检测方法,其特征在于,步骤2中所述特征提取网络中添加通道注意力机制包括以下步骤:
ResNet-50共有五个layer,不使用第五个layer,前三个layer中,每个layer后添加通道注意力模块;每个通道注意力模块由一个平均池化层、一个最大池化层、两个全连接层、两个激活函数层组成;从layer输出的特征图为H×W×C,在通道注意力模块中,特征图被全局平均池化层压缩为一个1×1×C的向量;将该向量作维度压缩和调换,转化为维度为C×1的二维向量;将该二维向量进行一维卷积,输入输出通道数均为1,卷积核的大小由下列公式计算得到:
Figure FDA0003549450080000011
得到向量维度仍为C×1;经过激活函数层后还原为1×1×C向量输出,与原来的H×W×C特征图相乘,得到通道注意力加强后的特征图,维度仍为H×W×C。
4.根据权利要求2所述的一种基于领域自适应和注意力机制的雾天火车故障检测方法,其特征在于,步骤4包括以下步骤:
S4.1将图像输入ResNet50网络提取特征,得到feature map;RPN利用得到的featuremap生成若干个建议窗口;把建议窗口映射到Faster-RCNN的最后一层卷积feature map上;通过RoI pooling层使每个建议窗口生成固定尺寸的feature map,通过全连接层后再进行边界框回归和分类;模型的损失函数包括RPN的边界框回归损失和ROI的分类损失;
S4.2在基于通道自注意力的Faster-RCNN模型的特征提取网络后加入图像级域自适应模块来消除图像级别的域分布不匹配;
S4.3在基于通道自注意力的Faster-RCNN模型的最终分类器之前,通过全连接层后的特征向量后加入实例级别域自适应模块来消除实例级别的域分布不匹配;
S4.4加入一致性正则化;
S4.5在网络训练阶段,GRL梯度反转层在网络正向传播过程中传递的是正值,而在反向传播过程中,传播的是负值;该层的作用是将域自适应模块的损失最大化;整个模型的损失函数可写为:
L=Ldet+λ(Limg+Lins+Lcst)
λ是一个平衡Faster-RCNN检测误差和域自适应误差的参数,Ldet表示分类损失,Limg表示图像级自适应损失函数,Lins表示实例级自适应损失函数,Lcst表示一致性正则化的损失函数。
5.根据权利要求4所述的一种基于领域自适应和注意力机制的雾天火车故障检测方法,其特征在于,边界框回归损失使用smoothL1损失,分类损失则采用分类的交叉熵损失
Ldet=Lrpn+Lroi
Lrpn表示边界框回归损失,Lroi表示的分类损失。
6.根据权利要求4所述的一种基于领域自适应和注意力机制的雾天火车故障检测方法,其特征在于,S4.2的具体步骤包括:采用二分类域分类器负责预测该图像来自于源域还是目标域;在每次特征映射后将feature map传入该图像级域自适应模块中,经过图像级域自适应模块中GRL梯度反转层和卷积层后输入到二分类域分类器中;二分类域分类器损失使用交叉熵损失函数,图像级自适应损失函数可写成如下形式:
Figure FDA0003549450080000031
其中Di=0表示源域,Di=1表示目标域;pi表述分类器的输出。
7.根据权利要求4所述的一种基于领域自适应和注意力机制的雾天火车故障检测方法,其特征在于,S4.3的具体步骤包括:采用二分类域分类器负责预测该实例来自于源域还是目标域;将输入最终分类器前的特征向量输入实例级别域自适应模块,在该模块中,先后经过GRL梯度反转层和全连接层后输入到二分类域分类器,二分类域分类器损失使用交叉熵损失函数,实例级自适应损失函数可写成如下形式:
Lins=-∑i,j[Dilogpi,j+(1-Di)log(1-pi,j)]。
8.根据权利要求4所述的一种基于领域自适应和注意力机制的雾天火车故障检测方法,其特征在于,由于图片域分类器是对特征值进行分类,取图像中所有激活的平均值作为图像级概率,一致性正则化的损失函数可写为:
Figure FDA0003549450080000032
其中|I|为特征图的点数,||.||为l2距离。
CN202210258835.1A 2022-03-16 2022-03-16 基于领域自适应和注意力机制的雾天火车故障检测方法 Pending CN114596477A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210258835.1A CN114596477A (zh) 2022-03-16 2022-03-16 基于领域自适应和注意力机制的雾天火车故障检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210258835.1A CN114596477A (zh) 2022-03-16 2022-03-16 基于领域自适应和注意力机制的雾天火车故障检测方法

Publications (1)

Publication Number Publication Date
CN114596477A true CN114596477A (zh) 2022-06-07

Family

ID=81817632

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210258835.1A Pending CN114596477A (zh) 2022-03-16 2022-03-16 基于领域自适应和注意力机制的雾天火车故障检测方法

Country Status (1)

Country Link
CN (1) CN114596477A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115578593A (zh) * 2022-10-19 2023-01-06 北京建筑大学 一种使用残差注意力模块的域适应方法
CN116883681A (zh) * 2023-08-09 2023-10-13 北京航空航天大学 一种基于对抗生成网络的域泛化目标检测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115578593A (zh) * 2022-10-19 2023-01-06 北京建筑大学 一种使用残差注意力模块的域适应方法
CN116883681A (zh) * 2023-08-09 2023-10-13 北京航空航天大学 一种基于对抗生成网络的域泛化目标检测方法
CN116883681B (zh) * 2023-08-09 2024-01-30 北京航空航天大学 一种基于对抗生成网络的域泛化目标检测方法

Similar Documents

Publication Publication Date Title
CN111340738B (zh) 一种基于多尺度渐进融合的图像去雨方法
CN114596477A (zh) 基于领域自适应和注意力机制的雾天火车故障检测方法
Li et al. Weather GAN: Multi-domain weather translation using generative adversarial networks
CN109741340B (zh) 基于fcn-aspp网络的冰盖雷达图像冰层精细化分割方法
CN114936605A (zh) 基于知识蒸馏的神经网络训练方法、设备及存储介质
CN112446342A (zh) 关键帧识别模型训练方法、识别方法及装置
CN112989942A (zh) 一种基于交通监控视频的目标实例分割方法
CN111738169A (zh) 一种基于端对端网络模型的手写公式识别方法
US20230281974A1 (en) Method and system for adaptation of a trained object detection model to account for domain shift
Li et al. A review of deep learning methods for pixel-level crack detection
CN115272777B (zh) 面向输电场景的半监督图像解析方法
CN114820655A (zh) 可靠区域作为注意力机制监督的弱监督建筑物分割方法
CN111652240A (zh) 一种基于cnn的图像局部特征检测与描述方法
CN111126155A (zh) 一种基于语义约束生成对抗网络的行人再识别方法
Yang et al. Robust visual tracking using adaptive local appearance model for smart transportation
CN114187506A (zh) 视点意识的动态路由胶囊网络的遥感图像场景分类方法
CN111950476A (zh) 基于深度学习的复杂环境下河道船舶自动识别方法
Su et al. Physical model and image translation fused network for single-image dehazing
CN115953312A (zh) 一种基于单幅图像的联合去雾检测方法、装置及存储介质
Zhang et al. GAN-based dehazing network with knowledge transferring
CN115439738A (zh) 一种基于自监督协同重构的水下目标检测方法
CN114972851A (zh) 一种基于遥感影像的船只目标智能检测方法
CN114758135A (zh) 一种基于注意力机制的无监督图像语义分割方法
CN114863249A (zh) 基于运动特征和外观特征的视频目标检测及域适应方法
Pang et al. Target tracking based on siamese convolution neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination