CN114758379A - 一种基于注意力卷积神经网络的菊头蝠识别方法 - Google Patents
一种基于注意力卷积神经网络的菊头蝠识别方法 Download PDFInfo
- Publication number
- CN114758379A CN114758379A CN202210240860.7A CN202210240860A CN114758379A CN 114758379 A CN114758379 A CN 114758379A CN 202210240860 A CN202210240860 A CN 202210240860A CN 114758379 A CN114758379 A CN 114758379A
- Authority
- CN
- China
- Prior art keywords
- attention
- model
- cbam
- multiplied
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于注意力卷积神经网络的菊头蝠识别方法,包括步骤:S1、对原始图像进行预处理,生成数据集;S2、将数据集随机划分成训练集和测试集;S3、建立注意力卷积神经网络模型VGG16‑CBAM;S4、使用训练集对网络模型进行训练;S5、使用测试集对网络模型进行验证。该基于注意力卷积神经网络的菊头蝠识别方法,通过在卷积神经网络VGG16架构的基础上增加注意力模块CBAM,使模型更加关注于菊头蝠对象的细微特征,提高模型的表征能力,训练出的网络模型VGG16‑CBAM分类精度优于单纯的VGG16网络架构,VGG16‑CBAM识别精度达到92.41%,并且在卷积层输出后增加BN(Batch Normalization)层,防止梯度消失或梯度爆炸,解决了现有卷积神经网络很难找到完全代表对象的细微特征等问题。
Description
技术领域
本发明涉及生物图像识别分类技术领域,具体为一种基于注意力卷积神经网络的菊头蝠识别方法。
背景技术
随着计算机科学技术的发展,以卷积神经网络为代表的深度学习算法在计算机视觉领域得到广泛应用,尤其是图像分类领域,图像分类在鸟、花以及蝙蝠等不同物种间的分类上具有突出表现,但是具体到蝙蝠这一物种,如果要完成分类出不同种的蝙蝠这一存在细微区别的分类任务,其结果往往是难以达到预期,分析其原因,其主要在于细粒度图像的主要对象之间只在细微特征处有所差别,致使细粒度图像识别分类本身就是一项具有挑战性的任务,而现有卷积神经网络很难找到完全代表对象的细微特征,这也造成了以VGG、ResNet、AlexNet等为代表的卷积神经网络在菊头蝠分类任务上的不足。
传统的蝙蝠的分类主要是通过蝙蝠的外貌特征进行识别分类,以菊头蝠为例,因蝙蝠个体之间相似度较高,人工进行辨别时往往需要借助一些专业仪器,由于菊头蝠区别于其它个体特征常常是细微之处,这造成了不依靠仪器辅助的纯人工识别分类极易出现错误,而且费时费力。
发明内容
(一)解决的技术问题
针对现有技术的不足,本发明提供了一种基于注意力卷积神经网络的菊头蝠识别方法,具备识别精度高和能够提高模型的表征能力等优点,解决了现有的识别方法中,识别精度不够高以及模型的表征能力较弱的问题。
(二)技术方案
为实现上述具备识别精度高和能够提高模型的表征能力目的,本发明提供如下技术方案:一种基于注意力卷积神经网络的菊头蝠识别方法,包括以下步骤:
S1、原始图像预处理及生成数据集
由于收集到的菊头蝠图像的储存格式不同,不便于后续处理,因此首先需要将图片格式统一转换为JPEG格式,考虑到现有菊头蝠图像并不是单一地对某一特征进行拍摄,造成了原始数据集的图像的菊头蝠特征比较杂乱,对此需要采用脸部特征进行识别分类,并且挑选出脸部特征比较明显的图像作为数据集。
S2、数据集划分
完成图像的预处理之后,将数据集按照约4:1的比例随机划分成训练集和测试集,其中训练集用于训练网络以确定最佳参数,测试集用于验证网络模型的可靠性和可行性。
S3、建立模型
建立用于菊头蝠识别分类的注意力卷积神经网络模型VGG16-CBAM,且VGG16-CBAM相对于VGG16卷积神经网络模型而言,在Block4和Block5之间增加了注意力机制模块CBAM(Convolutional Block Attention Module),进一步增加VGG16的表征能力,CBAM由通道注意力(Channel Attention)和空间注意力(Spatial Attention)顺序连接组成。
S4、模型训练
网络模型建立完成后,需要使用训练集去训练模型以得到最佳的网络模型参数,我们根据训练集的数据量将训练集分成若干个批次(Batch),其中每个批次的数据量为16张图像,训练过程每个批次的图像随机打乱。
S5、模型验证
模型训练完成后,需要进一步验证模型的可靠性和可行性,在这一步需要使用测试集去验证网络的可靠性和可行性,在测试网络时禁用BN层和Dropout层,避免权值的改变。
优选的,所述S1步骤中,由于拍摄的菊头蝠图像像素比较高,无法直接送入网络进行训练,所以我们通过尺度缩放将菊头蝠图像压缩至224×224,至此完成图像的预处理。
优选的,所述S2步骤中,针对训练集中大耳菊头蝠、马铁菊头蝠、清迈菊头蝠等图像数据量略低于其它类别的菊头蝠图像数据量的问题,通过随机对部分图像进行不同角度的旋转增加数据量以使各类别菊头蝠图像数据之间大致持平,进而保证网络模型学习的均衡性。
优选的,所述S3步骤中,VGG16-CBAM网络模型由5个卷积块(Block)、注意力模块(CBAM)以及全连接(FC)部分组成,每个卷积块由若干个卷积层以及一个最大池化层(MaxPool)组成,以卷积块Block1为例,输入的特征图首先经过64个的卷积核进行卷积操作,之后经过BN(Batch Normalization)层进行归一化操作,随后经过激活函数ReLU进行非线性化操作,ReLU函数如下:
然后重复一轮上述操作后,最后经过最大池化层输出,执行最大池化的树池是一个2×2的矩阵,以上为卷积块Block1的全部内容,其它卷积块类似。
优选的,所述S3步骤中,在注意力模块上,首先完成通道注意力:输入特征图F,经过两个并行的最大值池化和平均池化将C×H×W的特征图变成C×1×1的大小,然后经过一个Shared MLP,通过卷积操作压缩通道数至C/r(reduction=16),随后经过激活函数ReLU进行非线性化操作,之后通过卷积操作再扩张回C,得到两个激活后的结果,最后将二者相加再接一个sigmoid的结果乘以最初的输入,大小变回了C×H×W,完成通道注意力操作。
优选的,所述S3步骤中,进行空间注意力:将上一步得到的特征图F’通过最大值池化和平均池化分成两个大小为H×W×1的张量,然后通过Concat操作将二者堆叠在一起(C为2),再通过卷积操作将通道变为1同时保证H和W不变,经过一个sigmoid得到的结果乘上一步的输入变回C×H×W,完成空间注意力操作,其中sigmoid函数如下:
完成空间注意力操作。
优选的,所述S3步骤中,在全连接部分,首先经过3个全连接层,第一个和第二个全连接层均有4096个神经元组成,并且经过全连接操作后,经激活函数ReLU进行非线性化操作,第三个连接层由8个神经元组成,完成全连接操作后,最后通过SoftMax将多分类输出转换为概率,具体如下:
其中,zi为第i个节点的输出值,n为输出节点的个数,即分类的类别个数,至此,注意力卷积神经网络模型VGG16-CBAM搭建完成。
优选的,所述S4步骤中,初始化学习率η=0.01采用随机梯度下降的方法进行权值优化,在训练过程中需要启用全连接部分的Dropout层,随机丢弃一些神经元,防止模型出现过拟合。
(三)有益效果
与现有技术相比,本发明提供了一种基于注意力卷积神经网络的菊头蝠识别方法,具备以下有益效果:
1、该基于注意力卷积神经网络的菊头蝠识别方法,通过在卷积神经网络VGG16架构的基础上增加注意力模块CBAM,使模型更加关注于菊头蝠对象的细微特征,提高模型的表征能力,训练出的网络模型VGG16-CBAM分类精度优于单纯的VGG16网络架构,VGG16-CBAM识别精度达到92.41%,并且在卷积层输出后增加BN(Batch Normalization)层,防止梯度消失或梯度爆炸,加快训练速度。
2、该基于注意力卷积神经网络的菊头蝠识别方法,有效解决了现有卷积神经网络很难找到完全代表对象的细微特征,造成了以VGG、ResNet、AlexNet等为代表的卷积神经网络在菊头蝠分类任务上的不足的问题。
附图说明
图1为本发明方法的流程图;
图2为注意力卷积神经网络VGG16-CBAM的网络架构图;
图3为注意力模块CBAM的架构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
一种基于注意力卷积神经网络的菊头蝠识别方法,其特征在于,包括以下步骤:
S1、原始图像预处理及生成数据集
由于收集到的菊头蝠图像的储存格式不同,不便于后续处理,因此首先需要将图片格式统一转换为JPEG格式,同时考虑到现有菊头蝠图像并不是单一地对某一特征进行拍摄,造成了原始数据集的图像的菊头蝠特征比较杂乱,对此需要采用脸部特征进行识别分类,并且挑选出脸部特征比较明显的图像作为数据集,由于拍摄的菊头蝠图像像素比较高,无法直接送入网络进行训练,所以我们通过尺度缩放将菊头蝠图像压缩至224×224,至此完成图像的预处理。
S2、数据集划分
完成图像的预处理之后,将数据集按照约4:1的比例随机划分成训练集和测试集,其中训练集用于训练网络以确定最佳参数,测试集用于验证网络模型的可靠性和可行性,针对训练集中大耳菊头蝠、马铁菊头蝠、清迈菊头蝠等图像数据量略低于其它类别的菊头蝠图像数据量的问题,通过随机对部分图像进行不同角度的旋转增加数据量以使各类别菊头蝠图像数据之间大致持平,进而保证网络模型学习的均衡性。
S3、建立模型
建立用于菊头蝠识别分类的注意力卷积神经网络模型VGG16-CBAM,且VGG16-CBAM相对于VGG16卷积神经网络模型而言,在Block4和Block5之间增加了注意力机制模块CBAM(Convolutional Block Attention Module),进一步增加VGG16的表征能力,CBAM由通道注意力(Channel Attention)和空间注意力(Spatial Attention)组成,VGG16-CBAM网络模型由5个卷积块(Block)、注意力模块(CBAM)以及全连接(FC)部分组成,每个卷积块由若干个卷积层以及一个最大池化层(MaxPool)组成,以卷积块Block1为例,输入的特征图首先经过64个的卷积核进行卷积操作,之后经过BN(Batch Normalization)层进行归一化操作,随后经过激活函数ReLU进行非线性化操作,ReLU函数如下:
然后重复一轮上述操作后,最后经过最大池化层输出,执行最大池化的树池是一个2×2的矩阵,以上为卷积块Block1的全部内容,其它卷积块类似,在注意力模块上,首先完成通道注意力:输入特征图F,经过两个并行的最大值池化和平均池化将C×H×W的特征图变成C×1×1的大小,随后经过一个Shared MLP,通过卷积操作压缩通道数至C/r(reduction=16),之后经过激活函数ReLU进行非线性化操作,然后通过卷积操作再扩张回C,得到两个激活后的结果,最后将二者相加再接一个sigmoid的结果乘以最初的输入,大小变回了C×H×W,完成通道注意力操作,最后进行空间注意力:将上一步得到的特征图F’通过最大值池化和平均池化分成两个大小为H×W×1的张量,然后通过Concat操作将二者堆叠在一起(C为2),再通过卷积操作将通道变为1同时保证H和W不变,经过一个sigmoid得到的结果乘上一步的输入变回C×H×W,完成空间注意力操作,其中sigmoid函数如下:
完成空间注意力操作,在全连接部分,首先经过3个全连接层,第一个和第二个全连接层均有4096个神经元组成,并且经过全连接操作后,经激活函数ReLU进行非线性化操作,第三个连接层由8个神经元组成,完成全连接操作后,最后通过SoftMax将多分类输出转换为概率,具体如下:
其中,zi为第i个节点的输出值,n为输出节点的个数,即分类的类别个数,至此,注意力卷积神经网络模型VGG16-CBAM搭建完成。
S4、模型训练
网络模型建立完成后,需要使用训练集去训练模型以得到最佳的网络模型参数,我们根据训练集的数据量将训练集分成若干个批次(Batch),其中每个批次的数据量为16张图像,训练过程每个批次的图像随机打乱,其中初始化学习率η=0.01采用随机梯度下降的方法进行权值优化,在训练过程中需要启用全连接部分的Dropout层,随机丢弃一些神经元,防止模型出现过拟合。
S5、模型验证
模型训练完成后,需要进一步验证模型的可靠性和可行性,在这一步需要使用测试集去验证网络的可靠性和可行性,在测试网络时禁用BN层和Dropout层,避免权值的改变。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (8)
1.一种基于注意力卷积神经网络的菊头蝠识别方法,其特征在于,包括以下步骤:
S1、原始图像预处理及生成数据集
由于收集到的菊头蝠图像的储存格式不同,不便于后续处理,因此首先需要将图片格式统一转换为JPEG格式,同时考虑到现有菊头蝠图像并不是单一地对某一特征进行拍摄,造成了原始数据集的图像的菊头蝠特征比较杂乱,对此需要采用脸部特征进行识别分类,并且挑选出脸部特征比较明显的图像作为数据集。
S2、数据集划分
完成图像的预处理之后,将数据集按照约4:1的比例随机划分成训练集和测试集,其中训练集用于训练网络以确定最佳参数,测试集用于验证网络模型的可靠性和可行性。
S3、建立模型
建立用于菊头蝠识别分类的注意力卷积神经网络模型VGG16-CBAM,且VGG16-CBAM相对于VGG16卷积神经网络模型而言,在Block4和Block5之间增加了注意力机制模块CBAM(Convolutional Block Attention Module),进一步增加VGG16的表征能力,CBAM由通道注意力(Channel Attention)和空间注意力(Spatial Attention)顺序连接组成。
S4、模型训练
网络模型建立完成后,需要使用训练集去训练模型以得到最佳的网络模型参数,我们根据训练集的数据量将训练集分成若干个批次(Batch),其中每个批次的数据量为16张图像,训练过程每个批次的图像随机打乱。
S5、模型验证
模型训练完成后,需要进一步验证模型的可靠性和可行性,在这一步需要使用测试集去验证网络的可靠性和可行性,在测试网络时禁用BN层和Dropout层,避免权值的改变。
2.根据权利要求1所述的一种基于注意力卷积神经网络的菊头蝠识别方法,其特征在于,所述S1步骤中,由于拍摄的菊头蝠图像像素比较高,无法直接送入网络进行训练,所以我们通过尺度缩放将菊头蝠图像压缩至224×224,至此完成图像的预处理。
3.根据权利要求1所述的一种基于注意力卷积神经网络的菊头蝠识别方法,其特征在于,所述S2步骤中,针对训练集中大耳菊头蝠、马铁菊头蝠、清迈菊头蝠等图像数据量略低于其它类别的菊头蝠图像数据量的问题,通过随机对部分图像进行不同角度的旋转增加数据量以使各类别菊头蝠图像数据之间大致持平,进而保证网络模型学习的均衡性。
4.根据权利要求1所述的一种基于注意力卷积神经网络的菊头蝠识别方法,其特征在于,所述S3步骤中,VGG16-CBAM网络模型由5个卷积块(Block)、注意力模块(CBAM)以及全连接(FC)部分组成,每个卷积块由若干个卷积层以及一个最大池化层(MaxPool)组成,以卷积块Block1为例,输入的特征图首先经过64个的卷积核进行卷积操作,之后经过BN(BatchNormalization)层进行归一化操作,随后经过激活函数ReLU进行非线性化操作,ReLU函数如下:
然后重复一轮上述操作后,最后经过最大池化层输出,执行最大池化的树池是一个2×2的矩阵,以上为卷积块Block1的全部内容,其它卷积块类似。
5.根据权利要求1所述的一种基于注意力卷积神经网络的菊头蝠识别方法,其特征在于,所述S3步骤中,在注意力模块上,首先完成通道注意力:输入特征图F,经过两个并行的最大值池化和平均池化将C×H×W的特征图变成C×1×1的大小,然后经过一个SharedMLP,通过卷积操作压缩通道数至C/r(reduction=16),随后经过激活函数ReLU进行非线性化操作,之后通过卷积操作再扩张回C,得到两个激活后的结果,最后将二者相加再接一个sigmoid的结果乘以最初的输入,大小变回了C×H×W,完成通道注意力操作。
8.根据权利要求1所述的一种基于注意力卷积神经网络的菊头蝠识别方法,其特征在于,所述S4步骤中,初始化学习率η=0.01采用随机梯度下降的方法进行权值优化,在训练过程中需要启用全连接部分的Dropout层,随机丢弃一些神经元,防止模型出现过拟合。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210240860.7A CN114758379A (zh) | 2022-03-10 | 2022-03-10 | 一种基于注意力卷积神经网络的菊头蝠识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210240860.7A CN114758379A (zh) | 2022-03-10 | 2022-03-10 | 一种基于注意力卷积神经网络的菊头蝠识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114758379A true CN114758379A (zh) | 2022-07-15 |
Family
ID=82327338
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210240860.7A Pending CN114758379A (zh) | 2022-03-10 | 2022-03-10 | 一种基于注意力卷积神经网络的菊头蝠识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114758379A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114898417A (zh) * | 2022-03-10 | 2022-08-12 | 广州大学 | 一种基于协调注意力深度神经网络的菊头蝠识别方法 |
CN116664918A (zh) * | 2023-05-12 | 2023-08-29 | 杭州像素元科技有限公司 | 一种基于深度学习的收费站各车道通行状态检测的方法 |
CN117456456A (zh) * | 2023-10-31 | 2024-01-26 | 安徽工业大学 | 一种基于深度学习的控制棒导向筒组件内的导向板孔磨损自动识别方法 |
-
2022
- 2022-03-10 CN CN202210240860.7A patent/CN114758379A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114898417A (zh) * | 2022-03-10 | 2022-08-12 | 广州大学 | 一种基于协调注意力深度神经网络的菊头蝠识别方法 |
CN114898417B (zh) * | 2022-03-10 | 2024-09-10 | 广州大学 | 一种基于协调注意力深度神经网络的菊头蝠识别方法 |
CN116664918A (zh) * | 2023-05-12 | 2023-08-29 | 杭州像素元科技有限公司 | 一种基于深度学习的收费站各车道通行状态检测的方法 |
CN117456456A (zh) * | 2023-10-31 | 2024-01-26 | 安徽工业大学 | 一种基于深度学习的控制棒导向筒组件内的导向板孔磨损自动识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114758379A (zh) | 一种基于注意力卷积神经网络的菊头蝠识别方法 | |
CN105138973B (zh) | 人脸认证的方法和装置 | |
CN107480261A (zh) | 一种基于深度学习细粒度人脸图像快速检索方法 | |
CN112446476A (zh) | 神经网络模型压缩的方法、装置、存储介质和芯片 | |
WO2019179403A1 (zh) | 基于序列宽深学习的欺诈交易检测方法 | |
CN111696101A (zh) | 一种基于SE-Inception的轻量级茄科病害识别方法 | |
CN111832650B (zh) | 基于生成对抗网络局部聚合编码半监督的图像分类方法 | |
CN110110845B (zh) | 一种基于并行多级宽度神经网络的学习方法 | |
CN113011253B (zh) | 基于ResNeXt网络的人脸表情识别方法、装置、设备及存储介质 | |
CN112308825A (zh) | 一种基于SqueezeNet的农作物叶片病害识别方法 | |
CN114330650A (zh) | 基于进化元学习模型训练的小样本特征分析方法及装置 | |
CN112861659A (zh) | 一种图像模型训练方法、装置及电子设备、存储介质 | |
CN114492634B (zh) | 一种细粒度装备图片分类识别方法及系统 | |
CN115471856A (zh) | 一种发票图像信息识别方法、装置及存储介质 | |
CN111079930B (zh) | 数据集质量参数的确定方法、装置及电子设备 | |
Wang et al. | A multi-dimensional aesthetic quality assessment model for mobile game images | |
CN112559791A (zh) | 一种基于深度学习的布匹分类检索方法 | |
CN109508640A (zh) | 一种人群情感分析方法、装置和存储介质 | |
CN112560668B (zh) | 一种基于场景先验知识的人体行为识别方法 | |
CN111860601B (zh) | 预测大型真菌种类的方法及装置 | |
Liao et al. | A flower classification method combining DenseNet architecture with SVM | |
Prihasto et al. | A survey of deep face recognition in the wild | |
CN114387524B (zh) | 基于多层级二阶表征的小样本学习的图像识别方法和系统 | |
CN113283530B (zh) | 基于级联特征块的图像分类系统 | |
CN115346091A (zh) | 一种Mura缺陷图像数据集的生成方法和生成装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |