CN115035346A - 一种基于协作学习方法增强的阿尔兹海默病的分类方法 - Google Patents
一种基于协作学习方法增强的阿尔兹海默病的分类方法 Download PDFInfo
- Publication number
- CN115035346A CN115035346A CN202210724725.XA CN202210724725A CN115035346A CN 115035346 A CN115035346 A CN 115035346A CN 202210724725 A CN202210724725 A CN 202210724725A CN 115035346 A CN115035346 A CN 115035346A
- Authority
- CN
- China
- Prior art keywords
- alzheimer
- disease
- model
- training
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于协作学习方法增强的阿尔兹海默病的分类方法,该方法以Resnet18作为主干网络,并将Resnet18的单一全连接层修改为不少于两个全连接层,分别用于阿尔兹海默病与自然图像分类;同时将Resnet18的所有位置上的批量归一化层由一个修改为至少两个,最后对Resnet18中的残差块结构追加注意力机制模块,从而构建阿尔兹海默病的分类模型。然后通过训练集对分类模型进行训练,保留对阿尔兹海默病的分类的最优模型。最后将待分类的阿尔兹海默病影像数据也进行和步骤二相同的归一化处理,然后输入阿尔兹海默病的分类的最优模型中,模型输出对应的分类结果。本发明引入跨数据集的协作学习训练用于增强阿尔兹海默症诊断,模型泛化能力强,鲁棒性高。
Description
技术领域
本发明涉及计算机医学图像分析领域,尤其涉及一种基于协作学习方法增强的阿尔兹海默病的分类方法。
背景技术
阿尔兹海默症是一种慢性的神经系统退行性疾病,临床上常常表现为认知障碍、记忆障碍、行为障碍、日常生活能力逐渐下降等。研究表明,AD会慢慢地破坏患者的思维和记忆能力,最终导致患者失去自理能力直至死亡。采用人工智能技术对AD进行辅助诊断,对于干预疾病和减缓病情发展具有重大意义,能够让家属更有针对性地对病情采取治疗和照顾。
目前的临床诊断中,主要以结构性核磁共振成像(sMRI)来对患者的脑疾病进行临床评估,sMRI能够向医生展示患者的大脑结构,刻画脑组织的空间结构变化。sMRI作为一种无损伤、非侵入、价格低的成像方法,在临床诊断中得到了广泛的应用。
近年来,由于卷积神经网络(Convolutional Neural Network,CNN)在计算机视觉领域上的广泛应用,许多研究者将CNN应用于医学影像领域上。
传统的方法一般采用卷积神经网络对从脑影像的切片图像中中学习特征,并将特征送入全连接层进行分类,这种方法能够提取出影像中的特征,并对疾病进行分类;当前主流的方法是采用迁移学习技术对模型进行特征提取后采用SVM方法对疾病进行分类。上述方法都能一定程度学习到影像的特征并利用特征进行分类,但由于医学影像数据量较少、影像特征不明显等问题,模型的性能往往难以提升;另一方面,上述方法并没有采用一种有效的注意力模块对特征不明显的影像进行差异特征捕捉。
发明内容
针对阿尔兹海默症在数据不平衡的训练下,模型泛化能力不强的问题,本发明提出一种基于协作学习方法增强的阿尔兹海默病的分类方法,将分类模型采用自然图像与医学图像跨数据集的训练方法,将自然图像的特征补充医学图像单一变化的特征提取,并尝试融合注意力机制模块CBAM以提升模型的泛化能力。最后,对模型的预测采用切片投票方法以提升模型预测的准确性。
本发明的目的是通过以下技术方案来实现的:
一种基于协作学习方法增强的阿尔兹海默病的分类方法,其特征在于,包括如下步骤:
步骤一:构建阿尔兹海默病的分类模型,该分类模型以Resnet18作为主干网络,并将Resnet18的单一全连接层修改为不少于两个全连接层,分别用于阿尔兹海默病与自然图像分类;同时将Resnet18的所有位置上的批量归一化层由一个修改为至少两个,最后对Resnet18中的残差块结构追加注意力机制模块;所述全连接层的个数和每个位置的归一化层的个数相等;
步骤二:选取阿尔兹海默病影像数据和自然图像,并对其进行归一化,分别构建阿尔兹海默病的训练集和自然图像的训练集;
步骤三:利用步骤二构建的阿尔兹海默病的训练集和自然图像的训练集交替输入步骤一构建的阿尔兹海默病的分类模型,根据输入训练集的不同选择对应的归一化层和全连接层,协作训练模型参数,训练过程中将所有训练集的损失求和进行反向传播,通过切片投票方法对多个脑影像切片的预测概率求均值,并将均值作为模型的最终输出,保留对阿尔兹海默病的分类的最优模型;
步骤四:将待分类的阿尔兹海默病影像数据也进行和步骤二相同的归一化处理,然后输入阿尔兹海默病的分类的最优模型中,模型输出对应的分类结果。
进一步地,所述的步骤三中,模型最后的输出特征将根据输入数据集的不同,选择不同的全连接层,得到最终的分类结果:
yi(xi)=classifyi(xi)
其中,xi是第i个数据集的数据,classifyi为根据不同的数据集选择不同的分类器,最终得到不同的分类结果yi。
进一步地,所述的步骤三中,根据输入训练集Di的不同选择对应的归一化层,具体表达如下:
其中,BNi表示Resnet18某个位置的第i个归一化层,代表第i个数据集的第j次输入,μ,ε分别为输入张量沿着通道方向计算的均值和方差,公式中的ε是常量;为标准化后的根据Di的不同,选择不同的BNi,即不同的γi,βi。
进一步地,所述的步骤四中,在模型训练时,将交替从不同的训练集Di选择数据集构建批量样本,并送入模型获得正向传播的损失,当获得每个数据集通过整个分类模型的损失时,将损失进行求和并进行反向传播
其中,n为数据集Di的数量,classes代表类别的数量,y代表类别变量,y为0或1,若该类别和样本的类别相同,y为1,否则y是0;p表示经过softmax计算样本属于类别k的预测概率;选择阿尔兹海默病损失最小的模型作为阿尔兹海默病的分类的最优模型。
进一步地,所述步骤三中,在反向传播过程中,采用SGD优化器对模型参数进行优化。
本发明的有益效果如下:
本发明通过一种全新的协作学习训练方式,将阿尔兹海默病影像切片与自然图像数据集交替地进行跨数据集的协作训练,增强Resnet网络的泛化能力,能够更强地挖掘卷积神经网络的结构特征提取能力。通过对模型增加了注意力模块,能够有效提升模型捕捉图像中敏感区域的特征信息,让模型能够更有重点地提取出丰富且高质量的特征信息,能够稳定提升疾病的分类准确率。同时在模型中针对不同的数据集输入使用的不同批量归一化层,能够使得模型更容易分析不同数据集之间特征差异,提升模型整体的特征提取能力,解决小样本医学数据下的模型特征提取弱的问题。
附图说明
图1是根据一示例性实施例示出的阿尔兹海默病的分类模型的示意图。
图2是根据一示例性实施例示出的对Resnet网络的残差块BB-CBAM重建的示意图。
具体实施方式
下面根据附图和优选实施例详细描述本发明,本发明的目的和效果将变得更加明白,应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明的于基于协作学习方法增强的阿尔兹海默病的分类方法,该方法构建的阿尔兹海默病的分类模型为基于Resnet18作为骨干网络进行修改优化,以适应在小样本下不平衡数据分布的医学数据集的特殊场景。Resnet网络时采用了残差网络结构,能够解决深层网络在进行反向传播时容易发生梯度弥散的问题。针对性地考虑到医学影像的特殊性,不平衡的数据分布且数据量较少,因此重点研究提高模型在AD数据集下的泛化能力,模型的整体框架如图1所示。同时为了提高模型的泛化能力,在Resnet18网络中的残差块(BasicBlock,BB)的结尾处追加一个残差连接的CBAM的注意力模块,采用注意力模块可以提升模型从多种角度提取特征的能力。修改优化后的模型命名为BB-CBAM层,具体的结构如图2所示。
本发明的于基于协作学习方法增强的阿尔兹海默病的分类方法具体包括以下步骤:
步骤一:构建阿尔兹海默病的分类模型,该分类模型以Resnet18作为主干网络,并将Resnet18的单一全连接层修改为不少于两个全连接层,分别用于阿尔兹海默病与自然图像分类;同时将Resnet18的所有位置上的批量归一化层由一个修改为至少两个,最后对Resnet18中的残差块结构追加注意力机制模块;所述全连接层的个数和每个位置的归一化层的个数相等;
作为其中一种实施方式,全连接层为两个,每个位置的归一化层由一个修改为两个,自然图像数据集采用猫狗数据集。如图1所示,模型将去除原始Resnet18的最后一层1000类全连接层分类器,直接得到512个特征信息,在特征输出后一层分别增加两个对应阿尔兹海默病和猫狗分类的全连接层分类器。在特征输出时,根据输入数据集进行判断,选择不同的全连接层分类器,产生不同的模型预测。同时,由于不同的数据集之间的数据分布不同,因此为了模型能够更好地提升模型提取特征的能力,对原始Resnet网络的所有BN层进行修改,在原有BN层的位置上创建多个BN层,即创建与数据集相同数量的BN层,并在模型训练和预测时,根据输入的不同数据集选择不同的BN层,最后对Resnet网络中的残差块结构追加CBAM注意力机制模块,如图2所示。
该实施例只采用了两个数据集作为示例,理论上可以采用多个数据集进行协作增强。原因是,本发明的模型采用多个独立的BN层对每个数据集进行归一化,保证了各个数据集之间的特性,另一方面,多个数据集通过相同的网络模型(卷积层)等,保证卷积能够学习到多个数据集的共性,理论上可以采用多个数据集进行协作增强。
其中,根据输入的不同数据集选择不同的BN层的具体的公式如下:
其中,BNi表示Resnet18某个位置的第i个归一化层,代表第i个数据集的第j次输入,μ,ε分别为输入张量沿着通道方向计算的均值和方差,公式中的ε是常量,是为了让分母不为零;为标准化后的根据Di的不同,选择不同的BNi,即不同的γi,βi。加入的变量γ和平移变量β为BN层可训练的参数,主要作用是为了增强归一化的表达能力。
步骤二:选取阿尔兹海默病影像数据和自然图像,并对其进行归一化,分别构建阿尔兹海默病的训练集和自然图像的训练集和测试集,具体包括如下子步骤:
(1)示例性地,阿尔兹海默病影像数据选自阿尔兹海默症神经成像计划数据集,自然图像选择kaggle竞赛网中的猫狗数据集。从ADNI数据库中采集了共431例T1加权的结构MRI扫描,分别来自200位AD患者以及231位正常对象。其中给定被试的磁共振图像数据集,数据集包含磁共振图像和被试的标签,磁共振图像数据集记为D={(di,cj)|i∈[1,R],j∈L},式中,d表示磁共振图像,c表示被试的对应标签,R表示样本数量,i表示样本下标,j表示标签下标,L=[1,2]表示标签空间,分别表示NC、AD三个类别;
(2)将获取的磁共振图像全集D首先进行归一化到一个标准模版空间中,然后将数据分割为灰质(GM)、白质(WM)和脑脊液(CSF);
(3)基于步骤(2)分割得到的数据中,选取脑信息丰富的灰质数据,然后对其进行平滑(FMWH=4mm)以得到更高的信噪比;
(4)将步骤(3)得到的灰质影像定义为I,将预处理后数据集按照8:2的比例分别划分为训练集Dtrain={(di,cj)|i∈[1,M],j∈[1,2]}和测试集Dtest={(di,cj)|i∈[1,N],j∈[1,2]},其中M为训练集数据总数,N为测试集数据总数。
步骤三:利用步骤二构建的阿尔兹海默病的训练集和自然图像的训练集交替输入步骤一构建的阿尔兹海默病的分类模型,根据输入训练集的不同选择对应的归一化层和全连接层,协作训练模型参数,训练过程中将所有训练集的损失求和进行反向传播,通过切片投票方法对多个脑影像切片的预测概率求均值,并将均值作为模型的最终输出,保留对阿尔兹海默病的分类的最优模型;
切片投票方法是将一受试者的全部n张切片经过同一模型得到一组预测值(y1,y2,...,yn),再将一组预测结果求均值μ,均值作为此受试者的预测结果result。
通过采用模拟医生阅片的切片投票方法,对于提升模型预测稳定性以及精度有较大帮助。
作为其中一种实施方式,模型训练过程中,使用SGD优化器优化模型训练过程。在模型训练时,将交替从不同的数据集Di选择数据集构建批量样本,并送入模型获得正向传播的损失,当获得每个数据集通过整个模型的损失时,将损失进行求和并进行反向传播。训练使用基于多数据集改进的分类交叉熵损失函数计算训练损失Loss,如果Loss越小,说明训练得到的模型提取的特征区分度越大,模型在训练数据上的分类性能越佳。
其中,n为数据集Di的数量,classes代表类别的数量,y代表类别变量(0或1),若该类别和样本的类别相同就是1,否则是0。p表示经过softmax计算样本属于类别k的预测概率。在模型保存时,选择阿尔兹海默病损失最小的模型进行保存。
为了测试模型的各个指标,将阿尔兹海默病影像数据与猫狗数据的测试集数据输阿尔兹海默病的分类的最优模型中,得到对应的分类结果。并分别如下的准确性(ACC)、精度(PRE)、敏感性(SEN)、F1-Score以及ROC曲线对模型进行评估,其中ROC曲线使用其线下面积(AUC)进行对比。
其中,TP、TN、FP、FN分别表示模型对给定一组数据分类的真阳性、真阴性、假阳性、假阴性的数目。准确率又叫查准率,表示模型预测正确的概率;精度又叫正预测值(PPV),是预测出阳性病例数目与实际阳性病例数目的比例;敏感性又叫召回率(Recall),是预测的阳性病例中被正确预测概率,反应模型对不同类别特征的敏感程度;三个指标都是值越大,模型性能越佳。
该实施例中,服务器显卡设备使用NVIDIA Tesla V100,深度学习框架采用Pytorch,网络训练采用小批量随机梯度下降算法,其中学习率设为0.01,动量为0.9,权重衰减为0.0001,批大小为16。迭代总次数(epochs)为100,学习率随着迭代次数epoch的增加,不断衰减lrepoch+1=lrepoch×0.9。
训练保存的最佳模型,应用在测试集上的分类结果来看,二分类最佳准确率为88.3%。模型在测试集上的详细分类性能参数如表1所示,从表1可以看出,整体性能达到了令人满意的效果,并且对疾病的敏感度较高,这使得辅助诊断的可靠性更高。这是因为采用了跨数据集协作训练的模型能够有效的分析出不同数据集之间的特征差别,从而高效的提取出图像中的重要特征信息,更好的捕捉医学影像中的结构信息变化,这在医学影像分析中具有非常重要的意义。从综合评估标准F1-Score可以看出,模型二分类任务中性能表现优异。
表1模型的准确率
模型 | ACC | REC | PRE | F1 |
对照组 | 0.802 | 0.717 | 0.891 | 0.795 |
Resnet34 | 0.795 | 0.825 | 0.874 | 0.849 |
Alexnet | 0.813 | 0.804 | 0.840 | 0.822 |
Vgg11 | 0.848 | 0.891 | 0.836 | 0.863 |
Vgg16 | 0.845 | 0.877 | 0.822 | 0.849 |
本发明提出的 | 0.883 | 0.956 | 0.846 | 0.897 |
从表1可以看出,本发明提出的方法相比于对照组以及其他的网络模型方法有了明显的提升,尤其在召回率上有6%的提高,表现良好,在准确率上有4%的提升,整体表现不错。实验结果验证了,在同一环境下,采用协作学习的方法能够提升模型训练的泛化能力,且注意力机制结合卷积神经网络对最终的分类预测有一定程度的促进作用。
本领域普通技术人员可以理解,以上所述仅为发明的优选实例而已,并不用于限制发明,尽管参照前述实例对发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实例记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内,所做的修改、等同替换等均应包含在发明的保护范围之内。
Claims (5)
1.一种基于协作学习方法增强的阿尔兹海默病的分类方法,其特征在于,包括如下步骤:
步骤一:构建阿尔兹海默病的分类模型,该分类模型以Resnet18作为主干网络,并将Resnet18的单一全连接层修改为不少于两个全连接层,分别用于阿尔兹海默病与自然图像分类;同时将Resnet18的所有位置上的批量归一化层由一个修改为至少两个,最后对Resnet18中的残差块结构追加注意力机制模块;所述全连接层的个数和每个位置的归一化层的个数相等;
步骤二:选取阿尔兹海默病影像数据和自然图像,并对其进行归一化,分别构建阿尔兹海默病的训练集和自然图像的训练集;
步骤三:利用步骤二构建的阿尔兹海默病的训练集和自然图像的训练集交替输入步骤一构建的阿尔兹海默病的分类模型,根据输入训练集的不同选择对应的归一化层和全连接层,协作训练模型参数,训练过程中将所有训练集的损失求和进行反向传播,通过切片投票方法对多个脑影像切片的预测概率求均值,并将均值作为模型的最终输出,保留对阿尔兹海默病的分类的最优模型;
步骤四:将待分类的阿尔兹海默病影像数据也进行和步骤二相同的归一化处理,然后输入阿尔兹海默病的分类的最优模型中,模型输出对应的分类结果。
2.根据权利要求1所述的基于协作学习方法增强的阿尔兹海默病的分类方法,其特征在于,所述的步骤三中,模型最后的输出特征将根据输入数据集的不同,选择不同的全连接层,得到最终的分类结果:
yi(xi)=classifyi(xi)
其中,xi是第i个数据集的数据,classifyi为根据不同的数据集选择不同的分类器,最终得到不同的分类结果yi。
5.根据权利要求1所述的基于协作学习方法增强的阿尔兹海默病的分类方法,其特征在于,所述步骤三中,在反向传播过程中,采用SGD优化器对模型参数进行优化。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210724725.XA CN115035346A (zh) | 2022-06-23 | 2022-06-23 | 一种基于协作学习方法增强的阿尔兹海默病的分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210724725.XA CN115035346A (zh) | 2022-06-23 | 2022-06-23 | 一种基于协作学习方法增强的阿尔兹海默病的分类方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115035346A true CN115035346A (zh) | 2022-09-09 |
Family
ID=83126336
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210724725.XA Pending CN115035346A (zh) | 2022-06-23 | 2022-06-23 | 一种基于协作学习方法增强的阿尔兹海默病的分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115035346A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116030077A (zh) * | 2023-03-28 | 2023-04-28 | 石家庄铁道大学 | 基于多数据集协作学习的视频显著性区域检测方法 |
-
2022
- 2022-06-23 CN CN202210724725.XA patent/CN115035346A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116030077A (zh) * | 2023-03-28 | 2023-04-28 | 石家庄铁道大学 | 基于多数据集协作学习的视频显著性区域检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2703679C2 (ru) | Способ и система поддержки принятия врачебных решений с использованием математических моделей представления пациентов | |
WO2021120936A1 (zh) | 一种基于多任务学习模型的慢病预测系统 | |
CN113421652B (zh) | 对医疗数据进行分析的方法、训练模型的方法及分析仪 | |
CN113113130A (zh) | 一种肿瘤个体化诊疗方案推荐方法 | |
Hussain et al. | Deep learning-based diagnosis of disc degenerative diseases using MRI: a comprehensive review | |
Bashir-Gonbadi et al. | Brain tumor classification using deep convolutional autoencoder-based neural network: Multi-task approach | |
Yu et al. | A diagnostic prediction framework on auxiliary medical system for breast cancer in developing countries | |
RU2720363C2 (ru) | Способ формирования математических моделей пациента с использованием технологий искусственного интеллекта | |
KR20230029004A (ko) | 흉부 자동 분할 영상을 이용한 폐암 최종 병기 예측 시스템 및 방법 | |
CN115035346A (zh) | 一种基于协作学习方法增强的阿尔兹海默病的分类方法 | |
Kumar et al. | A methodical exploration of imaging modalities from dataset to detection through machine learning paradigms in prominent lung disease diagnosis: a review | |
Kumar et al. | Deep-learning-enabled multimodal data fusion for lung disease classification | |
Kolli et al. | Efficient development of supervised learning algorithm for kidney stone prediction | |
Mendoza et al. | Application of data mining techniques in diagnosing various thyroid ailments: a review | |
CN116759076A (zh) | 一种基于医疗影像的无监督疾病诊断方法及系统 | |
Challab et al. | Ant colony optimization–rain optimization algorithm based on hybrid deep learning for diagnosis of lung involvement in coronavirus patients | |
CN110633368A (zh) | 早期结直肠癌非结构化数据的深度学习分类方法 | |
Alharthi et al. | Do it the transformer way: a comprehensive review of brain and vision transformers for autism spectrum disorder diagnosis and classification | |
Liu et al. | Large margin and local structure preservation sparse representation classifier for Alzheimer’s magnetic resonance imaging classification | |
US20210174027A1 (en) | Assertion Detection in Multi-Labelled Clinical Text using Scope Localization | |
Shekerbek et al. | APPLICATION OF MATHEMATICAL METHODS AND MACHINE LEARNING ALGORITHMS FOR CLASSIFICATION OF X-RAY IMAGES. | |
CN113889235A (zh) | 一种三维医学影像无监督特征抽取系统 | |
Banerjee et al. | Lung Cancer Prediction in Deep Learning Perspective | |
Avci et al. | Case study: deep convolutional networks in healthcare | |
Reddy et al. | Different algorithms for lung cancer detection and prediction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |