CN116229165A - 一种不同桥梁间数据图像迁移的识别方法及装置 - Google Patents
一种不同桥梁间数据图像迁移的识别方法及装置 Download PDFInfo
- Publication number
- CN116229165A CN116229165A CN202310170107.XA CN202310170107A CN116229165A CN 116229165 A CN116229165 A CN 116229165A CN 202310170107 A CN202310170107 A CN 202310170107A CN 116229165 A CN116229165 A CN 116229165A
- Authority
- CN
- China
- Prior art keywords
- data
- image
- bridge
- training
- monitoring data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明属于工程结构监测数据分析技术领域,提出一种不同桥梁间数据图像迁移的识别方法及装置。桥梁监测数据时域转换为图像,根据转换后图像的轮廓特征,将图像分类;预训练模型以调整后的Resnet 50网络模型为主,采取迁移学习的方法,利用预训练模型对分类好的图像进行训练;针对目标桥梁数据集不均衡的问题,利用其他桥梁数据对其各类别数据进行补充,提高与训练模型对目标桥梁的各类别数据的识别准确率。本发明可以缓解数据不均衡问题,避免所选目标桥梁数据集因某类数据图像过少,导致模型对该类数据识别准确率偏低的问题。经本发明进行扩充后的目标桥梁监测数据图像数据集,检测模型对各类别数据的识别准确率明显提高。
Description
技术领域
本发明涉及工程结构监测数据分析技术领域,尤其涉及一种不同桥梁间数据图像迁移的识别方法及装置。
背景技术
结构健康监测系统广泛应用于对基础设施进行管理与维护,对工程结构的状况进行提前研判,避免潜在的安全风险。结构健康监测系统涉及到了大量的传感器设备,然而由于这些传感器长期暴漏在室外环境中,受到自然环境或外力因素的作用,导致传感器发生故障,使得采集到的数据出现多类异常,需要异常检测技术对数据进行清理。
传统人工检查可以很容易地识别出缺失、跳点等数据异常,但由于监测数据量非常庞大,这种人工识别异常数据的效率非常有限,会造成大量的时间及人工成本的浪费。因此采取自动化手段进行异常数据的识别,可以极大减小时间及人力成本,更有利于工程实际应用。
随着机器学习和深度学习的发展,基于卷积神经网络的数据异常识别方法得到发展。“NI F,ZHANG J,NOORI M N.2020.Deep learning for data anomaly detection anddata compression of a long-span suspension bridge[J/OL].Computer-Aided Civiland Infrastructure Engineering,35(7):685-700.https://doi.org/10.1111/mice.12528.”Ni等人在2020年设计了一维卷积神经网络直接从输入信号提取,对来自中国大跨度桥梁SHM系统的加速度数据进行检测。“ZHANG H,LIN J,HUA J,et al.2022.DataAnomaly Detection for Bridge SHM Based on CNN Combined with StatisticFeatures[J/OL].Journal of Nondestructive Evaluation,41(1):28.https://doi.org/10.1007/s10921-022-00857-2.”Zhang等人在2022年提出了一种新的卷积神经网络框架,首先,对加速度数据进行下采样、叠加,并输入CNN作为训练集,设计并训练了CNN模型,通过该模型获得了中间结果;随后,应用统计特征对可混淆模式进行分析和分类。它结合了CNN和统计特征的优点,可以比单独使用CNN更快、更准确地实现数据异常检测。“SHAJIHAN SAV,WANG S,ZHAI G,et al.2022.CNN based data anomaly detection using multi-channel imagery for structural health monitoring[J/OL].Smart Structures andSystems,29(1):181-193.https://doi.org/10.12989/SSS.2022.29.1.181.”Shajihan等人在2022年将时间序列数据转换成由时间、谱图和概率密度函数组成的3通道图像,然后利用设计的卷积神经网络对图像进行识别,实现了较高的整体准确性和召回率。
为了减少对网络模型的训练时间取得更好的图像识别效果,迁移学习被应用于卷积神经网络中,采用预训练模型进行图像的识别。然而由于偶然因素的作用,可能导致所选数据集中某类数据图像数量不够充分,会影响模型对该类数据的识别。基于此本发明提出数据迁移的方式,将其他桥梁数据迁移到目标桥梁数据集中,对目标桥梁数据集某类别缺少数据进行扩充,使得模型对各类别异常数据均能完成分类,解决了目标桥梁因为某类别数据缺少而使得模型无法对该类数据准确识别。
发明内容
本发明旨在提供一种不同桥梁间数据图像迁移的识别方法及装置,解决迁移学习过程中数据不均衡的问题。
本发明的技术方案如下:一种不同桥梁间数据图像迁移的识别方法,将桥梁监测数据时域转换为图像,根据转换后图像的轮廓特征,将图像分类;预训练模型为Resnet 50网络模型,采取迁移学习的方法,利用调整后的网络模型对分类好的图像进行训练;针对目标桥梁数据集不均衡的问题,利用其他桥梁数据对其各类别数据进行补充,提高Resnet50网络模型对目标桥梁的各类别数据的识别准确率;
具体包括步骤如下:
步骤一:图像转换;
桥梁上布设的加速度传感器的采样频率为f=x Hz,每秒采集x次数据,每小时采集该点加速度3600*x次;以时间为横坐标,以该时间点的加速度数值为纵坐标,利用Matlab将该加速度传感器一小时采集到的各数据点依次连接绘制成一张二维图像,该图像的轮廓特征代表了一小时内加速度数据的主要特征;
步骤二:异常数据特征类别划分;
根据图像的轮廓特征,将桥梁监测数据划分为正常、漂移、局部增益、缺失、噪声、跳点6种数据类别;
步骤三:其他桥梁数据质量判断;
选取其他桥梁监测数据图像数据集,并训练调整后的Resnet 50网络模型,对其他桥梁监测数据图像数据集中的图像质量进行评判;
步骤四:数据集扩充;
将符合判定条件的其他桥梁监测数据图像添加到目标桥梁监测数据图像训练集中,对目标桥梁监测数据图像数据集进行扩充;
步骤五:采取迁移学习利用调整后的Resnet 50网络模型对扩充后的目标桥梁监测数据图像数据集进行训练;
MATLAB工具箱中的预训练模型以调整后的Resnet 50网络模型为主;调整后的Resnet 50网络模型具体如下:设置一个新的全连接层及分类层,将新的全连接层的内部参数InputSize和新的分类层的内部参数OutputSize设置为d;在调整后的Resnet 50网络模型的网络层中搜索Resnet 50网络模型原有的全连接层及分类层,将新全连接层及新分类层对其进行取代;对调整后的Resnet 50网络模型的超参数进行初始化设置,输入扩充后的目标桥梁监测数据图像数据集对其进行训练,根据训练得到的准确率与损失函数曲线对超参数进行调节。
所述正常数据图像的加速度幅值在图像中心线上下有序的波动,且波动明显;漂移数据图像的数据整体偏离中心线呈现倾斜的趋势或部分偏离在中心线上下波动。增益数据图像中部分时间段内加速度幅值呈现突然增大趋势,其幅值远高于其他时间段内数据。噪声数据图像其整个时间段内加速度幅值趋近于一致,无明显波动。缺失数据图像部分数据缺失,缺失处加速度幅值为0,在图像中心线处显示出一条直线,或全部数据缺失整张图像空白。跳点数据图像某一时刻加速度幅值突然增大,图像中呈现一个或者多个孤立数据点,整体特征被明显缩小。
一种不同桥梁间数据图像迁移的识别装置,包括:
采集模块,用于获取桥梁监测数据;
存储器,用于存储获取的桥梁监测数据和计算机程序;计算机程序包括图像转换程序和图像训练程序;
处理器,用于执行所述存储器中存储的计算机程序,当所述计算机程序被执行时,所述处理器用于:
读取存储的桥梁监测数据,所述桥梁监测数据为同一采样频率下采集并存储的;根据获取的桥梁监测数据,利用图像转换程序将桥梁监测数据转换为图像;然后利用图像训练程序对扩充后的目标桥梁监测数据图像数据集进行训练。
本发明的有益效果:本发明所提出的方法及装置可以缓解数据不均衡问题,避免所选目标桥梁数据集因某类数据图像过少,使得模型对该类数据识别准确率偏低的问题,经该方法进行扩充后的目标桥梁监测数据图像数据集,网络模型对该类别数据的识别准确率明显提高。
附图说明
图1(a)为目标桥上转换后数据时域图像;
图1(b)为非目标桥上转换后数据时域图像;
图2(a)为时域图像正常数据主要特征;
图2(b)为时域图像漂移数据主要特征;
图2(c)为时域图像局部增益数据主要特征;
图2(d)为时域图像噪声数据主要特征;
图2(e)为时域图像缺失数据主要特征;
图2(f)为时域图像跳点数据主要特征;
图3为非目标桥梁识别准确率变化曲线图;
图4为预训练模型中调整后的Resnet 50网络模型对图像识别过程图;
图5(a)为目标桥梁数据迁移桥前混淆矩阵图;
图5(b)为目标桥梁数据迁移桥后混淆矩阵图。
具体实施方式
以下结合技术方案,进一步阐明本发明的实施方式。
以某大桥为例,利用预训练模型调整后的Resnet 50网络模型对其加速度数据进行异常检测;
步骤一:图像转换
目标桥梁上布设的加速度传感器的采样频率为f=200Hz,每秒采集200次数据,每小时采集该点加速度3600*200=720000次。以时间为横坐标,以该时间点的加速度数值为纵坐标,利用Matlab将该加速度传感器一小时采集到的720000个数据点依次连接绘制成一张二维图像,该图像的特征大致代表了一小时内加速度数据的主要特征。转换后图像如图1(a)所示。非目标桥上布设的加速度传感器的采样频率为f=100Hz,每秒采集100次数据,每小时采集该点加速度3600*100=360000次。以时间为横坐标,以该时间点的加速度数值为纵坐标,利用Matlab将该传感器一小时采集到的360000个数据点依次连接绘制成一张二维图像,该图像的特征大致代表了一小时内加速度数据的主要特征。转换后图像如图1(b)所示。
步骤二:异常数据特征类别划分
根据转换后图像的轮廓特征,将图像分为正常、漂移、局部增益、缺失、噪声、跳点6种数据类别,并存放进不同的文件夹。各类数据主要特征如图2所示。
步骤三:其它桥梁数据质量判断
利用调整后的Resnet50网络模型对非目标桥桥梁数据图像集进行训练,训练后得到其准确率变化曲线图3,从图3中可以看训练集及验证集曲线贴合较近,说明训练集和验证集的拟合效果较好且从纵坐标可以看出训练准确率及验证准确率达90%以上,说明此数据集训练模型对6类数据具有良好的分类能力,该数据集可以作为扩充的训练集。
步骤四:数据集扩充
(4)将非目标桥梁数据图像集添加到目标桥梁训练集中,对目标桥梁数据集进行扩充。根据表1原目标桥梁数据集各类别数据量与表2扩充后目标桥梁数据集各类别数据量进行对比,可见数量扩充呈现数量级的变化;
步骤五:采取迁移学习利用预训练模型对数据集进行训练;
表1原目标桥梁数据集各类别数据量
数据类别 | 图像数量 |
正常 | 1463 |
漂移 | 4621 |
局部增益 | 244 |
噪声 | 21293 |
缺失 | 10503 |
跳点 | 1524 |
表2扩充后目标桥梁数据集各类别数据量
数据类别 | 图像数量 |
正常 | 16076 |
漂移 | 6423 |
局部增益 | 1653 |
噪声 | 21558 |
缺失 | 12353 |
跳点 | 1677 |
MATLAB工具箱中的预训练模型即调整后的Resnet 50网络模型是针对1000个输出类别任务而设定,为使其适应桥梁异常数据检测的6类输出任务,对预训练模型进行微调,微调具体操作如下:首先设置一个新的全连接层及分类层,将新全连接层的内部参数InputSize设置为6,将新分类层的内部参数OutputSize设置为6。随后在预训练模型的网络层中自动搜索全连接层及分类层,并利用新定义的全连接层及分类层对其进行取代。再对超参数进行初始化设置,输入训练集对数据图像进行训练;对调整后的Resnet 50网络模型的超参数进行初步设定,initialLearnRate-0.01、优化器-SGD、MiniBitchsize-32、MaxEpochs-1。预训练模型即调整后的Resnet 50网络模型识别流程如图4所示,训练后得到混淆矩阵图5。图5(a)为未进行数据迁移前目标桥梁大桥数据集训练得到模型,然后采用该桥5月份数据进行测试而得到的混淆矩阵。从图5(a)可以看到模型对正常、漂移、局部增益数据,相比于噪声、缺失、跳点数据识别率严重偏低,调整后的Resnet 50网络模型对以上三种该类型数据无法进行有效识别。调整后的Resnet 50网络模型的识别准确率与图像数据有一定的关系,理论上图像数量越多,模型对该数据特征学习的就更加充分,最后进行测试时模型对该类别识别准确率越高。图5(a)中局部增益类别数据识别准确率偏低的原因可归结为以上类别训练数据量过少,数据失衡严重。为说明数据迁移的有效性进行对比验证,对目标桥梁大桥进行数据迁移,利用非目标桥梁数据进行数据集的扩充。利用网络模型重新训练,然后采用目标桥梁5月份数据进行测试而得到的图5(b)。从图5(b)可以得到调整后的Resnet 50网络模型模型对6类数据整体准确率为93.1%,识别能力良好。且正常数据、漂移、局部增益数据识别召回率明显提高,分别提高30%,8%,22.5%,噪声、缺失、跳点数据识别准确率正常波动,无明显下降。对目标桥梁数据图像进行扩充后,对正常数据、漂移、局部增益数据识别提高明显,说明了此方法的有效性。
Claims (4)
1.一种不同桥梁间数据图像迁移的识别方法,其特征在于,将桥梁监测数据时域转换为图像,根据转换后图像的轮廓特征,将图像分类;采取迁移学习的方法,利用调整后的Resnet 50网络模型对分类好的图像进行训练;针对目标桥梁数据集不均衡的问题,利用其他桥梁数据对其各类别数据进行补充,提高调整后的Resnet50网络模型对目标桥梁的各类别数据的识别准确率;
具体包括步骤如下:
步骤一:图像转换;
桥梁上布设的加速度传感器的采样频率为f=xHz,每秒采集x次数据,每小时采集该数据点加速度3600*x次;以时间为横坐标,以该时间点的加速度数值为纵坐标,利用Matlab将该加速度传感器一小时采集到的各数据点依次连接绘制成一张二维图像,该图像的轮廓特征代表了一小时内加速度数据的主要特征;
步骤二:异常数据特征类别划分;
根据图像的轮廓特征,将桥梁监测数据划分为正常、漂移、局部增益、缺失、噪声、跳点6种数据类别;
步骤三:其他桥梁数据质量判断;
选取其他桥梁监测数据图像数据集,并训练调整后的Resnet 50网络模型,对其他桥梁监测数据图像数据集中的图像质量进行评判;
步骤四:数据集扩充;
将符合判定条件的其他桥梁监测数据图像添加到目标桥梁监测数据图像训练集中,对目标桥梁监测数据图像数据集进行扩充;
步骤五:采取迁移学习利用调整后的Resnet 50网络模型对扩充后的目标桥梁监测数据图像数据集进行训练;
MATLAB工具箱中的预训练模型以调整后的Resnet 50网络模型为主;调整后的Resnet50网络模型具体如下:设置一个新的全连接层及分类层,将新的全连接层的内部参数InputSize和新的分类层的内部参数OutputSize设置为d;在调整后的Resnet 50网络模型的网络层中搜索Resnet 50网络模型原有的全连接层及分类层,将新全连接层及新分类层对其进行取代;对调整后的Resnet 50网络模型的超参数进行初始化设置,输入扩充后的目标桥梁监测数据图像数据集对其进行训练,根据训练得到的准确率与损失函数曲线对超参数进行调节。
2.根据权利要求1所述的不同桥梁间数据图像迁移的识别方法,其特征在于,所述正常数据的图像中心线上下有序波动,且波动明显;漂移数据的图像整体偏离中心线,呈现倾斜的趋势或部分偏离在中心线上下波动;增益数据的图像中部分时间段内加速度幅值呈现突然增大趋势,其幅值高于其他时间段内数据;噪声数据的图像整个时间段内加速度幅值一致;缺失数据的图像部分数据缺失,缺失处加速度幅值为0,在图像中心线处显示出一条直线,或全部数据缺失整张图像空白;跳点数据的图像某一时刻加速度幅值突然增大,呈现一个或者多个孤立数据点,整体特征被缩小。
3.根据权利要求1或2所述的不同桥梁间数据图像迁移的识别方法,其特征在于,所述d=6。
4.一种不同桥梁间数据图像迁移的识别装置,其特征在于,不同桥梁间数据图像迁移的识别装置包括:
采集模块,用于获取桥梁监测数据;
存储器,用于存储获取的桥梁监测数据和计算机程序;计算机程序包括图像转换程序和图像训练程序;
处理器,用于执行所述存储器中存储的计算机程序,当所述计算机程序被执行时,所述处理器用于:
读取存储的桥梁监测数据,所述桥梁监测数据为同一采样频率下采集并存储的;根据获取的桥梁监测数据,利用图像转换程序将桥梁监测数据转换为图像;然后利用图像训练程序对扩充后的目标桥梁监测数据图像数据集进行训练。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310170107.XA CN116229165A (zh) | 2023-02-27 | 2023-02-27 | 一种不同桥梁间数据图像迁移的识别方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310170107.XA CN116229165A (zh) | 2023-02-27 | 2023-02-27 | 一种不同桥梁间数据图像迁移的识别方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116229165A true CN116229165A (zh) | 2023-06-06 |
Family
ID=86578220
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310170107.XA Pending CN116229165A (zh) | 2023-02-27 | 2023-02-27 | 一种不同桥梁间数据图像迁移的识别方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116229165A (zh) |
-
2023
- 2023-02-27 CN CN202310170107.XA patent/CN116229165A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111914883B (zh) | 一种基于深度融合网络的主轴轴承状态评估方法及装置 | |
AU2020103923A4 (en) | Fault diagnosis method and system for gear bearing based on multi-source information fusion | |
Lei et al. | Mutual information based anomaly detection of monitoring data with attention mechanism and residual learning | |
CN104454785B (zh) | 一种工程机械液压缸故障诊断系统及与之适用的故障样本信号采集方法 | |
CN108399277B (zh) | 一种基于温度与应变关联性的桥梁损伤识别方法 | |
CN110334764A (zh) | 基于集成深度自编码器的旋转机械智能故障诊断方法 | |
CN111946559B (zh) | 一种风机基础和塔架结构检测方法 | |
CN112487356B (zh) | 一种结构健康监测数据增强方法 | |
KR102291964B1 (ko) | 반도체 제조 공정에서 고장 검출 및 불량 원인 진단을 위한 방법 | |
CN110608884B (zh) | 一种基于自注意力神经网络的滚动轴承状态诊断方法 | |
Son et al. | Deep learning-based anomaly detection to classify inaccurate data and damaged condition of a cable-stayed bridge | |
CN106934126A (zh) | 基于循环神经网络融合的机械零部件健康指标构造方法 | |
CN114563150A (zh) | 桥梁健康在线检测模块生成方法、检测方法、工具箱及装置 | |
CN105626502A (zh) | 基于小波包和拉普拉斯特征映射的柱塞泵健康评估方法 | |
CN110580492A (zh) | 一种基于小幅波动检测的轨道电路故障前兆发现方法 | |
CN106355314A (zh) | 一种汽车发动机气门质量流式数据处理方法及装置 | |
CN114781450B (zh) | 一种基于参数优化momeda-mia-cnn的列车滚动轴承状态识别方法 | |
CN117475191A (zh) | 一种特征对齐域对抗神经网络的轴承故障诊断方法 | |
Li et al. | Structural health monitoring data anomaly detection by transformer enhanced densely connected neural networks | |
CN117782198B (zh) | 一种基于云边端架构的公路机电设备运行监测方法及系统 | |
CN116229165A (zh) | 一种不同桥梁间数据图像迁移的识别方法及装置 | |
CN114638039B (zh) | 一种基于低秩矩阵恢复的结构健康监测特征数据解释方法 | |
CN114046816B (zh) | 基于轻量级梯度提升决策树的传感器信号故障诊断方法 | |
CN115376302A (zh) | 一种风机叶片故障预警方法、系统、设备及介质 | |
CN115310499A (zh) | 一种基于数据融合的工业设备故障诊断系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |