CN115393745A - 一种基于无人机与深度学习的桥梁形象进度自动识别方法 - Google Patents
一种基于无人机与深度学习的桥梁形象进度自动识别方法 Download PDFInfo
- Publication number
- CN115393745A CN115393745A CN202211021812.5A CN202211021812A CN115393745A CN 115393745 A CN115393745 A CN 115393745A CN 202211021812 A CN202211021812 A CN 202211021812A CN 115393745 A CN115393745 A CN 115393745A
- Authority
- CN
- China
- Prior art keywords
- bridge
- point cloud
- unmanned aerial
- aerial vehicle
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/176—Urban or other man-made structures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Remote Sensing (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于无人机与深度学习的桥梁形象进度自动识别方法,具体步骤如下:获取桥梁粗略点云模型,通过对粗略点云模型进行路径规划,采集得到桥梁多角度全方位的航拍图像,处理生成精细的桥梁点云模型,对点云模型进行标注赋予构件语义标签。采用深度学习模型,通过使用四个编码器和解码器来学习点的特征,把桥梁点云数据集作为模型输入进行训练,得到具有自动识别桥梁主要构件功能的网络模型。通过对两个不同施工时期的桥梁点云进行识别,比较桥梁主要构件数量变化,删除两期数据中的重复点云,得到桥梁形象进度变化情况。本发明对桥梁构件识别完整且准确,可在还原真实施工场景的同时掌握各构件详细施工进度,效率高,成本低。
Description
技术领域
本发明涉及土木工程与人工智能交互技术领域,具体是一种基于无人机与深度学习的桥梁形象进度自动识别方法。
背景技术
随着城市的扩张与公路、铁路等交通工程的快速发展,桥梁作为交通网中跨越空间的重要通道也在不断开工建设。桥梁工程建设是一项复杂的生产活动,具有协作性高、建设工期长、易受外界干扰及自然因素影响等特点。在当前的桥梁施工建设中,施工技术和管理人员还主要是使用二维图表的形式对桥梁施工进度进行记录和管理,这种方法效率低且不能快速良好全面地展示施工过程的真实场景。因此,迫切需要一种更加智能化的处理手段实现桥梁工程进度的快速与自动化管理。
随着无人机导航、路径规划算法、无人机避障和计算机视觉技术的快速发展,无人机因其有灵活机动性强、成本较低且获取图像分辨率等特点,被应用于三维重建领域。在土木工程领域基于无人机的倾斜摄影技术被广泛应用,但是无人机倾斜摄影技术获取的点云精度低,难以准确还原构件的实际尺寸,因此需要提出一种基于无人机路径规划的高精度点云建模方法。在点云构件分类方面,传统的点云分类算法主要有基于边缘、区域增长和聚类等算法,传统点云构件分类算法计算效率低,且只适用于数据量小的点云分割。近年来随着计算机计算能力的提升,基于深度学习的点云分割技术凭借其处理大型数据集的高效性、特征提取的自主性和泛化能力强等优势得到迅速发展,并开始成为点云分类研究的主流方法。常用的深度学习网络对大规模点云数据集的分割效果差,计算时间长,因此需要提出一种桥梁点云构件的自动识别的轻量高效方法。
发明内容
本发明所要解决的技术问题是:为了克服传统识别技术的不足,本发明提供了一种基于无人机与深度学习的桥梁形象进度自动识别方法。
为解决上述技术问题,本发明采用以下技术方案:
本发明提出一种基于无人机与深度学习的桥梁形象进度自动识别方法,具体包括如下步骤:
S1、通过无人机航拍桥梁图像,经处理生成桥梁点云模型,并补全模型缺失处点云数据;
S2、将生成的桥梁点云模型进行人工标注,并划分为成训练集、验证集和测试集,将点云数据进行预处理,得到用于模型训练的数据;
S3、建立深度学习网络模型,输入经过步骤S2处理的桥梁点云数据,通过局部特征聚合模块和注意力池化模块后提取出数据特征,训练得到具有自动识别桥梁点云构件的语义分割网络模型;
S4、将测试数据输入训练好的网络模型中,将测试集中桥梁点云主要构件用不同颜色自动显示;
S5、对两个不同施工时期的桥梁点云识别结果进行后处理,比较桥梁主要构件数量的变化,将变化部分点云用其他颜色显示,实现桥梁形象进度自动识别。
进一步的,本发明所提出的一种基于无人机与深度学习的桥梁形象进度自动识别方法,步骤S1具体步骤如下:
S101、采用无人机对桥梁结构进行倾斜摄影,生成桥梁倾斜摄影模型;
S102、进行精细化的无人机航线规划,获取多角度全方位的桥梁图像;
S103、处理无人机航拍图像,生成精细化桥梁点云模型,并补全模型缺失的点云数据。
进一步的,本发明所提出的一种基于无人机与深度学习的桥梁形象进度自动识别方法,步骤S102中,规划的无人机精细化航线需要编写KML文件,文件中应该包括航点的经纬度、海拔高度坐标和每个航点处无人机执行的动作指令信息,生产的KML文件需要导入到无人机中。
进一步的,本发明所提出的一种基于无人机与深度学习的桥梁形象进度自动识别方法,步骤S103中,通过后期处理来补全模型缺失的点云数据:找到模型缺失所在位置,手动飞行无人机拍摄该位置图像,重新生成完整精确的点云模型。
进一步的,本发明所提出的一种基于无人机与深度学习的桥梁形象进度自动识别方法,步骤S2中,用于桥梁点云数据标注的软件为CloudCompare,标注好的数据集按照7:2:1划分为训练集、验证集和测试集,经过后处理后生成txt文件、pkl文件和ply文件,输入网络进行训练。
进一步的,本发明所提出的一种基于无人机与深度学习的桥梁形象进度自动识别方法,步骤S3中,深度学习网络模型为RandLA-Net模型,该网络通过使用四个编码器和解码器来学习点的特征,最后使用一个全连接层来预测每个点的语义信息,在聚合特征的过程中采用了注意力机制,每一编码层都在进行下采样的同时进行特征升维;对于解码层,首先用KNN算法寻找每个点云的最近邻点,然后通过最邻近插值对点的特征集合进行上采样,并通过跳跃层连接上采样特征与编码层产生的中间特征,最后输入MLP结构对每个点的语义信息进行预测。
进一步的,本发明所提出的一种基于无人机与深度学习的桥梁形象进度自动识别方法,步骤S3中,RandLA-Net模型采用基于权重的交叉熵损失,损失计算公式如下:
其中,ωx为某类别权重,取为该类别标签点数量的倒数,ytrue为实际标签值,ypre d为实际预测的概率值。
进一步的,本发明所提出的一种基于无人机与深度学习的桥梁形象进度自动识别方法,步骤S3中,局部特征聚合模块包括一个相对位置编码单元,用于将输入点云块的空间坐标、相对位置坐标、中心点坐标和相对距离进行特征拼接,以提供给网络更丰富的几何信息。
进一步的,本发明所提出的一种基于无人机与深度学习的桥梁形象进度自动识别方法,步骤S5中,使用的点云后处理方法为建立KD-tree,假设第一个施工阶段的桥梁点云为点云A,后一个施工阶段为点云B,首先遍历B中的点,查询其在A中是否有相同的点云,记录相同点在B中的索引值,通过索引值删除点云B中的重复点后,得到B-A点云,即桥梁施工进度。
进一步的,本发明所提出的一种基于无人机与深度学习的桥梁形象进度自动识别方法,步骤S5中,得到两期点云的变化后,给这些点添加统一的颜色信息,实现将变化点云用其他颜色显示。
本发明采用以上技术方案与现有技术相比,具有以下有益效果:
本发明提出的基于无人机与深度学习的桥梁形象进度自动识别方法,具有效率高,成本低的优点,对桥梁构件识别完整且准确,可在还原真实施工场景的同时掌握各构件详细施工进度,相较于常见的基于图像的桥梁形象进度的二维识别方式具有明显的优势。
附图说明
图1为本发明使用无人机和基于无人机与深度学习的桥梁点云主要构件自动识别方法的流程图。
图2为本发明中使用的RandLA-Net网络结构示意图。
图3为本发明对桥梁形象进度识别结果的简单示意,图中只展示了桥梁主要构件的变化情况。
具体实施方式
为了更了解本发明的技术内容,特举具体实施例并配合所附图式说明如下。参照附图描述本发明的各个方面,附图示出了许多说明性实施例。本发明的实施例不局限于附图所述。应当理解,本发明通过上面介绍的多种构思和实施例,以及下面详细描述的构思和实施方式中的任意一种来实现,这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外,本发明公开的一些方面可以单独使用,或者与本发明公开的其他方面任意适当地组合使用。
如图1所示,一种基于无人机与深度学习的桥梁形象进度自动识别方法,包括如下步骤:
步骤1、采用无人机对桥梁结构进行倾斜摄影,生成桥梁倾斜摄影模型;生成的粗略倾斜摄影模型需要有准确的地理空间位置坐标。
步骤2、在桥梁倾斜摄影模型基础上,进行精细化的无人机航线规划,获取多角度全方位的桥梁图像;其中规划的无人机精细化航线需要编写KML文件,文件中应该包括航点的经纬度、海拔高度坐标和每个航点处无人机执行的动作指令信息,生产的KML文件需要导入到无人机中。
步骤3、处理无人机航拍图像,采用常见的Smart3D软件实现生成精细化桥梁点云模型,并通过后期处理来补全模型缺失的点云数据,具体为:找到模型缺失所在位置,手动飞行无人机拍摄该位置图像,重新生成完整精确的点云模型。
步骤4、将生成的精细化桥梁点云模型进行人工标注,并划分为成训练集、验证集和测试集,训练集用于训练深度学习模型,验证集用于保存表现最优的模型参数,测试集用于测试网络最终效果,将点云数据进行预处理,得到用于模型训练的数据;其中,本发明采用CloudCompare软件对桥梁点云数据进行标注,标注好的数据集按照7:2:1划分为训练集、验证集和测试集,经过后处理后生成txt文件、pkl文件和ply文件,输入网络进行训练。
步骤5、建立深度学习网络模型,输入经过步骤3后的桥梁点云数据,通过局部特征聚合模块和注意力池化模块后提取出数据特征,训练得到具有自动识别桥梁点云构件的语义分割网络模型。
在步骤5中,深度学习网络模型为RandLA-Net模型,如图2所示,该网络通过使用四个编码器和解码器来学习点的特征,最后使用一个全连接层来预测每个点的语义信息,在聚合特征的过程中采用了注意力机制,每一编码层都在进行下采样的同时进行特征升维;对于解码层,首先用KNN算法寻找每个点云的最近邻点,然后通过最邻近插值对点的特征集合进行上采样,并通过跳跃层连接上采样特征与编码层产生的中间特征,最后输入MLP结构对每个点的语义信息进行预测。
其中,RandLA-Net模型采用基于权重的交叉熵损失,损失计算公式如下:
其中,ωx为某类别权重,取为该类别标签点数量的倒数,ytrue为实际标签值,ypre d为实际预测的概率值。
作为本发明的一个实施例,本发明的局部特征聚合模块包括相对位置编码模块,该模块将输入点云块的空间坐标、相对位置坐标、中心点坐标和相对距离进行特征拼接,以提供给网络更丰富的几何信息。
步骤6、将测试数据输入训练好的网络模型中,将测试集中桥梁点云主要构件用不同颜色自动显示。
作为一个实施例,其中,使用携带NVIDIAQuadroRTX6000显卡的服务器完成网络训练。
步骤7、对两个不同施工时期的桥梁点云识别结果进行后处理,比较桥梁主要构件数量的变化,将变化部分点云用其他颜色显示。
假设第一个施工阶段的桥梁点云为点云A,后一个施工阶段为点云B,经过深度学习模型识别后可以直接通过比较得到A、B中的主要构件的数量变化。
如图3所示,作为一个实施例,步骤7中使用的点云后处理方法为建立KD-tree,首先遍历B中的点,查询其在A中是否有相同的点云,记录相同点在B中的索引值,通过索引值删除点云B中的重复点后,得到B-A点云,即桥梁施工进度。
得到两期点云的变化后,给这些点添加统一的颜色信息,如(0,0,0)表示为黑色,实现将变化点云用其他颜色显示。
作为本发明的一个实施例,训练RandLA-Net网络的实验条件:使用带有NVIDIAQuadroRTX6000显卡的服务器,该显卡显存为24GB,系统采用Centos系统,编程语言采用python。使用的深度学习框架为tensorflow2.x。
在训练RandLA-Net模型时,标注的桥梁点云数据集为常见的梁桥数据,具体标注的桥梁主要构件有桥面板、桥墩等。
在确定不同施工阶段中桥梁形象进度变化时,采用了KD-tree来快速查找点云中的公共点,也可以采用八叉树的查询方法来确定点云变化。
以上结合附图对本发明的实施方式进行了详尽介绍,应当指出对于任何具备本技术领域知识的技术人员来说,在不脱离本发明宗旨的前提下,还可以做出各种改变和替换,这些改变和替换也应涵盖在本发明的保护范围内。
Claims (10)
1.一种基于无人机与深度学习的桥梁形象进度自动识别方法,其特征在于,包括以下步骤:
S1、通过无人机航拍桥梁图像,经处理生成桥梁点云模型,并补全模型缺失处点云数据;
S2、将生成的桥梁点云模型进行人工标注,并划分为成训练集、验证集和测试集,将点云数据进行预处理,得到用于模型训练的数据;
S3、建立深度学习网络模型,输入经过步骤S2处理的桥梁点云数据,通过局部特征聚合模块和注意力池化模块后提取出数据特征,训练得到具有自动识别桥梁点云构件的语义分割网络模型;
S4、将测试数据输入训练好的网络模型中,将测试集中桥梁点云主要构件用不同颜色自动显示;
S5、对两个不同施工时期的桥梁点云识别结果进行后处理,比较桥梁主要构件数量的变化,将变化部分点云用其他颜色显示,实现桥梁形象进度自动识别。
2.根据权利要求1所述的一种基于无人机与深度学习的桥梁形象进度自动识别方法,其特征在于:步骤S1具体步骤如下:
S101、采用无人机对桥梁结构进行倾斜摄影,生成桥梁倾斜摄影模型;
S102、进行精细化的无人机航线规划,获取多角度全方位的桥梁图像;
S103、处理无人机航拍图像,生成精细化桥梁点云模型,并补全模型缺失的点云数据。
3.根据权利要求1所述的一种基于无人机与深度学习的桥梁形象进度自动识别方法,其特征在于:步骤S102中,规划的无人机精细化航线需要编写KML文件,文件中应该包括航点的经纬度、海拔高度坐标和每个航点处无人机执行的动作指令信息,生产的KML文件需要导入到无人机中。
4.根据权利要求1所述的一种基于无人机与深度学习的桥梁形象进度自动识别方法,其特征在于:步骤S103中,通过后期处理来补全模型缺失的点云数据:找到模型缺失所在位置,手动飞行无人机拍摄该位置图像,重新生成完整精确的点云模型。
5.根据权利要求1所述的一种基于无人机与深度学习的桥梁形象进度自动识别方法,其特征在于:步骤S2中,用于桥梁点云数据标注的软件为CloudCompare,标注好的数据集按照7:2:1划分为训练集、验证集和测试集,经过后处理后生成txt文件、pkl文件和ply文件,输入网络进行训练。
6.根据权利要求1所述的一种基于无人机与深度学习的桥梁形象进度自动识别方法,其特征在于:步骤S3中,深度学习网络模型为RandLA-Net模型,该网络通过使用四个编码器和解码器来学习点的特征,最后使用一个全连接层来预测每个点的语义信息,在聚合特征的过程中采用了注意力机制,每一编码层都在进行下采样的同时进行特征升维;对于解码层,首先用KNN算法寻找每个点云的最近邻点,然后通过最邻近插值对点的特征集合进行上采样,并通过跳跃层连接上采样特征与编码层产生的中间特征,最后输入MLP结构对每个点的语义信息进行预测。
8.根据权利要求1所述的一种基于无人机与深度学习的桥梁形象进度自动识别方法,其特征在于:步骤S3中,局部特征聚合模块包括一个相对位置编码单元,用于将输入点云块的空间坐标、相对位置坐标、中心点坐标和相对距离进行特征拼接,以提供给网络更丰富的几何信息。
9.根据权利要求1所述的一种基于无人机与深度学习的桥梁形象进度自动识别方法,其特征在于:步骤S5中,使用的点云后处理方法为建立KD-tree,假设第一个施工阶段的桥梁点云为点云A,后一个施工阶段为点云B,首先遍历B中的点,查询其在A中是否有相同的点云,记录相同点在B中的索引值,通过索引值删除点云B中的重复点后,得到B-A点云,即桥梁施工进度。
10.根据权利要求1所述的一种基于无人机与深度学习的桥梁形象进度自动识别方法,其特征在于:步骤S5中,得到两期点云的变化后,给这些点添加统一的颜色信息,实现将变化点云用其他颜色显示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211021812.5A CN115393745A (zh) | 2022-08-24 | 2022-08-24 | 一种基于无人机与深度学习的桥梁形象进度自动识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211021812.5A CN115393745A (zh) | 2022-08-24 | 2022-08-24 | 一种基于无人机与深度学习的桥梁形象进度自动识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115393745A true CN115393745A (zh) | 2022-11-25 |
Family
ID=84123547
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211021812.5A Pending CN115393745A (zh) | 2022-08-24 | 2022-08-24 | 一种基于无人机与深度学习的桥梁形象进度自动识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115393745A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116168386A (zh) * | 2023-03-06 | 2023-05-26 | 东南大学 | 一种基于激光雷达扫描的桥梁施工进度识别方法 |
CN116524382A (zh) * | 2023-05-22 | 2023-08-01 | 西南交通大学 | 一种桥梁转体合拢准确性检验方法系统、设备 |
CN117408999A (zh) * | 2023-12-13 | 2024-01-16 | 安格利(成都)仪器设备有限公司 | 一种利用点云补全自动检测容器和管道腐蚀坑的方法 |
-
2022
- 2022-08-24 CN CN202211021812.5A patent/CN115393745A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116168386A (zh) * | 2023-03-06 | 2023-05-26 | 东南大学 | 一种基于激光雷达扫描的桥梁施工进度识别方法 |
CN116524382A (zh) * | 2023-05-22 | 2023-08-01 | 西南交通大学 | 一种桥梁转体合拢准确性检验方法系统、设备 |
CN117408999A (zh) * | 2023-12-13 | 2024-01-16 | 安格利(成都)仪器设备有限公司 | 一种利用点云补全自动检测容器和管道腐蚀坑的方法 |
CN117408999B (zh) * | 2023-12-13 | 2024-02-20 | 安格利(成都)仪器设备有限公司 | 一种利用点云补全自动检测容器和管道腐蚀坑的方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111091708B (zh) | 车辆轨迹预测方法及装置 | |
US12111177B2 (en) | Generating training data for deep learning models for building high definition maps | |
CN111542860B (zh) | 用于自主车辆的高清地图的标志和车道创建 | |
CN113065000B (zh) | 一种基于地理实体的多源异构数据融合方法 | |
US20240005167A1 (en) | Annotating high definition map data with semantic labels | |
Hu et al. | GeoAI at ACM SIGSPATIAL: progress, challenges, and future directions | |
CN107229690B (zh) | 基于路侧传感器的高精度动态地图数据处理系统及方法 | |
CN115393745A (zh) | 一种基于无人机与深度学习的桥梁形象进度自动识别方法 | |
US11590989B2 (en) | Training data generation for dynamic objects using high definition map data | |
CN109993064B (zh) | 一种提取图片中道路网络节点间的连接路径的方法 | |
CN110021072B (zh) | 面向全息测绘的多平台点云智能处理方法 | |
CN109101743A (zh) | 一种高精度路网模型的构建方法 | |
CN112633602B (zh) | 一种基于gis地图信息的交通拥堵指数预测方法及装置 | |
Li et al. | Learning to holistically detect bridges from large-size vhr remote sensing imagery | |
CN104121917A (zh) | 一种自动发现新建桥梁的方法和装置 | |
Dekker et al. | Point Cloud Analysis of Railway Infrastructure: A Systematic Literature Review | |
CN112732446B (zh) | 一种任务处理方法、装置及存储介质 | |
Li et al. | Semi-Automatic Construction of Virtual Reality Environment for Highway Work Zone Training using Open-Source Tools | |
Wang et al. | Lightweight High-precision Map for Specific Scenes | |
Lyu et al. | W6DNet: Weakly-supervised Domain Adaptation for Monocular Vehicle 6D Pose Estimation with 3D Priors and Synthetic Data | |
Liu | High precision map crowdsource update technology and SLAM technology-Application in autonomous driving | |
US20230408294A1 (en) | Unsupervised metadata generation for vehicle data logs | |
CN118643561A (zh) | 一种基于深度学习的道路要素点云bim逆向建模方法及系统 | |
Adu-Gyamfi | Automatic extraction of relevant road infrastructure using connected vehicle data and deep learning model | |
Pires Orozco | QoI-oriented incentive mechanisms for vehicle-based visual crowdsourcing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |