CN116309112A - 用于轨道监测激光雷达的点云雨雾去噪方法 - Google Patents

用于轨道监测激光雷达的点云雨雾去噪方法 Download PDF

Info

Publication number
CN116309112A
CN116309112A CN202310057694.1A CN202310057694A CN116309112A CN 116309112 A CN116309112 A CN 116309112A CN 202310057694 A CN202310057694 A CN 202310057694A CN 116309112 A CN116309112 A CN 116309112A
Authority
CN
China
Prior art keywords
point cloud
target point
laser radar
target
rain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310057694.1A
Other languages
English (en)
Inventor
王成
武玉琪
潘泽民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Southwest Jiaotong University Railway Development Co ltd
Original Assignee
Sichuan Southwest Jiaotong University Railway Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Southwest Jiaotong University Railway Development Co ltd filed Critical Sichuan Southwest Jiaotong University Railway Development Co ltd
Priority to CN202310057694.1A priority Critical patent/CN116309112A/zh
Publication of CN116309112A publication Critical patent/CN116309112A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明公开了用于轨道监测激光雷达的点云雨雾去噪方法,包括步骤:获取激光雷达单帧点云,提取防区内的点云数据作为第一目标点云;以激光雷达为原点,采用半径自适应滤波法对第一目标点云进行滤波;以晴好天气下无障碍物的单帧点云为标定点云,利用分割算法和标定点云对滤波后的第一目标点云中的疑似障碍物进行分割,得到第二目标点云;设置判定阈值,滤除所述第二目标点云中的颗粒噪声点云,得到第三目标点云。本发明可以滤除极端天气下的雨雾及其他细小物体对激光雷达点云的噪声干扰,使后续的障碍物点云分割、匹配和分类更加准确、快速。

Description

用于轨道监测激光雷达的点云雨雾去噪方法
技术领域
本发明涉及一种轨道交通安全技术领域,尤其涉及用于轨道监测激光雷达的点云雨雾去噪方法。
背景技术
针对高铁和旅客列车安全为重点的铁路周界安全监测是目前铁路安全领域的发展重点,涉及铁路周界的安全问题的发生具有突发性和偶然性,而传统的巡查、管控的工作模式已不能满足现阶段铁路运营安全需求,因此迫切需要先进的技术手段全面、及时的发现铁路周界环境安全隐患,减轻人工排查沿线隐患的工作量及难度,为列车的安全运行提供有力保障。
基于非接触障碍物检测技术的周界安全监测是目前较为先进的技术,其主要是基于两类传感器:激光雷达传感器和视觉传感,它们都是通过监测物体侵入过程中的遮挡从而实现监测。对于基于激光雷达的铁路周界安全监测,其获得监测数据是包含背景和障碍物的点云数据,为了对障碍物完成识别和处理,需要将障碍物从点云中分割出来,以便于单独处理。
在实际应用中,除了正常晴好天气下的采集点云数据能正常被检出外,雨雾等天气也不可避免。而在雨雾天气的影响下,激光雷达采集到的点云数据存在一些雨滴云雾的干扰数据,尤其是在恶劣天气下,甚至出现地面水滴溅起被雷达采集的情况;在这些雨雾干扰下,导致算法检测得到的障碍物可能存在漏报或者误报;而传统的直通滤波、均匀采样滤波、统计离散点滤波只能简单的进行去噪平滑处理,对较大颗粒的噪声点云无法进行处理。
发明内容
为了解决上述现有技术中存在的不足,本发明提供了一种用于轨道监测激光雷达的点云雨雾去噪方法,可以很好的滤除原始点云数据中的雨雾噪声,使后续的障碍物识别和报警步骤更加高效、准确。
为了实现以上发明目的,本发明的技术方案如下:
用于轨道监测激光雷达的点云雨雾去噪方法,包括步骤:
获取激光雷达单帧点云,提取防区内的点云数据作为第一目标点云;
以激光雷达为原点,采用半径自适应滤波法对第一目标点云进行滤波;
以晴好天气下无障碍物的单帧点云为标定点云,利用分割算法和标定点云对滤波后的第一目标点云中的疑似障碍物进行分割,得到第二目标点云;
设置判定阈值,滤除所述第二目标点云中的颗粒噪声点云,得到第三目标点云。
在一些较优的实施例中,在提取防区内的点云数据作为第一目标点云前,还包括步骤:
根据单帧点云创建下采样最小立方栅格,设定栅格边长l,所述边长l与邻近点个数k成正比,与点云的平均密度成反比;
将单帧点云数据划分到m*n*l个下采样最小立方栅格中,其中,m=ceil(Lx/l),n=ceil(Ly/l),z=ceil(Lz/l),Lx表示点云X轴方向最大范围,Ly表示点云Y轴方向最大范围,Lz表示点云Z轴方向最大范围;对于任一点pi,其所属下采样最小立方栅格号为(mpi,npi,lpi),
Figure BDA0004060766340000021
将下采样最小立方栅格号相同的点云数据分别归集为若干栅格点云集合;
依次计算各栅格点云集合的中心坐标,保留该中心坐标所代表的点云数据,删除该栅格内其他点云数据。
在一些较优的实施例中,所述半径自适应滤波法包括步骤:
设置初始搜索圆半径R,设置每个激光点在搜索圆半径R内的邻域中至少包含的近邻点数量K;
计算第一目标点云中每个点到原点的X方向的距离LXi,计算邻阈半径系数λ,
Figure BDA0004060766340000022
其中Lmin为第一目标点云中离原点最近的点的X方向距离,α为调整系数且α∈(0,1);
对第一目标点云中每个点计算其自适应半径阈值R=RλLXi,然后以R为半径进行圆内邻近点搜索,保留圆内的点,删除圆外的点。
在一些较优的实施例中,所述判定阈值包括疑似障碍物最小长宽高值、点占比。
在一些较优的实施例中,在对滤波后的第一目标点云中的疑似障碍物进行分割前,对所述滤波后的第一目标点云进行上采样插值填充。
有益效果
本发明可以滤除极端天气下的雨雾及其他细小物体对激光雷达点云的噪声干扰,使后续的障碍物点云分割、匹配和分类更加准确、快速。
附图说明
图1为本发明一种较优实施例中的方法流程示意图;
图2为本发明一种较优实施例中激光雷达获取的单帧点云示意图;
图3本发明一种较优实施例中经过半径自适应滤波处理的第一目标点云示意图;
图4为本发明一种较优实施例中的雷达点云具有近密远疏特点示意图;
图5本发明一种较优实施例中经过分割处理的第二目标点云示意图;
图6本发明一种较优实施例中滤除颗粒噪声后的第三目标点云示意图;
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面结合附图对本发明作进一步阐述。在本发明的描述中,需要理解的是,术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
如图1所示,本发明提供了一种用于轨道监测激光雷达的点云雨雾去噪方法,其特征在于,包括步骤:
S1.获取激光雷达单帧点云,如图2所示,提取防区内的点云数据作为第一目标点云。其中,所述防区是指根据铁道管理部门的侵限要求和现场的周界条件所设定的固定监测区域,激光雷达所获得点云数据在删除防区外的所有点云后作为第一目标点云。应当理解的是,即使对于防区内的原始点云数据来说,其包含的数据量也是巨大的,因此考虑在不破坏原始点云几何结构的情况下,对其进行一定幅度的下采样数据压缩处理,以减少后续步骤的数据处理量,提高数据处理效率。所述下采样的具体步骤包括:
S101.根据单帧点云创建下采样最小立方栅格,设定栅格边长l。所述边长l与邻近点个数k成正比,与点云的平均密度成反比;栅格边长l的设定是基于以下考虑:
过大的栅格会降低搜索效率,过小的栅格则会出现空的栅格。因此设定下采样最小立方栅格的边长l与邻近点个数k成正比,与点云的平均密度成反比;此时,当点云的平均密度小时,表示在固定空间内的点云数量少,那么应将l取大些来提高后续步骤的搜索的范围,以保证有足够多的点云进行后续步骤的计算;当点云的平均密度大时,则表示在固定空间内的点云数量较多,应将l取小些,以保证在最适当的范围内搜索,降低搜索的时间。
S102.将单帧点云数据划分到m*n*l个下采样最小立方栅格中,其中,m=ceil(Lx/l),n=ceil(Ly/l),z=ceil(Lz/l),Lx表示点云X轴方向最大范围,Ly表示点云Y轴方向最大范围,Lz表示点云Z轴方向最大范围;对于任一点pi,其所属下采样最小立方栅格号为(mpi,npi,lpi),
Figure BDA0004060766340000041
上式也可以采用一维编码的表示方法为:任一点pi的栅格编码为Vpi=mpi×n×l+npi×l+lpi
S103.将下采样最小立方栅格号相同的点云数据分别归集为若干栅格点云集合;
S104.依次计算各栅格点云集合的中心坐标,保留该中心坐标所代表的点云数据,删除该栅格内其他点云数据;其中,所述中心坐标的方法为:
Figure BDA0004060766340000042
其中,Xct、Yct、Zct分别表示中心坐标的三轴坐标值,g为目标下采样最小立方栅格中点云的数据个数。
至此完成点云数据的下采样。
S2.以激光雷达为原点,采用半径自适应滤波法对第一目标点云进行滤波,滤波结果如图3所示。本领域技术人员应当知晓,传统的固定半径阈值R滤波针对点云数据统一处理;如图4所示,由于雷达点云具有近密远疏的特点,而使用固定的半径进行滤波时,对于近处和远处的点云滤波效果不一样。这样很容易导致远处的重要非噪声点被错误滤除。因此考虑使用自变量半径值进行滤波处理,具体包括:对于近处的点云半径设置较小,随着距离的增加,设置的半径阈值应越来越大。在监测系统搭建之初,激光雷达的坐标与监测目标(即轨道防区)的坐标系已经过标定和转换,因此,点云中任一点基于雷达的XYZ值为已知且能互相转换,考虑以X距离值作为自变量将半径值自适应化:R=RλLXi,其中R为设置输入的半径阈值,LXi为第i个点到激光雷达的直线X距离;λ为邻阈半径系数。
在一些较优的实施例中,给出了一种实现半径滤波的具体方法:
S201.设置初始搜索圆半径R,设置每个激光点在搜索圆半径R内的邻域中至少包含的近邻点数量K;所述初始搜索圆半径R和近邻点数量K可由本领域技术人员根据点云疏密程度进行具体设置,优选的K≥25,R≥5cm,优选的K=30,R=10cm。
S202.计算第一目标点云中每个点到原点的X方向的距离LXi,计算邻阈半径系数λ,
Figure BDA0004060766340000051
其中Lmin为第一目标点云中离原点最近的点的X方向距离,α为调整系数且α∈(0,1);应当理解的是,所述邻阈半径系数λ一般大于1,为了防止远处点云半径滤波的半自适应半径阈值R过大,考虑设置调整系数α量限制邻阈半径系数λ过大。
S203.对第一目标点云中每个点计算其自适应半径阈值R=RλLXi,然后以R为半径进行圆内邻近点搜索,保留圆内的点,删除圆外的点。
S3.以晴好天气下无障碍物的单帧点云为标定点云,利用分割算法和标定点云对滤波后的第一目标点云中的疑似障碍物进行分割,得到第二目标点云,如图5所示。应当理解的是,如果在前序步骤中采用了下采样以压缩数据点数,那么经过滤波后的点云数据点数会进一步减少,此时可能会导致后续识别和分类步骤中的聚类监测时稀疏的点被忽略,因此,在一些较优的实施例中,考虑在进行疑似障碍物进行分割前,对滤波后的第一目标点云进行上采样插值填充,内插目前拥有的点云数据,丰富原有的数据点。具体的可以采用移动最小二乘法(MLS,Moving Least Squares)进行插值处理。具体包括:
当大量离散数据的分布较为杂乱时,使用传统的最小二乘法,往往需要对数据进行分段拟合,此外还要避免相邻分段上的拟合曲线不连续不平滑的问题。而MLS法在处理相同问题时则不需要上述这些繁琐的步骤,简单易于实现。在MLS法中,需要在一组不同位置的节点(node)附近建立拟合曲线,每个节点都有自己的一组系数(aj(xnode)用于定义该位置附近拟合曲线的形态。因此,在计算某个节点附近的拟合曲线时,只需要计算该点的该组系数值(aj)即可。此外,每个节点的系数(aj)取值只考虑其邻近采样点,且距离节点越近的采样点贡献越大,对于位置较远的点则不予考虑。在本实施例中,通过计算邻域内拟合MLS局部曲面,然后根据曲面计算法线和点云间的插值坐标,最后将插值坐标映射到输入点云内,完成滤波后的第一目标点云的上采样。
本领域技术人员应当知晓,所述利用分割算法和标定点云对滤波后的第一目标点云中的疑似障碍物进行分割的方法有很多,常见的有搜索最近邻的方法(包括BST、Kd-tree和Octree算法)、K-Means算法等,目标的分割不是本发明的重点,因此本发明对具体的分割方法不做进一步的限定,可由本领域技术人员根据实际需要进行选择和应用。应当理解的是,在本步骤中的对疑似障碍物进行分割并不是为了具体的分割障碍物,而是为了提取可能是障碍物的所有点云数据,然后删去其他背景点云,以减少后续步骤的数据处理量,使后续的障碍物识别和分类步骤更加的准确、高效。
S4.设置判定阈值,滤除所述第二目标点云中的颗粒噪声点云,得到第三目标点云,如图6所示。所述第二目标点云中包含了进行普通滤波和目标分割后的点云数据,此时其包含的主要是疑似障碍物和没有滤去的颗粒噪声,显然的,作为疑似障碍物的物理尺寸显然是要远大于颗粒的,因此,在一些较优的实施例中,通过设置疑似障碍物最小长宽高值作为判定阈值即可滤除颗粒噪声点云,优选的,所述最小长宽高值为15*15*15cm。在另一些较优的实施例中,经过前述的噪声去除和分割操作后,整个点云的点数量会被减少,但是对于可能的障碍物来说,其被减少的点数一般不会超过原始点数的一半,此时可以考虑设置点占比来衡量目标对象是否为雨雾或其他干扰噪声,具体包括:目标对象在第三目标点云中的点数与在第一目标点云中的点数的点占比(点数占比值),小于该点占比的判定为雨雾或干扰噪声,大于该点占比的判定为非雨雾或干扰噪声。优选的,点占比可以是0.5。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (5)

1.用于轨道监测激光雷达的点云雨雾去噪方法,其特征在于,包括步骤:
获取激光雷达单帧点云,提取防区内的点云数据作为第一目标点云;
以激光雷达为原点,采用半径自适应滤波法对第一目标点云进行滤波;
以晴好天气下无障碍物的单帧点云为标定点云,利用分割算法和标定点云对滤波后的第一目标点云中的疑似障碍物进行分割,得到第二目标点云;
设置判定阈值,滤除所述第二目标点云中的颗粒噪声点云,得到第三目标点云。
2.如权利要求1所述的用于轨道监测激光雷达的点云雨雾去噪方法,其特征在于,在提取防区内的点云数据作为第一目标点云前,还包括步骤:
根据单帧点云创建下采样最小立方栅格,设定栅格边长l,所述边长l与邻近点个数k成正比,与点云的平均密度成反比;
将单帧点云数据划分到m*n*l个下采样最小立方栅格中,其中,m=ceil(Lx/l),n=ceil(Ly/l),z=ceil(Lz/l),Lx表示点云X轴方向最大范围,Ly表示点云Y轴方向最大范围,Lz表示点云Z轴方向最大范围;对于任一点pi,其所属下采样最小立方栅格号为(mpi,npi,lpi),
Figure FDA0004060766330000011
将下采样最小立方栅格号相同的点云数据分别归集为若干栅格点云集合;
依次计算各栅格点云集合的中心坐标,保留该中心坐标所代表的点云数据,删除该栅格内其他点云数据。
3.如权利要求1所述的用于轨道监测激光雷达的点云雨雾去噪方法,其特征在于,所述半径自适应滤波法包括步骤:
设置初始搜索圆半径R,设置每个激光点在搜索圆半径R内的邻域中至少包含的近邻点数量K;
计算第一目标点云中每个点到原点的X方向的距离LXi,计算邻阈半径系数λ,
Figure FDA0004060766330000012
其中Lmin为第一目标点云中离原点最近的点的X方向距离,α为调整系数且α∈(0,1);
对第一目标点云中每个点计算其自适应半径阈值R=RλLXi,然后以R为半径进行圆内邻近点搜索,保留圆内的点,删除圆外的点。
4.如权利要求1所述的用于轨道监测激光雷达的点云雨雾去噪方法,其特征在于:所述判定阈值包括疑似障碍物最小长宽高值、点占比。
5.如权利要求1所述的用于轨道监测激光雷达的点云雨雾去噪方法,其特征在于:在对滤波后的第一目标点云中的疑似障碍物进行分割前,对所述滤波后的第一目标点云进行上采样插值填充。
CN202310057694.1A 2023-01-18 2023-01-18 用于轨道监测激光雷达的点云雨雾去噪方法 Pending CN116309112A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310057694.1A CN116309112A (zh) 2023-01-18 2023-01-18 用于轨道监测激光雷达的点云雨雾去噪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310057694.1A CN116309112A (zh) 2023-01-18 2023-01-18 用于轨道监测激光雷达的点云雨雾去噪方法

Publications (1)

Publication Number Publication Date
CN116309112A true CN116309112A (zh) 2023-06-23

Family

ID=86813924

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310057694.1A Pending CN116309112A (zh) 2023-01-18 2023-01-18 用于轨道监测激光雷达的点云雨雾去噪方法

Country Status (1)

Country Link
CN (1) CN116309112A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116228603A (zh) * 2023-05-08 2023-06-06 山东杨嘉汽车制造有限公司 一种挂车周围障碍物的报警系统及装置
CN118071764A (zh) * 2024-04-18 2024-05-24 苏州优备精密智能装备股份有限公司 一种用于激光雷达点云的平面块分割方法及其应用

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116228603A (zh) * 2023-05-08 2023-06-06 山东杨嘉汽车制造有限公司 一种挂车周围障碍物的报警系统及装置
CN116228603B (zh) * 2023-05-08 2023-08-01 山东杨嘉汽车制造有限公司 一种挂车周围障碍物的报警系统及装置
CN118071764A (zh) * 2024-04-18 2024-05-24 苏州优备精密智能装备股份有限公司 一种用于激光雷达点云的平面块分割方法及其应用

Similar Documents

Publication Publication Date Title
CN116309112A (zh) 用于轨道监测激光雷达的点云雨雾去噪方法
CN110532889B (zh) 基于旋翼无人飞行器和YOLOv3的轨道异物检测方法
CN110415208B (zh) 一种自适应目标检测方法及其装置、设备、存储介质
CN108681525B (zh) 一种基于车载激光扫描数据的路面点云强度增强方法
Wang et al. DEM generation from airborne LiDAR data by an adaptive dual-directional slope filter
CN116030289A (zh) 基于激光雷达的铁路危情监测方法
CN113192091B (zh) 一种基于激光雷达与相机融合的远距离目标感知方法
CN111666944A (zh) 一种红外弱小目标检测方法及装置
CN108665466B (zh) 一种道路激光点云中路面病害自动提取方法
Akarsu et al. A fast and adaptive road defect detection approach using computer vision with real time implementation
CN115409833A (zh) 基于反锐化掩模算法的光伏板的热斑缺陷检测方法
Li et al. Adaptive building edge detection by combining LiDAR data and aerial images
CN109064411B (zh) 一种基于光照补偿的路面图像去阴影方法
CN111880196A (zh) 一种无人矿车抗干扰方法、系统及计算机设备
CN114418904B (zh) 一种基于改进直方图均衡化和增强高通滤波的红外图像增强方法
CN112184725B (zh) 一种沥青路面图像的结构光光条中心提取方法
CN112819812B (zh) 基于图像处理的粉末床缺陷检测方法
CN114743181A (zh) 一种道路车辆目标检测方法、系统、电子设备及存储介质
CN111242923A (zh) 基于Canny算子的最大熵阈值优化的绝缘子裂纹检测方法
CN114926356A (zh) 一种针对降雪影响的LiDAR点云无监督去噪方法
CN115661173A (zh) 一种基于遥感图像的地块分割方法
CN114842166A (zh) 应用于结构化道路的负障碍检测方法、系统、介质及设备
CN110298795A (zh) 隧道三维激光数据综合去噪方法
CN113705433A (zh) 一种基于可见光航拍图像的电力线检测方法
CN111179289B (zh) 一种适用于网页长图宽图的图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination