CN113538547A - 一种3d线激光传感器的深度处理方法及点胶设备 - Google Patents

一种3d线激光传感器的深度处理方法及点胶设备 Download PDF

Info

Publication number
CN113538547A
CN113538547A CN202110619063.5A CN202110619063A CN113538547A CN 113538547 A CN113538547 A CN 113538547A CN 202110619063 A CN202110619063 A CN 202110619063A CN 113538547 A CN113538547 A CN 113538547A
Authority
CN
China
Prior art keywords
point cloud
data
depth
axis moving
moving rail
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110619063.5A
Other languages
English (en)
Inventor
杨沛
殷强
顾昕程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Xiaofeng Visual Technology Co ltd
Original Assignee
Suzhou Xiaofeng Visual Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Xiaofeng Visual Technology Co ltd filed Critical Suzhou Xiaofeng Visual Technology Co ltd
Priority to CN202110619063.5A priority Critical patent/CN113538547A/zh
Publication of CN113538547A publication Critical patent/CN113538547A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种3D线激光传感器的深度处理方法及点胶设备，涉及3D图像处理领域，其具体的处理步骤为：使用3D传感器对物体进行3D扫描得到物体的多帧数据；对物体的多帧数据进行处理调整；对物体进行单点坐标赋值并进行编号；保存中得到的深度图和映射表；所述点胶机包括底座，所述底座上表面固定连接有Y轴运动轨，所述Y轴运动轨上滑动连接有扫描载台，所述扫描载台上方设置有有3D线扫传感器以及点胶器，本发明的优点在于：解决了不同3D线扫传感器下转换深度算法不通用的问题，提升系统适应性；不依赖3D数据的有序性，具备2D‑3D的双向映射表，不丢失数据的精准度。

Description

一种3D线激光传感器的深度处理方法及点胶设备
技术领域
本发明涉及3D图像处理领域，具体是涉及一种3D线激光传感器的深度处理方法及点胶设备。
背景技术
三维扫描是指集光、机、电和计算机技术于一体的高新技术，主要用于对物体空间外形和结构及色彩进行扫描，以获得物体表面的空间坐标能够将实物的立体信息转换为计算机能直接处理的数字信号，为实物数字化提供了相当方便快捷的手段。三维扫描技术能实现非接触测量，且具有速度快、精度高的优点。而且其测量结果能直接与多种软件接口，这使它在CAD、CAM、CIMS等技术应用日益普及的今天很受欢迎。
目前行业内大多采用常规3D处理策略，一次性处理点云数达数百万，运算资源消耗极大，处理时间较长且，能处理的任务较少，另一方面，常规2D策略虽然可以将3D转为2D深度图处理(例如PCL的RangeImage)，但其转换策略必须依赖传感器FOV、焦距等参数，同一算法在不同3D传感器甚至同传感器的不同扫描速度下均不具备良好的适应性，且常规2D-3D转换策略针对无序性3D 数据无法建立映射关系，即转换为2D深度图后无法确定每个像素对应的点云编号，导致无法从原始数据进行筛选测量，精度损失极大。
发明内容
为解决上述技术问题，提供一种3D线激光传感器的深度处理方法及点胶设备，本技术方案解决了上述背景技术中提出的目前行业内大多采用常规3D处理策略，一次性处理点云数达数百万，运算资源消耗极大，处理时间较长且，能处理的任务较少，另一方面，常规2D策略虽然可以将3D转为2D深度图处理(例如PCL的RangeImage)，但其转换策略必须依赖传感器FOV、焦距等参数，同一算法在不同3D传感器甚至同传感器的不同扫描速度下均不具备良好的适应性，且常规2D-3D转换策略针对无序性3D数据无法建立映射关系，即转换为2D深度图后无法确定每个像素对应的点云编号，导致无法从原始数据进行筛选测量，精度损失极大的问题。
为达到以上目的，本发明采用的技术方案为：
一种3D线激光传感器的深度处理方法，步骤如下：
S1.使用3D传感器对物体进行3D扫描得到物体的多帧数据；
S2.对物体的多帧数据进行处理调整；
S3.对物体进行单点坐标赋值并进行编号；
S4.保存S3中得到的深度图和映射表。
优选的，所述S2中对物体的多帧数据进行处理调整的具体步骤如下：
S201.系统对物体的多帧数据进行统计该批次点数据的帧数和每帧的长度；
S202.系统统计3D数据中最大和最小的XY值，并计算X宽度以及Y宽度；
S203.通过最小XY值获得点云平移矩阵，让点云数据在XY方向上整体平移至第一象限，同时保持Z值不变；
S204.将X宽度/帧长度，获得点云列间距；
S205.将Y宽度/帧数，获得点云行间距。
优选的，所述S3中对物体进行单点坐标赋值并进行标号的具体步骤如下：
S301.读取居中点云；
S302.将居中点云X坐标/列间距，获得该点云在深度图像中的列号；
S303.将居中点云Y坐标/行间距，获得该点云在深度图像中的行号；
S304.将深度图对应行列位置的像素赋值为点云Z坐标；
S305.将映射表对应行列位置的像素赋值为点云编号；
S306.更新物体的深度图和映射表。
S307.判断物体的每一点云是否均进行过坐标赋值并进行标号，若为是则输出深度图和映射表，若为否则返回S301。
进一步的，提出一种使用3D线激光传感器的深度处理方法的点胶设备，包括底座，所述底座上表面前端左右两侧分别设置有急停按钮以及控制板，所述底座前端从左到右依次固定连接有数据端口、机器人控制开关以及主开关，所述底座上表面固定连接有Y轴运动轨，所述Y轴运动轨上滑动连接有扫描载台，所述底座后端固定连接有支撑座，所述支撑座上固定连接有X轴运动轨，所述X 轴运动轨上滑动连接有Z轴运动轨，所述Z轴运动轨上滑动连接有安装板，所述安装板前端左侧固定连接有3D线扫传感器，所述安装板前端右侧固定连接有点胶器。
可选的，所述3D线扫传感器包括3D结构光扫设备、存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至3任一项所述的3D线激光传感器的深度处理方法
与现有技术相比，本发明的优点在于：
1)3D感知处理加速，快速生成2D深度数据及2D-3D映射关系，自适应不同3D线扫传感器，无需传感器FOV等标定参数，本算法实现对多种不同型号的3D线性激光扫描和处理进行简化和加速，对不同3D线扫传感器均具有良好的适配性；
2)不依赖3D数据的有序性，具备2D-3D的双向映射表，转化为2D深度图后可确定每个像素对应的点云编号，可对原始数据进行筛选测量，不会丢失数据的精准度。
附图说明
图1为本发明提出的处理方法示意图；
图2为本发明中S2的具体步骤示意图；
图3为本发明中S3的具体步骤示意图；
图4为本发明提出的深度处理方法的流程图；
图5为本发明提出的点胶机的立体结构示意图。
图中标号为：
1、底座；2、控制板；3、主开关；4、控制开关；5、数据端口；6、扫描载台；7、Y轴运动轨；8、X轴运动轨；9、安装板；10、点胶器；11、支撑座； 12、3D线扫传感器；13、Z轴运动轨；14、急停按钮。
具体实施方式
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。
请参阅图5所示，一种使用3D线激光传感器的深度处理方法的点胶设备，包括底座1，底座1上表面前端左右两侧分别设置有急停按钮14以及控制板2，底座1前端从左到右依次固定连接有数据端口5、机器人控制开关4以及主开关 3，底座1上表面固定连接有Y轴运动轨7，Y轴运动轨7上滑动连接有扫描载台6，底座1后端固定连接有支撑座11，支撑座11上固定连接有X轴运动轨8， X轴运动轨8上滑动连接有Z轴运动轨13，Z轴运动轨13上滑动连接有安装板 9，安装板9前端左侧固定连接有3D线扫传感器12，安装板3前端右侧固定连接有点胶器10；
3D线扫传感器12包括3D结构光扫设备、存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现的3D线激光传感器的深度处理方法具体方法为：
S1.使用3D传感器对物体进行3D扫描得到物体的多帧数据；
S2.对物体的多帧数据进行处理调整；
S2的具体步骤为：
S201.系统对物体的多帧数据进行统计该批次点数据的帧数和每帧的长度；
S202.系统统计3D数据中最大和最小的XY值，并计算X宽度以及Y宽度；
S203.通过最小XY值获得点云平移矩阵，让点云数据在XY方向上整体平移至第一象限，同时保持Z值不变；
S204.将X宽度/帧长度，获得点云列间距；
S205.将Y宽度/帧数，获得点云行间距；
S3.对物体进行单点坐标赋值并进行编号；
S3的具体步骤为：
S301.读取居中点云；
S302.将居中点云X坐标/列间距，获得该点云在深度图像中的列号；
S303.将居中点云Y坐标/行间距，获得该点云在深度图像中的行号；
S304.将深度图对应行列位置的像素赋值为点云Z坐标；
S305.将映射表对应行列位置的像素赋值为点云编号；
S306.更新物体的深度图和映射表。
S307.判断物体的每一点云是否均进行过坐标赋值并进行标号，若为是则输出深度图和映射表，若为否则返回S301；
S4.保存S3中得到的深度图和映射表。
点胶机通过3D线扫传感器12中3D线激光传感器的深度处理方法将待点胶物体的表面的空间坐标能够将实物的立体信息转换为计算机能直接处理的数字信号，为实现点胶机的具体的数字化提供了方便迅捷的数据；同时本方法3D感知处理加速，快速生成2D深度数据及2D-3D映射关系，自适应不同3D线扫传感器，无需传感器FOV等标定参数，本算法实现对多种不同型号的3D线性激光扫描和处理进行简化和加速，对不同3D线扫传感器均具有良好的适配性；且本方法进行3D线激光传感器的深度处理不依赖3D数据的有序性，具备2D-3D的双向映射表，转化为2D深度图后可确定每个像素对应的点云编号，可对原始数据进行筛选测量，不会丢失数据的精准度，能够更加精准的进行设备立体智能操作。
综上所述，本发明的优点在于：解决了不同3D线扫传感器下转换深度算法不通用的问题，提升系统适应性；不依赖3D数据的有序性，具备2D-3D的双向映射表，不丢失数据的精准度。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (5)

1.一种3D线激光传感器的深度处理方法，其特征在于，步骤如下：
S1.使用3D传感器对物体进行3D扫描得到物体的多帧数据；
S2.对物体的多帧数据进行处理调整；
S3.对物体进行单点坐标赋值并进行编号；
S4.保存S3中得到的深度图和映射表。
2.根据权利要求1所述的一种3D线激光传感器的深度处理方法，其特征在于，所述S2中对物体的多帧数据进行处理调整的具体步骤如下：
S201.系统对物体的多帧数据进行统计该批次点数据的帧数和每帧的长度；
S202.系统统计3D数据中最大和最小的XY值，并计算X宽度以及Y宽度；
S203.通过最小XY值获得点云平移矩阵，让点云数据在XY方向上整体平移至第一象限，同时保持Z值不变；
S204.将X宽度/帧长度，获得点云列间距；
S205.将Y宽度/帧数，获得点云行间距。
3.根据权利要求1所述的一种3D线激光传感器的深度处理方法，其特征在于，所述S3中对物体进行单点坐标赋值并进行标号的具体步骤如下：
S301.读取居中点云；
S302.将居中点云X坐标/列间距，获得该点云在深度图像中的列号；
S303.将居中点云Y坐标/行间距，获得该点云在深度图像中的行号；
S304.将深度图对应行列位置的像素赋值为点云Z坐标；
S305.将映射表对应行列位置的像素赋值为点云编号；
S306.更新物体的深度图和映射表。
S307.判断物体的每一点云是否均进行过坐标赋值并进行标号，若为是则输出深度图和映射表，若为否则返回S301。
4.一种使用3D线激光传感器的深度处理方法的点胶设备，其特征在于，包括底座(1)，所述底座(1)上表面前端左右两侧分别设置有急停按钮(14)以及控制板(2)，所述底座(1)前端从左到右依次固定连接有数据端口(5)、机器人控制开关(4)以及主开关(3)，所述底座(1)上表面固定连接有Y轴运动轨(7)，所述Y轴运动轨(7)上滑动连接有扫描载台(6)，所述底座(1)后端固定连接有支撑座(11)，所述支撑座(11)上固定连接有X轴运动轨(8)，所述X轴运动轨(8)上滑动连接有Z轴运动轨(13)，所述Z轴运动轨(13)上滑动连接有安装板(9)，所述安装板(9)前端左侧固定连接有3D线扫传感器(12)，所述安装板(3)前端右侧固定连接有点胶器(10)。
5.根据权利要求4所述的一种使用3D线激光传感器的深度处理方法的点胶设备，其特征在于，所述3D线扫传感器(12)包括3D结构光扫设备、存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至3任一项所述的3D线激光传感器的深度处理方法。
CN202110619063.5A 2021-06-03 2021-06-03 一种3d线激光传感器的深度处理方法及点胶设备 Pending CN113538547A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110619063.5A CN113538547A (zh) 2021-06-03 2021-06-03 一种3d线激光传感器的深度处理方法及点胶设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110619063.5A CN113538547A (zh) 2021-06-03 2021-06-03 一种3d线激光传感器的深度处理方法及点胶设备

Publications (1)

Publication Number Publication Date
CN113538547A true CN113538547A (zh) 2021-10-22

Family

ID=78095522

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110619063.5A Pending CN113538547A (zh) 2021-06-03 2021-06-03 一种3d线激光传感器的深度处理方法及点胶设备

Country Status (1)

Country Link
CN (1) CN113538547A (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140114461A1 (en) * 2011-06-10 2014-04-24 Hermary Opto Electronics Inc. 3d machine vision scanning information extraction system
CN105574905A (zh) * 2015-12-15 2016-05-11 大连理工大学 一种三维激光点云数据的二维图像化表述方法
CN106971403A (zh) * 2017-04-27 2017-07-21 武汉数文科技有限公司 点云图像处理方法及装置
CN107621226A (zh) * 2017-07-18 2018-01-23 深圳大学 多目立体视觉的三维扫描方法及系统
CN108982546A (zh) * 2018-08-29 2018-12-11 燕山大学 一种智能机器人涂胶质量检测系统及方法
CN109087388A (zh) * 2018-07-12 2018-12-25 南京邮电大学 基于深度传感器的物体三维建模方法
CN109300190A (zh) * 2018-09-06 2019-02-01 百度在线网络技术（北京）有限公司 三维数据的处理方法、装置、设备和存储介质
CN109727282A (zh) * 2018-12-27 2019-05-07 南京埃克里得视觉技术有限公司 一种三维图像的尺度不变深度图映射方法
CN109872329A (zh) * 2019-01-28 2019-06-11 重庆邮电大学 一种基于三维激光雷达的地面点云快速分割方法
CN109961440A (zh) * 2019-03-11 2019-07-02 重庆邮电大学 一种基于深度图的三维激光雷达点云目标分割方法
CN110376208A (zh) * 2019-07-18 2019-10-25 深圳市鹰眼在线电子科技有限公司 点胶装置与其点胶尺寸的检测方法及点胶设备
CN111292369A (zh) * 2020-03-10 2020-06-16 中车青岛四方车辆研究所有限公司 激光雷达的伪点云数据生成方法
CN111664809A (zh) * 2020-06-15 2020-09-15 苏州亿视智能科技有限公司 智能高精度模块化三维检测设备及方法
CN112132972A (zh) * 2020-09-29 2020-12-25 凌美芯（北京）科技有限责任公司 一种激光与图像数据融合的三维重建方法及系统
CN112132108A (zh) * 2020-10-09 2020-12-25 安徽江淮汽车集团股份有限公司 地面点云数据的提取方法、装置、设备及存储介质

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140114461A1 (en) * 2011-06-10 2014-04-24 Hermary Opto Electronics Inc. 3d machine vision scanning information extraction system
CN105574905A (zh) * 2015-12-15 2016-05-11 大连理工大学 一种三维激光点云数据的二维图像化表述方法
CN106971403A (zh) * 2017-04-27 2017-07-21 武汉数文科技有限公司 点云图像处理方法及装置
CN107621226A (zh) * 2017-07-18 2018-01-23 深圳大学 多目立体视觉的三维扫描方法及系统
CN109087388A (zh) * 2018-07-12 2018-12-25 南京邮电大学 基于深度传感器的物体三维建模方法
CN108982546A (zh) * 2018-08-29 2018-12-11 燕山大学 一种智能机器人涂胶质量检测系统及方法
US20200082554A1 (en) * 2018-09-06 2020-03-12 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for processing three-dimensional data, device and storage medium
CN109300190A (zh) * 2018-09-06 2019-02-01 百度在线网络技术（北京）有限公司 三维数据的处理方法、装置、设备和存储介质
CN109727282A (zh) * 2018-12-27 2019-05-07 南京埃克里得视觉技术有限公司 一种三维图像的尺度不变深度图映射方法
CN109872329A (zh) * 2019-01-28 2019-06-11 重庆邮电大学 一种基于三维激光雷达的地面点云快速分割方法
CN109961440A (zh) * 2019-03-11 2019-07-02 重庆邮电大学 一种基于深度图的三维激光雷达点云目标分割方法
CN110376208A (zh) * 2019-07-18 2019-10-25 深圳市鹰眼在线电子科技有限公司 点胶装置与其点胶尺寸的检测方法及点胶设备
CN111292369A (zh) * 2020-03-10 2020-06-16 中车青岛四方车辆研究所有限公司 激光雷达的伪点云数据生成方法
CN111664809A (zh) * 2020-06-15 2020-09-15 苏州亿视智能科技有限公司 智能高精度模块化三维检测设备及方法
CN112132972A (zh) * 2020-09-29 2020-12-25 凌美芯（北京）科技有限责任公司 一种激光与图像数据融合的三维重建方法及系统
CN112132108A (zh) * 2020-10-09 2020-12-25 安徽江淮汽车集团股份有限公司 地面点云数据的提取方法、装置、设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
KARL NI: ""Geo-registering 3D point clouds to 2D maps with scan matching and the Hough Transform"", 《2013 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING》 *
何丽;李嘉;郑德华;: "基于栅格的点云数据的边界探测方法", 测绘工程, no. 03 *
王东敏;彭永胜;李永乐;: "视觉与激光点云融合的深度图像获取方法", 军事交通学院学报, no. 10 *
王盛杰: ""基于面阵三维成像激光雷达的目标点云分割技术"", 《半导体光电》 *

Similar Documents

Publication Publication Date Title
CN109458928B (zh) 基于扫描振镜和事件相机激光线扫描3d检测方法及系统
EP1761738B1 (en) Measuring apparatus and method for range inspection
Rebman et al. A tactile sensor with electrooptical transduction
CN109341527B (zh) 一种自动阴影补偿的结构光投影三维测量系统及方法
KR20210056964A (ko) 이미지 수집 디바이스의 외부 파라미터 캘리브레이션 방법, 장치, 기기, 저장 매체 및 컴퓨터 프로그램
CN109297433A (zh) 3d视觉引导拆垛测量系统及其控制方法
US11966996B2 (en) Composite three-dimensional blob tool and method for operating the same
JPWO2018168757A1 (ja) 画像処理装置、システム、画像処理方法、物品の製造方法、プログラム
WO2019091115A1 (en) Method and system for scanning space using point cloud structure data
CN113538547A (zh) 一种3d线激光传感器的深度处理方法及点胶设备
CN109631764A (zh) 基于RealSense相机的尺寸测量系统及方法
CN108534684A (zh) 一种基于Ｌａｂ　ＶＩＥＷ开发平台的尺寸测量系统及其测量方法
CN114820820A (zh) 一种电脑后壳的3d检测方法
CN111028298B (zh) 一种用于刚体坐标系空间变换标定的汇聚式双目系统
CN113365003A (zh) 用于减少激光散斑效应的图像传感器电路
CN214039921U (zh) 基于差分投影的立体视觉三维检测装置
CN112308933A (zh) 相机内参标定的方法、装置及计算机存储介质
KR920010547B1 (ko) 3차원 곡면 형상의 측정방법 및 장치
Motta et al. Experimental validation of a 3-D vision-based measurement system applied to robot calibration
JP2000121337A (ja) 画像補正方法および画像補正装置
CN116883295B (zh) 线扫描三维图像采集振动矫正方法、装置及电子设备
JPH0622720B2 (ja) 教示ロボットを使用した自動塗布装置
RU2225593C2 (ru) Фотограмметрическое рабочее место
JPH03158710A (ja) 画像データ作成装置
Rechsteiner et al. Fast and precise 3D sensor insensitive to ambient lighting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination