CN114440792A - 多线激光传感的封闭布局结构、扫描拼接及涂胶扫描方法 - Google Patents
多线激光传感的封闭布局结构、扫描拼接及涂胶扫描方法 Download PDFInfo
- Publication number
- CN114440792A CN114440792A CN202210027878.9A CN202210027878A CN114440792A CN 114440792 A CN114440792 A CN 114440792A CN 202210027878 A CN202210027878 A CN 202210027878A CN 114440792 A CN114440792 A CN 114440792A
- Authority
- CN
- China
- Prior art keywords
- data
- laser
- scanning
- sensing
- receiver
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000004026 adhesive bonding Methods 0.000 title abstract description 6
- 238000012544 monitoring process Methods 0.000 claims abstract description 3
- 230000007246 mechanism Effects 0.000 claims description 32
- 230000036544 posture Effects 0.000 claims description 23
- 238000001514 detection method Methods 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 8
- 239000003292 glue Substances 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000004519 manufacturing process Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000009434 installation Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000003754 machining Methods 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/022—Optical sensing devices using lasers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Optics & Photonics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及多线激光传感的封闭布局结构、扫描拼接方法及涂胶扫描方法。所述布局结构由一个整体投射或多个各自投射的激光器，在工作距离内投射出由多条激光线构成的封闭多边形组成；每条激光射线由单独的接收器或相机监测测量，且所述接收器仅计算对应激光线的距离信息；多边形中间区域，即为监测目标区；运行时，中间区域固定持包裹待测物；在工作距离内，激光线的水平投影依旧需保持封闭多边图形；激光射线的个数及投射角度，由检测物形状及边缘夹角决定；当待检测物位于封闭轮廓内时，多线激光组无论从任意方向移动，不需要改变多线激光组的姿态，都将有至少一个接收器扫描到待测物。
Description
技术领域
本发明属于工业检测技术领域，特别涉及一种多线激光传感的封闭布局结构、扫描拼接方法及涂胶扫描方法。
背景技术
目前的工业检测技术手段，常用的扫描检测手段：在移动机构末端安装线激光传感器，通过机构移动，完成对目标工件的扫描过程。移动机构包括工业机器人、多轴直线模组等多自由度机构。
但对于在实时扫描中需同时对待测物进行处理的工艺流程，如涂胶、焊接、增材制造、减材制造等，线激光扫描线需持续保持覆盖加工部分。对于此类应用，如工件一致性较高的常使用以下方案：
⑴工件经由工装定位固定，保证每次检测都在同一位置姿态。或经如机器视觉等定位装置计算工件空间位置的偏移。
⑵移动机构以人工校调的轨迹完成检测，校调时保证激光覆盖加工区域。移动机构每次以固定轨迹运动或根据工件空间位置对运动轨迹完成整体偏移。
上述方案存在如下的不足：
⑴部分移动机构由于自由度缺失，无法完成姿态调整以保持激光线完全覆盖。
⑵当轨迹复杂时，为了保证单条线激光覆盖加工区域，移动机构的末端姿态需不断旋转变换，人工编程需逐点调整，复杂繁琐。
⑶复杂轨迹的部分区域，姿态可能无法同时满足加工及扫描。
⑷狭小空间的区域，移动机构为了保证激光线的覆盖的姿态，会造成与环境物体干涉碰撞。
发明内容
针对上述现有技术存在的需调整移动机构姿态以满足线激光覆盖衍生的设备自由度要求高、编程复杂、空间干涉、姿态无法兼顾的问题，本发明所解决的技术问题是提供一种由多个线激光扫描线共同组成封闭轮廓检测区域的布局方法，将局部待测区域置于封闭轮廓内完成扫描过程，解决了需随时调整移动机构姿态问题多线激光传感的封闭布局结构、扫描拼接方法及涂胶扫描方法。
本发明的技术解决方案是所述多线激光传感的封闭布局结构，其特殊之处在于，由一个整体投射或多个各自投射的激光器，在工作距离内投射出由多条激光线构成的封闭多边形组成；每条激光射线由单独的接收器或相机监测测量，且所述接收器仅计算对应激光线的距离信息；多边形中间区域，即为监测目标区；运行时，中间区域固定持包裹待测物；在工作距离内，激光线的水平投影依旧需保持封闭多边图形；激光射线的个数及投射角度，由检测物形状及边缘夹角决定；将安装平面距检测平面距离设为H，线激光满足检测线长的基准检测距离设为L，则投射角度为A＝arcsin(H/L)；所述激光射线个数与待测物轮廓锥度相关，锥度越高，则激光线组成多边形的边数越多，以提升姿态不变时，对任意扫描路径下，扫描轮廓的完整性，避免需检测轮廓被其自身遮挡；当待检测物位于封闭轮廓内时，多线激光组无论从任意方向移动，不需要改变多线激光组的姿态，都将有至少一个接收器扫描到待测物。
本发明的另一技术解决方案是所述多线激光传感的扫描拼接方法，其特殊之处在于，包括以下步骤：
⑴线激光标定，用激光三角测量标定方法，完成激光接收器与对应激光线的标定，各接收器正常转换检测2D数据；
⑵传感器组与移动机构手眼标定，将线激光传感器组安装至移动机构末端，用线激光手眼标定手段，计算各个激光接收器与移动机构末端的手眼转换矩阵T1、T2……Tn；
⑶检测时刻的数据转换；
⑷整体点云拼接。
作为优选：所述步骤⑶进一步包括：
(3.1)获取移动机构末端位姿矩阵Trob；
(3.2)获取各接收器数据，分别转换其至移动机构坐标系下；对当前时刻第n个接收器的第m个数据点Pn-m，存在如下转换至移动机构坐标系的关系：
(3.3)遍历完成后，即可获得当前时刻传感采集的三维数据点数据集。
作为优选：所述步骤⑷进一步包括：
(4.1)连续采集移动机构运动数据，及其对应时刻的传感数据，组合为数据帧；
(4.2)根据所述数据帧的数据转换流程，得到各时刻的三维数据点数据集；
(4.3)所有时刻的三维数据点数据集合并，即可得到整体扫描点云数据。
本发明的再一技术解决方案是所述多线激光传感的涂胶扫描方法，其特殊之处在于，包括以下步骤：
⑴制作安装件，将四个标定完成的线激光传感器均布安装，构成封闭四边形；
⑵将安装件安装至机器人末端，完成各个线激光与机器人末端的手眼矩阵标定，使用标准球标定法，分别移动机器人末端姿态，将激光线移至标准球上，每个传感器取20个位姿，记录传感数据和机器人姿态数据，联立计算得到各传感手眼矩阵Tn；
⑶沿胶路轨迹，平移末端编写机器人运行轨迹，无需调整末端姿态；
⑷开始扫描采集；记录各个时刻移动机构运动数据及各传感数据，组合为数据帧；
⑸遍历数据帧，对每个数据帧第n个接收器的第m个数据点Pn-m，使用如下关系：
转换至移动机构坐标系下，得到各时刻的三维数据点数据集；
⑹所有时刻的三维数据点数据集合并，即可得到整体扫描点云数据；
⑺完成采集过程，点云数据用于后续分析。
与现有技术相比，本发明的有益效果：
由于无需为测量而不断调整末端姿态，由此带来的有益效果：
⑴设备自由度需求降低，不需完成复杂的姿态变化，设备成本降低。
⑵人工编程简单，也利于实时引导；仅需考虑机构路径完成扫描区域的覆盖，不需考虑调整机构的姿态频繁变化。
⑶仅需考虑加工姿态，无同时检测与加工的冲突，且避免更多干涉。
由于仅需按照方式排布传感器即可达到的有益效果：
⑴实施便捷，可利用多个常见的线激光传感器快速搭建，不需限制品牌型号，亦可为提高整合度定制整体含有多个接收器发射器的传感器。
附图说明
图1是本发明多线激光传感的封闭布局的结构示意图；
图2是本发明待检测物位于封闭轮廓运行扫描的示意图；
图3是本发明另一种种待检测物位于封闭轮廓运行扫描的示意图；
图4是本发明多线激光传感的封闭轮廓无需调整姿势的示意图；
图5是本发明多线激光传感的非封闭轮廓需调整姿势的示意图。
图6是本发明激光投射角度示意图。
具体实施方式
本发明下面将结合附图作进一步详述：
图4、图5示出了本发明使用六轴工业机器人的涂胶扫描实施例。
请参阅图4所示，所述涂胶扫描方法，包括以下步骤：
⑴制作安装件，将四个标定完成的线激光传感器均布安装，构成封闭四边形；
⑵将安装件安装至机器人末端，完成各个线激光与机器人末端的手眼矩阵标定，使用标准球标定法，分别移动机器人末端姿态，将激光线移至标准球上，每个传感器取20个位姿，记录传感数据和机器人姿态数据，联立计算得到各传感手眼矩阵Tn；
⑶沿胶路轨迹，平移末端编写机器人运行轨迹，无需调整末端姿态；
⑷开始扫描采集；记录各个时刻移动机构运动数据及各传感数据，组合为数据帧；
⑸遍历数据帧，对每个数据帧第n个接收器的第m个数据点Pn-m，使用如下关系：
转换至移动机构坐标系下，得到各时刻的三维数据点数据集；
⑹所有时刻的三维数据点数据集合并，即可得到整体扫描点云数据；
⑺完成采集过程。点云数据用于后续分析。
以上所述仅为本发明的较佳实施例，凡依本发明权利要求范围所做的均等变化与修饰，皆应属本发明权利要求的涵盖范围。
Claims (5)
1.一种多线激光传感的封闭布局结构，其特征在于，由一个整体投射或多个各自投射的激光器，在工作距离内投射出由多条激光线构成的封闭多边形组成；每条激光射线由单独的接收器或相机监测测量，且所述接收器仅计算对应激光线的距离信息；多边形中间区域，即为监测目标区；运行时，中间区域固定持包裹待测物；在工作距离内，激光线的水平投影依旧需保持封闭多边图形；激光射线个数及投射角度，由检测物形状及边缘夹角决定；将安装平面距检测平面距离设为H，线激光满足检测线长的基准检测距离设为L，则投射角度为A＝arcsin(H/L)；所述激光射线个数与待测物轮廓锥度相关，锥度越高，则激光线组成多边形的边数越多，以提升姿态不变时，对任意扫描路径下，扫描轮廓的完整性，避免需检测轮廓被其自身遮挡；当待检测物位于封闭轮廓内时，多线激光组无论从任意方向移动，不需要改变多线激光组的姿态，都将有至少一个接收器扫描到待测物。
2.一种多线激光传感的扫描拼接方法，其特征在于，包括以下步骤：
⑴线激光标定，用激光三角测量标定方法，完成激光接收器与对应激光线的标定，各接收器正常转换检测2D数据；
⑵传感器组与移动机构手眼标定，将线激光传感器组安装至移动机构末端，用线激光手眼标定手段，计算各个激光接收器与移动机构末端的手眼转换矩阵T1、T2……Tn；
⑶检测时刻的数据转换；
⑷整体点云拼接。
3.根据权利要求2所述多线激光传感的扫描拼接方法，其特征在于，所述步骤⑶进一步包括：
(3.1)获取移动机构末端位姿矩阵Trob；
(3.2)获取各接收器数据，分别转换其至移动机构坐标系下；对当前时刻第n个接收器的第m个数据点Pn-m，存在如下转换至移动机构坐标系的关系：
(3.3)遍历完成后，即可获得当前时刻传感采集的三维数据点数据集。
4.根据权利要求3所述多线激光传感的扫描拼接方法，其特征在于，所述步骤⑷进一步包括：
(4.1)连续采集移动机构运动数据，及其对应时刻的传感数据，组合为数据帧；
(4.2)根据所述数据帧的数据转换流程，得到各时刻的三维数据点数据集；
(4.3)所有时刻的三维数据点数据集合并，即可得到整体扫描点云数据。
5.一种多线激光传感的涂胶扫描方法，其特征在于，包括以下步骤：
⑴制作安装件，将四个标定完成的线激光传感器均布安装，构成封闭四边形；
⑵将安装件安装至机器人末端，完成各个线激光与机器人末端的手眼矩阵标定，使用标准球标定法，分别移动机器人末端姿态，将激光线移至标准球上，每个传感器取20个位姿，记录传感数据和机器人姿态数据，联立计算得到各传感手眼矩阵Tn；
⑶沿胶路轨迹，平移末端编写机器人运行轨迹，无需调整末端姿态；
⑷开始扫描采集；记录各个时刻移动机构运动数据及各传感数据，组合为数据帧；
⑸遍历数据帧，对每个数据帧第n个接收器的第m个数据点Pn-m，使用如下关系：
转换至移动机构坐标系下，得到各时刻的三维数据点数据集；
⑹所有时刻的三维数据点数据集合并，即可得到整体扫描点云数据；
⑺完成采集过程，点云数据用于后续分析。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210027878.9A CN114440792A (zh) | 2022-01-11 | 2022-01-11 | 多线激光传感的封闭布局结构、扫描拼接及涂胶扫描方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210027878.9A CN114440792A (zh) | 2022-01-11 | 2022-01-11 | 多线激光传感的封闭布局结构、扫描拼接及涂胶扫描方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114440792A true CN114440792A (zh) | 2022-05-06 |
Family
ID=81367368
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210027878.9A Pending CN114440792A (zh) | 2022-01-11 | 2022-01-11 | 多线激光传感的封闭布局结构、扫描拼接及涂胶扫描方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114440792A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116071240A (zh) * | 2023-03-07 | 2023-05-05 | 广东利元亨智能装备股份有限公司 | 图像拼接方法、装置、计算机设备和存储介质 |
| CN116152283A (zh) * | 2023-04-18 | 2023-05-23 | 天津宜科自动化股份有限公司 | 一种多台线激光传感器分组曝光的处理方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104535017A (zh) * | 2014-12-19 | 2015-04-22 | 合肥市百胜科技发展股份有限公司 | 在线轮廓测量装置 |
| CN105222724A (zh) * | 2015-09-10 | 2016-01-06 | 北京天远三维科技有限公司 | 多线阵列激光三维扫描系统及多线阵列激光三维扫描方法 |
| CN108344360A (zh) * | 2017-11-15 | 2018-07-31 | 北京航空航天大学 | 一种视觉测量系统的激光扫描式全局校准装置及方法 |
| CN110470238A (zh) * | 2019-07-02 | 2019-11-19 | 杭州非白三维科技有限公司 | 一种手持激光三维扫描仪、扫描方法及装置 |
| CN110487213A (zh) * | 2019-08-19 | 2019-11-22 | 杭州电子科技大学 | 基于空间错位的全视角线激光扫描三维成像装置与方法 |
| CN110881748A (zh) * | 2019-12-16 | 2020-03-17 | 埃视森智能科技(上海)有限公司 | 一种基于3d扫描的机器人鞋底自动涂胶系统及方法 |
| CN111156925A (zh) * | 2019-12-19 | 2020-05-15 | 南京理工大学 | 基于线结构光和工业机器人的大构件三维测量方法 |
| CN111578866A (zh) * | 2020-06-16 | 2020-08-25 | 大连理工大学 | 一种多线激光传感器组合测量的空间位姿标定方法 |
| CN111637834A (zh) * | 2019-03-01 | 2020-09-08 | 北京伟景智能科技有限公司 | 一种三维数据测量装置及方法 |
| WO2021212844A1 (zh) * | 2020-04-21 | 2021-10-28 | 广东博智林机器人有限公司 | 点云拼接方法、装置、设备和存储设备 |
-
2022
- 2022-01-11 CN CN202210027878.9A patent/CN114440792A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104535017A (zh) * | 2014-12-19 | 2015-04-22 | 合肥市百胜科技发展股份有限公司 | 在线轮廓测量装置 |
| CN105222724A (zh) * | 2015-09-10 | 2016-01-06 | 北京天远三维科技有限公司 | 多线阵列激光三维扫描系统及多线阵列激光三维扫描方法 |
| CN108344360A (zh) * | 2017-11-15 | 2018-07-31 | 北京航空航天大学 | 一种视觉测量系统的激光扫描式全局校准装置及方法 |
| CN111637834A (zh) * | 2019-03-01 | 2020-09-08 | 北京伟景智能科技有限公司 | 一种三维数据测量装置及方法 |
| CN110470238A (zh) * | 2019-07-02 | 2019-11-19 | 杭州非白三维科技有限公司 | 一种手持激光三维扫描仪、扫描方法及装置 |
| CN110487213A (zh) * | 2019-08-19 | 2019-11-22 | 杭州电子科技大学 | 基于空间错位的全视角线激光扫描三维成像装置与方法 |
| CN110881748A (zh) * | 2019-12-16 | 2020-03-17 | 埃视森智能科技(上海)有限公司 | 一种基于3d扫描的机器人鞋底自动涂胶系统及方法 |
| CN111156925A (zh) * | 2019-12-19 | 2020-05-15 | 南京理工大学 | 基于线结构光和工业机器人的大构件三维测量方法 |
| WO2021212844A1 (zh) * | 2020-04-21 | 2021-10-28 | 广东博智林机器人有限公司 | 点云拼接方法、装置、设备和存储设备 |
| CN111578866A (zh) * | 2020-06-16 | 2020-08-25 | 大连理工大学 | 一种多线激光传感器组合测量的空间位姿标定方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116071240A (zh) * | 2023-03-07 | 2023-05-05 | 广东利元亨智能装备股份有限公司 | 图像拼接方法、装置、计算机设备和存储介质 |
| CN116152283A (zh) * | 2023-04-18 | 2023-05-23 | 天津宜科自动化股份有限公司 | 一种多台线激光传感器分组曝光的处理方法 |
| CN116152283B (zh) * | 2023-04-18 | 2023-07-28 | 天津宜科自动化股份有限公司 | 一种多台线激光传感器分组曝光的处理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108717715B (zh) | 一种用于弧焊机器人的线结构光视觉系统自动标定方法 | |
| CN114440792A (zh) | 多线激光传感的封闭布局结构、扫描拼接及涂胶扫描方法 | |
| JP4827744B2 (ja) | 検査路設定及び検査領域決定方法 | |
| US11423566B2 (en) | Variable measuring object dependent camera setup and calibration thereof | |
| US7324217B2 (en) | Device and method for measuring components | |
| US6938454B2 (en) | Production device, especially a bending press, and method for operating said production device | |
| US8310539B2 (en) | Calibration method and calibration device | |
| US20090099690A1 (en) | Method for robot-assisted measurement of measurable objects | |
| US20190118383A1 (en) | Automation apparatus | |
| US20060107508A1 (en) | Method and device for producing a connecting area on a production part | |
| CN113102880A (zh) | 一种基于视觉示教的线激光焊缝自动跟踪系统及方法 | |
| CN106853430A (zh) | 一种基于流水线的自动点胶跟踪方法及装置 | |
| CN111707189B (zh) | 基于双目视觉的激光位移传感器光束方向标定方法 | |
| CN114720475A (zh) | 一种汽车车身漆面缺陷智能检测与打磨系统及方法 | |
| CN110433989B (zh) | 一种工件表面喷涂的方法 | |
| CN112334760A (zh) | 用于在空间中的复杂表面上定位点的方法和设备 | |
| CN111982012A (zh) | 一种构件表面三维测量方法、装置及系统 | |
| JPH03213251A (ja) | ワーク位置検知装置 | |
| CN113514471A (zh) | 一种涂胶效果图像检测方法 | |
| CN113510708A (zh) | 一种基于双目视觉的接触式工业机器人自动标定系统 | |
| KR20130075712A (ko) | 레이저비전 센서 및 그 보정방법 | |
| CN114535825B (zh) | 一种基于机械手的激光打刻车辆识别代码系统 | |
| EP3895855A1 (en) | Robot control system and robot control method | |
| CN110057338A (zh) | 一种基于复合测量的工件原点自适应设置方法 | |
| CN214583043U (zh) | 一种用于工件涂装的三维扫描系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |